一种音频数据的特征提取方法及装置制造方法

一种音频数据的特征提取方法及装置制造方法
【专利摘要】本发明公开了一种音频数据的特征提取方法及装置，用以实现从不同长度的音频数据序列中提取出相同长度的特征向量。方法包括：获得音频数据序列；针对获得的每个音频数据序列执行：将该音频数据序列进行切分，得到多个音频数据子序列；分别提取所述多个音频数据子序列中的每个音频数据子序列的指定特征；将提取到的各个音频数据子序列的指定特征进行组合；其中，所述多个音频数据子序列的数量等于预设数量；且所述多个音频数据子序列中的每个音频数据子序列均包含相同的数据总量。
【专利说明】
一种音频数据的特征提取方法及装置

【技术领域】
[0001]本发明涉及信息处理领域，尤其涉及一种音频数据的特征提取方法及装置。

【背景技术】
[0002]在音频分类与识别中，提取同一类别音频数据的共性特征非常重要，因为在现有技术中，通常需要依靠这些共性特征来对未知类别的音频数据进行分类识别。
[0003]现有技术中采用的音频数据的共性特征的提取方案中，一般都是将时间定长的音频数据序列(即由多个音频数据组成的一个序列)进行分帧短时处理，即将时间定长的音频数据序列切分为多帧音频数据子序列，然后将得到的各帧音频数据子序列进行预处理之后，提取出各巾贞音频数据子序列的美尔倒谱系数(Mel Frequency Cepstrum Coefficient,MFCC)、线性预测美尔倒谱系数(Linear Predictive Mel Frequency Cepstral Coding,LPMFCC)等等。进一步地，再将从各帧音频数据子序列的特征组合起来作为该段音频数据的特征。采用该方式，可以实现根据训练用的各段音频数据序列的特征，对训练用的音频数据序列进行聚类而得到各类音频数据序列的共性特征。
[0004]其中需要说明的是，美尔(Mel)是主观音高的单位，而赫兹(Hz)则是客观音高的单位。美尔频率是基于人耳听觉特性提出来的，它与赫兹频率成非线性对应关系。美尔倒谱系数(MFCC)则是利用它们之间的这种关系，计算得到的Hz频谱特征。而线性预测倒谱系数(LPMFCC)则是在线性预测系数的基础上，借鉴美尔倒谱系数(MFCC)计算方法，对线性预测系数进行美尔倒谱计算而得到的一种新的特征参数。基于该特征参数对音频数据进行分类有利于提高音频数据分类装置的识别率。
[0005]上述共性特征的提取方案在音频数据的分类识别中能够达到较好的效果，但是由于该方案是按照对不同音频数据序列进行切分而得到相同时长的音频数据子序列的切分规则，来对音频数据序列进行切分，从而要求音频数据序列的时长必须是定长，才能将不同的音频数据序列切分为相同帧数的音频数据段。因此，该方案存在一定的缺陷:当音频数据序列的时长大于规定时间长度时，需要对音频数据序列进行切分处理，这样的操作方式会破坏音频数据序列的完整性；而当音频数据序列的时长小于规定时间长度时，则不能采用该方案对该音频数据序列进行处理。造成上述缺陷的原因在于，如果不同音频数据序列的时长不相等，那么，得到的音频数据序列的特征向量的长度也是不相等的，而基于不相等的特征向量，无法实现对音频数据序列的聚类或分类训练。


【发明内容】

[0006]本发明实施例提供一种音频数据的特征提取方法，用以解决现有技术无法实现从不同长度的音频数据序列中提取出相同长度的特征向量的问题。
[0007]本发明实施例采用以下技术方案:
[0008]一种音频数据的特征提取方法，包括:获得音频数据序列；针对获得的每个音频数据序列执行:将该音频数据序列进行切分，得到多个音频数据子序列；分别提取所述多个音频数据子序列中的每个音频数据子序列的指定特征；将提取到的各个音频数据子序列的指定特征进行组合；其中，所述多个音频数据子序列的数量等于预设数量；且所述多个音频数据子序列中的每个音频数据子序列均包含相同的数据总量。
[0009]一种音频数据的特征提取装置，包括:获得单元，用于获得音频数据序列；
[0010]特征提取单元，用于针对获得单元获得的每个音频数据序列执行:将该音频数据序列进行切分，得到多个音频数据子序列；分别提取所述多个音频数据子序列中的每个音频数据子序列的指定特征；将提取到的各个音频数据子序列的指定特征进行组合；其中，所述多个音频数据子序列的数量等于预设数量；且所述多个音频数据子序列中的每个音频数据子序列均包含相同的数据总量。
[0011]本发明实施例的有益效果如下:
[0012]通过本发明实施例提供的技术方案，由于将音频数据切分成固定帧数的音频数据子序列，可以保证从每个音频数据子序列中分别提取的指定特征组合起来得到的特征的长度也是固定的，从而解决现有技术中无法实现从不同长度的音频数据中提取出相同长度的特征向量的问题。采用本发明实施例提供的该方案，可以实现在对音频数据序列样本进行训练时，更有效地利用更多的音频数据序列样本。

【专利附图】

【附图说明】
[0013]图1为本发明实施例提供的音频数据的特征提取方法的流程图；
[0014]图2为本发明实施例提供的音频数据的特征提取方法的具体应用流程图；
[0015]图3为本发明实施例提供的音频数据的特征提取装置的具体结构示意图。

【具体实施方式】
[0016]发明人通过对现有技术的分析研究，发现现有技术中采用的音频数据共性特征的提取方法存在着一个共同的缺陷，即要求音频数据序列的时长必须是定长，才能将不同的音频数据序列切分为相同帧数的音频数据段，进而保证从各音频数据序列中提取出相等长度的特征向量。为了解决该问题，本发明实施例提供了一种针对不同时长的音频数据的共性特征的提取方法，在该方法中，发明人将各个音频数据序列切分成固定帧数的音频数据子序列，可以保证从每个音频数据子序列中分别提取的指定特征组合起来得到的特征的长度也是固定的，从而解决了现有技术中无法实现从不同长度的音频数据中提取出相同长度的特征向量的问题。
[0017]以下结合说明书附图对本发明的实施例进行说明，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限制本发明。并且在不冲突的情况下，本说明中的实施例及实施例中的特征可以互相结合。
[0018]首先，本发明实施例提供一种音频数据的特征提取方法，该方法的具体流程示意图如图1所示，包括以下步骤。需要说明的是，以下步骤仅以获得的任意音频数据序列为例，说明如何从该音频数据序列中提取特征。本领域技术人员可以理解，对于获得的每个音频数据序列而言，均可以采用下述步骤进行处理，以使得分别从获得的每个音频数据序列提取到的特征的长度相同。
[0019]步骤11，将获得的音频数据序列进行切分，得到多个音频数据子序列；
[0020]本发明实施例中，将该音频数据序列进行切分而得到多个音频数据子序列的一种具体的实现方式可以包括下述子步骤:
[0021]首先，根据该音频数据序列所包含的数据总量、预设数量以及预设的固定帧重叠百分比，确定音频数据子序列所包含的数据总量；
[0022]然后，根据该固定帧重叠百分比以及确定出的音频数据子序列所包含的数据总量，将该音频数据序列进行切分，得到多个音频数据子序列。
[0023]在本发明的实施例中，音频数据序列一般是通过对实际的音频信号进行采样获得的；预设数量是指预先规定的将该音频数据序列切分而得到的音频数据子序列的个数，该预设数量也称固定的帧数；固定帧重叠百分比表示时间上相邻的两个音频数据子序列共有的音频数据的数量在音频数据子序列所包含的数据总量中的占比。
[0024]特别的，上述固定帧重叠百分比可以为O。
[0025]可选的，若该音频数据序列包含的是分布均匀的音频数据，即该音频数据序列所包含的、长度为单位时间长度的各音频数据子序列的数据量彼此相同，并且，该音频数据序列的时间长度能够被前文所述的预设数量所整除，那么，也可以不按照上述子步骤来对该音频数据序列进行切分，而是可以直接按照该音频数据序列的时间长度和预设数量，将该音频数据序列划分为时间长度彼此相等的多个音频数据子序列，且使得划分得到的多个音频数据子序列的数量等于预设数量。
[0026]可选的，为了便于后续对分别从对该音频数据序列进行切分而得到的各个音频数据子序列中提取出的指定特征进行组合，本发明实施例中，还可以对该音频数据序列切分而得到的该些音频数据子序列在时间上的排列顺序进行记录。
[0027]步骤12，针对对该音频数据序列进行如步骤11所述的切分而得到的每个音频数据序列执行:分别提取多个音频数据子序列中的每个音频数据子序列的指定特征；
[0028]本发明实施例中，为了平滑数据波形、降低杂音干扰，在从音频数据子序列中提取指定特征之前，还可以对获得的每个音频数据子序列进行预处理，得到预处理后的各个音频数据子序列。然后，再从预处理后的各个音频数据子序列中分别提取指定特征。本领域技术人员能够理解，如果不需要平滑数据波形、降低杂音干扰，也可以不执行对音频数据子序列的预处理。
[0029]一般的，对音频数据子序列进行预处理的方式有很多种，在本发明的实施例中，该方式可以但不限于包括下述方式中的一种或多种的组合:
[0030]零均值化处理、预加重处理以及加窗处理。由于零均值化处理、预加重处理以及加窗处理是现有技术中比较成熟的技术，而该些技术并非本发明的重点，因此不再赘述。
[0031]步骤13，将提取到的各个音频数据子序列的指定特征进行组合。组合得到的特征(往往为特征向量)即为该音频数据序列的特征(特征向量)。
[0032]可选的，本发明实施例中若记录了对该音频数据序列切分而得到的各音频数据子序列在时间上的排列顺序，则可以按记录的该排列顺序，对各个音频数据子序列的指定特征进行依次排列，而得到一个合成的特征。
[0033]由本发明实施例提供的上述方法可知:由于该方法可以保证从各个音频数据序列提取的特征向量的长度相等，使之能够适应不同时长的音频数据的共性特征的提取，从而本发明实施例提供的该方法具有较广的适用范围。
[0034]以下介绍本发明实施例提供的上述方法在实际中的一种具体应用流程。该应用流程包括如图2所示的下述步骤:
[0035]步骤21，采集一段音频数据序列，并对相应的采集信息进行记录，其中，该采集信息包括该音频数据序列的时间长度T和采样率K ；
[0036]步骤22，对采集到的该段音频数据序列进行切分，得到多个数据量相等的音频数据子序列；
[0037]具体地，先根据该音频数据序列的时间长度和采样率，得到该音频数据序列的数据总量K*T。然后，由于Κ*Τ满足下述公式[I]
[0038]K*T = N*X* (1-P) +Χ*Ρ [ I ]
[0039]从而可以计算出音频数据子序列所包含的数据总量X，如下式[2]所示:
[0040]X = K*T/ (N-N*P+P) [2]
[0041]其中，N为预设的固定帧数量，P为所述固定帧重叠百分比，T为该音频数据序列的时间长度，K为对原始音频进行采样而得到该音频数据序列时采用的采样率，κ*τ为该音频数据序列所包含的数据总量，X为音频数据子序列所包含的数据总量。
[0042]最后，根据固定帧重叠百分比P以及计算出的X，将该音频数据序列进行切分，得到多个数据量相等的音频数据子序列。
[0043]步骤23，对每个音频数据子序列进行预处理，得到预处理后的各个音频数据子序列；然后，分别从预处理后的各个音频数据子序列中提取指定特征；
[0044]可选的，在本发明的实施例中，因为帧数量是固定的，而总时长是变化的，所以频域相关的特征的稳定性会比时域相关的特征的稳定性高，因此上述指定特征一般可以是频域特征，比如美尔倒谱系数(MFCC)、线性预测倒谱系数(LPMFCC)等等，或者是它们的组合。这样，才能在音频数据的特征提取过程中达到更好的效果。
[0045]步骤24，将提取到的各个音频数据子序列的指定特征进行组合，按记录的多个音频数据子序列在时间上的排列顺序，将各个音频数据子序列的指定特征合成为一个特征向量，并确定该特征向量为各个音频数据子序列所对应的音频数据序列的特征向量。
[0046]例如，一段音频数据序列ABC在进行切分处理时，被依次切分为音频数据子序列Α、音频数据子序列B和音频数据子序列C，那么，从三个音频数据子序列A、B、C中分别提取出的与之相应的三个音频数据子序列的指定特征分别为a、b、c ;然后，按照切分时三个音频数据子序列在时间上的排列顺序，将三个音频数据子序列分别对应的指定特征a、b、c合成为一个特征向量abc，最后，确定该特征向量abc为该段音频数据序列ABC的特征向量。
[0047]其中，每个音频数据子序列的指定特征的长度是固定的，而且预设帧数量是固定的，则得到的每个音频数据序列的特征向量的长度也是固定的。
[0048]通过本发明实施例提供的技术方案，由于对一段已知类别的音频数据序列按预设的数量、固定帧重叠百分比以及该音频数据序列包含的数据总量，对该音频数据序列分别进行预设数量的分帧处理，可以保证从该音频数据序列提取的特征向量的长度是恒定的，进而能够从不同时长的音频数据序列提取出相等长度的指定特征，扩大了本发明实施例提供的该方法的适用范围。
[0049]对应于本发明实施例提供的音频数据的特征提取方法，本发明实施例还提供一种音频数据的特征提取装置，该装置的具体结构示意图如图3所示，其具体包括如下功能单元:
[0050]获得单元31，用于获得音频数据序列；
[0051]特征提取单元32，用于针对获得单元31获得的每个音频数据序列执行:将该音频数据序列进行切分，得到多个音频数据子序列；分别提取所述多个音频数据子序列中的每个音频数据子序列的指定特征；将提取到的各个音频数据子序列的指定特征进行组合；
[0052]其中，所述多个音频数据子序列的数量等于预设数量；且所述多个音频数据子序列中的每个音频数据子序列均包含相同的数据总量。
[0053]可选的，特征提取单元32具体可以用于:根据该音频数据序列所包含的数据总量、预设数量以及预设的固定帧重叠百分比，确定音频数据子序列所包含的数据总量；其中，固定帧重叠百分比表示时间上相邻的两个音频数据子序列共有的音频数据的数量在音频数据子序列所包含的数据总量中的占比；
[0054]根据固定帧重叠百分比以及确定出的音频数据子序列所包含的数据总量，将该音频数据序列进行切分，得到多个音频数据子序列，并对多个音频数据子序列在时间上的排列顺序进行记录。
[0055]可选的，特征提取单元32具体可以用于:通过采用下述公式，计算音频数据子序列所包含的数据总量:
[0056]X = K*T/ (Ν_Ν*Ρ+Ρ)
[0057]其中，N为预设数量，P为固定帧重叠百分比，T为该音频数据序列的时间长度，K为原始音频进行采样而得到该音频数据序列时采用的采样率，Κ*Τ为该音频数据序列所包含的数据总量，X为音频数据子序列所包含的数据总量。
[0058]可选的，特征提取单元32具体可以用于:
[0059]对每个音频数据子序列进行预处理，得到预处理后的各个音频数据子序列；从预处理后的各个音频数据子序列中分别提取指定特征。其中，预处理具体包括下述方式中的一种或多种的组合:
[0060]零均值化处理；预加重处理；加窗处理。
[0061]可选的，本发明实施例提供的该装置还可以包括:记录单元，用于在特征提取单元32将该音频数据序列进行切分，得到多个音频数据子序列时，对得到的多个音频数据子序列在时间上的排列顺序进行记录。基于该记录单元的功能，特征提取单元32具体可以用于:按该记录单元记录的多个音频数据子序列在时间上的排列顺序，将各个音频数据子序列的指定特征合成为一个特征向量。
[0062]本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
[0063]本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0064]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0065]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0066]尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0067]显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
【权利要求】
1.一种音频数据的特征提取方法，其特征在于，包括: 获得音频数据序列； 针对获得的每个音频数据序列执行:将该音频数据序列进行切分，得到多个音频数据子序列；分别提取所述多个音频数据子序列中的每个音频数据子序列的指定特征；将提取到的各个音频数据子序列的指定特征进行组合； 其中，所述多个音频数据子序列的数量等于预设数量；且所述多个音频数据子序列中的每个音频数据子序列均包含相同的数据总量。
2.如权利要求1所述的方法，其特征在于，将该音频数据序列进行切分，得到多个音频数据子序列，具体包括: 根据该音频数据序列所包含的数据总量、所述预设数量以及预设的固定帧重叠百分t匕，确定音频数据子序列所包含的数据总量；其中，所述固定帧重叠百分比表示时间上相邻的两个音频数据子序列共有的音频数据的数量在音频数据子序列所包含的数据总量中的[tTt 匕 5 根据所述固定帧重叠百分比以及确定出的音频数据子序列所包含的数据总量，将该音频数据序列进行切分，得到所述多个音频数据子序列。
3.如权利要求2所述的方法，其特征在于，根据该音频数据序列所包含的数据总量、所述预设数量以及预设的固定帧重叠百分比，确定音频数据子序列所包含的数据总量，具体包括: 通过采用下述公式，计算音频数据子序列所包含的数据总量:
X = K*T/(Ν-Ν*Ρ+Ρ) 其中，N为所述预设数量，P为所述固定帧重叠百分比，T为该音频数据序列的时间长度，K为原始音频进行采样而得到该音频数据序列时采用的采样率，Κ*Τ为该音频数据序列所包含的数据总量，X为音频数据子序列所包含的数据总量。
4.如权利要求1所述的方法，其特征在于，分别提取所述多个音频数据子序列中的每个音频数据子序列的指定特征，具体包括: 对所述每个音频数据子序列进行预处理，得到预处理后的各个音频数据子序列； 从预处理后的各个音频数据子序列中分别提取指定特征； 其中，所述预处理具体包括下述方式中的一种或多种的组合: 零均值化处理；预加重处理；加窗处理。
5.如权利要求1所述的方法，其特征在于，所述方法还包括: 将该音频数据序列进行切分，得到多个音频数据子序列时，对所述多个音频数据子序列在时间上的排列顺序进行记录；则 将提取到的各个音频数据子序列的指定特征进行组合，具体包括: 按记录的所述多个音频数据子序列在时间上的排列顺序，将所述各个音频数据子序列的指定特征合成为一个特征向量。
6.一种音频数据的特征提取装置，其特征在于，包括: 获得单元，用于获得音频数据序列； 特征提取单元，用于针对获得单元获得的每个音频数据序列执行:将该音频数据序列进行切分，得到多个音频数据子序列；分别提取所述多个音频数据子序列中的每个音频数据子序列的指定特征；将提取到的各个音频数据子序列的指定特征进行组合； 其中，所述多个音频数据子序列的数量等于预设数量；且所述多个音频数据子序列中的每个音频数据子序列均包含相同的数据总量。
7.如权利要求6所述的装置，其特征在于，所述特征提取单元具体用于:根据该音频数据序列所包含的数据总量、所述预设数量以及预设的固定帧重叠百分比，确定音频数据子序列所包含的数据总量；其中，所述固定帧重叠百分比表示时间上相邻的两个音频数据子序列共有的音频数据的数量在音频数据子序列所包含的数据总量中的占比； 根据所述固定帧重叠百分比以及确定出的音频数据子序列所包含的数据总量，将该音频数据序列进行切分，得到所述多个音频数据子序列，对所述多个音频数据子序列在时间上的排列顺序进行记录。
8.权利要求7所述的装置，其特征在于，所述特征提取单元具体用于: 通过采用下述公式，计算音频数据子序列所包含的数据总量:
X = Κ*Τ/ (Ν-Ν*Ρ+Ρ) 其中，N为所述预设数量，P为所述固定帧重叠百分比，T为该音频数据序列的时间长度，K为原始音频进行采样而得到该音频数据序列时采用的采样率，Κ*Τ为该音频数据序列所包含的数据总量，X为音频数据子序列所包含的数据总量。
9.如权利要求6所述的装置，其特征在于，所述特征提取单元具体用于:: 对所述每个音频数据子序列进行预处理，得到预处理后的各个音频数据子序列； 从预处理后的各个音频数据子序列中分别提取指定特征； 其中，所述预处理具体包括下述方式中的一种或多种的组合: 零均值化处理；预加重处理；加窗处理。
10.如权利要求6所述的装置，其特征在于，所述装置还包括: 记录单元，用于在所述特征提取单元将该音频数据序列进行切分，得到多个音频数据子序列时，对所述多个音频数据子序列在时间上的排列顺序进行记录；则 所述特征提取单元具体用于:按记录单元记录的所述多个音频数据子序列在时间上的排列顺序，将所述各个音频数据子序列的指定特征合成为一个特征向量。
【文档编号】G10L15/02GK104240697SQ201310255723
【公开日】2014年12月24日 申请日期:2013年6月24日 优先权日:2013年6月24日
【发明者】谢志明, 潘石柱, 张兴明, 傅利泉, 朱江明, 吴军, 吴坚 申请人:浙江大华技术股份有限公司