一种高效的语音检测方法

一种高效的语音检测方法
【专利摘要】本发明公开了一种语音检测方法，该方法包括以下步骤：在时域上分析原始音频的短时能量和短时过零率，剔除其中的部分非语音信号；在频域上分析保留下来的音频信号子带的谱包络特性和子带的熵特性，进一步剔除其中的部分非语音信号；将保留的各帧音频信号中特征相似的连续帧组成音频段；计算每段音频中各帧梅尔倒谱系数的均值，将其分别输入到语音高斯混合模型和各种非语音高斯混合模型中，根据各模型的输出概率对于该音频段中是否包含语音数据进行段级决策，最终得到语音检测结果。本发明能够在各种复杂环境下从音频数据流中检测到语音信号，可以相对准确的定位语音段数据和非语音段数据之间的边界。
【专利说明】一种高效的语音检测方法
【技术领域】
[0001]本发明涉及智能信息处理领域，尤其是一种高效的语音检测方法。
【背景技术】
[0002]语音是人类交流信息的主要手段之一，语音检测技术一直在语音信号处理领域中占据重要的地位；语音检测系统作为语音识别、说话人识别、语音编码等预处理模块，它的鲁棒性将直接影响着其它语音处理模块的性能。面对各种复杂环境下的随机噪声，如何通过一种高效的手段准确的定位到语音段数据，有效的区分语音和非语音信号，已经成为目前国内外的研究热点，越来越受到广泛关注。语音检测系统具有重大的实用价值，高质量的鲁棒语音检测技术在各种通信系统、多媒体系统、语音识别系统和声纹识别系统中都得到了普遍的应用。
[0003]目前主流的语音检测方法主要包括基于参数的语音检测方法和基于模型的语音检测方法。基于参数的语音检测方法从信号层对语音信号进行分析，在时域、频域或其它变换域中计算语音参数，通过设置合理的阈值检测音频流中是否包含语音；常用的语音参数包括短时能量、短时过零率、各频带的能量比重、谐波成分等。基于模型的语音检测方法通过大规模语音数据训练模型，通过智能化的数学模型准确的区分语音信号和各种非语音信号；常用的方法包括基于高斯混合模型的语音检测方法、基于人工神经网络的语音检测方法、基于隐马尔科夫模型的语音检测方法等。基于模型的语音检测方法需要对大规模数据进行标注以训练可靠的语音检测模型，属于有监督的语音检测方法；基于参数的语音检测方法无需训练数学模型，属于无监督的语音检测方法。目前各种主流的语音检测方法，在各种安静环境下可以快速准确的检测到语音信号；在平稳噪声环境下和各种高信噪比的非平稳噪声环境下语音检测系统具有较高的准确率；但是，面对各种复杂环境下的各种非平稳随机噪声，语音检测系统的性能下降严重。

【发明内容】

[0004]为解决上述的一个或多个问题，本发明提供了一种高效的语音检测方法，在各种复杂环境下，能够快速、准确的从音频流中检测到语音信号，可以相对准确的定位语音段数据和非语音段数据之间的边界。
[0005]本发明提供的一种语音检测方法包括以下步骤:
[0006]步骤S10，获取原始音频，在时域上分析所述原始音频的短时能量和短时过零率，通过短时能量和短时过零率剔除原始音频中的部分非语音信号；
[0007]步骤S20，对于所述步骤SlO保留下来的音频信号，在频域上分析其子带的谱包络特性和子带的熵特性，进一步剔除所述音频信号中的部分非语音信号；
[0008]步骤S30，对于保留下来的各待甄别帧的音频信号，将特征相似的连续若干帧组成一个音频段；
[0009]步骤S40，对于每个待甄别音频段，通过高斯混合模型对于该音频段中是否包含语音数据进行段级决策，最终得到语音检测结果。
[0010]从上述技术方案可以看出，本发明提供了一种高效鲁棒的语音检测方法，其具有以下有益效果:
[0011](I)本发明提供的语音检测方法可以应用到各种语音识别系统的前端模块，通过该模块可以准确的剔除待识别音频流中的非语音数据，提高语音识别系统的效率和鲁棒性；
[0012](2)本发明提供的语音检测方法可以应用到各种语音编码系统的前端模块，通过该模块可以准确的定位语音段数据和非语音段数据的边界，使语音编码系统只对语音段数据进行传输，提高通信效率；
[0013](3)本发明提供的语音检测方法可以在各种平稳和非平稳随机噪声环境下快速、准确的检测到语音数据；可以有效的区分语音信号和各种非语音信号，不受说话人、环境和语种的限制。
【专利附图】

【附图说明】
[0014]图1为根据本发明一实施例的语音检测方法的流程图；
[0015]图2为根据本发明一实施例的语音检测方法中时域分析部分的流程图；
[0016]图3为根据本发明一实施例的语音检测方法中频域分析部分的流程图；
[0017]图4为根据本发明一实施例的语音检测方法中音频帧聚类部分的流程图；
[0018]图5为根据本发明一实施例的语音检测方法中通过高斯混合模型进行段级决策的流程图；
[0019]图6为根据本发明一实施例的语音检测方法中高斯混合模型的离线训练过程的流程图。
【具体实施方式】
[0020]为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
[0021]需要说明的是，在附图或说明书描述中，相似或相同的部分都使用相同的图号。附图中未绘示或描述的实现方式，为所属【技术领域】中普通技术人员所知的形式。另外，虽然本文可提供包含特定值的参数的示范，但应了解，参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应的值。
[0022]本发明提出了一种高效的语音检测机制。该机制对音频流进行两个阶段的语音检测。首先通过时域特征和频域特征将原始音频分为非语音数据和待甄别数据，然后通过语谱图特征对待甄别数据进行分段，通过语音数据的高斯混合模型和非语音数据的高斯混合模型逐段进行语音检测。
[0023]总的来说，所述语音检测方法包括时域分析步骤、频域分析步骤、音频聚类步骤和段级决策步骤，图1为根据本发明一实施例的语音检测方法的流程图，如图1所示，所述语音检测方法包括以下步骤:
[0024]步骤S10，获取原始音频，在时域上分析所述原始音频的短时能量和短时过零率，通过短时能量和短时过零率剔除原始音频中的部分非语音信号；[0025]利用短时能量可以有效的检测出浊音，利用短时过零率可以有效的检测出清音，融合这两种参数就可以有效的剔除部分非语音信号。
[0026]图2为根据本发明一实施例的语音检测方法中时域分析部分的流程图，如图2所示，所述步骤SlO进一步包括如下步骤:
[0027]步骤S11，将原始音频等间隔分成若干帧，计算每帧原始音频的短时能量和短时过
零率；
[0028]步骤S12，将每帧原始音频的短时能量和短时过零率分别与预先设定的低、高两个门限进行比较，根据比较结果将每帧原始音频分为静音段、过渡段和语音段，去除所述原始音频中的静音段和过渡段信号，仅保留语音段信号。
[0029]所述将每帧原始音频的短时能量和短时过零率分别与预先设定的低、高两个门限进行比较，根据比较结果将每帧原始音频分为静音段、过渡段和语音段的步骤具体为:如果所述短时能量或短时过零率超过低门限，则标记进入过渡段；在过渡段中，若两个参数都回落到低门限以下则进入到静音段；在过渡段中，若两个参数中的任意一个超过高门限，则认为进入语音段；在语音段中，若两个参数都降到低门限以下，并且持续时间超过一预定阈值，则认为语音段结束。
[0030]步骤S20，对于所述步骤SlO保留下来的音频信号，在频域上分析其子带的谱包络特性和子带的熵特性，进一步剔除所述音频信号中的部分非语音信号；
[0031]在频域上分析子带的谱包络特性包括以下步骤:
[0032]首先，将所述音频信号分成若干子带；
[0033]然后，分别在各子带的频率范围内进行带通滤波，得到各子带的音频信号；
[0034]然后，对各子带音频信号进行希尔伯特变换，得到各子带的谱包络；
[0035]最后，对包含明显的共振峰特性的子带和包含更多的噪声成分的子带分析其谱包络信号的统计特性。
[0036]所述谱包络信号的统计特性包括谱包络的均值和方差，具体需要计算的特征为:(I)包含明显共振峰特性的子带谱包络方差；(2)包含明显共振峰特性的子带谱包络与包含更多噪声成分的子带谱包络的均值差。
[0037]在频域上分析子带的熵特性包括以下步骤:
[0038]首先，在长跨度模式下，利用当前帧和与其相邻的若干帧计算当前帧各频点的熵；
[0039]然后，在特定子带范围内统计熵的均值和方差以确定当前语音帧的复杂度。
[0040]这样融合短跨度模式下的子带谱包络特性和长跨度模式下的子带熵特性就可以进一步剔除部分非语音信号，具体为:
[0041]对于每帧语音信号，利用子带的谱包络特性和子带的熵特性，在各种复杂的背景噪声下对语音信号进行频域分析，进而对语音信号和非语音信号进行分类，进一步剔除部分非语音信号。
[0042]图3为根据本发明一实施例的语音检测方法中频域分析部分的流程图，如图3所示，根据子带的谱包络特性和子带的熵特性，进一步剔除所述音频信号中的部分非语音信号的步骤包括以下步骤:
[0043]步骤S21，对于每帧语音信号，首先对其进行高通滤波以去除工频信号的干扰，在本发明一实施例中，所述高通滤波器选择4阶切比雪夫高通滤波器，然后对经过高通滤波的音频信号进行加窗处理，在本发明一实施例中，窗函数选择汉明窗；
[0044]步骤S22，将加窗处理后的音频信号分成N个频段，在本发明一实施例中，所述音频信号被分成 O — 500Hz，500— 1000Hz，1000—2000Hz, 2000—3000Hz 和 3000— 4000Hz 共五个频段，在这些频段范围内分别对所述音频信号进行带通滤波，得到N个子带的音频信号，在本发明一实施例中，带通滤波器采用6阶巴特沃斯滤波器；
[0045]步骤S23，对各子带的音频信号进行希尔伯特变换，得到相应的谱包络信号；
[0046]对于浊音信号，500— 1000Hz频带的谱包络包含明显的共振峰特性；而在带噪环境下，3000— 4000Hz频带的谱包络包含更多的噪声成分，在本发明一实施例中，只对500—1000Hz和3000— 4000Hz两个子带进行希尔伯特变换。
[0047]步骤S24，对所述步骤S23得到的谱包络信号进行统计特性分析，在相应子带范围内计算它们的均值和方差，进而得到谱包络判决输出；
[0048]设μ !表示500— 1000Hz子带谱包络的均值，μ 2表示3000— 4000Hz子带谱包络
的均值，01和02分别表示上述两个子带的方差，设置谱包络判决输出为VADmveltjpe，则它可以表示为:
[0049]VADenvelope= σ 2-( μ 2-μ 5)，
[0050]这样该步骤就通过 对子带谱包络的分析，得到了判决输出VADmvel_。
[0051]步骤S25，对当前帧音频信号和相邻若干帧的音频信号计算傅里叶幅度谱，得到不同帧各频率点的傅里叶幅值；针对不同的频率点，利用相邻若干帧计算当前帧在该频率点处的熵；在包含明显的共振峰特性的子带范围内(在本发明一实施例中，选择500— 1000Hz频带)计算各频率点熵的方差，作为长跨度判决输出VADmtajpy ；
[0052]步骤S26，融合所述步骤S24和步骤S25得到的两个判决输出进行综合判决，得到最终的频域判决结果VADfrai，表示为:
[0053]VADfreq- ω JADentropy+ ω 2VADentropy,
[0054]如果频域判决结果VAD一高于一门限值，则将该帧标注为语音帧，如果VADfrai低于该门限值则将该帧标注为非语音帧，另外，标注为语音帧的数据需要进行长度扩展，将语音段的起始帧向前扩展3帧，将语音段的收尾帧向后扩展3帧。
[0055]这样处理后的音频信号就进一步剔除了部分非语音信号。
[0056]步骤S30，对于保留下来的各待甄别帧的音频信号，将特征相似的连续若干帧组成一个音频段，后续以音频段为单位进行语音检测；
[0057]图4为根据本发明一实施例的语音检测方法中音频帧聚类部分的流程图，如图4所示，所述步骤S30进一步包括以下步骤:
[0058]步骤S31，对于各待甄别帧的音频信号，考虑人耳听觉感知特性，在梅尔域将所述音频信号分成若干子带，即通过梅尔滤波器得到各子带的音频信号；
[0059]步骤S32，对每帧音频信号计算各子带的熵，以度量各子带能量的比重，根据听觉感知特性设置各子带的权重，能够反映共振峰特性的低频子带权重相对较大，而高频子带的权重相对较小；
[0060]步骤S33，以各子带的熵为特征参数，计算相邻语音帧的相似度，在计算过程中考虑各子带的权重，然后根据现有技术中常用的度量函数将特征相似的相邻帧归为一个音频段，对于每个音频段中的各帧数据，它们之间的距离小于阈值τ。
[0061]通过上述方法，就可以基于语音帧各子带的熵将音频信号分成若干音频段，每个音频段中包含相似的语音帧，后续以音频段为单位进行语音检测。
[0062]步骤S40，对于每个待甄别音频段，分别计算段内各帧梅尔倒谱系数的均值，将得到的均值参数分别输入到语音高斯混合模型和各种非语音高斯混合模型中，根据各模型的输出概率对于该音频段中是否包含语音数据进行段级决策，最终得到语音检测结果。
[0063]图5为根据本发明一实施例的语音检测方法中通过高斯混合模型进行段级决策的流程图，如图5所示，所述步骤S40具体为:先提取待甄别音频段内各帧的M阶比如13阶静态梅尔倒谱系数，然后分别计算它们的一阶差分和二阶差分，最终得到3*Μ维梅尔倒谱系数；计算各帧梅尔倒谱系数的均值，利用3*Μ维梅尔倒谱系数的均值进行语音检测:将3*Μ维梅尔倒谱系数的均值分别输入到语音信号的高斯混合模型和各种非语音信号的高斯混合模型中，如果输入到语音信号的高斯混合模型时输出的概率最大则判定该段为语音信号，否则判定为非语音信号。
[0064]所述步骤S40中，还需要选择各种类型的音频对语音信号的高斯混合模型和各种非语音信号的高斯混合模型进行训练，这样可以保证模型的鲁棒性，提高语音检测的准确率，在训练时需要对每个音频文件的类别进行标注。
[0065]图6为根据本发明一实施例的语音检测方法中高斯混合模型的离线训练过程的流程图，如图6所示，对于高斯混合模型的训练进一步包括以下步骤:
[0066]步骤S41，对于全部训练音频库进行音频过滤；分别采用所述步骤SlO和步骤S20的方法对音频信号进行时域和频域分析，剔除其中的部分非语音信号，后续步骤只对剩余的待甄别音频信号进行训练；
[0067]步骤S42，根据音频类别标注对过滤后的音频信号进行分类，即将过滤后的音频信号分为语音信号和非语音信号，对于非语音信号需要根据音频信号的特点对它们进行进一步的分类(在本发明一实施例中，将非语音信号分为背景音乐、动物声音、平稳噪声和非平稳噪声，对不同类型的非语音分别训练高斯混合模型)；
[0068]步骤S43，对分类后的音频信号以帧为单位提取梅尔倒谱系数，先提取M阶静态参数，然后分别计算它们的一阶差分和二阶差分，最终提取得到3*Μ维参数，采用所述步骤S30的方法将特征相似的连续若干帧组成一个音频段，分别计算段内各帧梅尔倒谱系数的均值，将其作为训练高斯混合模型的特征参数；
[0069]步骤S44，对语音信号和不同类别的非语音信号采用3*Μ阶的梅尔倒谱系数分别进行高斯混合模型的训练，即通过EM迭代训练确定不同高斯混合模型中各个高斯成分的权重、均值和方差，在本发明一实施例中，各高斯混合模型中包含32个高斯成分。
[0070]综上所述，本发明提出了一种高效的语音检测方法，该机制对音频流进行两个阶段的语音检测。首先在时域上和频域上对语音信号进行分析，通过设置合理的参数阈值将语音信号分为非语音数据和待甄别数据。然后通过鲁棒的参数模型对待甄别数据进行检测，判断其中是否包含语音。本发明提供的语音检测方法可以在各种平稳和非平稳随机噪声环境下快速、准确的检测到语音数据；可以有效的区分语音信号和各种非语音信号，不受说话人、环境和语种的限制。
[0071]需要说明的是，上述对各部件的实现方式并不仅限于实施方式中提到的各种实现方式，本领域的普通技术人员可对其进行简单地熟知地替换，例如:
[0072](I)对语音信号进行频域分析时，根据人耳的听感特性，将频带划分成0-500HZ、500-1000Hz、1000-2000Hz、2000-3000Hz、3000-4000Hz 共五个子带在频域上对语音信号进行分析。可以使用其它的子带划分方法进行替代，如使用梅尔滤波器划分各个子带。
[0073](2)建立高斯混合模型过程中，规定的混合高斯模型个数也可以进行调整，如语音高斯混合模型包含32个高斯分布，非语音高斯混合模型包含64个高斯分布。
[0074]以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种语音检测方法，其特征在于，该方法包括以下步骤: 步骤S10，获取原始音频，在时域上分析所述原始音频的短时能量和短时过零率，通过短时能量和短时过零率剔除原始音频中的部分非语音信号； 步骤S20，对于所述步骤SlO保留下来的音频信号，在频域上分析其子带的谱包络特性和子带的熵特性，进一步剔除所述音频信号中的部分非语音信号； 步骤S30，对于保留下来的各待甄别帧的音频信号，将特征相似的连续若干帧组成一个音频段； 步骤S40，对于每个待甄别音频段，通过高斯混合模型对于该音频段中是否包含语音数据进行段级决策，最终得到语音检测结果。
2.根据权利要求1所述的方法，其特征在于，所述步骤SlO进一步包括如下步骤: 步骤S11，将原始音频等间隔分成若干帧，计算每帧原始音频的短时能量和短时过零率； 步骤S12，将每帧原始音频的短时能量和短时过零率分别与预先设定的低、高两个门限进行比较，根据比较结果将每帧原始音频分为静音段、过渡段和语音段，去除所述原始音频中的静音段和过渡 段信号，仅保留语音段信号。
3.根据权利要求2所述的方法，其特征在于，如果所述短时能量或短时过零率超过低门限，则标记进入过渡段；在过渡段中，若两个参数都回落到低门限以下则进入到静音段；在过渡段中，若两个参数中的任意一个超过高门限，则认为进入语音段；在语音段中，若两个参数都降到低门限以下，并且持续时间超过一预定阈值，则认为语音段结束。
4.根据权利要求1所述的方法，其特征在于，所述步骤S20中，在频域上分析各子带的谱包络的统计特性包括以下步骤: 首先，将所述音频信号分成若干子带； 然后，分别在各子带的频率范围内进行带通滤波，得到各子带的音频信号； 然后，对各子带音频信号进行希尔伯特变换，得到各子带的谱包络； 最后，对包含明显的共振峰特性和包含更多的噪声成分的子带分析其谱包络信号的统计特性。
5.根据权利要求4所述的方法，其特征在于，所述谱包络信号的统计特性包括谱包络的均值和方差，具体需要计算的特征为:包含明显共振峰特性的子带谱包络方差；包含明显共振峰特性的子带谱包络与包含更多噪声成分的子带谱包络的均值差。
6.根据权利要求1所述的方法，其特征在于，所述步骤S20中，在频域上分析子带的熵特性包括以下步骤: 首先，在长跨度模式下，利用当前帧和与其相邻的若干帧计算当前帧各频点的熵； 然后，在特定子带范围内统计熵的均值和方差以确定当前语音帧的复杂度。
7.根据权利要求1所述的方法，其特征在于，所述步骤S20中，根据各子带的谱包络统计特性和熵特性，进一步剔除所述音频信号中的部分非语音信号的步骤包括以下步骤: 步骤S21，对于每帧语音信号，首先对其进行高通滤波以去除工频信号的干扰，然后对经过高通滤波的音频信号进行加窗处理； 步骤S22，将加窗处理后的音频信号分成N个频段，在这些频段范围内分别对所述音频信号进行带通滤波，得到N个子带的音频信号；步骤S23，对各子带的音频信号进行希尔伯特变换，得到相应的谱包络信号； 步骤S24，对所述步骤S23得到的谱包络信号进行统计特性分析，得到谱包络判决输出； 步骤S25，对当前帧音频信号和相邻若干帧的音频信号计算傅里叶幅度谱，得到不同帧各频率点的傅里叶幅值；针对不同的频率点，利用相邻若干帧计算当前帧在该频率点处的熵；在包含明显的共振峰特性的子带范围内计算各频率点熵的方差，作为长跨度判决输出； 步骤S26，融合所述步骤S24和步骤S25得到的两个判决输出进行综合判决，得到最终的频域判决结果；如果频域判决结果高于一门限值，则将该帧标注为语音帧，如果低于该门限值则将该帧标注为非语音帧。
8.根据权利要求1所述的方法，其特征在于，所述步骤S30进一步包括以下步骤: 步骤S31，对于各待甄别帧的音频信号，考虑人耳听觉感知特性，在梅尔域将所述音频信号分成若干子带； 步骤S32，对每帧音频信号计算各子带的熵，以度量各子带能量的比重，根据听觉感知特性设置各子带的权重； 步骤S33，以各子带的熵为特征参数，计算相邻语音帧的相似度，在计算过程中考虑各子带的权重，然后根据度量函数将特征相似的相邻帧归为一个音频段。
9.根据权利要求1所述的方法，其特征在于，所述步骤S40具体为: 对于每个待甄别音频段，分别计算段内各帧梅尔倒谱系数的均值，将得到的均值参数分别输入到语音高斯混合模型和各种非语音高斯混合模型中，根据各模型的输出概率对于该音频段中是否包含语音数据进行段级决策，最终得到语音检测结果。
10.根据权利要求1所述的方法，其特征在于，对于所述步骤S40中高斯混合模型的训练具体为: 步骤S41，对于全部训练音频库进行音频过滤，分别采用所述步骤SlO和步骤S20的方法对音频信号进行时域和频域分析，剔除其中的部分非语音信号，后续步骤只对剩余的待甄别音频信号进行训练； 步骤S42，根据音频类别标注对过滤后的音频信号进行分类，即将过滤后的音频信号分为语音信号和非语音信号； 步骤S43，对分类后的音频信号以帧为单位提取梅尔倒谱系数，先提取M阶静态参数，然后分别计算它们的一阶差分和二阶差分，最终提取得到3*M维参数，采用所述步骤S30的方法将特征相似的连续若干帧组成一个音频段，分别计算段内各帧梅尔倒谱系数的均值，将其作为训练高斯混合模型的特征参数； 步骤S44，对语音信号和不同类别的非语音信号分别进行高斯混合模型的训练，即通过EM迭代训练确定不同高斯混合模型中各个高斯成分的权重、均值和方差。
【文档编号】G10L25/78GK103646649SQ201310743203
【公开日】2014年3月19日 申请日期:2013年12月30日 优先权日:2013年12月30日
【发明者】陶建华, 刘斌 申请人:中国科学院自动化研究所