基准模型适应装置、集成电路、av设备、在线自适应方法以及其程序的制作方法

专利名称：基准模型适应装置、集成电路、av设备、在线自适应方法以及其程序的制作方法
技术领域：
本发明涉及一种声音空间的基准模型的在线自适应。
背景技术：
近年来，DVD播放器、BD播放器等各种再生装置、摄像机等的录像装置等随着其记录容量的大容量化而记录有大量的视频内容。随着视频内容的大量化，在这些装置中，期望能够在不给用户造成负担的情况下实现易于对这些的视频内容进行分类。另外，这样的装置可生成分类(digest)视频以使得用户能简单识别各个视频内容的内容。作为这样的分类或者分类视频的生成用的指标，有利用视频内容的音频流的情形。这是由于在视频内容与其音频流之间存在密切的关联性。例如，在小孩子相关的视频内容中，当然会包含有大量的小孩子的声音，在对海水浴等摄影得到的视频内容中，会包含有大量的海浪声音。由此，能够根据视频内容的声音特征对视频内容进行分类。关于利用音频流对视频内容进行分类的方法，主要有以下三种方法。第一种是预先存储基于具有某种特征的音声片段的声音模型，根据该模型与视频内容的音频流中所含的音声特征之间的关联性程度(似然)来对视频内容进行分类的方法。在此，概率模型是以诸如小孩子的笑声、波浪的声音、烟火的声音等各种特征音声为基础而得到的模型，在判断为包含有大量波浪声音的音频流的情况下，则将视频内容分类为海水浴的分类中。第二种是在声音空间上确立基准模型(用于表现各种音声的模型)，其后，生成将视频内容的音频流的音声信息向该声音空间进行投影所得到的模型。其后，通过对投影所得到的模型与所确立的各基准模型之间的距离进行计算来进行视频内容的分类的方法。第三种是在第二种的方法中，不对投影所得到的模型与所确立的各基准模型之间的距离进行计算，而是利用诸如KL的距离或者散度距离的方法。无论是上述哪种方法的情况下，为了执行分类都需要使用声音模型(基准模型 anchor model)，为了生成该声音模型而需要预先收集一定程度数量的训练用的视频内容。 这是由于要利用所收集的视频内容的音频流来进行训练。对于声音模型的确立具有以下两种方法，即，第1种方法，用户预先收集某种程度相似的若干个音声，由此来生成相似音声的高斯模型(GMM =Gaussian Mixture Model)；第 2种方法，装置从无区分地收集的音声中选出若干个恰当的音声，来生成在声音空间中的基准模型。关于第1种方法，其已经应用于语音识别或者图像识别等中，可例举出通过该方法而已经获得成功的大量示例。根据第1种方法来生成高斯模型的情况下，针对模型确立所需的音声或视频的种类，利用最大似然法(MLE =Maximum Likelihood Estimation)来对模型的参数进行估计。训练后的声音模型(高斯模型)要求忽视次要特征，并要求能够精确地描述模型确立时所需的音声、视频的种类的特征。
第2种方法中，期望所生成的基准模型能够表现更广的声音空间。该情况下的模型参数估计采用K-means法的聚类、LBG法(Linde-Buzo-Gray algorithm)，或者EM法 (Estimation Maximization algorithm)。专利文献1中揭示了利用上述方法中的第一种方法来提取动图像中的精彩场面的方法。专利文献1中揭示了利用拍手声、喝彩声、打球声、音乐等的声音模型来对动图像进行分类，由此来提取精彩场面。专利文献1 JP特开2004-258659号公报但是，在上述那样地对视频内容进行分类时，会遇到不能取得要分类的视频内容的音频流与所存储的基准模型之间的匹配的问题。也就是说，利用原来所存储的基准模型， 不能严格地对要进行分类的对象视频内容的音频流的类别进行确定，或者说，不能恰当地进行分类。这样的不匹配会导致系统性能低下、可靠性低下，所以不为优选。因此，则需要有基于实际所输入的音频流对基准模型进行调整的技术。在本领域中，有一种被称为“在线自适应法”的对该基准模型进行调整的技术。但是，现有的在线自适应法虽是利用基于最大似然法的 MAP(Maximum-A-Posteriory estimation method)禾口 MLLR(Maximum Likelihood Linear Regression)算法，对于以基准模型所表现的声音空间模型进行自适应，但该方法对该声音空间外的音声存在总不能恰当地进行评价或者到可评价为止需要较长时间等的问题。对该问题进行具体说明。假设存在有某种程度长度的音频流，且其中稍微包含有具有某种特征的音声。并且，假设在所预先准备的某个声音模型中不存在能对具有该某种特征的音声进行评价的信息。这样，为了对具有该某种特征的音声进行正确评价，则需要对声音模型进行自适应。但是，最大似然法的情况下，且这样的具有某种特征的音声相对于具有该某种程度的长度的音频流的比例处于较低(长度较短)的情况下，向声音模型的映射率将成为极端的小。具体而言，例如在具有1小时长度的视频内容中恰好有30秒程度的小孩子哭声，当不存在与某种哭声相对应的基准模型的情况下，由于该哭声相对于视频内容的长度较短，即使进行基准模型的自适应，向基准模型的映射率也较低，即使接下来再对哭声进行评价也不能恰当地进行评价。

发明内容
本发明是鉴于上述课题而开发的，目的在于提供一种对声音空间的基准模型较现有技术能更恰当地执行在线自适应的基准模型适应装置、基准模型适应方法以及其程序。为解决上述课题，本发明所涉及的基准模型适应装置的特征在于具备存储单元， 其存储有多个基准模型，该基准模型是基于具有单一声音特征的音声所生成的多个概率模型的集合；输入单元，其受理音频流的输入；分割单元，其将所述音频流分割成被估计为具有单一声音特征的片段数据；估计单元，其对每个所述片段数据的概率模型进行估计；以及聚类单元，其针对用于表示所述存储单元中存储的多个基准模型的每一个的多个概率模型与所述估计单元所估计的概率模型进行聚类，来生成新的基准模型。另外，本发明所涉及的在线自适应方法用于在基准模型适应装置中进行基准模型的在线自适应，所述基准模型适应装置具有存储单元，该存储单元存储有多个基准模型，该基准模型是基于具有单一声音特征的音声所生成的多个概率模型的集合，所述在线自适应
5方法的特征在于包括输入步骤，受理音频流的输入；分割步骤，将所述音频流分割成被估计为具有单一声音特征的片段数据；估计步骤，对每个所述片段数据的概率模型进行估计； 以及聚类步骤，对用于表示所述存储单元中存储的多个基准模型的每一个的多个概率模型与所述估计步骤中所估计的概率模型进行聚类，来生成新的基准模型。在此，“在线自适应”是指，根据所输入的音频流，对用于表现某种声音特征的基准模型，为了进行更恰当地表现声音空间而对基准模型进行适应(补正以及生成)，本说明书中，“在线自适应”的用语是表示该意思。另外，本发明所涉及的集成电路其特征在于具备存储单元，其存储有多个基准模型，该基准模型是基于具有单一声音特征的音声所生成的多个概率模型的集合；输入单元， 其受理音频流的输入；分割单元，其将所述音频流分割成被估计为具有单一声音特征的片段数据；估计单元，其对每个所述片段数据的概率模型进行估计；以及聚类单元，其对用于表示所述存储单元中存储的多个基准模型的每一个的多个概率模型与所述估计单元所估计的概率模型进行聚类，来生成新的基准模型。另外，本发明所涉及的AV(Audic) Video)设备的特征在于具备存储单元，其存储有多个基准模型，该基准模型是基于具有单一声音特征的音声所生成的多个概率模型的集合；输入单元，其受理音频流的输入；分割单元，其将所述音频流分割成被估计为具有单一声音特征的片段数据；估计单元，其对每个所述片段数据的概率模型进行估计；以及聚类单元，其对用于表示所述存储单元中存储的多个基准模型的每一个的多个概率模型与所述估计单元所估计的概率模型进行聚类，来生成新的基准模型。另外，本发明所涉及的在线自适应程序表示使计算机执行基准模型的在线自适应的处理顺序，所述计算机具备存储器，该存储器存储有多个基准模型，该基准模型是基于具有单一声音特征的音声所生成的多个概率模型的集合，所述在线自适应程序的特征在于， 所述处理顺序包括输入步骤，受理音频流的输入；分割步骤，将所述音频流分割成被估计为具有单一声音特征的片段数据；估计步骤，对每个所述片段数据的概率模型进行估计； 以及聚类步骤，对用于表示所述存储单元中存储的多个基准模型的每一个的多个概率模型与所述估计步骤中所估计的概率模型进行聚类，来生成新的基准模型。(发明的效果)根据上述构成，基准模型适应装置，能够由原本就有的基准模型与基于所输入的音频流所生成的概率模型来生成新的基准模型。即，不仅仅对原本就有的基准模型进行补正，还新生成与所输入的音频流相应的基准模型。因此，基准模型适应装置，能够生成可以覆盖基准模型适应装置所装配的各种视频设备音声设备等的与用户的喜好相应的声音空间的基准模型。所以，通过利用由基准模型适应装置生成的基准模型，例如，能够根据用户各自的喜好来恰当地对所输入的视频数据进行分类。


图1是表示由基准模型所表现的声音空间模型的示意图。图2是表示基准模型适应装置的功能构成例的框图。图3是表示基准模型的自适应的整个流程的流程图。图4是表示新的基准模型的生成动作的具体示例的流程图。
图5是对声音空间模型增加新的高斯模型的情况下的示意图。图6是表示利用本发明的基准模型适应方法所生成的基准模型来表现的声音空间模型的示意图。图中100基准模型适应装置11特征提取单元12映射单元13AV聚类单元14分割单元15模型估计单元16基于训练数据的模型集合17基于测试数据的模型集合18模型聚类单元19调节单元20基准模型集合21存储单元
具体实施例方式(实施方式)以下，利用附图对本发明的一实施方式的基准模型适应装置进行说明。本发明的实施例中采用声音空间的基准模型。声音空间的基准模型的种类很多， 但是其核心思想是利用某种模型对声音空间进行全面的覆盖，从而表现为组成类似于坐标系的一个空间坐标系统。任何两段声音特征不同的音频文件将被映射到这个坐标系中的不同的两个不同的点。图1示出了根据本发明实施例的声音空间的基准模型的示例。对于AV节目的声音空间而言，例如用多个并行的高斯模型来描述声音空间中的各个点的声音特征。根据本发明的实施例，AV流是音频流、或者是包含了音频流的视频流。图1是其示意图。以图1的四边框为声音空间，其中的每一个圆点是具有相同的声音特征的聚类(部分集合)。各聚类内所示的点表示一个高斯模型。如图1所示，具有相似特征的高斯模型在声音空间上也以相似的位置所表示，这些的集合是一个聚类，即，形成基准模型。本实施例中采用基于UBM(Universal background model)的声音基准模型。UBM模型是许多单个高斯模型的集合，可利用下述式(1)来进行表现{Ν(μ σ 汐 |N 彡 i 彡 1}，......(1)在此，Ui, Oi分别表示第i个高斯模型的平均值和第i个高斯模型的方差。各高斯模型都是对其平均值附近的声音空间的片段区域即子区域的描述，这些表现子区域的高斯模型组合在一起形成一个UBM模型。UBM模型是对整个声音空间的具体描述。图2是表示基准模型适应装置100的功能构成的功能框图。如图2所示，基准模型适应装置100具有输入单元10、特征提取单元11、映射单元12、AV聚类单元13、分割单元14、模型估计单元15、模型聚类单元18、以及调节单元19。输入单元10受理视频内容的音频流的输入，并具有对特征提取单元11进行传送的功能。特征提取单元11具有将从输入单元10中传送来的音频流中提取其特征量的功能。另外，特征提取单元11还具有将所提取的特征量传送至映射单元12的功能、与传送至分割单元14的功能。特征提取单元11按照规定时间(例如，IOmsec等，极短的时间)为单位，对所输入的音频流进行音频流特征的确定。映射单元12具有基于特征提取单元11所传送来的特征量，将音频流的特征量映射至声音空间模型上的功能。在此，所谓的映射是指，计算当前音频段中的每一帧特征的到声音空间的基准模型的后验概率(posteriori probability)，然后将计算出的各帧的后验概率的分别加起来除以在计算中利用的帧的总数。AV聚类单元13具有下述功能，S卩，根据由映射单元12所映射的特征量与预先在基准模型集合20中存储的基准模型来执行聚类，对所输入的音频流的分类进行确定并输出所确定的分类。AV聚类单元13采用任意的聚类算法，基于相邻的音频段之间的距离进行该聚类。根据本发明的一个实施例，采用基于自下向上的逐步合并的方法进行聚类。在此，两个音频段之间的距离，是通过对声音空间的基准模型的映射和声音空间的基准模型计算出来的。这里，能够利用所保持的在所有基准模型中所含的所有高斯模型，形成由用于表现各音频段的概率模型的高斯模型所组成的一个高斯模型组群，每个音频段，通过在声音空间的基准模型上映射，组成这个高斯模型组群的权重。这样，音频段之间的距离就被定义成这两个加权高斯模型群组的距离。最经常采用的距离就是所谓的 KL(Kullback-Leibler)距离，利用该KL距离来算出这两个音频段之间的距离。另外，该聚类方法中，如果声音空间基准模型能够完整覆盖整个声音空间，那么， 通过计算出任何两个音频段相互之间的距离，则可以对基准模型集合20中所保持、且用于表现声音空间的基准模型，对音频段进行映射。不过，实际上，基准模型集合20中所保持的基准模型并不限于能覆盖整个声音空间的情形。因此，本实施方式所示的基准模型适应装置100，以能够对所输入的音频流为进行恰当表现的方式，实施基准模型的在线自适应调节。分割单元14具有下述功能，即，基于特征提取单元11所传送来的特征量，将特征提取单元11中所被输入的音频流在时间轴方向上连续地分割为被估计为具有相同特征的音频段。分割单元14使分割的音频段与其特征量相关联对应，并传送给模型估计单元15。 另外，通过分割所得到的各音频段的时间长可以为相互不同的长度。另外，通过分割单元 15所分割而生成的各个音频段分别具有单一声音特征，可以将这种具备单一声音特征的音频段理解成一个声音事件(例如，烟火的声音、人的说话声、小孩子的哭声、运动会的声音
寸J ο分割单元14针对所输入的音频流，以预先所确定的规定长(例如，100msec)的滑动窗而随时地沿着时间轴进行滑动，检测出声音特征较大变化的点，并将该点作为声音特征的变化点，而将连续的音频流分割成片段数据。分割单元14是在时间轴方向上，按照一定步长(时间宽)进行滑动，对利用具有一定窗长(例如，100msec)的滑动窗对音频特征发生较大变化的点进行检测来进行连续音频流的分割。每次滑动时，滑动窗的中间点都是一个分割点。在此，定义分割点的分割散度如下oi+1，(V2，一CVt代表窗长为τ的滑动窗内的语音特征数据，i是当前的滑动窗的起始点。数据0i+1，0i+2，…0i+T的方差为Σ，数据0i+1，0i+2，…知仍的方差为乙i，数据0i+T/2+1， 0i+T/2+2,…0i+T的方差为Σ 2，则分割点(滑动窗的中间点)的分割散度定义为分割散度=log(Σ )-(log( Σ 0+1(^( Σ 2))......(2)分割散度越大，说明该滑动窗中所含的数据中的左右两端的数据的声音特征的影响就越大，则滑动窗的左右所存在的音频流的声音特征为相互不同的可能性较高，从而成为分割点的候补。分割单元14最后挑选分割散度比预定的规定值大的分割点，将连续音频数据分割成声音特征单一的音频段。模型估计单元15具有下述功能，即，利用从分割单元14中传送来的音频段与其特征量来估计该音频段的一个高斯模型的功能。模型估计单元15还具有下述功能，即，对各音频段的高斯模型进行估计，并将所估计的高斯模型的每个被包含于基于测试数据的模型集合17中，并将其存储于存储单元21的功能。详细说明通过模型估计单元15进行的高斯模型估计。在通过分割单元14得到音频段后，模型估计单元15对各音频段进行单高斯模型的估计。在此，假设一个声音特征单一的音频段的数据帧的定义为ot，ot+1，…ot+lm，这时， 则所定义的0t，0t+1，一Ottlm相对应的单高斯模型的平均值参数和方差参数被估计如下
t+lenμ =Yj Ok...... (3)
k 二t^γβ^ζ (4)
k=t Ien通过式(3)以及式(4)所示的平均值参数与方差参数来表现单高斯模型。模型聚类单元18具有下述功能，即，利用任意的聚类算法，针对基于存储单元21 中的基于训练数据的模型集合16与基于测试数据的模型集合17来执行聚类的功能。以下，对模型聚类单元18所执行的聚类进行具体说明。调节单元19具有对模型聚类单元18执行聚类而生成的基准模型进行调节的功能。另外，在此所说的调节是指，直到成为预定的基准模型的数量为止，进行基准模型的分害I]。调节单元19还具有将调节后的基准模型作为基准模型集合20而存储于存储单元21 的功能。存储单元21具有对基准模型适应装置100进行动作时所需的数据进行存储的功能，可由包含 ROM (Read Only Memory)或 RAM(Random Access Memory)来构成,例如，可通过HDD(Hard Disc Drive)等来实现。存储单元21存储有基于训练数据的模型集合16、基于测试数据的模型集合17、基准模型集合20。另外，基于训练数据的模型集合16是与基准模型集合20相同，进行在线自适应的情况下，其是通过基准模型集合20而被更新。(动作)其次，利用图3以及图4所示的流程图来对本实施方式的动作进行说明。作为基准模型适应装置100中的在线自适应调节的方法，利用图3的流程图，对模型聚类单元18所执行的在线自适应调节方法进行说明。模型聚类单元18基于树分裂的自上向下的方法来实现单高斯模型的快速聚类。
在步骤S11，设定通过在线自适应调节所应生成的声音空间的基准模型的大小 (数量)，比如设定为512个。该个数是预先确定的。设定声音空间的基准模型的大小也就意味着确定了要将所有的单高斯模型聚成多少个分类。在步骤S12中，确定各单高斯模型分类的模型中心。在此，初始时候只有一个模型分类，所以，所有的单高斯模型都属于这一分类。另外，在存在有多个模型分类的状态下，各单高斯模型属于任意一个模型分类。在此，当前的模型分类集合可用以下的式( 所示那样进行表现。{ω Ν(μ Σ i) I 1 ^ i ^ N}......(5)在式(5)中，Coi为单高斯模型分类的权重。另外，单高斯模型分类的权重Coi是根据各单高斯模型所表现的音声事件的重要度而预先设定。这时，按照如下述式(6)以及式(7)所示那样来计算出通过上述式( 所表现的模型分类的中心。单高斯模型由平均值与方差的参数来表现，而导出以下的2个式。
权利要求
1.一种基准模型适应装置，其特征在于具备存储单元，其存储有多个基准模型，该基准模型是基于具有单一声音特征的音声所生成的多个概率模型的集合；输入单元，其受理音频流的输入；分割单元，其将所述音频流分割成被估计为具有单一声音特征的片段数据； 估计单元，其对每个所述片段数据的概率模型进行估计；以及聚类单元，其针对用于表示所述存储单元中存储的多个基准模型的每一个的多个概率模型、与所述估计单元所估计的概率模型进行聚类，来生成新的基准模型。
2.根据权利要求1所述的基准模型适应装置，其特征在于所述聚类单元直到所生成的多个基准模型的数量成为预定的规定数量为止，利用树分裂方法来生成所述基准模型，将生成的规定数量的基准模型作为新的基准模型而存储于所述存储单元。
3.根据权利要求2所述的基准模型适应装置，其特征在于 所述树分裂方法中，基于散度距离最大的模型分类的中心，来生成新的两个模型中心， 将所述散度距离最大的模型分类生成为分别以所述两个模型中心的各个为中心的新的模型分类，直到实施分裂所生成的模型分类的数量成为所述规定数量为止进行重复，来生成基准模型。
4.根据权利要求1所述的基准模型适应装置，其特征在于所述聚类单元，在执行所述聚类时，针对所述存储单元所存储的基准模型的任意一个， 将散度小于规定阈值的概率模型与该散度为最小的基准模型进行合并。
5.根据权利要求1所述的基准模型适应装置，其特征在于 所述概率模型为高斯概率模型或者指数分布概率模型。
6.一种在线自适应方法，其用于在基准模型适应装置中进行基准模型的在线自适应， 所述基准模型适应装置具有存储单元，该存储单元存储有多个基准模型，该基准模型是基于具有单一声音特征的音声所生成的多个概率模型的集合，所述在线自适应方法的特征在于包括输入步骤，受理音频流的输入；分割步骤，将所述音频流分割成被估计为具有单一声音特征的片段数据； 估计步骤，对每个所述片段数据的概率模型进行估计；以及聚类步骤，对用于表示所述存储单元中存储的多个基准模型的每一个的多个概率模型、与所述估计步骤中所估计的概率模型进行聚类，来生成新的基准模型。
7.一种集成电路，其特征在于具备存储单元，其存储有多个基准模型，该基准模型是基于具有单一声音特征的音声所生成的多个概率模型的集合；输入单元，其受理音频流的输入；分割单元，其将所述音频流分割成被估计为具有单一声音特征的片段数据； 估计单元，其对每个所述片段数据的概率模型进行估计；以及聚类单元，其对用于表示所述存储单元中存储的多个基准模型的每一个的多个概率模型、与所述估计单元所估计的概率模型进行聚类，来生成新的基准模型。
8.—种AV设备，其特征在于具备存储单元，其存储有多个基准模型，该基准模型是基于具有单一声音特征的音声所生成的多个概率模型的集合；输入单元，其受理音频流的输入；分割单元，其将所述音频流分割成被估计为具有单一声音特征的片段数据；估计单元，其对每个所述片段数据的概率模型进行估计；以及聚类单元，其对用于表示所述存储单元中存储的多个基准模型的每一个的多个概率模型、与所述估计单元所估计的概率模型进行聚类，来生成新的基准模型。
9.根据权利要求8所述的AV设备，其特征在于，所述输入单元所受理的音频流是从视频数据中所提取的音频流，所述AV设备还具有分类单元，其利用所述存储单元中所存储的基准模型，对所述音频流的类别进行分类。
10.一种在线自适应程序，其表示使计算机执行基准模型的在线自适应的处理顺序，所述计算机具备存储器，该存储器存储有多个基准模型，该基准模型是基于具有单一声音特征的音声所生成的多个概率模型的集合，所述在线自适应程序的特征在于，所述处理顺序包括输入步骤，受理音频流的输入；分割步骤，将所述音频流分割成被估计为具有单一声音特征的片段数据；估计步骤，对每个所述片段数据的概率模型进行估计；以及聚类步骤，对用于表示所述存储单元中存储的多个基准模型的每一个的多个概率模型、与所述估计步骤中所估计的概率模型进行聚类，来生成新的基准模型。
全文摘要
本发明提供一种在利用AV流中的音频流来执行AV流的分类等的装置中，对执行该分类时所使用的声音空间基准模型进行在线自适应调节的装置以及其方法。该装置将所输入的音频流分割成具有相同声音特征的片段数据，并对所分割得到的片段数据的单一概率模型进行估计。其后，针对所估计的单一概率模型与到此为止所存储的其他的声音特征的单一概率模型执行聚类，来生成新的声音空间的基准模型。
文档编号G10L25/57GK102473409SQ20118000246
公开日2012年5月23日 申请日期2011年4月19日 优先权日2010年4月22日
发明者小沼知浩, 张丙奇, 沈海峰, 贾磊, 马龙 申请人:松下电器产业株式会社