编码装置、解码装置及其方法

专利名称：编码装置、解码装置及其方法
技术领域：
本发明涉及实现可扩展编码(分层编码)的编码装置、解码装置及其方法。
背景技术：
在移动通信系统中，为了有效利用电波资源等，要求将语音信号压缩为低比特率后传输。另一方面，希望提高通话语音的质量和实现富有现场感的通话业务，为实现此目的，不仅是语音信号的高质量化，还希望高质量地对频带更宽的乐音信号等语音信号以外的信号进行编码。对于这样两个相对立的要求，分层地结合多个编码技术的技术备受瞩目。该技术为分层地组合第1层和第2层，所述第1层通过适合于语音信号的模式以低比特率对输入信号进行编码，所述第2层通过适合于语音以外的信号的模式对输入信号与第1层的解码信号之间的差分信号进行编码。从编码装置获得的比特流具有可扩展性，即，即使从比特流的一部分的信息中也可获得解码信号的性质，所以一般将这样分层地进行编码的技术称为可扩展编码(分层编码)。对可扩展编码方式而言，根据其性质，能够灵活地对应比特率不同的网络间的通信，所以也可以说其适合于以IP协议逐步结合多样的网络的、今后的网络环境。作为使用基于 MPEG-4 (Moving Picture Experts Group phase-4 :运动图像专家组阶段-4)标准化的技术来实现可扩展编码的例子，例如有非专利文献1公开的技术。该技术是，在第1层中使用适合于语音信号的CELP(Code Excited Linear I^rediction 码激励线性预测)编码，在第2层中，对从原信号中减去第1层解码信号所得的残差信号，使 M AAC (Advanced Audio Coder) ^ TwinVQ (Transform Domain Weighted Interleave Vector Quantization ；变换域加权交织矢量量化)等变换编码。通过使用这样的可扩展结构，能够实现语音信号以及频带比语音信号更宽的乐音信号等的高质量化。在如上所述地将变换编码适用于分层编码中的至少一个层的情况下，存在如下问题，即，在语音信号的起始端部(或终止端部)，因变换编码产生的编码失真传播到整个帧， 而且该编码失真导致音质的劣化。此时产生的编码失真为所谓的“预回波(pre-echo)(或后回波(post-echo))”。图1表示在使用分层数为2的可扩展编码对语音信号的起始端部进行编码和解码时，生成解码信号的情形。这里，假设在第1层采用对每5ms的子帧将激励信号进行编码的 CELP，在第2层采用对每20ms的帧进行编码的变换编码。下面，在像第1层那样编码对象的信号的时间长度短为5ms时，由于编码的间隔短而称为“时间分辨率高”，而在像第2层那样编码对象的信号的时间长度长为20ms时，由于编码的间隔长而称为“时间分辨率低”。在第1层中，由于能够以5ms为单位生成解码信号，所以编码失真的传播最多也是 5ms即可(参照图1的(a))。另一方面，在第2层中，编码失真传播到20ms的广范围。原
5来，虽然该帧的前半部分为无声而应仅在后半部分生成第2层解码信号，但是在不能使比特率足够高的情况下，因编码失真而在前半部分也产生波形(参照图1的(b))。一般而言， 为了在变换编码中获得高编码效率，需要将帧长度设为20ms或更长。因此，存在与CELP相比时间分辨率低的缺点。在将第1层解码信号和第2层解码信号相加来计算最终的解码信号时，在解码信号的区间A残留编码失真(参照图1的(c))，导致音质的劣化。在语音信号(或，乐音信号)的起始端部出现这样的现象，将该编码失真称为“预回波”。此外，在语音信号(或乐音信号)的终止端部也出现同样的编码失真，将该编码失真称为“后回波”。作为避免这样的预回波的发生的方法，有检测语音信号的起始端部，且在检测到起始端部时切换处理，以使变换编码的帧长度(分析长度)变短的方法。专利文献1中公开了如下的起始端部检测方法，即，根据第1层的CELP的增益信息的时间变化来检测语音信号的起始端部，并向第2层通知检测到的起始端部的信息。通过这样使起始端部的分析长度变短而提高时间分辨率，能够将编码失真的传播抑制得较短且避免预回波的发生。然而，根据上述方法，需要分析长度的切换以及适合于两种分析长度的频率变换方法和变换系数的量化方法，存在处理的复杂度增加的问题。而且，专利文献1没有公开使用检测到的起始端部的信息来避免预回波的具体方法，因此无法避免预回波。另一方面，作为避免预回波的方法，专利文献2中公开了如下方法，S卩，根据第1层和第2层各自的解码信号的能源包络的关系求与解码信号相乘的放大率，并将求得的放大率与解码信号相乘。在先技术文献专利文献专利文献1 日本专利申请特开2003-233400号公报专利文献2 日本专利申请特表2008-539456号公报非专利文献非专利文献1 三木弼一编著，《MPEG-4 O t ^ 》第一版、株式会社工业调查会、 1998 年 9 月 30 日、ρ· 126-12
发明内容
发明要解决的问题然而，专利文献2所述的方法相当于在第2层进行编码之后使第2层的解码信号的一部分大幅衰减，因此存在浪费第2层的编码数据的一部分而效率低的问题。本发明的目的在于，提供编码装置、解码装置及其方法，能够抑制因时间分辨率低的高层引起的预回波或后回波的发生，并能够实现主观质量高的编码和解码。解决问题的方案本发明的编码装置的一个形态为进行由低层和时间分辨率低于所述低层中的时间分辨率的高层构成的可扩展编码的编码装置，该编码装置采用的结构包括低层编码单元，对输入信号进行编码而获得低层编码信号；低层解码单元，将所述低层编码信号进行解码而获得低层解码信号；误差信号生成单元，获得所述输入信号和所述低层解码信号之间的误差信号；判定单元，判定所述低层解码信号的有声部分的起始端部或终止端部；以及高层编码单元，在由所述判定单元判定为起始端部或终止端部的情况下，选择从编码对象频带中排除的频带，排除所述选择的频带而对所述误差信号进行编码，获得高层编码信号。本发明的解码装置的一个形态为将由编码装置进行了编码的低层编码信号和高层编码信号进行解码的解码装置，所述编码装置进行由低层和时间分辨率低于所述低层中的时间分辨率的高层构成的可扩展编码，该解码装置采用的结构包括低层解码单元，将所述低层编码信号进行解码而获得低层解码信号；高层解码单元，将基于预先设定的条件选择的频带排除或进行加工而将所述高层编码信号进行解码，获得解码误差信号；以及加法单元，将所述低层解码信号和所述解码误差信号相加而获得解码信号。本发明的编码方法的一个形态为进行由低层和时间分辨率低于所述低层中的时间分辨率的高层构成的可扩展编码的编码方法，该编码方法包括低层编码步骤，对输入信号进行编码而获得低层编码信号；低层解码步骤，将所述低层编码信号进行解码而获得低层解码信号；误差信号生成步骤，获得所述输入信号和所述低层解码信号之间的误差信号； 判定步骤，判定所述低层解码信号的有声部分的起始端部或终止端部；以及高层编码步骤， 在所述判定步骤中判定为起始端部或终止端部的情况下，选择从编码对象频带中排除的频带，排除所述选择的频带而对所述误差信号进行编码，获得高层编码信号。本发明的解码方法的一个形态为将由编码方法所编码的低层编码信号和高层编码信号进行解码的解码方法，所述编码方法进行由低层和时间分辨率低于所述低层中的时间分辨率的高层构成的可扩展编码，该解码方法包括低层解码步骤，将所述低层编码信号进行解码而获得低层解码信号；高层解码步骤，将基于预先设定的条件选择的频带排除或进行加工而将所述高层编码信号进行解码，获得解码误差信号；以及加法步骤，将所述低层解码信号和所述解码误差信号相加而获得解码信号。发明的效果根据本发明，能够抑制因时间分辨率低的高层引起的预回波或后回波的发生，并能够实现主观质量高的编码和解码。


图1的(a)至图1的(c)是表示在使用分层数为2的可扩展编码对语音信号的起始端部进行编码和解码时，生成解码信号的情形的图。图2是表示本发明实施方式1的编码装置的主要部分的结构的图。图3是表示起始端检测单元的内部结构的图。图4是表示第2层编码单元的内部结构的图。图5是表示实施方式1的编码装置的其他的主要部分的结构的图。图6是表示第2层编码单元的其他的内部结构的图。图7是表示实施方式1的编码装置的更另外的主要部分的结构的图。图8是表示第2层编码单元的更另外的内部结构的图。图9是表示实施方式1的解码装置的主要部分的结构的方框图。图10是表示第2层解码单元的内部结构的图。
图11的(A)至图11的⑶是表示根据以往方法的输入信号、第1层解码变换系数和第2层解码变换系数的情形的图。图12是用于说明人的听觉特性的时域掩蔽(temporal masking)的图。图13的(A)至图13的(D)是表示本实施方式的输入信号、第1层解码变换系数和第2层解码变换系数的情形的图。图14是表示将第1层解码变换系数设为掩蔽信号(masker signal)时的反向掩蔽的情形的图。图15的㈧至图15的⑶是表示适用于后回波的例子的图。图16是表示本发明的实施方式2的编码装置的主要部分的结构的图。图17是表示第2层编码单元的内部结构的图。图18是表示本发明实施方式3的第2层编码单元的内部结构的图。图19是表示实施方式3的解码装置的主要部分的结构的方框图。图20是表示第2层解码单元的内部结构的图。图21是表示本发明的实施方式4的编码装置的主要部分的结构的图。图22是表示第2层编码单元的内部结构的图。图23是表示第2层解码单元的内部结构的图。图M是表示衰减单元中的处理的情形的图。标号说明100、300、500 编码装置110,310,510 第1层编码单元120、220、320、410、520 第 1 层解码单元130,530 延迟单元140,540 减法单元150、420 起始端检测单元160、160A、330、550 第 2 层编码单元151 子帧分割单元152能量变化量计算单元153 检测单元161、162、432、551 频域变换单元163、163A、332、433、433A 频带选择单元164、552 增益编码单元165,553 形状编码单元166、170、554、560 复用单元200、400 解码装置210,231,431 分离单元230、430、430A 第 2 层解码单元240 加法单元250 切换单元260 后处理单元
232形状解码单元
233增益解码单元
234解码变换系数生成单元
235时域变换单元
331LPC频谱计算单元
434衰减单元
具体实施例方式以下，参照附图详细说明本发明的实施方式。(实施方式1)图2是表示本实施方式的编码装置的主要部分的结构的图。作为一例，图2中的编码装置为由两个编码分层(层)构成的可扩展编码(分层编码)装置。此外，层数不限于2。图2所示的编码装置100以规定的时间间隔(帧，这里设为20ms)为单位进行编码处理，生成比特流，并将该比特流传送到解码装置(未图示)。第1层编码单元110进行输入信号的编码处理，生成第1层编码数据。此外，第1 层编码单元110进行时间分辨率高的编码。作为编码方法，第1层编码单元110例如采用将帧分割为5ms的子帧，并以子帧为单位进行激励(excitation)的编码的CELP编码方式。 第1层编码单元110将第1层编码数据输出到第1层解码单元120和复用单元170。第1层解码单元120使用第1层编码数据进行解码处理，生成第1层解码信号，并将所生成的第1层解码信号输出到减法单元140、起始端检测单元150和第2层编码单元 160。延迟单元130使输入信号延迟相当于在第1层编码单元110和第1层解码单元 120中产生的延迟的时间，并将延迟后的输入信号输出到减法单元140。减法单元140从输入信号中减去由第1层解码单元120生成的第1层解码信号而生成第1层误差信号，并将该第1层误差信号输出到第2层编码单元160。起始端检测单元150使用第1层解码信号，检测当前进行编码处理的帧中所包含的信号是否为语音信号或乐音信号等的有声部分的起始端部，并将检测结果作为起始端检测信息输出到第2层编码单元160。此外，在后面叙述起始端检测单元150的细节。第2层编码单元160进行从减法单元140送出的第1层误差信号的编码处理，生成第2层编码数据。此外，与第1层编码单元110相比，第2层编码单元160进行时间分辨率低的编码。例如，第2层编码单元160采用以比第1层编码单元110的处理单位长的处理单位对变换系数进行编码的变换编码方式。此外，在后面叙述第2层编码单元160的细节。第2层编码单元160将生成的第2层编码数据输出到复用单元170。复用单元170将由第1层编码单元110求得的第1层编码数据和由第2层编码单元160求得的第2层编码数据进行复用而生成比特流，并将所生成的比特流输出到未图示白勺(transmission channel)。图3是表示起始端检测单元150的内部结构的图。子帧分割单元151将第1层解码信号分割为Nsub个子帧。其中，Nsub表示子帧数。以下，假设Nsub = 2来进行说明。能量变化量计算单元152计算每个子帧的第1层解码信号的能量。检测单元153将该能量的变化量和规定的阈值进行比较，在该变化量超过阈值时视为检测到有声部分的起始端，并作为起始端检测信息输出“1”。另一方面，在该变化量未超过阈值时，检测单元153不视为检测到起始端，并作为起始端检测信息输出“0”。图4是表示第2层编码单元160的内部结构的图。频域变换单元161将第1层误差信号变换为频域，计算第1层误差变换系数，并将计算出的第1层误差变换系数输出到频带选择单元163和增益编码单元164。频域变换单元162将第1层解码信号变换为频域，计算第1层解码变换系数，并将计算出的第1层解码变换系数输出到频带选择单元163。在初始端检测信息表示“1”的情况下，也就是当前进行编码处理的帧所包含的信号为有声部分的初始端的情况下，频带选择单元163选择从后级的增益编码单元164和形状编码单元165的编码对象中排除的子带。具体而言，频带选择单元163将第1层解码变换系数分割为多个子带，并从第2层编码单元160 (增益编码单元164和形状编码单元165) 的编码对象中排除第1层解码变换系数的能量最小或者低于规定的阈值的子带。然后，频带选择单元163将排除后剩下的子带设定为实际的编码对象频带(第2层编码对象频带)。此外，频带选择单元163也可以将第1层解码变换系数和第1层误差变换系数分割为多个子带，对各个子带求第1层误差变换系数的能量(Ee)与第1层解码变换系数的能量(Em)之比(Ee/Em)，并选择该能量比大于规定的阈值的子带作为从第2层编码单元160 的编码对象中排除的子带。另外，频带选择单元163也可以求子带内的第1层误差变换系数的最大振幅值与第1层解码变换系数的最大振幅值之比以取代能量比，并选择该最大振幅值比大于规定的阈值的子带作为从第2层编码单元160的编码对象中排除的子带。此外，频带选择单元163也可以根据输入信号的特性(例如，是语音性还是乐音性，或者，是稳定性还是非稳定性等)自适应地使用不同的阈值。此外，频带选择单元163也可以基于第1层解码变换系数计算相当于反向掩蔽的听觉掩蔽阈值，计算该听觉掩蔽阈值的每个子带的能量，并从第2层编码单元160的编码对象中排除该能量最小或者低于规定的阈值的子带。此外，也可以采用在频带选择单元163中取代第1层解码变换系数而使用对输入信号进行频域变换求得的输入变换系数来决定编码对象频带的结构。图5和图6分别表示此时的编码装置100和第2层编码单元160的结构。此外，也可以采用在频带选择单元163中不使用第1层解码变换系数而仅使用第 1层误差变换系数来决定编码对象频带的结构。图7和图8分别表示此时的编码装置100 和第2层编码单元160的结构。在该结构中，即使不使用第1层解码变换系数也能够获得本实施方式的效果，其理由如下。也就是说，在第1层编码单元110中，通过进行听觉加权，以输入信号和第1层解码信号之间的误差信号的频谱特性接近输入信号的频谱特性的方式进行编码。这是为了得到听觉上难以听到误差信号的效果而进行的处理。换言之，在第1层编码单元110中进行频谱整形以使误差信号的频谱特性接近输入信号的频谱特性。其结果，误差信号的频谱特性接近输入信号的频谱特性，所以即使代替第1层解码信号使用误差信号，也能够获得本实施方式的效果。作为第1层编码单元110中的听觉加权处理的适用例，可举出基于 LPC(Linear Predictive Coding 线性预测编码)系数而使用与输入信号的频谱包络的逆特性接近的特性的听觉加权滤波器的方法。另外，在该结构中，不需要频域变换单元162，所以进一步获得能够实现低运算量化的效果。这样，频带选择单元163选择从第2层编码单元160的编码对象中排除的频带，并将表示除了所选择的子带以外的编码对象的频带(第2层编码对象频带)的信息(编码对象频带信息)输出到增益编码单元164、形状编码单元165和复用单元166。增益编码单元164计算表示在从频带选择单元163通知的子带(第2层编码对象频带)中包含的变换系数的大小的增益信息，对该增益信息进行编码而生成增益编码数据。增益编码单元164将增益编码数据输出到复用单元166。另外，增益编码单元164将与增益编码数据一起求得的解码增益信息输出到形状编码单元165。形状编码单元165使用解码增益信息，生成表示在从频带选择单元163通知的子带(第2层编码对象频带)中包含的变换系数的形状的形状编码数据，并将生成的形状编码数据输出到复用单元166。复用单元166将从频带选择单元163输出的编码对象频带信息、从形状编码单元 165输出的形状编码数据以及从增益编码单元164输出的增益编码数据进行复用，并将其输出作为第2层编码数据。但是，该复用单元166不是必需的，也可以将编码对象频带信息、 形状编码数据和增益编码数据直接输出到复用单元170。图9是表示本实施方式的解码装置的主要部分的结构的方框图。图9中的解码装置200将从进行编码分层(层)数为2的可扩展编码(分层编码)的编码装置100输出的比特流进行解码。分离单元210将通过通信路径输入的比特流分离为第1层编码数据和第2层编码数据。分离单元210将第1层编码数据输出到第1层解码单元220，并将第2层编码数据输出到第2层解码单元230。但是，根据通信路径的状况(发生拥塞等)，有时编码数据的一部分(第2层编码数据)或全部被丢弃。此时，分离单元210判定在接收到的编码数据中仅包含第1层编码数据(层信息为“1”)还是包含第1层编码数据和第2层编码数据的双方(层信息为“2”)，并将该判定结果作为层信息输出到切换单元250。在全部编码数据被丢弃的情况下，分离单元210进行规定的差错补偿处理(error concealment processing), 生成输出信号。第1层解码单元220进行第1层编码数据的解码处理而生成第1层解码信号，并将生成的第1层解码信号输出到加法单元240和切换单元250。第2层解码单元230进行第2层编码数据的解码处理而生成第1层解码误差信号， 并将生成的第1层解码误差信号输出到加法单元对0。加法单元240将第1层解码信号与第1层解码误差信号相加而生成第2层解码信号，并将生成的第2层解码信号输出到切换单元250。切换单元250基于由分离单元210提供的层信息，在层信息为“1”时将第1层解码信号作为解码信号输出到后处理单元260。另一方面，在层信息为“2”时，切换单元250 将第2层解码信号作为解码信号输出到后处理单元沈0。
后处理单元260对解码信号进行后滤波器等的后处理，并作为输出信号输出。图10是表示第2层解码单元230的内部结构的图。分离单元231将从分离单元210输入的第2层编码数据分离为形状编码数据、增益编码数据和编码对象频带信息，将形状编码数据输出到形状解码单元232，将增益编码数据输出到增益解码单元233，并将编码对象频带信息输出到解码变换系数生成单元234。此外，分离单元231并不是必需的结构要素，也可以通过分离单元210的分离处理分离出形状编码数据、增益编码数据和编码对象频带信息，并将它们直接提供给形状解码单元232、增益解码单元233和解码变换系数生成单元234。形状解码单元232使用由分离单元231提供的形状编码数据而生成解码变换系数的形状矢量，并将生成的形状矢量输出到解码变换系数生成单元234。增益解码单元233使用由分离单元231提供的增益编码数据，生成解码变换系数的增益信息，并将生成的增益信息输出到解码变换系数生成单元234。解码变换系数生成单元234将增益信息乘以形状矢量，在由编码对象频带信息表示的频带配置乘以了增益信息后的形状矢量而生成解码变换系数，并将生成的解码变换系数输出到时域变换单元235。时域变换单元235将解码变换系数变换到时域而生成第1层解码误差信号，并输出所生成的第1层解码误差信号。接下来，使用图11、图12和图13说明本发明要解决的问题和效果。此外，以下以编码装置100对L样本的每一帧进行编码的情况为例进行说明。如上所述，第1层编码单元110进行时间分辨率高的编码，而第2层编码单元160进行时间分辨率低的编码。因此， 以下，以如下情况为例进行说明，即，第1层编码单元110采用以L/2样本的子帧为单位进行激励(excitation)的编码的CELP编码方式，而第2层编码单元160采用以L样本的帧为单位进行变换系数的编码的变换编码方式。图11表示使用以往的方法进行了可扩展编码和解码时的输入信号、第1层解码变换系数和第2层解码变换系数的情形。图11的(A)表示编码装置的输入信号。从图11的(A)可知，从第2子帧的中途起，可观察到语音信号(或乐音信号)。对于输入信号，首先在第1层编码单元进行编码处理而生成第1层编码数据。将第1层编码数据进行解码而生成的解码信号的解码变换系数(第1层解码变换系数)具有第2层编码单元的两倍的时间分辨率。在从第n样本至第(n+L/2-l)样本，生成相当于无声区间的频谱(参照图11的(Β))，而在从第(n+L/2-l)样本至第(n+L_l)样本，生成相当于有声区间的频谱(参照图11的(C))。另一方面，在第2层编码单元中，以L样本的帧为单位进行变换系数的编码而生成第2层编码数据。因此，通过将第2层编码数据进行解码，生成与从第η样本至第(n+L-1) 样本对应的第2层解码变换系数(参照图11的(D))。然后，通过将该第2层解码变换系数变换到时域，在与从第η样本至第(η+L-l)样本对应的区间生成第2层解码信号。因此，对于最终的解码信号的频谱，在从第η样本至第(n+L/2-l)样本为将图11的(B)和图11的 (D)相加所得的频谱，而在从第(n+L/2-l)样本至第(η+L-l)样本为将图11的(C)和图11 的(D)相加所得的频谱。
此时，在原来应为无声区域的从第η样本至第(n+L/2-l)样本中，也产生图11的 ⑶和图11的⑶所示的频谱。图11的⑶的信号分量为可以忽略的程度，所以实质上产生基于图11的(D)的频谱的解码信号。该信号被识别为后回波，成为使解码信号的质量降低的原因。在本实施方式中，利用人的听觉特性的时域掩蔽(temporal masking)来避免解码信号的质量劣化。这里，时域掩蔽是指，在时序性地提供了被掩蔽的信号(maskee signal 被掩蔽信号)和进行掩蔽的信号(masker signal 掩蔽信号)的两个声音的情况下发生的掩蔽。人难以听到存在于较强的声音的前后的微弱声音，被掩蔽信号受到掩蔽信号的妨碍从而难以听到被掩蔽信号。在时域掩蔽中，将先于掩蔽信号的被掩蔽信号被掩蔽的现象称为“反向掩蔽 (backward masking) ”，而将后于掩蔽信号的被掩蔽信号被掩蔽的现象称为“前向掩蔽 (forward masking)”。此外，将在某个时间段发生掩蔽信号和被掩蔽信号而被掩蔽信号由掩蔽信号掩蔽的现象称为“同时掩蔽(simultaneous masking)”。图12表示一例在这些反向掩蔽、前向掩蔽和同时掩蔽中，掩蔽信号对被掩蔽信号进行掩蔽的掩蔽级(masking level)。在本实施方式中，利用时域掩蔽中的反向掩蔽，避免因后回波产生的听觉上的劣化。具体而言，利用以下事实，S卩，在低层的解码频谱的能量较大的频带，由于反向掩蔽效应而在人的听觉上难以听到在高层产生的后回波，而在低层的解码频谱的能量较小的频带，无法获得反向掩蔽效应而容易听到后回波。也就是说，本发明利用该原理，从高层的编码对象中排除在低层的解码频谱的能源较小的频带中包含的高层的频谱，以使在容易听到后回波的频带不生成高层的解码频谱。由此，仅在能够获得反向掩蔽效应的、低层的解码频谱的能量大的频带发生后回波，从而能够避免由后回波造成的听觉上的劣化。图13表示进行了本实施方式的可扩展编码和解码时的输入信号、第1层解码变换系数和第2层解码变换系数的情形。图13的㈧表示编码装置100的输入信号。与图11的㈧同样，从第2子帧的中途起，可观察到语音信号(或乐音信号)。对于输入信号，首先在第1层编码单元110中进行编码处理而生成第1层编码数据。将第1层编码数据进行解码而生成的解码信号的解码变换系数(第1层解码变换系数) 具有第2层编码单元160的两倍的时间分辨率。在从第η样本至第(n+L/2-l)样本，生成相当于无声区间的频谱(参照图13的(B))，而在从第(n+L/2-l)样本至第(η+L-l)样本， 生成相当于有声区间的频谱(参照图13的(C))。在本实施方式，从在频域变换单元162中将由时间分辨率高的第1层解码单元120 求得的第1层解码信号变换为频域所得的第1层解码变换系数中，频带选择单元163求频谱的能量低的频带(参照图13的(C))。然后，频带选择单元163选择该频带作为从第2层编码单元160的编码的对象中排除的频带(排除频带)，并将该排除频带以外的频带设定为第2编码对象频带，第2层编码单元160在第2编码对象频带内进行编码处理(参照图13 的⑶)。由此，在图13的(C)的第1层解码变换系数成为掩蔽信号，且由第2层编码单元160产生的预回波成为被掩蔽信号时，在第1层解码变换系数的能量大的频带内，由于反向掩蔽效应，人的听觉上难以听到。也就是说，即使在反向掩蔽效应大的第2编码对象频带内配置了预回波的第2层解码变换系数，解码信号(预回波)也难以被察觉。也就是说，难以听到在从第η样本至声音的起始端之间产生的预回波，能够避免解码信号的质量劣化。图14表示在将第1层解码变换系数设为掩蔽信号时的反向掩蔽特性。如图14所示，第1层解码变换系数越大，则反向掩蔽效应越大，所以通过将在第2层编码单元160中的编码对象频带设为第1层解码变换系数大于规定的阈值的频带，预回波通过第1层解码变换系数被掩蔽。以上说明了避免在声音的起始端产生的预回波的技术，但本发明也可以适用于在声音的终止端产生的后回波。图15表示将本发明适用于后回波时的输入信号、第1层解码变换系数和第2层解码变换系数的情形。对于预回波，利用反向掩蔽控制了预回波的感知，而对于后回波利用前向掩蔽。具体而言，取代起始端检测单元150而使用终止端检测单元(省略图示)，使用第1层解码信号检测当前进行编码处理的帧中包含的信号是否为有声部分的终止端部，并将检测结果作为终止端检测信息输出到第2层编码单元160。然后，在当前进行编码处理的帧中包含的信号为有声部分的终止端的情况下，频带选择单元163在由时间分辨率高的第1层编码单元 110求得的第1层解码变换系数中，求能量低的频带(参照图15的(B))。然后，频带选择单元163选择该频带作为从第2层编码单元160的编码的对象中排除的频带(排除频带)， 并将该排除频带以外的频带设定为第2编码对象频带，第2层编码单元160在第2编码对象频带内进行编码处理(参照图15的(D))。由此，能够抑制后回波的感知，能够避免解码信号的质量劣化。如上所述，根据本实施方式，起始端检测单元150 (或，终止端检测单元)判定低层解码信号的有声部分的起始端部(或，终止端部)，在判定为起始端部(或，终止端部)的情况下，第2层编码单元160基于第1层解码信号的频谱的能量选择从编码对象中排除的频带，并排除所选择的频带而对误差信号进行编码。由此，能够利用人的听觉特性的时域掩蔽来避免解码信号的质量劣化，能够抑制起因于时间分辨率低的高层而产生的预回波(或后回波)的发生，提供主观质量高的编码方式。另外，通过从第2层编码单元160的编码的对象中排除第1层解码变换系数的能量低的频带，能够更准确地表现其余的频带的变换系数。例如，能够增加在第2层编码单元 160的编码对象频带内配置的脉冲，这种情况下能够实现解码信号的音质改善。此外，在以上的说明中，以根据第1层解码变换系数的能量的大小选择从第2层编码单元160的编码对象中排除的频带(排除频带)的方法为例进行了说明，但并不限于此， 例如，也可以根据子带能量相对于最大子带能量的相对值的大小来选择排除频带。由此，能够进行不依赖于信号电平的稳定的处理，并能够避免在声音的起始端发生的预回波或者在声音的终止端发生的后回波而实现音质改善。另外，由于在第2层编码单元160中的编码对象频带根据第1层解码变换系数受到限制，所以能够通过增加编码对象频带内的脉冲数等方法来更准确地表现第2层编码单元160中的编码对象频带的频谱，能够实现音质改善。
(实施方式2)在实施方式1中，使用第1层解码信号决定了从第2层编码单元的编码对象中排除的频带(排除频带)。在本实施方式中，使用在第1层编码单元求得的LPC(Linear Predictive Coding,线性预测编码)系数求LPC频谱(频谱包络)，并使用该LPC频谱来决定排除频带。在使用LPC频谱的情况下，也能够获得与实施方式1同样的效果。进而，本实施方式中取代解码信号的频谱而使用LPC频谱，所以与实施方式1相比，能够以低运算量实现音质改善。图16是表示本实施方式的编码装置的主要部分的结构的方框图。此外，在图16 的编码装置300中，对与图2的编码装置100共同的结构部分附加与图2相同的标号，并省略说明。此外，由于本实施方式的解码装置的结构与图9和图10是同样的，因此这里省略说明。第1层编码单元310进行输入信号的编码处理，生成第1层编码数据。此外，在本实施方式中，第1层编码单元310进行使用LPC系数的编码。第1层解码单元320使用第1层编码数据进行解码处理而生成第1层解码信号， 并将生成的第1层解码信号输出到减法单元140和起始端检测单元150。第1层解码单元320将通过第1层解码信号的解码处理而生成的解码LPC系数输出到第2层编码单元330。图17是表示第2层编码单元330的内部结构的图。此外，在图17的第2层编码单元330中，对与图4的第2层编码单元160共同的结构部分附加与图4相同的标号，并省略说明。LPC频谱计算单元331使用从第1层解码单元320输入的解码LPC系数，求LPC频谱。LPC频谱表示第1层解码信号的频谱的大致的形状(频谱包络)。频带选择单元332使用从LPC频谱计算单元331输入的LPC频谱，选择从第2层编码单元330的编码对象频带中排除的频带(排除频带)。具体而言，频带选择单元332 求LPC频谱的能量，并选择能量小于规定的阈值的频带作为排除频带。或者，频带选择单元 332也可以选择其能量与LPC频谱的最大能量之比低于规定的阈值的频带作为排除频带。这样，频带选择单元332选择从第2层编码单元330的编码对象中排除的频带，并将表示除了所选择的频带以外的编码对象的频带(第2层编码对象频带)的信息(编码对象频带信息)输出到增益编码单元164、形状编码单元165和复用单元166。随后，与实施方式1同样，通过增益编码单元164、形状编码单元165和复用单元 166生成第2层编码数据。如上所述，根据本实施方式，第1层编码单元310进行使用LPC系数的编码，第2 层编码单元330选择LPC系数的频谱的能量小的频带作为从编码对象频带中排除的频带。 由此，能够以比计算第1层解码信号的频谱的情况小的运算量，决定能量小的频带即从编码对象频带中排除的频带。此外，此时也可以仅对于限定的个数的频率计算LPC频谱和其能量，并使用该能量决定从编码对象频带中排除的频带。这样，通过在一定程度地限定了频率(或频带)之后决定编码对象频带，能够以更少的运算量决定频带。(实施方式3)
在实施方式1和实施方式2中，编码装置将由频带选择単元设定的、表示第2层编码单元中的实际的编码对象频带的编码对象频带信息，传送到解码装置。在本实施方式中， 编码装置和解码装置基于共同地获取的信息，各自设定第2层编码単元中的实际的编码对象频带(第2层编码对象频帯)。由此能够削减从编码装置传送到解码装置的信息量。由于本实施方式的编码装置的主要部分的结构与实施方式1是同样的，所以引用图2进行说明。与实施方式1的不同之处在于第2层编码単元的内部结构。因此，下面，将本实施方式的第2层编码単元的标号设为160A来进行说明。图18是表示本实施方式的第2层编码単元160A的内部的结构的图。此外，在图 18的第2层编码単元160A中，对与图4的第2层编码単元160共同的结构部分附加与图4 相同的标号，并省略说明。在初始端检测信息表示“ 1”的情况下，也就是当前进行编码处理的帧中包含的信号的情况下，频带选择单元163A选择从后级的增益编码单元164和形状编码单元165的编码对象中排除的子帯。此外，在本实施方式中，频带选择单元163A不使用第1层误差变换系数而仅使用第1层解码变换系数，选择从编码对象频带中排除的子帯。具体而言，频带选择单元163A将第1层解码变换系数分割为多个子帯，并从第2层编码単元160A的编码对象频带中排除第1层解码变换系数的能量低于规定的阈值的子帯，并将排除后的子带设定为实际的编码对象频带。频带选择单元163A将表示作为从第2层编码単元160A(増益编码单元164和形状编码单元16 的编码对象中排除的频带而选择的子带以外的编码对象的频带(第2层编码对象频带)的信息(编码对象频带信息)输出到増益编码单元164和形状编码单元165。此外，频带选择单元163A也可以根据输入信号的特性(例如，是语音性还是乐音性，或者，是稳定性还是非稳定性等)自适应地使用不同的阈值。图19是表示本实施方式的解码装置的主要部分的结构的方框图。此外，在图19 的编码装置400中，对与图9的编码装置200共同的结构部分附加与图9相同的标号，并省略说明。第1层解码単元410使用第1层编码数据进行解码处理而生成第1层解码信号， 并将生成的第1层解码信号输出到切換単元250、起始端检测单元420、第2层解码単元430 和加法单元M0。起始端检测单元420使用第1层解码信号，检测在当前进行编码处理的帧中包含的信号是否为有声部分的起始端部，并将检测结果作为起始端检测信息输出到第2层解码単元430。此外，起始端检测单元420采用与图3的起始端检测单元150同样的结构并进行同样的动作，所以省略详细的说明。图20是表示第2层解码単元430的内部结构的图。此外，在图20的第2层解码単元430中，对与图10的第2层解码単元230共同的结构部分附加与图10相同的标号，并省略说明。分离单元431将从分离单元210输入的第2层编码数据分离为形状编码数据和增益编码数据，将形状编码数据输出到形状解码单元232，并将增益编码数据输出到増益解码単元233。此外，分离单元431并不是必需的结构要素，也可以通过分离单元210的分离处理分离出形状编码数据和增益编码数据，并将它们直接提供给形状解码单元232和増益解
16码单元233。频域变换单元432将第1层解码信号变换为频域，计算第1层解码变换系数，并将计算出的第1层解码变换系数输出到频带选择单元433。在初始端检测信息表示“ 1”的情况下，也就是在当前进行解码处理的帧所包含的信号为有声部分的初始端的情况下，频带选择单元433选择从后级的形状解码单元232和増益解码单元233的解码对象中排除的子带。此外，在本实施方式中，与频带选择单元163A 同样，频带选择単元433不使用第1层误差变换系数而仅使用第1层解码变换系数，选择从编码对象频带中排除的子帯。此外，频带选择单元433与频带选择单元163A是同样的，所以省略说明。频带选择单元433将表示作为从第2层解码単元430的编码对象中排除的频带而选择的子带以外的编码对象的频带(第2层编码对象频帯)的信息(编码对象频带信息)，输出到解码变换系数生成単元234。如上所述，在本实施方式中，频带选择单元163A和频带选择单元433使用第1层解码变换系数，设定第2层编码単元330和第2层解码単元430中的实际的编码/解码对象频带。在第2层解码単元430中，通过在频域变换单元432中将第1层解码信号变换为频域，从而获得第1层解码变换系数。因此，即使编码装置300不向解码装置400通知编码对象频带信息，解码装置400也能够获取编码对象频带的信息，从而能够削减从编码装置300 传送到解码装置400的信息量。(实施方式4)在本实施方式中，在解码装置中检测到语音信号的起始端部或终止端部的情况下，在高层，位于低层的解码信号的频谱的能量小的频带的解码变换系数被衰减。由此，在低层的解码频谱的能量小的频带内发生的高层的解码频谱在听觉上难以听到。也就是说， 在本实施方式中，通过低层的解码频谱的时域掩蔽效应(Temporal masking effect)，在解码端难以听到在高层产生的预回波或后回波。因此，在编码端能够不用考虑预回波或后回波而使用进行一般的可扩展编码的编码装置，不需特别地改变编码装置的结构而能够改善音质。图21是表示本实施方式的编码装置500的主要部分的结构的方框图。第1层编码単元510进行输入信号的编码处理而生成第1层编码数据。第1层编码单元510将第1层编码数据输出到第1层解码単元520和复用单元560。第1层解码単元520使用第1层编码数据进行解码处理而生成第1层解码信号， 并将所生成的第1层解码信号输出到减法单元Mo。延迟单元530将输入信号延迟相当于在第1层编码単元510和第1层解码単元 520中产生的延迟的时间，并将延迟后的输入信号输出到减法单元M0。减法单元540从输入信号中减去由第1层解码単元520生成的第1层解码信号而生成第1层误差信号，并将该第1层误差信号输出到第2层编码単元550。第2层编码単元550对从减法単元540送出的第1层误差信号进行编码处理而生成第2层编码数据，并将该第2层编码数据输出到复用单元560。复用单元560将由第1层编码単元510求得的第1层编码数据和由第2层编码单元550求得的第2层编码数据进行复用而生成比特流，并将生成的比特流输出到通信路径 (未图示)。
图22是表示第2层编码単元550的内部结构的图。频域变换单元551将第1层误差信号变换为频域，计算第1层误差变换系数，并将计算出的第1层误差变换系数输出到増益编码单元阳2。増益编码单元552计算表示第1层误差变换系数的大小的増益信息，对该增益信息进行编码而生成增益编码数据。増益编码单元552将增益编码数据输出到复用单元554。 另外，増益编码单元552将与增益编码数据一起求得的解码增益信息输出到形状编码单元 553。形状编码单元553生成表示第1层误差变换系数的形状的形状编码数据，并将所生成的形状编码数据输出到复用单元阳4。复用单元5M将从形状编码单元553输出的形状编码数据和从増益编码单元552 输出的增益编码数据进行复用，并将其作为第2层编码数据输出。但是，该复用単元5M并不是必需的，也可以将形状编码数据和增益编码数据直接输出到复用单元560。由于本实施方式的解码装置的主要部分的结构与实施方式3是同样的，所以引用图19进行说明。与实施方式3的不同之处在于第2层解码単元的内部结构。因此，下面， 将本实施方式的第2层解码単元的标号设为430A来进行说明。图23是表示本实施方式的第2层解码単元430A的内部的结构的图。此外，在图 23的第2层解码単元430A中，对与图20的第2层解码単元430共同的结构部分附加与图 20相同的标号，并省略说明。从在频域变换单元432中将由时间分辨率高的第1层解码単元410求得的第1层解码信号变换为频域所得的第1层解码变换系数中，频带选择单元433A选择频谱的能量低于规定的阈值的频带。然后，频带选择单元433A选择该频带作为第2层解码变换系数被衰减的频带(衰减对象频带)，并将该衰减对象频带的信息作为选择频带信息输出到衰减单元 434。衰减单元434对于位于由选择频带信息表示的频带的第2层解码变换系数，将其大小进行衰减，并将衰减后的第2层解码变换系数作为第2层衰减解码变换系数，输出到时域变换单元ぬ5。图M是用于说明衰减单元434中的处理的图。图M中的左侧图表示衰减前的第 2层解码变换系数，而图M中的右侧图表示衰减后的第2层解码变换系数(第2层衰减解码变换系数)。如图M所示，衰减单元对于位于由选择频带信息表示的频带(衰减对象频帯)的第2层解码变换系数，使其大小衰减。如上所述，根据本实施方式，在判定为存在低层解码信号的有声部分的起始端部 (或，终止端部)的情况下，第2层解码単元430A基于第1层解码信号的频谱的能量，选择第2层解码信号的解码变换系数被衰减的频带，并使所选择的频带内的第2层解码信号的解码变换系数衰减。由此，即使在编码端不考虑预回波或后回波而进行了编码的情况下，第 1层解码变换系数和第2层解码变换系数之间的关系也为掩蔽信号和被掩蔽信号之间的关系，所以能够避免预回波或后回波。以上说明了本发明的各个实施方式。此外，在以上的说明中，对编码分层(层)数为2的可扩展编码进行了说明，但是本发明也可以适用于编码分层(层)数为3以上的可扩展结构。
另外，在以上的说明中，解码装置200、400接收从编码装置100、300和500输出的比特流，但并不限于此。也就是说，即使不是在编码装置100、300和500的结构下生成的比特流，只要是从能够生成包含解码所需的编码数据的比特流的编码装置输出的比特流，解码装置200、400也能够将其解码。另夕卜，作为频率变换单元可以使用DFT(Discrete Fourier Transform 离散傅 ^Bf ^^ ) > FFT (Fast Fourier Transform ftjlfl-^lBf ^^ ), DCT (Discrete Cosine Transform 离散余弦变换)、MDCT (Modified Discrete Cosine Transform 改进离散余弦变换)和滤波器组等。另外，语音信号和乐音信号均可适用于输入信号。另外，上述的各个实施方式中的编码装置或解码装置可以适用于基站装置或通信终端装置。另外，在上述的各实施方式中，举例说明了以硬件构成本发明的情況，但本发明也可通过软件来实现。另外，在上述各个实施方式的说明中所使用的各功能块典型地通过集成电路的 LSI (大規模集成电路)来实现。这些块既可以被単独地集成为ー个芯片，也可以包含一部分或全部地被集成为ー个芯片。在此虽然称作LSI，但是根据集成程度的不同，有时也称为 IC(集成电路)、系统 LSI、超级 LSI (Super LSI)、或极大 LSI (Ultra LSI)等。另外，实现集成电路化的方法不仅限于LSI，也可以使用专用电路或通用处理器来实现。也可以利用可在LSI制造后编程的FPGA(Field Programmable Gate Array 现场可编程门阵列)，或可重构LSI内部的电路单元的连接或设定的可重构处理器(Reconfigurable Processor)0再有，如果随着半导体技术的进步或者随其派生的其他技术的出现，出现了能够代替LSI的集成电路化的技木，当然也可以利用该技术进行功能块的集成化。还存在着适用生物技术等的可能性。2009年10月20日提交的日本专利申请特愿第2009-241617号所包含的说明书、 说明书附图以及说明书摘要的公开内容，全部引用于本申请。エ业实用性本发明的编码装置及解码装置等适合用于移动电话、IP电话、视频会议等。
权利要求
1.编码装置，进行由低层和时间分辨率低于所述低层中的时间分辨率的高层构成的可扩展编码，该编码装置包括低层编码单元，对输入信号进行编码而获得低层编码信号； 低层解码单元，将所述低层编码信号进行解码而获得低层解码信号； 误差信号生成单元，获得所述输入信号和所述低层解码信号之间的误差信号； 判定单元，判定所述低层解码信号的有声部分的起始端部或终止端部；以及高层编码单元，在由所述判定单元判定为起始端部或终止端部的情况下，选择从编码对象频带中排除的频带，排除所述选择的频带而对所述误差信号进行编码，获得高层编码信号。
2.如权利要求1所述的编码装置， 所述高层编码单元，基于所述低层解码信号的频谱的能量或者所述误差信号的频谱的能量，选择所述排除的频带。
3.如权利要求1所述的编码装置， 所述高层编码单元，选择所述低层解码信号的频谱的能量或者所述误差信号的频谱的能量最小或者小于规定的阈值的频带，作为所述排除的频带。
4.如权利要求1所述的编码装置， 所述高层编码单元，使用所述低层解码信号计算听觉掩蔽阈值，并选择该听觉掩蔽阈值的频谱的能量最小或者小于规定的阈值的频带，作为所述排除的频带。
5.如权利要求1所述的编码装置，所述低层编码单元进行使用线性预测编码系数的编码，所述高层编码单元选择所述线性预测编码系数的频谱的能量小的频带，作为所述排除的频带。
6.通信终端装置，具有权利要求1所述的编码装置。
7.基站装置，具有权利要求1所述的编码装置。
8.解码装置，将由编码装置进行了编码的低层编码信号和高层编码信号进行解码，所述编码装置进行由低层和时间分辨率低于所述低层中的时间分辨率的高层构成的可扩展编码，该解码装置包括低层解码单元，将所述低层编码信号进行解码而获得低层解码信号； 高层解码单元，将基于预先设定的条件选择的频带排除或进行加工而将所述高层编码信号进行解码，获得解码误差信号；以及加法单元，将所述低层解码信号和所述解码误差信号相加而获得解码信号。
9.如权利要求8所述的解码装置， 所述高层解码单元，基于所述低层解码信号的频谱的能量选择频带，排除所述选择的频带而将所述高层编码信号进行解码，获得解码误差信号。
10.如权利要求9所述的解码装置，所述高层解码单元，排除所述低层解码信号的频谱的能量最小或者小于规定的阈值的频带而将所述高层编码信号进行解码。
11.如权利要求9所述的解码装置， 所述高层解码单元，使用所述低层解码信号计算听觉掩蔽阈值，并排除该听觉掩蔽阈值的频谱的能量最小或者小于规定的阈值的频带而将所述高层编码信号进行解码。
12.如权利要求9所述的解码装置，所述选择的频带包含在所述高层编码信号中。
13.如权利要求8所述的解码装置，还包括判定所述低层解码信号的有声部分的起始端部或终止端部的判定单元， 所述高层解码单元，在由所述判定单元判定为起始端部或终止端部的情况下，基于所述低层解码信号的频谱的能量选择从解码对象频带中排除的频带，并排除所述选择的频带而将所述高层编码信号进行解码。
14.如权利要求8所述的解码装置，还包括判定所述低层解码信号的有声部分的起始端部或终止端部的判定单元， 所述高层解码单元，在由所述判定单元判定为起始端部或终止端部的情况下，选择所述解码误差信号的解码变换系数被衰减的频带，并使所述选择的频带中的所述解码误差信号的解码变换系数衰减而获得所述解码误差信号。
15.如权利要求14所述的解码装置， 所述高层解码单元，基于所述低层解码信号的频谱的能量，选择所述解码误差信号的解码变换系数被衰减的频带。
16.通信终端装置，具有权利要求8所述的解码装置。
17.基站装置，具有权利要求8所述的解码装置。
18.编码方法，进行由低层和时间分辨率低于所述低层中的时间分辨率的高层构成的可扩展编码，该编码方法包括低层编码步骤，对输入信号进行编码而获得低层编码信号； 低层解码步骤，将所述低层编码信号进行解码而获得低层解码信号； 误差信号生成步骤，获得所述输入信号和所述低层解码信号之间的误差信号； 判定步骤，判定所述低层解码信号的有声部分的起始端部或终止端部；以及高层编码步骤，在所述判定步骤中判定为起始端部或终止端部的情况下，选择从编码对象频带中排除的频带，排除所述选择的频带而对所述误差信号进行编码，获得高层编码信号。
19.解码方法，将由编码方法所编码的低层编码信号和高层编码信号进行解码，所述编码方法进行由低层和时间分辨率低于所述低层中的时间分辨率的高层构成的可扩展编码， 该解码方法包括低层解码步骤，将所述低层编码信号进行解码而获得低层解码信号； 高层解码步骤，将基于预先设定的条件选择的频带排除或进行加工而将所述高层编码信号进行解码，获得解码误差信号；以及加法步骤，将所述低层解码信号和所述解码误差信号相加而获得解码信号。
全文摘要
公开了抑制因时间分辨率低的高层引起的预回波或后回波的发生，并实现主观质量高的编码和解码的编码装置和解码装置。编码装置(100)为进行由低层和时间分辨率低于低层中的时间分辨率的高层构成的可扩展编码的编码装置，起始端检测单元(或，终止端检测单元)(150)判定低层解码信号的有声部分的起始端部(或，终止端部)；在判定为起始端部(或，终止端部)的情况下，第2层编码单元(160)基于第1层解码信号的频谱的能量选择从编码对象中排除的频带，并排除所选择的频带而对误差信号进行编码。
文档编号G10L19/14GK102576539SQ20108004614
公开日2012年7月11日 申请日期2010年10月19日 优先权日2009年10月20日
发明者押切正浩 申请人:松下电器产业株式会社