专利名称:用于处理音频信号的装置及其方法
技术领域:
本发明涉及用于处理音频信号的装置及其方法。虽然本发明适合于广泛的应用范围,其尤其地适合于编码或者解码音频信号。
背景技术:
通常地,在用于将多个对象下混合(downmix)为单声或者立体声信号的过程中, 参数是分别从对象信号中提取的。这些参数是解码器可使用的。并且,每个对象的移动 (panning)和增益可由用户的选择来控制。
发明内容
技术问题但是,为了控制每个对象信号,包含在下混合中的每个源(source)应被适当地放置或者移动。另外,为了按照面向信道的解码方案提供下行链路兼容,对象参数应被转换为用于上混合的多信道参数。技术方案因此,本发明提出了一种用于处理音频信号的装置及其方法,其基本上消除了一个或多个由于相关技术的限制和缺点而引起的问题。本发明的一个目的是提供一种用于处理音频信号的装置及其方法,通过其,单声信号、立体声信号和立体声信号可以通过控制对象的增益和移动而输出。本发明的另一个目的是提供一种用于处理音频信号的装置及其方法,通过其,如果基于对象的常规对象和基于信道的对象(多信道对象或者多信道背景对象)包括在下混合信号中,则除了用于控制对象的对象信息之外,用于上混合基于信道的对象的空间信息可以从比特流中获得。本发明的另一个目的是提供一种用于处理音频信号的装置及其方法,其可以在包括在下混合信号中的多个对象中识别哪个对象是多信道对象。本发明的另一个目的是提供一种用于处理音频信号的装置及其方法,如果下混合到立体声中的多信道对象被包括在下混合信号中,则其可以识别哪个对象是多信道对象的
左信道。本发明的再一个目的是提供一种用于处理音频信号的装置及其方法,通过其,在以相当大的宽度调整正常对象(诸如人声(vocal)信号)的增益,或者多信道对象(诸如背景音乐)的增益的情况下,可以防止音质的失真。有益效果因此,本发明提供以下的效果和/或优点。第一,本发明能够没有限制地控制对象的增益和移动。第二,本发明能够基于用户进行的选择来控制对象的增益和移动。
第三,在下混合为单声或者立体声的多信道对象被包括在下混合信号中的情况下,本发明获得对应于多信道对象的空间信息,从而将单声或者立体声对象上混合为多信道信号。第四,在人声或者背景音乐被完全抑制的情况下,本发明能够按照增益调整防止音质的失真。
所附附图被包括以提供对本发明进一步的理解,并且被结合进并构成本说明书的一部分,其举例说明本发明的实施例,并且与说明书一起可以起解释本发明原理的作用。在附图中图1是按照本发明一个实施例在音频信号处理装置中的编码器的方框图;图2是用于在图1中示出的复用器130的一个例子的详细方框图;图3是用于扩展配置的语法的一个例子的示意图;图4是如果扩展类型标识符是X,用于空间配置的语法的例子的示意图;图5是如果扩展类型标识符是X,用于空间帧数据的语法的一个例子的示意图;图6是如果扩展类型标识符是X,用于空间帧数据的语法的另一个例子的示意图;图7是用于空间配置信息的语法的一个例子的示意图;图8是用于空间帧数据的语法的一个例子的示意图;图9是用于在图1中示出的复用器130的另一个例子的详细方框图;图10是如果扩展类型标识符是y,用于联结对象信息(coupled object information)的语法例子的示意图;图11是用于联结对象信息的语法的一个例子的示意图;图12是用于联结对象信息的语法的其他例子的示意图;图13是按照本发明一个实施例在音频信号处理装置中的解码器的方框图;图14是按照本发明一个实施例在音频信号处理方法中用于解码操作的流程图;图15是用于在图13中示出的解复用器210的一个例子的详细方框图;图16是用于在图13中示出的解复用器210的另一个例子的详细方框图;图17是用于在图13中示出的MBO代码转换器220的一个例子的详细方框图;图18是用于在图13中示出的MBO代码转换器220的另一个例子的详细方框图;图19是用于在图17和图18中分别示出的提取单元222的例子的详细方框图;图20是在其中实现按照本发明一个实施例的音频信号处理装置的产品的简略方框图;和图21是用于产品关系的示意图,该产品中的每个被提供有按照本发明一个实施例的音频信号处理装置。
具体实施例方式本发明的另外的特点和优点将在随后的描述中阐述,并且部分地将从该描述中清晰可见,或者可以通过实践本发明而获悉。通过在所撰写的说明书及其权利要求以及所附附图中特别指出的结构,可以实现和获得本发明的目的和其他的优点。
为了实现这些和其他的优点,以及按照本发明的目的,如在此处实施和广泛地描述的,提供了一种用于处理音频信号的方法,包括接收包含至少一个正常对象信号的下混合信号,以及比特流,所述比特流包括当产生下混合信号时所确定的对象信息;从比特流的扩展部分中提取扩展类型标识符,所述扩展类型标识符表示下混合信号是否进一步包括多信道对象信号;当扩展类型标识符表示下混合信号进一步包括多信道对象信号的时候,从比特流中提取第一空间信息;和传送第一空间信息和第二空间信息中的至少一个;其中当多信道源信号被下混合为多信道对象信号的时候,确定第一空间信息,其中使用对象信息和混合信息产生第二信息。按照本发明,按照表示多信道对象信号是否将被抑制的模式信息来传送第一空间信息和第二空间信息中的至少一个。按照本发明,当该模式信息表示多信道对象信号将不被抑制的时候,传送第一空间信息,当该模式信息表示多信道对象信号将被抑制的时候,传送第二空间信息。按照本发明,该方法进一步包括当传送第一空间信息的时候,使用第一空间信息和多信道对象信号产生多信道信号。按照本发明,该方法进一步包括当产生第二空间信息的时候,使用第二空间信息和正常对象信号产生输出信号。按照本发明,该方法进一步包括当传送第二空间信息的时候,使用对象信息和混合信息产生下混合处理信息;和通过使用下混合处理信息处理正常对象信号来产生处理后的下混合信号。按照本发明,第一空间信息包括空间配置信息和空间帧数据。为了进一步实现这些和其他的优点,以及按照本发明的目的,提供了一种用于处理音频信号的装置,包括接收单元,其接收包含至少一个正常对象信号的下混合信号,以及比特流,所述比特流包括当产生下混合信号时所确定的对象信息;扩展类型标识符提取部分,其从比特流的扩展部分中提取扩展类型标识符,所述扩展类型标识符表示下混合信号是否进一步包括多信道对象信号;第一空间信息提取部分,其当扩展类型标识符表示下混合信号进一步包括多信道对象信号的时候,从比特流中提取第一空间信息;和多信道对象代码转换器,其传送第一空间信息和第二空间信息中的至少一个;其中当多信道源信号被下混合为多信道对象信号的时候,确定第一空间信息,其中使用对象信息和混合信息产生弟■~-fn息。按照本发明,按照表示多信道对象信号是否将被抑制的模式信息来传送第一空间信息和第二空间信息中的至少一个。按照本发明,当模式信息表示多信道对象信号将不被抑制的时候,传送第一空间信息,当该模式信息表示多信道对象信号将被抑制的时候,传送第二空间信息。按照本发明,该装置进一步包括多信道解码器,当传送第一空间信息的时候,使用第一空间信息和多信道对象信号产生多信道信号。按照本发明,该装置进一步包括多信道解码器,当产生第二空间信息的时候,使用第二空间信息和正常对象信号产生输出信号。按照本发明,其中多信道对象代码转换器包括信息产生部分,当传送第二空间信息的时候,使用对象信息和混合信息产生下混合处理信息;和下混合处理部分,通过使用下混合处理信息处理正常对象信号来产生处理后的下混合信号。按照本发明,其中第一空间信息包括空间配置信息和空间帧数据。为了进一步实现这些和其他的优点,以及按照本发明的目的,提供了一种在其上存储有指令的计算机可读介质,当被处理器执行的时候,其导致处理器执行操作,所述操作包括接收包含至少一个正常对象信号的下混合信号,以及比特流,所述比特流包括当产生下混合信号时所确定的对象信息;从比特流的扩展部分中提取扩展类型标识符,所述扩展类型标识符表示下混合信号是否进一步包括多信道对象信号;当扩展类型标识符表示下混合信号进一步包括多信道对象信号的时候,从比特流中提取第一空间信息;和传送第一空间信息和第二空间信息中的至少一个;其中当多信道源信号被下混合为多信道对象信号的时候,确定第一空间信息,其中使用对象信息和混合信息产生第二信息。应该明白,上文的概述和下面的详细说明是示范性和说明性的,并且意欲对所要求保护的本发明提供进一步的说明。现在将详细地进行介绍本发明的优选实施例,在所附附图中举例说明其例子。首先,在本说明书和权利要求书中使用的术语或者措词不认为局限于常规的或者字典含义, 并且应该认为是基于发明人能够恰当定义该术语的概念以最好的方式描述发明人的发明的原则,匹配本发明的技术想法的含义和概念。在本公开中公开的实施例和在所附附图中示出的结构仅仅是一个优选实施例,并且不表示本发明的所有技术想法。因此,应该明白, 本发明覆盖在提出本申请的时间归入所附权利要求书及其等效物的范围之内的本发明的修改和变化。在本发明中以下的术语可以基于以下的准则解释,并且不能解释的其它术语可以按照以下的目的解释。首先,应该明白,在本发明中概念“编译(coding)”可以在许多情形下解释为编码或者解码。其次,在本公开中,“信息”是通常包括值、参数、系数、元素等等的术语,并且其含义可以被解释为偶尔地不同,本发明不限于此。图1是在按照本发明一个实施例的音频信号处理装置中的编码器示意图的方框图。参考图1,编码器100包括空间编码器110、对象编码器120和复用器130。该空间编码器110通过基于信道的方案来下混合多信道源(multichannel source)(或者多信道声源),以产生下混合的多信道对象(或者多信道背景对象)(在下文中称为多信道对象(MBO)),其被下混合为单声或者立体声信号。在这种情况下,多信道源信号是以至少三个信道配置的声音。可以说,多信道源信号可以从使用5. 1信道麦克风采集一个乐器声音,或者从使用5. 1信道麦克风获得多个乐器声音和诸如乐队声音的人声声音而产生。当然,通过不同地处理经由单声或者立体声麦克风输入的信号,多信道源信号可以对应于上混合为5. 1信道的信道。前述的多信道源信号可以称为多信道对象(MBO)。并且,从将多信道源信号下混合为单声或者立体声信号而产生对象信号。因此,本发明意欲沿用多信道源信号的后者定义。产生的多信道对象(MBO)被作为对象输入给对象编码器120。如果多信道对象 (MBO)具有单声信道,其被作为一个对象输入。如果该多信道对象具有立体声信道,该多信道对象(MBO)被作为左多信道对象和右多信道对象,即,两个对象而输入。在这个下混合过程中,空间信息被提取。该空间信息是用于将下混合(DMX)上混合为多信道的信息,并且可以包括信道电平信息、信道相关信息等等。这个空间信息将称为第一空间信息以区别于从后者的解码器产生的第二空间信息。第一空间信息被输入给复用器 130。该对象编码器120通过利用基于对象的方案下混合多信道对象(MBO)和正常对象而产生下混合信号DMX。其能够通过下混合对象而进一步产生残留(residual)以及下混合信号DMX,这不受本发明的限制。对象信息是从这个下混合过程中产生的。对象信息(OI)是有关包括在下混合信号中的对象的信息,并且也是对从下混合信号DMX产生多个对象信号来说是必需的信息。 该对象信息可以包括对象电平信息、对象相关信息等等,其不受本发明的限制。另外,该对象信息可以进一步包括下混合增益信息(DMG)和下混合信道电平差(DCLD)。该下混合增益信息(DMG)表示在下混合之前应用于每个对象的增益。并且,如果下混合信号是立体声,则下混合信道电平差(DCLD)表示将每个对象应用于左信道和右信道的比率。在这种情况下, 产生的对象信息被输入给复用器130。同时,对象编码器120进一步产生立体声对象信息,并且然后能够将其传送给复用器130。在这种情况下,立体声对象指的是允许至少一个或者两个声源被输入给立体声麦克风的对象信号。虽然图1示出空间编码器110和对象编码器120相互分离,但能够配置对象编码器120包括空间编码器110的功能。因此,对象编码器120能够通过下混合多信道声源和正常对象而产生空间信息和对象信息。复用器130使用由对象编码器120产生的对象信息来产生比特流。如果多信道对象(MBO)存在于下混合信号DMX中,则该复用器130通过复用使得由空间编码器110产生的第一空间信息以及对象信息被包括在比特流中。为此,存在两种复用方案。按照第一个复用方案,对应于对象信息比特流的语法被定义为包括第一空间信息。按照第二个复用方案,对象信息比特流和空间信息比特流的传输机制被重新地提供。稍后将参考图3至8详细地解释第一个方案。同时,复用器130产生联结对象信息,然后使得产生的联结对象信息包括在比特流中。在这种情况下,该联结对象信息是表示立体声对象或者多信道对象是否存在于由对象编码器120下混合的至少两个对象信号中,或者正常对象是否仅存在于由对象编码器 120下混合的至少两个对象信号中的信息。如果第一空间信息存在,则多信道对象存在。如在先前的描述中提及的,如果从对象编码器120接收到立体声对象信息,则立体声对象存在。如果包括多信道对象或者立体声对象,则联结对象信息能够进一步包括表示哪个对象是立体声对象(或者多信道对象)的左对象或者右对象的信息。稍后将参考图10至12详细地解释这些。图2是用于在图1中示出的复用器130的一个例子的详细方框图。参考图2,复用器130包括对象信息插入部分132、扩展类型标识符插入部分134和第一空间信息插入部分 136。对象信息插入部分132按照语法在比特流中插入从对象编码器120接收的对象信息。扩展类型标识符插入部分134按照是否从空间编码器110接收到第一空间信息来确定扩展类型标识符,并然后在比特流中插入扩展类型标识符。图3是用于扩展配置的语法(SAOCExtensionConfigO)的一个例子的示意图。参考图3的行(A),可以看到包括有表示扩展区域类型的扩展类型标识符(bsSaocExtType)。 在这种情况下,该扩展类型标识符是表示哪种信息类型被包括在扩展区域中的标识符。特别地,该扩展类型标识符表示空间信息是否存在于比特流中。同时,因为空间信息的存在可以指的是多信道对象(MBO)包括在下混合信号中,所以该扩展类型标识符可以表示多信道对象(MBO)是否也包括在下混合信号中。扩展类型标识符(bs&iocExtType)及其含义的一个例子在表1中示出。[表1扩展类型标识符的含义的一个例子]
权利要求
1.一种用于处理音频信号的方法,包括接收包含至少一个正常对象信号的下混合信号,以及比特流,所述比特流包括当产生下混合信号时所确定的对象信息;从所述比特流的扩展部分中提取扩展类型标识符,所述扩展类型标识符表示下混合信号是否进一步包括多信道对象信号;当扩展类型标识符表示下混合信号进一步包括多信道对象信号时,从所述比特流中提取第一空间信息;和传送第一空间信息和第二空间信息中的至少一个;其中当多信道源信号被下混合为多信道对象信号时,确定所述第一空间信息, 其中使用对象信息和混合信息产生第二信息。
2.根据权利要求1的方法,其中按照表示多信道对象信号是否将被抑制的模式信息来传送第一空间信息和第二空间信息中的至少一个。
3.根据权利要求2的方法,其中当所述模式信息表示多信道对象信号将不被抑制的时候,传送所述第一空间信息,当所述模式信息表示多信道对象信号将被抑制的时候,传送所述第二空间信息。
4.根据权利要求1的方法,进一步包括当传送所述第一空间信息的时候,使用所述第一空间信息和所述多信道对象信号产生多信道信号。
5.根据权利要求1的方法,进一步包括当产生所述第二空间信息的时候,使用所述第二空间信息和所述正常对象信号产生输出信号。
6.根据权利要求1的方法,进一步包括当传送所述第二空间信息的时候,使用所述对象信息和所述混合信息产生下混合处理信息;和通过使用所述下混合处理信息处理所述正常对象信号来产生处理后的下混合信号。
7.根据权利要求1的方法,其中所述第一空间信息包括空间配置信息和空间帧数据。
8.一种用于处理音频信号的装置,包括接收单元,用于接收包含至少一个正常对象信号的下混合信号,以及比特流,所述比特流包括当产生下混合信号时所确定的对象信息;扩展类型标识符提取部分,用于从比特流的扩展部分中提取扩展类型标识符,所述扩展类型标识符表示下混合信号是否进一步包括多信道对象信号;第一空间信息提取部分,用于当所述扩展类型标识符表示下混合信号进一步包括多信道对象信号的时候,从所述比特流中提取第一空间信息;和多信道对象代码转换器,用于传送第一空间信息和第二空间信息中的至少一个; 其中当多信道源信号被下混合为多信道对象信号的时候,确定所述第一空间信息, 其中使用对象信息和混合信息产生第二信息。
9.根据权利要求8的装置,其中按照表示多信道对象信号是否将被抑制的模式信息来传送所述第一空间信息和所述第二空间信息中的至少一个。
10.根据权利要求9的装置,其中,当所述模式信息表示多信道对象信号将不被抑制的时候,传送所述第一空间信息,当所述模式信息表示多信道对象信号将被抑制的时候,传送所述第二空间信息。
11.根据权利要求8的装置,进一步包括多信道解码器,用于当传送所述第一空间信息的时候,使用所述第一空间信息和所述多信道对象信号产生多信道信号。
12.根据权利要求8的装置,进一步包括多信道解码器,用于当产生所述第二空间信息的时候,使用所述第二空间信息和所述正常对象信号产生输出信号。
13.根据权利要求8的装置,其中所述多信道对象代码转换器包括信息产生部分,用于当传送所述第二空间信息的时候,使用所述对象信息和所述混合信息产生下混合处理信息;和下混合处理部分,用于通过使用所述下混合处理信息处理所述正常对象信号来产生处理后的下混合信号。
14.根据权利要求8的装置,其中所述第一空间信息包括空间配置信息和空间帧数据。
15.一种在其上存储指令的计算机可读介质,当被处理器执行的时候,其导致处理器执行操作,所述操作包括接收包含至少一个正常对象信号的下混合信号,以及比特流,所述比特流包括当产生下混合信号时所确定的对象信息;从比特流的扩展部分中提取扩展类型标识符,所述扩展类型标识符表示下混合信号是否进一步包括多信道对象信号;当所述扩展类型标识符表示下混合信号进一步包括多信道对象信号的时候,从所述比特流中提取第一空间信息;和传送第一空间信息和第二空间信息中的至少一个;其中当多信道源信号被下混合为多信道对象信号的时候,确定所述第一空间信息,其中使用所述对象信息和所述混合信息产生第二信息。
全文摘要
公开了一种用于处理音频信号的装置及其方法,包括接收包含至少一个正常对象信号的下混合信号,以及比特流,所述比特流包括当产生下混合信号时所确定的对象信息;从比特流的扩展部分中提取扩展类型标识符,所述扩展类型标识符表示下混合信号是否进一步包括多信道对象信号;当扩展类型标识符表示下混合信号进一步包括多信道对象信号的时候,从比特流中提取第一空间信息;和传送第一空间信息和第二空间信息中的至少一个;其中当多信道源信号被下混合为多信道对象信号的时候,确定第一空间信息,其中使用对象信息和混合信息产生第二信息。
文档编号G10L19/00GK102292768SQ201080005057
公开日2011年12月21日 申请日期2010年1月20日 优先权日2009年1月20日
发明者孙亨浩, 金庆镐 申请人:Lg电子株式会社