基于avs有损音频的无损编解码扩展方法

专利名称：基于avs有损音频的无损编解码扩展方法
技术领域：
本发明涉及音频编解码技术，尤其涉及基于AV S有损音频的无损编解码扩展方法。
背景技术：
中国数字音视频标准已经在各个领域内逐步展开应用，其中AVS标准的第三部分音频标准也在一些领域被采用，例如，中国自主的CBHD标准指定采用AVS音频为其音频格式之一。但现有的AVS音频为了实现更高的压缩效果，采用感知编码技术，属于有损音频编解码。在获得较高压缩效果的同时，将牺牲一定的音频质量。近年来，随着信息技术的发展及用户对高质量音频的需求，对无损音频的需求越来越强烈。因此在AVS原有损标准的基础上，扩展对无损音频的支持，并且还能实现对原有损音频的后向兼容的应用需求将越来越多。

发明内容
针对此类需求，本发明的重点在于提出一种保证向AVS音频标准后向兼容的基于 AVS有损音频的无损编解码扩展方法方法，并且基于此方法提出实现AVS音频无损扩展技术的两种技术方案，基于本发明提供的技术方案可以在实现后向兼容AVS音频标准的同时获得优化的压缩效果和系统复杂度。有鉴于此，本发明的主要目的是基于AVS音频标准，提出扩展无损音频的技术方案，提供一种灵活简便的扩展方法，可以在现有AVS有损技术基础上扩展无损音频的支持，最终实现一套兼容AVS音频标准的完整的无损音频编解码系统。并且利用本发明同样可以将多种成熟的无损编解码方案在AVS有损技术基础上进行扩展。具体地，本发明可以采用如下技术方案。一种基于AVS有损音频的无损编码扩展方法，该方法基于AVS音频标准进行分析， 对AVS音频标准中的保留字进行重定义，扩展无损功能选项，并且通过复用AVS音频有损数据区域之后的填充区域，将无损音频数据存放于填充区域来实现有损无损信号的并存。优选地，该方法实现一种独立的无损音频编码，有损编码与无损编码独立，两部分音频成分共存在编码的码流中，通过标志位来标识编码数据类型。优选地，该方法利用残差编码实现无损编码扩展，将原始音频数据与通过有损编码之后再解码出来的有损解码数据相减以获取残差信号，对残差信号进行熵编码，然后在编码数据中保存压缩的残差信号。优选地，所述方法组合了有损编码方法、独立的无损编码方法和残差编码方法；有损编码与独立的无损编码独立，两部分音频成分共存在编码的码流中，通过标志位来标识编码数据类型；在残差编码时，将原始音频数据与通过有损编码之后再解码出来的有损解码数据相减以获取残差信号，对残差信号进行熵编码，然后在编码数据中保存压缩的残差信号。
优选地，首先对输入音频进行分帧处理；接着，进行声道间去相关；然后，如果经声道间去相关后某个通道一帧的所有样本均为固定值，则进行游程编码，最后输出编码后的比特流；否则，则先进行线性预测，然后进行Golomb-Rice编码，最后输出编码后的比特流。优选地，在AVS音频的RAW格式中，帧结构包括声道数、FS索引和帧数据，其中的帧数据包括有损数据、无损数据和填充比特，该无损数位于现有AVS标准的填充比特内。优选地，AVS音频存储和/或传输格式中的Coding_profile字段包括表示纯有损编码框架的标识、表示纯无损编码框架的标识和表示有损、无损并存编码框架的标识。优选地，对声道间去相关后的每个通道的样本独立进行线性预测，生成样本残差。一种基于AVS有损音频的无损解码扩展方法，其特征在于，该方法用于对权利要求1至8中任一项所述的方法编码的音频数据进行解码，其中，通过标志位来标识编码数据类型；和/或在解码时，对有损信号和残差信号进行组装，以恢复出压缩前的原始信号。一种基于AVS有损音频的无损编解码扩展方法，该方法基于AVS音频标准进行分析，对AVS音频标准中的保留字进行重定义，扩展无损功能选项，并且通过复用AVS音频有损数据区域之后的填充区域，将无损音频数据存放于填充区域来实现有损无损信号的并存；在解码时，通过码流拆分器对输入的编码码流进行识别、拆分，然后由有损解码器或无损解码器进行相应的有损或无损解码。


图1是根据本发明的一个方案的独立编码框架的示意图。图2是根据本发明的另一方案的残差编码框架的示意图。图3是根据本发明的还一方案的组合编码框架的示意图。图4是根据本发明的一个方案的独立方案解码框架的示意图。图5是根据本发明的另一方案的残差方案解码框架的示意图。图6是根据本发明的还一方案的组合方案解码框架的示意图。图7示出本发明的编码方法概要的框图。图8示出本发明的解码方法概要的框图。 图9是2. 1声道去相关的示意图。
图10是3. 1声道去相关的示意图。 图11是5. 1声道去相关的示意图。 图12是7. 1声道去相关的示意图。 图13是采样率Fs <= 48kHz下的音频样本分区示意图。 图14是采样率Fs > 48kHz下的音频样本分区示意图。 图15是Golomb-Rice码字结构示意图。 图16是修改前AVS音频RAW格式下的帧格式示意图。 图17是修改后AVS音频RAW格式下的帧格式示意图。 图18是修改前AVS音频存储格式下的帧格式示意图。 图19是修改后AVS音频存储格式下的帧格式示意图。图20是修改前AVS音频传输格式下的帧格式示意图。 图21是修改后AVS音频传输格式下的帧格式示意图。
具体实施例方式下面结合附图，对本发明的具体实施方式
作进一步的详细说明。对于所属技术领域的技术人员而言，从对本发明的详细说明中，本发明的上述和其他目的、特征和优点将显而易见。一、概沭本发明由以下部分构成1)AVS音频后向兼容无损扩展基于AVS音频标准进行分析，针对已经固定的码流结构的编解码器语法，本发明的基于AVS有损音频的无损编解码扩展方法充分利用AVS音频标准中的保留字，对其中保留字进行重定义，扩展无损功能选项，并且通过复用AVS音频有损数据区域之后的填充区域，将无损音频数据存放于填充区域来实现有损无损信号的并存。后向兼容上的关键技术点(1)对AVS有损音频技术标准中的保留字部分进行扩展定义，例如 CodingProfile中扩展有损无损并存模式，纯无损模式；根据需要对于残差无损扩展或独立无损扩展仍可以追加编码模式定义。(2)针对AVS有损音频技术标准中定义的Raw格式，AASF格式，AATF格式，经过扩展后的无损数据与有损数据并存于相同码流或文件中。(3)为了保证附加在有损填充区域的无损数据能够在解码时被正确识别，在基于独立无损扩展方法中，无损数据区以同步字(SyncWord)和无损附加信息起始，利用同步字实现对无损数据的定位或随机访问功能；在基于残差无损扩展方法中，可以复用有损同步字结合无损数据区长度的办法来定位无损数据，或使用与独立扩展方法相同的处理，在无损数据区以同步字(SyncWord)和无损附加信息起始，这样便于残差无损扩展方法进行数据定位和随机访问。(4)无损数据帧长度，为了保证与有损部分兼容，本方法指定无损部分数据帧长度与有损部分数据帧一样，一帧原始样本数大小为IOM个。(5)利用本方法，可以将包括本发明给出的独立无损编码方案在内的符合如上码流布置的无损编解码器内嵌到AVS有损编解码器中来执行基于AVS音频技术对其他无损技术的支持。例如将流行的开源FLAC无损编解码器扩展到AVS编解码器中。2) AVS音频后向兼容的无损音频编解码方案通过对AVS-P3音频标准的分析，基于有损音频压缩原理，在原有有损编码方案基础上扩展无损音频支持有两种方法，下面，给出本发明实现AVS音频无损扩展的两种框架。上两种方法可以根据需要自由选择或组合使用，以便实现最佳的压缩效率和适应灵活的使用需求。方案一方案一是实现一种独立的无损音频编码器，有损编解码与无损编解码独立，两部分音频成分可以共存在编码的码流中，通过标志位来标识编码数据类型；在解码时根据码流中编码数据的类型来选择使用有损解码还是无损解码。方案二方案二是利用对残差编码实现无损编码扩展，即将原始音频数据与通过有损编码之后再解码出来的有损数据相减以获取残差信号，对残差信号进行熵编码，然后在编码数据中保存压缩的残差信号，当解码时，对有损信号和残差信号进行组装，以便恢复出压缩前的原始信号。二、帥■細爾Φ裕员偷混☆■马船·马輕1.独立编码框架图1是根据本发明的一个方案的独立编码框架的示意图。下面参照图1说明根据本发明的一个方案的独立编码框架的结构和独立编码方法。参照图1，输入的原始音频101首先流入模式选择器102，该模式选择器102用于选择有损编码和/或无损编码。也就是，两个开关Sl和S2可以是一个打开一个闭合，从而最终生成有损编码码流或者无损编码码流；或者，两个开关Sl和S2也可以是同时闭合，以同时生成有损编码和无损编码，有损编码和无损编码共存于编码码流111中。其中，通过标志位来标识编码数据类型。当选择有损编码模式时，开关Sl闭合而开关S2打开，原始音频101经由闭合的开关Sl流入AVS有损编码器104。AVS有损编码器104对原始音频进行有损编码，从而生成有损编码数据106。生成的有损编码数据106流入码流合成器110，然后码流合成器110 对有损编码数据106进行合成而生成(有损)编码码流111。当选择无损编码模式时，开关S2闭合而开关Sl打开，原始音频101经由闭合的开关S2首先流入缓冲区105。原始音频101在缓冲区105中缓冲一定量，经缓冲的原始音频数据流入AVS无损编码器107。AVS无损编码器107对原始音频进行无损编码，从而生成无损编码数据109。生成的无损编码数据109流入码流合成器110，然后码流合成器110对无损编码数据109进行合成而生成(无损)编码码流111。当然，还可以选择有损编码和无损编码共存的编码模式，此时开关Sl和开关S2同时闭合。有损编码数据106和无损编码数据109都流入码流合成器110，在码流合成器110 中，通过标志位来标识编码数据类型(有损编码或无损编码)，从而生成有损编码和无损编码共存的编码码流111。这样，在解码时，既可以进行无损解码，以提供高品质的音频，也可以进行有损解码，从而实现对AVS有损音频编解码的后向兼容。2.残差编码框架图2是根据本发明的另一方案的残差编码框架的示意图。下面参照图2说明根据本发明的另一方案的残差编码框架的结构和残差编码方法。参照图2，输入的原始音频201首先经过两个开关Sl和S2，经由该两个开关可以决定进行的是有损编码还是有损编码及残差编码(无损编码)。当选择有损编码模式时，开关Sl闭合而开关S2打开(后述的开关S3也打开)， 原始音频201经由闭合的开关Sl流入AVS有损编码器204。AVS有损编码器204对原始音频进行有损编码，从而生成有损编码数据206。生成的有损编码数据206流入码流合成器 210，然后码流合成器210对有损编码数据206进行合成而生成(有损)编码码流211。当选择残差编码(无损编码)模式时，开关Sl和开关S2都闭合(后述的开关S3也闭合)。一方面，原始音频201经由闭合的开关Sl流入AVS有损编码器204。AVS有损编码器204对原始音频进行有损编码，从而生成有损编码数据206。生成的有损编码数据206 流入码流合成器210，然后码流合成器210对有损编码数据206进行合成而生成(有损)编码码流211。同时，经有损编码的有损编码数据206还经由闭合的开关S3流入AVS有损定点解码器203。AVS有损定点解码器203对有损编码数据206进行解码，解码出有损音频数据。另一方面，原始音频201还经由闭合的开关S2首先流入缓冲区205。原始音频201 在缓冲区205中缓冲一定量，经缓冲的原始音频数据与AVS有损定点解码器203解码出的相对应的有损音频数据相减，从而得到残差音频数据。得到的残差音频数据流入AVS无损编码器207。AVS无损编码器207对残差音频数据进行无损编码，生成的无损编码数据流入码流合成器210，然后码流合成器210对无损编码数据进行合成而生成(无损)编码码流 211。在这种情况下，编码码流211中同时存在有损编码数据和残差编码数据。3.组合编码框架图3是根据本发明的还一方案的组合编码框架的示意图。参照图3可见，其中组合了有损编码、独立的无损编码和残差编码。参照图3，原始音频301可以流经模式选择器302、开关S1、AVS有损编码器304(生成有损编码数据306)、码流合成器310，而生成(有损)编码码流311。另外，原始音频301还可以流经模式选择器302、开关S2、无损编码器307 (生成无损编码数据309)、码流合成器310，而生成(无损)编码码流311。另外，在对原始音频301进行有损编码的同时，还可以生成残差编码数据。具体地，有损编码数据306经由开关S3流入AVS有损定点解码器303，AVS有损定点解码器 303对有损编码数据306进行解码，原始音频数据与解码出的有损编码数据相减，从而得到残差音频数据，由无损编码器307对残差音频数据进行无损编码，从而生成无损编码数据 309。其中，无损编码器307包括独立无损预处理模块307A和无损编码核心模块307B 两个模块。当进行独立的无损编码时，原始音频301首先经独立无损预处理模块307A预处理，然后由无损编码核心模块307B进行无损编码。当进行残差编码时，由无损编码核心模块307B对残差音频数据进行残差编码。三、解码器框架图4是根据本发明的一个方案的独立方案解码框架的示意图。图5是根据本发明的另一方案的残差方案解码框架的示意图。图6是根据本发明的还一方案的组合方案解码框架的示意图。由于解码是编码的逆过程，在上面详细描述本发明的编码方案的情况下，本领域的技术人员当可以参照图4至图6而明了本发明的解码方案，故下面仅作简单描述。图4所示的独立方案解码框架对应于有损数据和无损数据独立存在的编码方案。其中，有损解码的码流如下编码码流401 —码流拆分器402 —有损编码数据404 — AVS有损解码器406 —有损解码数据408 —输出控制器409 —解码数据输出410。无损解码的码流如下编码码流401 —码流拆分器402 —无损编码数据403 —无损解码器405 —无损解码数据407 —输出控制器409 —解码数据输出410。也就是，由码流拆分器402识别编码码流401的码流为有损编码、无损编码、以及有损编码和无损编码共存。在有损编码和无损编码共存的情况下，码流拆分器402对有损编码和无损编码进行拆分，从而进行相应的有损或无损解码。图5所示的残差方案解码框架对应于有损数据和残差数据的无损编码方案。其中，有损解码的码流如下编码码流501 —码流拆分器502 —有损编码数据504 — AVS有损解码器506 —有损解码数据508 —输出控制器509 —解码数据输出510。其与图4中的有损解码码流基本相同。下面对残差解码的码流说明如下。在编码码流501中同时存在有损编码数据和无损(残差)编码数据503的情况下， 码流拆分器502对有损编码数据和无损编码数据进行拆分。有损编码数据504流入AVS 有损定点解码器513进行解码，解码出有损解码数据；同时，由无损解码器505对无损编码数据503进行解码，解码出无损解码数据。然后对解码出的有损编码数据和无损编码数据进行残差(相加)，而得到完整的无损解码数据507。图6是根据本发明的还一方案的组合方案解码框架的示意图。其中，有损解码的码流如下编码码流601 —码流拆分器602 —有损编码数据604 — AV S有损解码器606 — 有损解码数据608 —输出控制器609 —解码数据输出610。独立的无损解码的码流如下编码码流601 —码流拆分器602 —无损编码数据603 —无损解码器605 —无损解码数据607B —输出控制器609 —解码数据输出610。也就是，由码流拆分器602识别编码码流601的码流为有损编码、独立的无损编码、有损编码和独立的无损编码共存、还是有损编码与残差无损编码共存。在有损编码和独立的无损编码共存的情况下，码流拆分器402对有损编码和无损编码进行拆分，从而进行相应的有损或无损解码。有损编码与残差无损编码共存的情况下，进行残差解码，下面对残差解码的码流说明如下。在编码码流601中同时存在有损编码数据604和无损(残差)编码数据603的情况下，码流拆分器602对有损编码数据和无损编码数据进行拆分。有损编码数据604流入 AVS有损定点解码器613进行解码，解码出有损解码数据；同时，由无损解码器605对无损编码数据603进行解码，解码出无损(残差)解码数据。然后对解码出的有损编码数据和无损编码数据进行残差(相加)，而得到完整的无损解码数据607A。四、无损音频编码方案本方案利用音频信号的特性，通过声道间去相关和线性预测等手段消除声道间及声道内信号的相关性，并对得到的残差信号进行Golomb-Rice编码，最终达到对音频信号进行压缩的目的。实验结果表明该方案对音频信号进行无损压缩是非常有效的。另外，本方案支持多声道0声道以上)音频无损压缩，并且为保持后向兼容，解码端可以选择只解码多声道中的左右声道的编码数据。图7示出本发明的编码方法概要的框图。图8示出本发明的解码方法概要的框图。参照图7，对本发明的编码方法可以简述如下。首先对音频X(Ii)进行分帧处理，接着，进行声道间去相关。然后，如果经声道间去相关后某个通道一帧的所有样本均为一固定值，则进行游程编码，最后输出编码后的比特流(bit stream)；否则，则先进行线性预测，然后进行Golomb-Rice编码，最后输出编码后的比特流。参照图8，对本发明的解码方法简述如下。首先，解压输入的编码比特流的帧头，然后，判定是存在固定值标记(Const flag)。如果判定结果为是，则进行游程解码，然后进行声道间去相关的反转，即恢复声道间的相关，最后输出得到的比特流；如果判定结果为否， 则进行Golomb-Rice解码，然后进行线性预测的反转，然后进行声道间去相关的反转，即恢复声道间的相关，最后输出得到的比特流。注意，因为解码过程为编码过程的逆过称，下面将详细说明本发明的编码方案，而省略对解码方案的具体说明。编码方案详述下面将参照图3对本发明的编码方法进行详细说明。分巾贞AVS P3现有的有损音频编码方案中，每帧包含IOM个音频样本。为保持后向兼容，无损音频编码扩展的帧长度与有损部分保持一致，即每帧包含IOM个音频样本。声道|、司去才百关(Inter channel decorrelation)1.对单声道(Mono)输入，不做声道间去相关2.对立体声(Stereo)输入，声道间去相关方法如下Mid = (L+R)/2Side = (L-R)即把左右声道输入转换为Mid和Side通道并传送至下一级编码单元，然后对Mid 和Side通道进行独立编码。图5示意性地示出了该立体声输入时的声道间去相关的方法。3.对多声道(Multi channel)输入，声道间去相关方法如下■如果L和R声道同时存在，则L和R声道转换为Mid和Side通道。■如果L，R和C声道同时存在，则L，R和C声道转换为Mid，Side和⑶if通道。其中=CDif= C-Mid■如果Ls和Rs同时存在，则Ls和Rs声道转换为SMid和SSide通道。其中SMid= (Ls+Rs)/2SSide = Ls-Rs■如果Lb和Rb同时存在，则Lb和Rb声道转换为BMid和BSide通道。其中BMid= (Lb+Rb)/2
BSide = Lb-Rb■如果LFE声道存在，LFE声道不做任何处理■如果C声道存在并且L和R声道不存在，C声道不做任何处理。几种典型声道模式的声道间去相关示意图如图9 12所示。

4.针对具体的某一帧样本，通过决策机制来决定是否对相应的声道对做声道间去相关。线件预测(LPC)对声道间去相关后的每个通道的样本独立进行LPC，生成样本残差。本编码方案中采用三类线性预测方法，分别如下1.固定系数线性预测(Fixed LPC)本方案采用1-6阶固定系数线性预测，预测公式如下表所示。表 权利要求
1.一种基于AVS有损音频的无损编码扩展方法，该方法基于AVS音频标准进行分析，对 AVS音频标准中的保留字进行重定义，扩展无损功能选项，并且通过复用AVS音频有损数据区域之后的填充区域，将无损音频数据存放于填充区域来实现有损无损信号的并存。
2.根据权利要求1所述的方法，其特征在于，该方法实现一种独立的无损音频编码，有损编码与无损编码独立，两部分音频成分共存在编码的码流中，通过标志位来标识编码数据类型。
3.根据权利要求1所述的方法，其特征在于，该方法利用残差编码实现无损编码扩展，将原始音频数据与通过有损编码之后再解码出来的有损解码数据相减以获取残差信号，对残差信号进行熵编码，然后在编码数据中保存压缩的残差信号。
4.根据权利要求1所述的方法，其特征在于，所述方法组合了有损编码方法、独立的无损编码方法和残差编码方法；有损编码与独立的无损编码独立，两部分音频成分共存在编码的码流中，通过标志位来标识编码数据类型；在残差编码时，将原始音频数据与通过有损编码之后再解码出来的有损解码数据相减以获取残差信号，对残差信号进行熵编码，然后在编码数据中保存压缩的残差信号。
5.根据权利要求1至4中任一项所述的方法，其特征在于，首先对输入音频进行分帧处理；接着，进行声道间去相关；然后，如果经声道间去相关后某个通道一帧的所有样本均为固定值，则进行游程编码， 最后输出编码后的比特流；否则，则先进行线性预测，然后进行Golomb-Rice编码，最后输出编码后的比特流。
6.根据权利要求5所述的方法，其特征在于，在AVS音频的RAW格式中，帧结构包括声道数、FS索引和帧数据，其中的帧数据包括有损数据、无损数据和填充比特，该无损数位于现有AVS标准的填充比特内。
7.根据权利要求5所述的方法，其特征在于，AVS音频存储和/或传输格式中的Coding_profile字段包括表示纯有损编码框架的标识、表示纯无损编码框架的标识和表示有损、无损并存编码框架的标识。
8.根据权利要求5所述的方法，其特征在于，对声道间去相关后的每个通道的样本独立进行线性预测，生成样本残差。
9.一种基于AVS有损音频的无损解码扩展方法，其特征在于，该方法用于对权利要求1 至8中任一项所述的方法编码的音频数据进行解码，其中，通过标志位来标识编码数据类型；和/或在解码时，对有损信号和残差信号进行组装，以恢复出压缩前的原始信号。
10.一种基于AVS有损音频的无损编解码扩展方法，该方法基于AVS音频标准进行分析， 对AVS音频标准中的保留字进行重定义，扩展无损功能选项，并且通过复用AVS音频有损数据区域之后的填充区域，将无损音频数据存放于填充区域来实现有损无损信号的并存；在解码时，通过码流拆分器对输入的编码码流进行识别、拆分，然后由有损解码器或无损解码器进行相应的有损或无损解码。
全文摘要
本发明涉及基于AVS有损音频的无损编解码扩展方法。一种基于AVS有损音频的无损编码扩展方法，该方法基于AVS音频标准进行分析，对AVS音频标准中的保留字进行重定义，扩展无损功能选项，并且通过复用AVS音频有损数据区域之后的填充区域，将无损音频数据存放于填充区域来实现有损无损信号的并存。因该方法改进技术具有简单，高效的特点，很容易被应用到数字音频领域，提供无损音频解码方案。
文档编号G10L19/04GK102262881SQ201010189598
公开日2011年11月30日 申请日期2010年5月24日 优先权日2010年5月24日
发明者刘任化, 杨新辉 申请人:中科开元信息技术(北京)有限公司