用于处理混合信号的装置及其方法

专利名称：用于处理混合信号的装置及其方法
技术领域：
本发明涉及用于处理信号的方法和装置，尤其涉及用于处理信号的装置及 其方法。尽管本发明适用于广泛范围的应用，但尤其适用于编码或解码诸如音频信 号和视频信号之类的混合信号。
背景技术：
一般而言，用户最频繁地生成且广泛地使用立体声信号。近来，多声道信 号倾向于被普遍使用。然而，对不是由源信号单元处理而是由声道信号单元处 理的混合信号设置有限制。所以，在由声道信号单元处理混合信号的情形中， 不能独立地处理构成混合信号的特定源信号。然而，例如，在观看电影时不可能在演员语音的音量保持不变的同时仅提 高背景音乐的音量。并且，问题在于存储辅助信息，因为还没有准备好配置辅 助信息的比特流的方法。在媒体信号存储在记录介质中的情形中，可能不存在用于存储关于媒体信 号的辅助信息的辅助数据区。在这种情形中，问题在于媒体信号难以由源信号 单元处理。并且，在单独存储或发送辅助信息的情形中存在与一般的音频信号 格式的兼容性问题。此外，在用户通过再混合按源——即按源信号——的混合信号(或合成源 信号)再现混合信号后，如果用户稍后尝试回放先前再混合的混合信号，则已 经输入的控制信息需要再次完整地输入。此外，因为混合信号由声道单元处理，所以由用户提供的特定源信号替换 混合信号中所包括的源信号是不可能的。发明内容技术问题
因此，本发明涉及一种基本上消除了一个或多个由于相关技术的局限和缺 点引起的问题的用于处理混合信号的装置及其方法。
本发明的一个目的是提供一种利用混合信号和辅助信息生成再混合信号 的方法。
本发明的另一个目的是提供一种配置在生成再混合信号时使用的辅助信 息的比特流的方法。
本发明的另一个目的是提供一种用于编码/解码的装置及其方法，通过它 用于媒体信号的辅助信息被嵌入以由源信号单元利用辅助信息处理媒体信号。
本发明的另一个目的是提供一种在再混合混合信号时控制混合信号的装 置及其方法，通过它由用户输入的控制信息被存储以在再混合该混合信号时使 用。
本发明的另一个目的是提供一种用于显示混合信号的界面的装置及其方 法，通过它在将摇移或渐隐效果施加到特定区间时可使控制信息的数据大小最 小化。
本发明的另一个目的是提供一种当包括在混合信号中的源信号不单独存 在时利用类似源信号的信号生成按源信号的辅助信息的方法。
本发明的另一个目的是提供一种用于在解码器中利用混合信号生成用于 再混合该混合信号的辅助信息的装置及其方法。
本发明的另一个目的是提供一种用于由用户提供的源信号替换混合信号 中所包括的特定源信号的装置及其方法。
本发明的又一个目的是提供一种用于处理信号的装置及其方法，其中混合 信号可由用户利用源信号来变换。
本发明的其它特征和优点将在以下的描述中阐述，并且部分地将从描述中 显而易见，或者可从本发明的实践中获知。本发明的目的和其它优点可由书面 说明书及其权利要求书和附图中具体指出的结构来实现并获得。
技术解决方案
为了实现这些和其它优点并根据本发明的目的，如本文具体体现和广泛描述的， 一种根据本发明的信号处理方法包括从混合信号比特流提取 包括至少一个源信号的混合信号；从辅助信息比特流提取辅助信息；获取
用户混合参数；以及利用混合信号、辅助信息以及用户混合参数生成再混 合信号，其中辅助信息比特流被分成第一首部区和数据区且其中数据区包 括至少一个帧数据区和至少一个第二首部区。
为了进一步实现这些和其它优点并根据本发明的目的， 一种根据本发明的 信号处理装置包括利用至少一个源信号获取混合信号；从至少一个源信号 获取要再混合的源信号；利用混合信号和要再混合的源信号生成辅助信息； 以及分别利用混合信号和辅助信息生成混合信号比特流和辅助信息比特 流，其中辅助信息比特流被分成第一首部区和数据区且其中数据区包括至
少一个帧数据区和至少一个第二首部区。
为了进一步实现这些和其它优点并根据本发明的目的， 一种根据本发明的 信号处理方法包括提取嵌入在混合信号的分量中的非感知区中的辅助信 息；以及利用辅助信息和混合信号生成再混合信号。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的 信号处理方法包括利用混合信号和混合信号中所包括的源信号生成用于再 混合该混合信号的辅助信息；以及将所述辅助信息嵌入混合信号的分量中 的非感知区内。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的 信号处理方法包括提取嵌入第一音频信号的分量中的非感知区内的组合信 号；通过对组合信号执行无损解码来重构对应于非感知区的信号分量；以 及利用重构的信号分量和第一音频信号生成第二音频信号，其中第二音频 信号是嵌入组合信号之前的原始信号，其中组合信号包括位于第一音频的 分量的非感知区中的信号分量的无损编码信号分量和辅助信息，且其中辅 助信息包括用于再混合该混合信号的信息。
为了进一步实现这些和其它优点并根据本发明的目的， 一种根据本发明的 信号处理装置方法以下步骤无损编码位于音频信号的分量的非感知区中的 信号分量；通过将经无损编码的信号分量和辅助信息组合在一起来生成组 合信号；以及将组合信号嵌入非感知区。为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的 信号处理方法包括提取存在于混合信号的分量的非感知区中的辅助信息； 对从其提取所述辅助信息的混合信号进行编码；以及利用经编码的混合信 号和辅助信息生成比特流，其中辅助信息包括用于再混合混合信号的信息。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的 信号处理方法包括从比特流提取经编码的混合信号和辅助信息；解码经编 码的混合信号；以及将辅助信息嵌入经解码混合信号的分量的非感知区内， 其中辅助信息包括用于再混合混合信号的信息。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的 信号处理装置包括嵌入信号解码单元，其提取嵌入混合信号的分量内的非 感知区中的经编码辅助信息；辅助信息解码单元，其通过解码经编码的辅 助信息来生成辅助信息；以及再混合渲染单元，其利用辅助信息和混合信 号生成再混合信号。
为了进一步实现这些和其它优点并根据本发明的目的， 一种根据本发明的 信号处理方法包括获取混合信号的识别信息；获取与识别信息匹配的源控 制信息；以及利用源控制信息和混合信号生成再混合信号。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的 互连至混合信号的处理器的信号处理装置，包括存储器，其存储按混合 信号的识别信息的源控制信息；以及控制单元，其基于混合信号的识别信 息读出与混合信号匹配的源控制信息，该控制单元将所读取的源控制信息 输出到混合信号的处理器。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的 信号处理方法包括读出对应于混合信号的源控制信息；存储或发送源控制 信息，其中源控制信息包括用于识别混合信号的识别信息。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的 信号处理装置包括存储器，其存储对应于混合信号的源控制信息；通信单 元，其与不同用户的混合信号控制器通信；以及控制单元，其控制源控制 信号通过通信单元发送到不同用户的混合信号控制器。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的信号处理方法包括接收对应于混合信号的辅助信息和控制信息；以及生成 扩展混合参数以基于辅助信息和控制信息扩展混合混合信号。
为了进一步实现这些和其它优点并根据本发明的目的， 一种根据本发明的 信号处理装置包括通信单元，其接收对应于混合信号的控制信息；以及参 数生成单元，其生成扩展混合参数以基于所述控制信息和辅助信息扩展混 合所述混合信号。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的 信号处理方法包括获取包括至少一个源信号的混合信号；获取混合参数； 以及利用指示混合信号中所包括的特定空间的信号分量生成辅助信息；以 及利用混合信号、混合参数以及辅助信息生成再混合信号，其中辅助信息 指示混合信号和混合信号中所包括的至少一个源信号中要再混合的源信号 之间的关系。
为了进一步实现这些和其它优点并根据本发明的目的， 一种根据本发明的 信号处理方法包括通过调节混合信号中所包括的特定第一源信号生成第一再 混合信号；生成未被包括在混合信号中的单独的第二源信号；以及利用第一再 混合信号和第二源信号生成第二再混合信号。
为了进一步实现这些和其它优点并根据本发明的目的， 一种根据本发明的 信号处理方法包括生成包括至少一个第一源信号的第一混合信号；生成未被 包括在第一混合信号中的第二源信号；利用第一混合信号和第二源信号生成第 二混合信号；以及利用第一混合信号和第二混合信号生成再混合信号。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的 在经由通信网络连接至用户终端的源信号提供服务器中实施的信号处理方法 包括从用户终端获取源信号的选择信息；根据选择信息生成关于所选源信号 的辅助信息；以及将所选源信号和辅助信息发送到用户终端，其中辅助信息是 用于利用源信号生成再混合信号的信息。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的 信号处理装置包括混合信号解码单元，其获取包括至少一个源信号的混合 信号；辅助信息生成单元，其利用指示混合信号中所包括的特定空间的信 号分量生成辅助信息；以及再混合渲染单元，其利用混合信号、混合参数以及辅助信息生成再混合信号，其中辅助信息指示混合信号和混合信号中 所包括的至少一个或多个源信号中要再混合的源信号之间的关系。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的 信号处理装置包括再混合渲染单元，其通过调节混合信号中所包括的特定第 一源信号生成第一再混合信号；源信号生成单元，其生成未被包括在混合信号 中的单独的第二源信号；以及记录单元，其利用第一再混合信号和第二源信号 生成第二再混合信号。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的 信号处理装置包括混合信号解码单元，其生成包括至少一个第一源信号的 第一混合信号；源信号解码单元，其生成未被包括在第一混合信号中的第 二源信号；混合信号修改单元，其利用第一混合信号和第二源信号生成第 二混合信号；以及再混合信号生成单元，其利用第一混合信号和第二混合 信号生成再混合信号，其中第二混合信号仅包括由用户从第一源信号和第 二源信号中选择的源信号。
应理解，以上的一般描述和以下的详细描述是示例性和说明性的，并且旨 在提供对如所要求保护的本发明的进一步解释。
有益效果
在根据本发明的信号处理方法和装置中，提供一种配置生成再混合信号所 需的比特流的方法。因此，数据被更有效地管理且利用比特流构造的数据可具 有相互兼容性。
在根据本发明的信号处理方法和装置中，在编码音频信号时，能够利用具 有低比特率的辅助信息再混合包括在音频信号中的特定源信号。在这种情形 中，需要用于再混合源信号的辅助信息。本发明提供一种用于以将辅助信息嵌 入音频信号的方式在不具有辅助数据区的存储介质中或以不具有辅助数据区 的数据格式再现再混合信号的装置。
在根据本发明的信号处理方法和装置中，在再混合混合信号时，存储由用 户输入的控制信息。所存储的控制信息可在再混合该混合信号时使用。因此， 能够无需单独操纵地重复回放符合用户品位的由用户再混合的混合信号。
14在根据本发明的信号处理方法和装置中，在将摇移或渐变效果应用到特定 区间时，源控制信息可被再现成在未来即使区间内不包括控制信息也具有相同 的效果。因此，能够使控制信息的数据大小最小化。
在根据本发明的信号处理方法和装置中，因为由用户存储的源控制信息独 立于将由不同用户消费的混合信号或混合信号的辅助信息传播，所以再混合该 混合信号的用户能够成为编辑者或改编者。
在根据本发明的信号处理方法和装置中，能够利用具有低比特率的辅助信 息再混合包括在混合信号中的特定源信号。并且，可为不具有单独源信号的混 合信号生成按源的信号参数。
在根据本发明的信号处理方法和装置中，解码器能够利用混合信号生成按 源的信号参数。并且，本发明生成与直接由用户生成的源信号合成的混合信号。
附图描述
包括于此以提供对本发明的进一步理解、并被结合在本申请中且构成其一 部分的附图示出本发明的实施方式，其与说明书一起可用来解释本发明的原 理。
在附图中


图1是根据本发明的一个实施例的第一信号处理装置的框图2是在使用立体声信号的情形中图1所示的第一信号处理装置的详细框
图3是根据本发明的一个实施例的用于处理媒体信号的域图； 图4是根据本发明的一个实施例的第二信号处理装置的框图； 图5是根据本发明的一个实施例的第三信号处理装置的框图； 图6是在使用立体声信号的情形中图5所示的第三信号处理装置的详细框
图7是根据本发明的一个实施例的第四信号处理装置的框图； 图8是根据本发明的一个实施例的一般的编码设备和信号处理装置的组 合配置的框图9是根据本发明的一个实施例的一般的解码设备和信号处理装置的组
15合配置的框图10是根据本发明的一个实施例的第五信号处理装置的框图； 图11是根据本发明的一个实施例的包括混合信号比特流和辅助信息比特 流的数据结构的示图12是图IO所示的辅助信息比特流的数据结构的详细示图13是根据本发明的一个实施例的第六信号处理装置的框图14是配置图13所示的第六信号处理装置的嵌入单元的详细框图15是根据本发明的一个实施例的嵌入辅助信息的方法的示图16是根据本发明的一个实施例的经整形(reshaped)辅助信息的数据结 构的示图17是根据本发明的一个实施例的利用嵌入辅助信息解码音频信号的第 七信号处理装置的框图18是根据本发明的一个实施例的通过保存原始信号来嵌入辅助信息的 第八信号处理装置的详细框图19是根据本发明的一个实施例的通过保存原始信号来嵌入辅助信息的 方法的示图20是根据本发明的一个实施例的用于完全重构原始信号的第八信号处 理装置的框图21是根据本发明的一个实施例的将辅助信息嵌入两个声道的音频信号 的第一方法的示图22是根据本发明的一个实施例的将辅助信息嵌入两个声道的音频信号 的第二方法的示图23是根据本发明的一个实施例的用于去除所嵌入的辅助信息的第九信 号处理装置的框图24是根据本发明的一个实施例的用于生成有辅助信息嵌入其中的混合 信号的比特流的第十信号处理装置的框图25是图24所示的第十信号处理装置的详细框图26是根据本发明的一个实施例的用于将辅助信息嵌入混合信号的第十 一信号处理装置的框图；图27是根据本发明的一个实施例的用于控制混合信号的第十一信号处理 装置的框图28是根据本发明的一个实施例的在摇移效果的情形中用于说明起点信 息、终点信息以及起点与终点处的增益因数的示图29是根据本发明的一个实施例的在渐变效应的情形中用于说明起点信 息、终点信息以及起点与终点处的增益因数的示图30和31是根据本发明的一个实施例的用于表示源控制信息列表的屏幕 画面的示例性示图。
图32是根据本发明的一个实施例的用于控制混合信号的第十二信号处理 装置的框图33是根据本发明的一个实施例的处理混合信号的方法的流程图34是根据本发明的一个实施例的生成源控制信息以供使用的过程的示
图35是根据本发明的一个实施例的用于控制混合信号的第十三信号处理 装置的框图36是根据本发明的一个实施例的处理混合信号的方法的流程图； 图37是根据本发明的一个实施例用于控制混合信号的第十四信号处理装 置的框图38是根据本发明的一个实施例的处理混合信号的方法的流程图； 图39是根据本发明的一个实施例的生成辅助信息的方法的流程图； 图40是根据本发明的一个实施例的用于替换特定源信号的第十五信号处 理装置的框图41是根据本发明的一个实施例的第十六信号处理装置的框图； 图42是根据本发明的一个实施例的第十七信号处理装置的框图； 图43是根据本发明的一个实施例的混合信号变换单元的内部框图； 图44是根据本发明的一个实施例的利用源信号提供服务器处理信号的方 法的示图45是根据本发明的一个实施例的变换混合信号的方法的流程图；以及 图46是根据本发明的一个实施例的变换混合信号的方法的流程图。现在详细参考在附图中示出其示例的本发明的优选实施例。
图1是根据本发明的一个实施例的第一信号处理装置的框图。
参照图1，第一信号处理装置包括辅助信息生成单元103和辅助信息编码
单元105。
辅助信息生成单元103利用一般的混合信号101和构成混合信号的源信号 102来生成辅助信息104。
混合信号101可包括单声道、立体声、或多声道音频信号。 源信号102可包括构成混合信号101的源信号的一部分或全部。 并且，辅助信息104表示在由源信号单元处理混合信号时所使用的信息。 辅助信息104包括用于再混合该混合信号的混合参数。混合参数包括由编码器 利用源信号生成的编码器混合参数，且可选择性地包括仅利用混合信号生成的 盲(blind)混合参数。各源信号的增益值、子频带功率等可以是混合参数的示 例。将在图2中描述针对辅助信息104的具体定义和生成方法。
本发明包括仅利用构成混合信号的源信号102生成辅助信息104的方法。 并且，辅助信息编码单元105通过对所生成的辅助信息104进行编码来生 成经编码的辅助信息信号106。混合信号101和辅助信息信号106被传送到解 码设备。
图2是在使用立体声信号的情形中图1所示的第一信号处理装置的详细框 图。如前面的描述中所提及的，本发明所使用的混合信号可包括单声道、立体 声或多声道音频信号。为^_清楚和方便起见，采用立体声信号201作为例子。
可将立体声信号201^(")和"2(")表示为构成立体声信号的源信号的和， 其中'n，指示时间索引。因此，可将立体声信号201表示为公式1。 [公式1]在这种情形中，'1，指立体声信号中所包括的源信号的数目，且"'、""
指源信号。并且，、二和A，分别是用于确定^_个源信号的幅度摇移(panning)
和增益的值。每个是独立的。每个"'〈")'可以是纯源信号，或可包 括向其添加小混响和声音效果信号分量的纯源信号。例如，特定的混响信号分
量可被表示为两个源信号，即混合到左声道的信号和混合到右声道的信号。 本发明的目的是修改包括源信号的立体声信号，以便再混合M个源信号 (0SM^ I)。可利用不同的增益因数将源信号再混合至立体声信号。可将
要再混合信号表示为公式2。 [公式2]
<formula>formula see original document page 19</formula>
在公式2中，'Ci'和'di，是要再混合的M个源信号的新增益因数。、'和'di' 可由解码器端提供。在这种情形中，辅助信息生成单元206能够利用立体声信 号201和M个源信号202生成辅助信息207。
如前面的描述所提及的，本发明的目的是在给出一般立体声信号和较少的 辅助信息时通过源信号单元再混合该一般立体声信号。
利用极少量的辅助信息由表示为公式1的混合信号完全地生成表示为公 式2的再混合信号是不可能的。_
所以，在没有访问每个源信号~(")的情况下，在给出表示为公式1的一般 混合信号的情形中，本发明的目的是感性地模拟表示为公式2的再混合信号。
参照图2，将一般立体声信号201和立体声信号201中所包括的M个源 信号202输入到第一信号处理装置。立体声信号201被延迟，以与辅助信息同 步，然后可直接用作输出信号。
为了生成辅助信息，立体声信号201和源信号202通过滤波器组203在时 间-频率域中分解成按子频带信号204和205。具体地，在时间-频率域中处理立体声信号201和源信号202。并且，稍后将解释时间-频率域。
在各子频带的中心频率上类似地处理按子频带信号204。特定频率上的立 体声信号201的子频带对204被表示为Xi(k)和X2(k)。在这种情形中，'k，是各 个子频带信号的时间索引。类似地，M个源信号202的子频带信号205被表示 为S"k)， S2(k)， ...， SM(k)。为了清楚起见，不使用子频带(频率)索引。
如果给出源信号202的子频带信号205，则辅助信息生成单元206生成按
子频带的短时子频带功率^{ }。
并且，辅助信息生成单元206利用立体声信号201的子频带对204生成按 子频带的增益因数ai和bi。从外部直接给出增益因数ai和bi。利用按子频带的 短时子频带功率和按子频带的增益因数生成按子频带的辅助信息207。
辅助信息生成单元206可生成与立体声信号相关联的不同信息，作为辅助 信息207以及短时子频带功率和增益因数。
并且，辅助信息编码单元208利用按子频带的辅助信息207生成经编码的 辅助信息信号209。
对于多个立体声信号201，增益因数ai和bi应当是固定的。如果增益因数 ai和bi可根据时间k变化，则将生成作为时间函数的增益因数。代替直接量化 并编码，可将增益因数变换成更适于量化和编码的不同值。
并且，^{^(" ^可被归一化为与立体声信号201的子频带功率有关的
值。如果一般的编码设备用于有效地编码立体声信号，这使得本发明强烈对抗 变化。例如，可将ai和bi变换成表示为公式3的增益和分贝(dB)单位电平 差，然后传送。 [公式3]
诉=101og10(aJ + ^)
"=20^10 —.
并且，代替直接编码为辅助信息，￡{ }可被变换成关于立体声信号 定义的值，它被表示为公式4，然后传送。 [公式4]4 ,l、化， E《8胸
为了生成短时，本发明使用单极平均。目卩，可将￡{ ""'(" }计算为公式5。 [公式5]
E咖-os (k) + (l-a喊(k-1)}，
在公式5中，a e
确定如公式6指数减小的估计窗的时间常数。 [公式6]
在公式6中，fs指子频带采样频率。例如，能够使用T:40ms。 在以下的描述中，E()指短时平均。如果没有给出ai和bi，则需要通过辅 助信息生成单元206生成它们。因为￡{^(")3^(")} = ^,￡{《(")}，所以可通过公式
7计算ai。
— E树(n)). 类似地，可通过公式8计算bi。 "咖}
图3示出根据本发明的一个实施例的用于处理媒体信号的域。 如前面的描述所提及的，音频信号和辅助信息被处理为如图3所示的时间
-频率域中的按子频带的信号。
感性地导出时间-频率域中按子频带的信号。例如，能够使用具有正弦分
析和约20ms的合成窗的STFT (短时傅里叶变换)生成按子频带的信号。在这
种情形中，能够以一个组具有约比ERB (等效矩形带宽)大两倍的带宽的方式
编组STFT系数。
图4是根据本发明的一个实施例的第二信号处理装置的框图。
参照图4，縮减混合单元406通过将多个源信号401相加来生成和信号。
与第一信号处理装置不同，第二信号处理装置传送和信号404而不传送立体声
21信号。
辅助信息生成单元403利用源信号401生成辅助信息405。辅助信息405 包括对应于各个源信号的子频带功率和增益因数。并且，辅助信息405可包括 对应于再混合渲染单元中的延迟的参数。类似于第一信号处理单元中的，辅助 信息405通过变换成更适用于量化和编码的不同值而被传送。
辅助信息编码单元利用所生成的辅助信息405生成辅助信息信号407。 所生成的和信号405和所生成的辅助信息信号407被传送到解码设备。 本发明还包括没能具有縮减混合单元402的编码设备。在这种情形中，不 将源信号401变换成和信号404，而是直接传送之。
图5是根据本发明的一个实施例的第三信号处理装置的框图。 参照图5，根据本发明的一个实施例的第三信号处理装置包括辅助信息解 码单元503和再混合渲染单元505。
混合信号501和辅助信息信号502被输入到第三信号处理装置。混合信号 501可包括单声道、立体声、或多声道音频信号。
辅助信息解码单元503通过解码辅助信息信号504来生成辅助信息502。 辅助信息504包括传送的音频信号501中所包括的源信号的增益因数和子频带 功率。
利用由用户直接提供的控制信息生成的用户混合参数506可被输入到再 混合渲染单元505。
再混合渲染单元505使用混合信号501、所传送的辅助信息504和用户混 合参数506生成再混合信号507。稍后将参照图6说明生成再混合信号的方法 的细节。
再混合信号507生成为其声道号等于所传送的混合信号的声道号的等同 声道混合信号，或者可生成为其声道号大于混合信号的声道号的扩展声道混合 信号。
图6是在使用立体声信号的情形中图5所示的第三信号处理装置的详细框 图。如前面的描述中所提及的，所传送的混合信号可包括单声道、立体声或多 声道音频信号。为了方便起见，假设所传送的混合信号包括立体声信号601。
参照图6，立体声信号601经由滤波器组603在时间-频率域中分解为按子频带信号604。在特定频率上的按子频带的信号604分别表示为x"k)和x2(k)。 辅助信息解码单元605通过解码所传送的辅助信息信号602生成按子频带 的辅助信息606。
利用由用户提供的控制信息生成的用户混合参数608可被输入到再混合 渲染单元607。并且，可按子频带提供用户混合参数608。
如前面的描述所提及的，辅助信息606包括表示为按子频带的增益因数 4和bi的子频带功率和要再混合的M个源信号的E《}。
再混合渲染单元607使用按子频带生成的立体声信号604、所传送的辅助 信息606和用户混合参数608生成按子频带的再混合信号609 (y,(k), y2(k))。 将详细说明生成再混合信号609的方法。再混合信号609经由逆滤波器组610
在时域中变换成立体声信号(少1，少2) 611。
如下说明由再混合单元607生成再混合信号609的方法。
首先，公式1和公式2对按子频带信!604和609是有效的。在这种情形
中，由按子频带的源信号s,(k)替换源信号、^^)。 [公式9]
恤l
按子频带的再混合信号609可被表示为公式10。 [公式10]
为了生成再混合信号609，可使用最小二乘估计。如果给出按子频带的混 合信号(Xl(k), x2(k)) 604，则如公式11所示具有不同增益的按子频带的再混 合信号609可被估计为按子频带的混合信号604的线性组合。
'副=wu(fc)afi(fc) + wi2(fc)a;2(fe)
在公式11中，Wu(k)、 W12(k)、 Wu(k)和W22(k)分别是权重因数。在这种情
形中，所生成的估计误差可被定义为公式12。
23[公式12]
ei(fc) = yi(fc)—緣-)
=.Vl. 一 wu(fc) — wi2 ('fc)X2 (fc) e"ft)=副—,)
= 的(fc) — W2i(fc)a:i(fc) — W22(fc)z2(fc) .■
可按子频带生成权重因数w (k)、 w12
(k)、 W2"k)和W22(k)，以使均方误差五W(^和五^(^最小化。为此，能够使用
这样的事实当e"k)和e2(k)分别与x"k)和X2(k)正交时能够使均方误差最小化。
所生成的Wu(k)和Wu(k)可表示为公式13。
=E{Xlx2}E{Xiyi} —E{^}E{X2yi} 两2 —E2{XlX2} —E{xf}E{x|} '
在公式13中，可直接生成￡"1}、五""和五""、然而，可利用所 传送的辅助信息606 (例如，￡^}、 ai、 b》和由用户提供的控制信息608 (例 如，增益因数Ci和di)由公式14生成^{^1}和￡""}。
M
1
类似地，可由公式15生成W^和W22。
在公式15中，丑"^2}和￡"^}可被表示为公式16 [公式16]
i—i
如果混合信号604的相位彼此相干或几乎为相干，则表示为公式17的值 接近l。
",卿在这种情形中，可将权重表示为公式18。 [公式18]
<formula>formula see original document page 25</formula>
卿=
如前面的描述所提及的，以上生成的按子频带的再混合信号609经由逆滤 波器组610在时间-频率域中变换成再混合信号611。
再混合信号611听起来类似于利用由用户提供的控制信息生成的用户混
合参数Ci和di独立地再混合源信号所生成的再混合信号。
至此主要处理了 2声道立体声信号的再混合。然而，如前面的描述所提及 的，本发明适用于多声道音频信号的再混合，例如，5.1声道音频信号以及立 体声信号。本领域技术人员显而易见的是能够以类似于应用到本公开所描述的
立体声信号的方式再混合多声道音频信号。如果是这样的话，可将公式11重 写成公式19。 [公式19]
选择性地，混合信号的声道中特定的一个可保持完整，而不被再混合。例
如，再混合施加于5.1环绕声道的前声道，而两个后声道未被修改。为此，将
2或3声道再混合算法应用于前声道。
图7是根据本发明的一个实施例的第四信号处理装置的框图。
参照图7，根据本发明的一个实施例的第四信号处理装置包括辅助信息解
码单元703、空间信息统一单元705和再混合渲染单元707。
源信号的和信号701和辅助信息信号702被输入到第四信号处理装置。 辅助信息解码单元703通过解码辅助信息信号704来生成辅助信息702。
辅助信息704包括增益因数、延迟常数、子频带功率等。
辅助信息统一单元705利用辅助信息704将和信号701分成多个源信号
706。
25再混合渲染单元707能够利用源信号706生成再混合信号709。在这种情 形中，再混合渲染单元707能够利用辅助信息所携带的混合参数生成再混合信 号709。
并且，再混合渲染单元707能够利用由用户提供的控制信息所生成的用户 混合参数708来生成再混合信号709。
图8是根据本发明的一个实施例的一般编码设备和信号处理装置的组合 配置的框图。
参照图8，混合信号801可通过由一般编码设备803进行编码而变换成经 编码的混合信号805。混合信号801可包括按声道信号或源信号。并且， 一般 编码设备803包括在未来开发的编码器以及诸如AAC、 MP3编码器的常规编 码器等。
根据本发明的再混合信号编码装置804利用混合信号801和该混合信号中 所包括的源信号802生成辅助信息信号806。
复用单元807利用经编码的混合信号805和辅助信息信号806生成比特流 808。如前面的描述所提及的，辅助信息信号806可被插入到具有与常规设备 的兼容性的常规混合信号格式内的辅助数据区中。
图9是根据本发明的一个实施例的一般解码设备和信号处理装置的组合 配置的框图。
参照图9，分用单元902将所传送的比特流901分成经编码的混合信号903 和辅助信息信号904。
随后， 一般解码设备905通过解码经编码的混合信号903生成可用于根据 本发明的再混合信号解码装置卯7的混合信号906。并且， 一般解码设备905 包括在未来开发的解码器以及诸如AAC、 MP3解码器的常规解码器等。混合 信号906可包括按声道信号或源信号。根据本发明的再混合信号解码装置907 能够利用辅助信息信号和用户混合参数908中的至少一个将混合信号906变换 成再混合信号909。
图IO是根据本发明的一个实施例的第五信号处理装置的框图。
参照图10，根据本发明的一个实施例的第五信号处理装置包括混合信号 解码单元IOOI、参数生成单元1002和再混合渲染单元1008。任选地，第五信号处理装置可包括效应器1011。
参数生成单元1002可包括盲混合参数生成单元1003、用户混合参数生成 单元1004和再混合参数生成单元1005。
再混合参数生成单元1005包括等同混合参数生成单元1006，且可任选地 包括扩展混合参数生成单元1007。
再混合渲染单元1008包括等同混合渲染单元1009，且可任选地包括扩展 混合渲染单元1010。
混合信号解码单元1001通过解码由编码端传送的经编码的混合信号来生 成混合信号。
参数生成单元1002接收由编码端传送的辅助信息和用户控制信息(或配 置信息)。并且，用户控制信息可从解码器端生成，而不是由编码器端传送。
用户混合参数生成单元1004利用用户控制信息生成用户混合参数。并且， 编码器混合参数可被包括在由编码器端传送的辅助信息中。
盲混合参数生成单元1003能够利用混合信号生成盲混合参数。编码器混 合参数或盲混合参数可被选择性地输入到再混合参数生成单元1005。
再混合参数生成单元1005利用辅助信息和用户混合参数生成再混合参 数。能够生成适用于再混合信号的声道的再混合参数。
再混合参数生成单元1005中所包括的等同混合参数生成单元1006生成在 生成其声道号等于混合信号的声道号的再混合信号时使用的再混合参数。
并且，扩展混合参数生成单元1007生成在生成其声道号大于混合信号的 声道号的再混合信号时使用的再混合参数。将再混合参数输入到再混合渲染单 元1008。
再混合渲染单元1008中所包括的等同混合渲染单元1009利用再混合参数 和混合信号生成其声道号等于混合信号的声道号的等同声道再混合信号。
可包括在再混合渲染单元1008中的扩展混合渲染单元1010利用由扩展混 合参数生成单元1007生成的再混合参数和混合信号生成其声道号大于混合信 号的声道号的扩展声道再混合信号。扩展混合渲染单元1010可利用由等同声 道渲染单元1009生成的再混合信号生成扩展声道再混合信号。
因此，第五信号处理装置按原样输出由编码端传送的混合信号，将混合信
27号输出到等同声道再混合信号中，或将混合信号输出到扩展声道再混合信号中。任选地，使用由效应器1011提供的信息，再混合渲染单元能够给予再混合信号各种效果。
图11是根据本发明的一个实施例的包括混合信号比特流和辅助信息比特流的数据结构的示图。参照图ll，数据结构包括混合信号比特流1101和辅助信息比特流1102。并且，辅助信息比特流1102包括首部区1103和数据区1104。
如前面的描述所提及的，根据本发明的信号处理装置接收具有图ll所示的
数据结构的比特流。信号处理装置通过解码混合信号比特流1101获取包括至少一个源信号的混合信号，并且还通过解码辅助信息比特流1102获取辅助信息。
辅助信息包括指示至少一个源信号中要再混合的源信号和混合信号之间的关系的信息。例如，辅助信息包括电平信息、时延信息、交叉相关性信息、混合信息等。
在这种情形中，电平信息可包括要再混合的源信号的电平，且还可包括要再混合的源信号之间的相对电平，或者要再混合的源信号和混合信号之间的相对电平。并且，混合信号的电平可附加地包括在辅助信息中。
时延信息可包括要再混合的源信号之间的时延信息，或要再混合的源信号和混合信号之间的时延信息。交叉相关性信息可包括要再混合的源信号之间的交叉相关性信息、要再混合的源信号和混合信号之间的交叉相关性、或者混合信号之间的交叉相关性。
并且，混合信息是指示特定源与混合信号混合的程度的信息。例如，如果特定源尝试具有位于右侧的效应，则能够以右声道的大小比左声道大的方式实施混合。因此，混合信息可指示每个源与相对应的声道混合的程度。此外，混合信息可包括关于与混合相关联的时延的信息、关于相关性的信息等以及大小。
根据本发明的信号处理装置能够从辅助信息比特流1102获取混合参数。混合参数利用由用户提供的控制信息生成。可通过编码设备或解码设备生成混合参数。在通过解码设备生成混合参数的情形中，解码设备从用户接收控制信息然后利用控制信息生成混合参数。根据本发明的信号处理装置利用混合信
28号、辅助信息和混合参数生成再混合信号。在以下的描述中，描述辅助信息比特流中所包括的信息。
图12是图IO所示的辅助信息比特流的数据结构的详细示图。
参照图12，首部包括首部-1 1203，且数据区1202包括多个帧数据1204和多个首部-2 1205。在首部-1 1203中包括诸如混合信号中所包括的源信号的名称、源信号的特性、再现方法等高级信息。
并且，首部-1 1203可包括源信号的增益、源信号的数目、子频带号等。并且，首部-1 1203可任选地包括源信号再现/配置方法。例如，首部-1 1203可通过任选地包括预定的用户-混合参数提供再现/配置方法。
此外，首部-1 1203可任选地包括针对增益和摇移的再混合范围。
根据本发明的信号处理装置利用混合信号、辅助信息和混合参数生成再混合信号。在这种情形中，适当程度的控制，例如特定源信号能量+20dB -20dB的调节对再现质量几乎没有影响。然而，如果特定源信号的能量被完全抑制或过度修改，则再现的质量可降级。
所以，提出了一种通过设置在根据本发明的信号处理装置中可调节的最大增益衰减水平来确保再现质量的方法。例如，可使用允许最大达-40dB的衰减的方法。在这种情形中，如果用户将衰减水平调节为-80dB，则解码装置不执行相应的调节而是实际用来执行仅达-40dB的衰减。这样做时，能够宣称仅实施达到预定水平的衰减而不是执行由用户指令的衰减。
帧数据1204可包括在各个子频带内归一化的源功率。并且，帧数据1204
可包括关于每个帧中所包括的数据类型的信息。
例如，在第一数据类型的情形中，帧数据1204包括最少信息。例如，帧数据1204可包括仅与辅助信息相关联的源功率。
在第二数据类型的情形中，帧数据1204包括另外更新的增益。这对于利用根据时间变化的非静态混合增益生成再混合信号的情形是有用的。
在第三或第四数据类型的情形中，可将帧数据1204分配为保留区以供将来使用。在比特流用于广播的情形中，保留区可包括匹配广播信号的调谐所需的信息，例如，采样频率、子频带数等。
图13是根据本发明的一个实施例的第六信号处理装置的框图。参照图13，根据本发明的一个实施例的第六信号处理装置包括辅助信息
生成单元1303、辅助信息编码单元1305和嵌入单元1307。
混合信号1301和源信号1302被输入到第六信号处理装置。如前面的描述中所提及的，混合信号1301可包括单声道、立体声或多声道音频信号。为了方便起见，参考立体声信号进行描述，这不会对本发明的实现作出限制。
辅助信息生成单元1303利用混合信号1301和源信号1302生成辅助信息1304。在这种情形中，辅助信息1304包括指示混合信号中所包括的源信号与混合信号声道混合的程度的混合信息、包括在混合信号中的源信号之间的时延信息或源信号和混合信号声道之间的时延信息、以及包括在混合信号中的源信号之间的交叉相关性信息或源信号和混合信号声道之间的交叉相关性信息。
辅助信息编码单元1305利用辅助信息1304生成辅助信息信号1306以供传输和存储。
并且，嵌入单元1307将辅助信息信号1306嵌入混合信号1301。对于这种情形，可使用'数字信号嵌入方法'。如果使用'数字信号嵌入方法'，则能够在没有音质劣化的情况下将辅助信息嵌入PCM型混合信号1301。
具有辅助信息嵌入其中的混合信号不是总倉，性i;^原始混合信号区分开。具体地，有辅助信息嵌入^的!出信号(xi'和&') 1308可被等价地
视为解码设备中的输入信号(""^和^2) 1301。
'数字信号嵌入方法'包括位替换编码法、回声隐藏法、基于扩展频谱的方法等。
位替换编码法包括通过修改经量化的混合信号样本的较低位来插入特定信息的步骤，并使用最低位的修改几乎不影响混合信号的质量的特性。
回声隐藏法包括将大小足以不被人耳听到的回声插入混合信号的步骤。
基于扩展频谱的方法包括通过离散余弦变换、离散傅立叶变换等将混合信号变换成频域信号，对特定二进制信息执行频谱扩展成为PN (伪噪声)序列，并将PN序列加入经频域变换的混合信号。
在本发明的以下描述中，将主要说明嵌入方法中的位替换编码方法，这不会限制本发明的实现。
图14是配置图13所示的第六信号处理装置的嵌入单元的详细框图。
30参照图14，嵌入单元1307包括缓冲器1403、掩蔽阈值估计单元1405、 比特流整形单元1407和混合信号编码单元1409。
通过位替换编码方法，辅助信息可被嵌入到混合信号分量的非感知区。在 这种情形中，根据预定方法以及至少1个位，特定区域中的k个位(K>0)可 用作非感知区的大小(在下文中称为K)。例如，预定方法包括根据心理声学 模型得出掩蔽阈值并根据掩蔽阈值分配适当的位。
参照图14，将混合信号1401经由缓冲器1403输入到混合信号编码单元。
掩蔽阈值估计单元1405利用关于所输入的混合信号1401的特性的信息 1404得到按预定部分(例如，块)的掩蔽阈值。并且，掩蔽阈值估计单元1405 利用掩蔽阈值得到能够不生成听觉失真地进行修改的值K。具体地，按块分配 可在将辅助信息1402嵌入混合信号1401时使用的位数。
在本公开中，'块'指利用帧中存在的单个K值插入的数据单位。在单 个帧中可存在至少一个块。因此，如果帧的长度固定，则块的长度可与块数成 反比。
比特流整形单元1407可将辅助信息整形成包括K。在这种情形中，同步 字、检错码、纠错码等可被包括在整形辅助信息中。
混合信号编码单元1409将整形辅助信息1408嵌入混合信号1401然后输 出嵌有辅助信息的混合信号1410。
如前面的描述所提及的，整形辅助信息1408可嵌入在混合信号的K个位 中。K的值被插入整形辅助信息1408中然后发送到解码设备。然后解码设备 能够利用K值从混合信号提取辅助信息。
辅助信息可通过各种方法之一按块嵌入混合信号中。
第一方法包括用0替换混合信号的K个较低位，并将辅助信息加于此。 例如，如果K是3，如果混合信号的样本数据是11101101，且如果要嵌入的辅 助信息数据是111，则用0替换11101101的3个较低位以生成11101000并将 辅助信息数据111加于此以生成11101111。
第二方法使用抖动，且包括从混合信号的K个较低位减去辅助信息数据、 基于K的值再量化混合信号并将辅助信息数据加至经再量化的混合信号的步 骤。例如，如果K的值是3，如果混合信号的样本数据是11101101，且如果要嵌入的辅助信息数据是111，则从11101101减去111以生成11100110。对3 个较低位以上的位执行再量化以生成11101000 (舍入)。随后，将111加入 11101000以生成1101111。
因为嵌入在混合信号中的辅助信息是随机比特流，所以它可能不具有白噪 声特性。因为在音质特性方面将白噪声类型信号加入混合信号是有利的，所以 将辅助信息白化然后加入混合信号。白化适用于除同步字之外的辅助信息信 号。在本发明中，白化表示形成具有混合信号的音量或声级的随机信号，它在 所有频域相等或几乎相似。
在将辅助信息嵌入混合信号的过程中，能够通过将噪声成形方案应用于辅 助信息来使听觉失真最小化。在本发明中，噪声成形表示以将从量化生成的经 量化噪声的能量移到可听频带上的高频带的方式修改噪声特性的过程。并且， 噪声成形还表示包括从对应混合信号得到掩蔽阈值，生成对应于掩蔽阈值的时 变滤波器，并利用所生成的滤波器修改从量化生成的噪声的特性的过程。
图15是根据本发明的一个实施例的嵌入辅助信息的方法的示图。 辅助信息可以各种方式被嵌入混合信号中。并且，图15示出以样本平面
的顺序嵌入辅助信息的方法。以K位为单位分布对应块的辅助信息的方式实施
嵌入方法。
参照图15，如果K的值是4，且如果单个块1505用N个样本1504构造， 则辅助信息可被嵌入在每个样本的4个较低位中。如前面的描述所提及的，本 发明不仅仅限于将辅助信息嵌入每个样本的4个较低位的方法。
在每个样本的K个较低位，如图15所示，辅助信息可首先从MSB(最高 有效位)嵌入或首先从LSB(最低有效位)嵌入。
附图中所示的箭头1503指嵌入的方向，且括号中的数字指数据排列顺序。
在将要嵌入的辅助信息的位数小于其中嵌入辅助信息的区域中的可嵌入 位数的情形中，剩余的位可补零(1506),随机信号被插入其中，或者剩余的 位被原始混合信号替换。
例如，如果构成块的样本数(N)是100，且如果K是4，则可嵌入在块 中的位数(W)是400位(\\^*&=100*4=400)。
在要嵌入的辅助信息的位数(V)是390位(即，V<W)的情形中，剩余的10位被补零，随机信号被插入其中，剩余的10位被原始混合信号替换， 剩余的10位用尾序列填充，或者剩余的IO位用其组合填充。尾序列表示指示
相应块中辅助信息的结束的位序列。尽管图15示出填充按块的剩余位，但本
发明包括通过以上说明的方法填充按插入帧的剩余位。
图16是根据本发明的一个实施例的经整形(reshaped)辅助信息的数据结 构的示图。
参照图16，如前面的描述所提及的，辅助信息可通过比特流整形单元整 形成包括同步字1603和K值1604。在整形过程中，能够判定辅助信息信号在 传输或存储过程中是否被损坏的至少一个检错码或纠错码1606和1608 (在下 文中仅描述为纠错码)可包括在经整形辅助信息信号中。
纠错码包括CRC (循环冗余校验)。可通过两步包括纠错码。具体地， 可包括用于首部1601的其中包括K个值的纠错码-1 1606和用于辅助信息数据 1607的纠错码-2 1608。此外，其它信息1605可被单独包括在辅助信息信号中。 用于辅助信息嵌入方法的识别信息等可被包括在其它信息1605中。
图17是根据本发明的一个实施例的利用所嵌入的辅助信息解码音频信号 的第七信号处理装置的框图。
参照图17，根据本发明的一个实施例的第七信号处理装置包括嵌入信号 解码单元1702、辅助信息解码单元1704和再混合渲染单元1706。
嵌入信号解码单元1702可检测来自混合信号1701的辅助信息信号1703。
辅助信息解码单元1704通过解码辅助信息信号来生成辅助信息1705。
再混合渲染单元1706利用辅助信息1705和混合信号1701生成再混合信 号1708。这样做时，再混合渲染单元1706能够使用由用户提供的控制信息所 生成的用户混合参数1707。
图18是根据本发明的一个实施例的通过保存原始信号嵌入辅助信息的第
八信号处理装置的详细框图。
因为根据本发明的一个实施例的第八信号处理装置类似于图13所示的第
六信号处理装置，所以在以下的描述中省略相同部分的细节。第八信号处理装 置与第六信号处理装置的不同之处在于构成编码设备的嵌入单元配置不同。
参照图18，经由缓冲器1803将混合信号1801输入到混合信号编码单元
331809。
掩蔽阈值估计单元1805利用关于混合信号1801的特性的信息1804计算 掩蔽阈值，然后利用掩蔽阈值得到K值1806。
比特流整形单元1807以在不去除其中将嵌入辅助信息信号1802的区域的 混合信号数据1811的情况下组合混合信号数据1811和辅助信息信号1802的 方式执行整形。整形方法将参照图19予以详细说明。
并且混合信号编码单元1809能够将经整形的信号1808嵌入混合信号 1801。
图19是根据本发明的一个实施例的通过保存原始信号来嵌入辅助信息的 方法的示图。
为了清楚和方便起见，在辅助信息被插入构成混合信号的单个声道 1901的单个块中的假设上进行描述。
参照图19，混合信号1901的分量可被分成辅助信息未被嵌入的区域1902 和辅助信息被嵌入的区域1903。
被嵌入区域1903的混合信号经历无损编码1904。随后，经无损编码的混 合信号和辅助信息信号1905被组合并编码以生成组合信号1907。随后，组合 信号1907被嵌入混合信号以生成有组合信号嵌入其中的混合信号1908。
因此，如果必要，解码设备可利用组合信号1907完美地重构原始混合信
号1901。由于以下原因，该方法是可能的。首先，因为要嵌入的辅助信息信号
的数据大小实际上小于可嵌入数据大小，所以能够确保将经无损编码的混合信 号插入其中的空间。
在简单地嵌入辅助信息信号的方法中没有生成失真，因为嵌入信号感觉上 地等于原始信号但这些信号彼此不完全相同。所以，在原始信号的完美重构是 必需的情形中，可使用以上的方法。
图20是根据本发明的一个实施例的用于完美重构原始信号的第八信号处 理装置的框图。
参照图20，根据本发明的一个实施例的第八信号处理装置包括嵌入信号 解码单元2002、无损解码单元2004和替换单元2006。
嵌入信号解码单元2002从其中嵌入组合信号的混合信号2001提取组合信号2003。
无损解码单元2004利用组合信号2003重构对应于其中嵌入组合信号的区 域的混合信号2005。
并且，替换单元2006利用经重构的混合信号2005生成原始信号2007。 可同时使用根^S 2^_的重构过程和利用^^助!，的再混合过程。在这种
情形中，代替利用^'和^'进行解码，利用^和"^实施再混合过程。因此， 可获得较好的输出。
图21是根据本发明的一个实施例的将辅助信息嵌入两个声道的音频信号 的第一方法的示图。
参照图21，第一方法涉及在每个声道的帧构建有多个块(长度B)的情 形中将辅助信息插入具有至少一个声道的混合信号的方法。
K的值可按声道或按块具有不同或相等的值。K,、 K2、 K3和K4的值可存 储在对整个帧传送一次的帧首部中。并且，帧首部可位于LSB。在这种情形中， 首部能逐个位平面单位地插入，且辅助信息数据能够可选地逐个样本单位或块 单位地插入。
图21示出帧内的块数是2的情形。所以，块的大小(B)变为N/2。如果 是这样的话，帧中插入的位数变为(K！ + K2+ K3 + K4)*B。
图22是根据本发明的一个实施例的将辅助信息嵌入两个声道的音频信号 的第二方法的示图。
参见图22，第二方法涉及通过在两个声道上分割辅助信息来嵌入辅助信 息的方法。这样做时，辅助信息以位平面的顺序从LSB或MSB插入两个声道， 且还替换地逐个样本单位地插入。所以，混合两种插入。
如图所示该方法可逐个帧单位或块单位地实施。
参照图22，部分1至C (阴影部分)指示对应于头部的部分。为了便于 搜索插入帧同步字，它们可以位平面的顺序插入在LSB或MSB中。
并且，部分C+1、 C+2…(非阴影部分)指示首部以外的部分。为了便于 辅助信息读出，它们可替换地逐个样本单位地插入两个声道中。K值可按声道 或块彼此不同或者可彼此相同。
图23是根据本发明的一个实施例的用于去除所嵌入的辅助信息的第九信号处理装置的框图。为了内容的版权保护等目的，辅助信息被修改或从其中插 入辅助信息的混合信号中去除。因此，用于再混合的辅助信息根本没有留下。
参照图23，分析单元2302分析嵌入辅助信息的混合信号2301，然后提取 诸如辅助信息嵌入区域的信息等的嵌入信息2303。
去除单元2304从嵌有辅助信息的混合信号2301去除辅助信息并生成辅助 信息被去除的混合信号2305。为此，可使用如下的各种方法。
在第一方法中，通过分析单元2302检査嵌入的辅助信息是否存在于混合 信号中。通过得出嵌入的电平值等确认去除范围。最后，正确地去除其中嵌有 辅助信息的位序列。
在第二方法中，在不使音质失真的情况下搜索可嵌入随机噪声的电平值 (类似于K的值)。然后加入对应的随机信号以破坏所插入的辅助信息。
在第三方法中，利用全通滤波器修改信号。
在第四方法中，由随机信号替换LSB1位以去除同步字信息。
图24是根据本发明的一个实施例的用于生成其中嵌有辅助信息的混合信 号的比特流的第十信号处理装置的框图。
参照图24，编码设备包括辅助信息提取单元2401、混合信号编码单元2402 和复用单元2403。
可能发生的是其中嵌有辅助信息的混合信号需要被编码(例如，需要实施 AAC (高级音频编码)编码)。在这种情形中，如果实施一般的AAC编码， 则在编码过程中，具有极差刚性的嵌入信息可能完全消失。然而，在编码前已 经从嵌有辅助信息的混合信号中提取辅助信息之后，如果对混合信号实施压縮 编码，则能够将辅助信息与经压縮的混合信号一起发送。该方法将被详细解释 如下。
首先，辅助信息提取单元2401从嵌有辅助信息的混合信号中提取辅助信 息。为此，图1中所解释的方法适用于辅助信息提取。
随后，混合信号编码单元2402对已经从中提取辅助信息的混合信号执行 压縮编码。
并且，复用单元2403通过复用经编码的混合信号和辅助信息来生成比特流。
36如果辅助信息是空间信息，则经复用的比特流可以是具有空间信息的压縮
比特流。例如，经复用的比特流可包括AAC+MPEG环绕信号。
如果辅助信息是通过与PCM型混合信号时间对齐所使用的信号，则有必 要将待编码的混合信号的帧单位与用于插入辅助信息的单位对齐。
并且，需要利用从辅助信息提取过程获取的帧同步信息匹配混合信号的编 码起始位置的过程。
此外，能够利用嵌入信息的帧长度信息确定混合信号的帧长度。稍后将解 释利用帧长度信息的方法。
由于通过以上说明的方法生成最后位序列具有带有极低数据率的辅助信 息，所以可将多声道信号生成为具有极低数据率的信号以供存储和传输。
图25是图24所示的第十信号处理装置的详细框图。
参照图25，编码装置还可包括缓冲单元2505。并且，构成编码设备的辅 助信息提取单元2501包括同步信息提取单元2502、首部信息提取单元2503 和有效载荷提取单元2504。
首先，同步信息提取单元2502从嵌有辅助信息的混合信号Lo'和Ro'提取 辅助信息的同步信息。 一旦获取同步信息，与相应同步信息的第一样本相对应 的位置变为帧同步值。帧同步值被传送到缓冲单元2505。
缓冲单元2505利用帧同步值识别帧的起始位置。缓冲单元2505缓冲来自 相应位置的等于混合信号帧长度的数据，然后将经缓冲的数据传送到混合信号 编码单元2506。
同时，首部信息提取单元2503以在提取同步信息之后解码存在的辅助信 息的首部区的方式提取解码所需的首部信息。首部信息可在解码与辅助信息中 所包括的数据信息相对应的有效载荷信息中使用。
在这种情况下，能够将从首部区提取的辅助信息的帧长度信息传送到缓冲 单元2505或混合信号编码单元2506。
混合信号编码单元2506能够利用帧长度信息确定混合信号帧长度。
有效载荷提取单元2504从辅助信息中提取除同步信息和首部信息以外的 实际数据信息。
混合信号编码单元2506利用同步信息和帧长度信息编码混合信号。随后，复用单元2507利用经编码的混合信号和辅助信息来生成比特流。
图26是根据本发明的一个实施例的用于将辅助信息嵌入混合信号的第十
一信号处理装置的框图。
参照图26，根据本发明的一个实施例的第十一信号处理装置包括分用单 元2601、混合信号解码单元2602和嵌入单元2603。
分用单元2601通过分用比特流提取经编码的混合信号和要嵌入混合信号 内的辅助信息。
混合信号解码单元2602解码经编码的混合信号，然后输出经解码的混合 信号Ld和Rd。
并且，嵌入单元2603通过将辅助信息嵌入经解码的混合信号来生成嵌有 辅助信息的混合信号Ld，和Rd，。混合信号可被存储在诸如CD等的PCM信 号存储介质中并可被发送。
图27是根据本发明的一个实施例的用于控制混合信号的第十一信号处理 装置的框图。
参照图27，根据本发明的一个实施例的第十一信号处理装置包括混合信 号控制设备2710和混合信号处理设备2720。
混合信号控制设备2710互连至混合信号处理设备2720，且包括控制单元 2711、存储器2712、输入单元2713、显示器2714和通信单元2715。
在这种情形中，混合信号处理设备2720可与参照图5解释的第三信号处 理装置等同，其细节将在以下的描述中省略。
存储器2712是其中存储按混合信号的识别信息的源控制信息的存储设 备。在这种情形中，混合信号的识别信息可以是从辅助信息解码单元2723接 收的混合信号的辅助信息(si)或混合信号2721本身。
同时，源控制信息可包括按源增益因数、按声道的增益因数和按子频带的 按源增益因数中的至少一个。在这种情形中，增益因数可等同于前面参照图6 解释的增益因数(Ci， dO，这不会限制本发明的实现。
如果增益因数(Ci， di)根据时间变化，则时间索引'k'被附连于此以表示 Ci(k)和di(k) (k是时间索引)，公式10可被修改为公式20。同时，源控制信息可包括关于特定部分中的摇移效果的控制信息。例如，
能够以人类的语音信号在2分24秒和2分42秒之间的部分中从右声道逐渐移 动到左声道的方式描述摇移效果。在这种情形中，仅包括起点信息(例如，ks = 2分24秒)、终点信息(例如，kf-2分42秒)、起点处的增益因数(例如， Ci(ks)=l， di(ks) = 0)和终点处的增益因数(例如，Ci(kf) = 0，綱=1)。但
是，可不包括起点和终点之间的增益因数(Ci(k)， di(k)，其中ks〈k〈kf)。
图28是根据本发明的一个实施例的在摇移效果的情形中用于说明起点信 息、终点信息以及起点与终点处的增益因数的示图。
参照图28，示出在k=ks (起点)和k=kf (终点)处的增益因数(Ci(k)， di(k))。并 且，起点和终点之间的增益因数被加以阴影。如果起点和终点处的增益因数在 存储器2712中被存储为源控制信息，则可通过控制单元2711生成其间的增益 因数(阴影部分)。
源控制信息可包括关于特定部分中的渐变效果的控制信息。例如，女性语 音信号在1分24秒和1分42秒之间的部分中渐强或渐弱，这被称为渐变效果。 在这种情形中，类似摇移效果的情形，仅包括起点信息(例如，ks= 1分24秒)、 终点信息(例如，kf= 1分42秒)、起点处的增益因数(例如，Ci(ks)= 1， d氛) =0)和终点处的增益因数(例如，Ci(kf) = 0， di(kf)=l)。但是，可不包括起
点和终点之间的增益因数(Ci(k)， di(k)，其中ks〈k〈kf)。
图29是根据本发明的一个实施例的在渐变效果的情形中用于说明起点信 息、终点信息以及起点与终点处的增益因数的示图。
参照图29，类似图28所示的情形，可由控制单元2711生成起点和终点 之间的增益因数(阴影部分)，即使它们未被存储在存储器2712中。
控制单元2711基于媒体信号的识别信息从存储器2712读出与混合信号匹 配的源控制信息(ci),然后将读出信息输出到混合信号处理设备2720。
较佳地，如果存在与混合信号匹配的控制信息(ci)，则控制单元2711显示源控制信息的列表。
图30和31是根据本发明的一个实施例的用于表示源控制信息列表的屏幕 画面的示例性示图。图31示出表示源信息连同源控制信息列表的画面。
如果由用户经由输入单元2713输出对特定源控制信息的选择命令，则从 存储器2712读取所选择的控制信息(ci)然后将其输出到混合信号处理设备 2720。
在通过图31所示的画面输入对单个混合信号中所包括的源(例如，钢琴、 小提琴、女声歌唱、长笛)中的一个(例如，女声歌唱)的选择命令的情形中， 控制单元2711仅输出对应于所选择源(例如，女声歌唱)的源控制信息(例 如，d = [c3(k)，d3(k)])。在经由输入单元输出关于所选的源控制信息的经修改 的源控制信息的情形中，控制单元2711将经修改的源控制信息存储在存储器 2712中。
同时，在与混合信号匹配的源控制信息(ci)未被存储在存储器2712中 的情形中，控制单元2711输出使源控制信息能够经由显示器2714输入的画面。 如果经由输入单元27B输入源控制信息，则控制单元2711通过使所输入的信 息与混合信号的识别信息相匹配来将所输入的源控制信息存储在存储器2712 中。
输入单元2713是用于输入源控制信息、源控制信息修改命令、源控制信 息选择命令等的输入设备。
显示器2714是用于显示源控制信息输入画面、源控制信息列表、源控制 信息选择画面等的显示设备。
通信单元2715是用于在控制单元的控制下将源控制信息(ci)经由通信 网络发送到第二再混合控制设备(附图中未示出)的元件。在这种情形中，源 控制信息可包括经编码的位序列，其包括混合信号的识别信息以识别混合信 号。此外，稍后将参照图34至36说明第二再混合控制设备(附图中未示出)。
图32是根据本发明的一个实施例的用于控制混合信号的第十二信号处理 装置的框图。
参照图32，根据本发明的一个实施例的第十二信号处理装置包括混合信 号控制设备3210和混合信号处理设备3220。
40混合信号控制设备3210互连至混合信号处理设备3220，且包括控制单元 3211、存储器3212、输入单元3213和显示器3214。
在这种情形中，混合信号处理设备3220可与参照图7说明的第四信号处 理装置等同，其细节将在以下的描述中省略。
同时，第十二信号处理装置中所包括的控制设备3210的控制单元3211、 存储器3212、输入单元3213和显示器3214具有几乎与第十一信号处理装置中 所包括的控制设备2710的元件(具有相同的名称)相同的功能，其细节将在 以下的描述中省略。
图33是根据本发明的一个实施例的处理混合信号的方法的流程图。
参照图33，首先，用户从多个混合信号最后选择要再混合的特定混合信 号(S3301)。
如果这样的话，混合信号处理设备解码混合信号的辅助信息。 混合信号控制设备从混合信号处理设备或外部设备接收混合信号的识别
信息(混合信号或混合信号的辅助信息)(S3302)。
随后，基于在步骤S3302接收到的混合信号的识别信息，混合信号控制设
备査询与步骤S3301中选择的混合信号匹配的源控制信息是否被存储 (S3303)。
如果存在所存储的源控制信息(在步骤S3304中为"是")，则在显示器 上表示源控制信息的列表。如前面的描述所提及的，在图30和31中示出源控 制信息列表的示例。
用户输入对特定源控制信息(所有源或部分)的选择命令(S3305)。例 如，在显示图30所示的画面时，点击第二再混合信息((2.再混合信息2')。 或者，在显示图31所示的画面时，点击第二再混合信息('2.再混合信息2') 的图标'钢琴，。
如果是这样的话，混合信号处理设备读取在步骤S3305中选择的源控制信 息(所有源或部分)然后将读取信息输出到混合信号处理设备(S3306)。
在接收到步骤S3306中所输出的源控制信息之后，混合信号处理设备根据 源控制信息再混合混合信号(S3308)。
如果用户完全或部分地修改源控制信息(S3309)，则存储经修改的控制
41信息(S3310)。
同时，如果所存储的源控制信息不存在(在步骤S3304中为'否')，则 判定用户是否选择存储源控制信息(S3311)。
如果用户选择存储源控制信息(在步骤S3311中为'是')，则混合信号 控制设备显示源控制信息输入画面。如果用户输入源控制信息，则混合信号控 制设备接收相对应的源控制信息(S3312)。
随后，混合信号控制设备通过使所接收的源控制信息与混合信号的识别信 息相匹配来存储所接收的源控制信息(S3313)。
图34是根据本发明的一个实施例的生成源控制信息以供使用的过程的示图。
参照图34，第一混合信号控制设备3401经由通信网络向控制信息提供服 务器3403提供源控制信息(d)或直接将源控制信息发送到第二混合信号控制 设备3402。在这种情形中，第一混合信号控制设备2401可等同于前面参照图 27-32说明的第六信号控制设备2710/3210。
同时，已经接收源控制信息(ci)的第二混合信号控制设备3402利用源 控制信息(d)再混合相应的混合信号。稍后将参照图35说明第二混合信号控 制设备3402的细节。
图35是根据本发明的一个实施例的用于控制混合信号的第十三信号处理 装置的框图，且图36是根据本发明的一个实施例的处理混合信号的方法的流 程图。
参照图35，根据本发明的一个实施例的第十三信号处理装置包括第二混 合信号控制设备3510和混合信号处理设备3520。
第二混合信号控制设备3510互连至混合信号处理设备3520，且包括通信 单元351K输入单元3512、控制单元3513和显示器3514。
在这种情形中，混合信号处理设备3520可与参照图5说明的第三信号处 理装置相同，其细节将在以下的描述中省略。
通信单元是用于接收对应于混合信号的至少一个源控制信息(ci)的元件。 在这种情形中，至少一个源控制信息(ci)可各自构造一位序列且可用单个位 序列来构造。源控制信息(ci)可包括由编码设备生成的信息(ci (预先设置))或由普通用户生成的信息(d(UCC))。
输入单元3512是使得能够从至少一个接收到的源控制信息(Ci)选出一 个的输入设备。
控制单元3513控制经由输入单元3512选择的源控制信息(ci)被输出到 混合信号处理设备3520。
并且，显示器是用于显示至少一个源控制信息的设备。
参照图36，首先，第二混合信号控制设备3510接收对应于混合信号的至 少一个源控制信息(S3601)。
如果是这样的话，显示源控制信息的列表(S3602)。
如果用户选择所显示的源控制信息之一 (在步骤S3603中为'是')，则 所选择的源控制信息被输出到混合信号处理设备3520 (S3604)。
图37是根据本发明的一个实施例的用于控制混合信号的第十四信号处理 装置的框图。
参照图37，根据本发明的另一个实施例的混合信号控制设备3710包括参 数生成单元3713和扩展混合渲染单元3714。
参数生成单元3713接收辅助信息3712和控制信息(ci)然后生成扩展混 合参数(UPBS)。或者，通过接收混合信号3711而不是辅助信息3712，参数 生成单元3713能够基于所接收的混合信号3711生成辅助信息3712。
同时，控制信息(ci)具有包括按源增益因数、按声道的增益因数和按子 频带的按源增益因数(g)以及输出声道配置信息(cf)中的至少一个的概念。 按源增益因数、按声道的增益因数和按子频带的按源增益因数(g)中的至少 一个的增益因数可等同于前面参照图6说明的增益因数(q和d》608，本发明 的实现不限于此。
由参数生成单元3713生成的扩展混合参数(扩展混合参数比特流，IPBS) 是与尝试用大于混合信号3711的声道号大的声道号执行渲染的情况相对应的 参数。并且，扩展混合参数可用编码成可传送到另一个设备的位序列来构造。
并且，扩展混合渲染单元3714接收扩展混合参数(UPBS)和混合信号3711 然后输出扩展声道混合信号(UCMS)。在这种情形中，扩展声道混合信号(UCMS) 具有比混合信号3711大的声道号。
43图38是根据本发明的一个实施例的处理混合信号的方法的流程图。
参照图38，首先，接收对应于混合信号的辅助信息(S3801)。
接收包括按源增益因数、按声道的增益因数和按子频带的按源增益因数以
及输出声道配置信息中的至少一个的控制信息(S3802)。
利用在步骤S3801接收的辅助信息和在步骤S3802接收的控制信息生成扩展混合参数。
最后，利用扩展混合参数和混合信号生成经再混合的扩展混合混合信号(S3謝)。
图39是根据本发明的一个实施例的生成辅助信息的方法的流程图。为了使编码设备生成辅助信息，单独的源信号是必需的。然而，在各种混
合信号中，可能发生的是混合信号中所包括的源信号不单独存在。在这种情形
中，可利用类似混合信号中所包括的源信号的信号生成辅助信息。并且，辅助
信息包括诸如增益值、子频带功率等参数。
参照图39，如果输入混合信号(S3卯l)，则判定混合信号的单独源信号
是否独立存在(S3902)。
如果单独源信号存在，则利用单独源信号生成辅助信息(S3904)。如果单独源信号不存在，则判定用于混合信号的MIDI文件是否存在(S3903)。
如果MIDI文件存在，则可利用MIDI文件生成辅助信息(S3906)。例如，利用MIDI文件生成特定源信号(例如钢琴声音)，然后可利用特定源信号生成辅助信息。
如果MIDI文件不存在，则可利用以下方法之一生成辅助信息。
在第一方法中，利用采用与特定源信号的寄存器组相似的寄存器组的乐器生成辅助信息(S3905)。例如，在歌唱的情形中，可利用采用与歌唱的寄存器组相似的寄存器组的乐器生成辅助信息。
在第二方法中，利用指示混合信号中特定空间的声音分量生成辅助信息(S3905)。例如，在歌唱的情形中，指示混合信号中的中间空间的声音分量被分析，以将其视为歌唱。然后利用该声音分量生成辅助信息。
在第三方法中，将第一和第二方法组合起来。具体地，利用采用与特定源
44信号的寄存器组相似的寄存器组的乐器和指示混合信号中的特定空间的声音
分量生成辅助信息(S3905)。
最后，可利用混合信号和辅助信息生成混合信号文件(S3907)。
图40是根据本发明的一个实施例的用于替换特定源信号的第十五信号处
理装置的框图。
参照图40，根据本发明的一个实施例的第十五信号处理装置包括再混合渲染单元4002、控制单元4003、再现单元4004、源信号生成单元4005、存储器单元4008、记录单元4009和记录介质4011。在图40中，再现单元4004包括扬声器，这不限制本发明的各个实现。
首先，将混合信号4001输入到再混合渲染单元4002。
再混合渲染单元4002利用辅助信息、混合信号以及用户混合参数生成再混合信号。在这种情形中，可利用从用户处获取的控制信息生成用户混合参数。例如，能够以降低混合信号中所包括的特定源信号(例如歌唱信号)的增益或止音特定源信号的方式生成再混合信号。
控制单元4003使得再混合信号能够经由扬声器4004输出。在输出再混合信号的过程中，可经由源信号生成单元4005输入新源4006。在这种情形中，新源4006可由用户提供或可利用单独设备提供。
随后，可将由源信号生成单元4005生成的源信号存储在存储器4008中。
记录单元4009可利用再混合信号和存储在存储器4008中的新源信号生成新的再混合信号4010。
例如，再混合信号通过止音混合信号中包括的钢琴声音来生成。在输出再混合信号的过程中输入由弹钢琴的用户生成的钢琴信号以生成新的再混合信号。由用户生成的钢琴信号被存储在存储器中，然后可用于通过与再混合信号合成生成新的再混合信号。
新的混合信号4010被存储在记录介质4011中然后向外部输出(4012)。记录介质4011被包括在根据本发明的信号处理装置中，或者可单独存在。
图41是根据本发明的一个实施例的第十六信号处理装置的框图。
参照图41，根据本发明的一个实施例的第十六信号处理装置包括第一辅助信息生成单元4103、第一辅助信息编码单元4104、第二辅助信息生成单元4106和第二辅助信息编码单元4107。
编码设备将混合信号4101发送到解码设备。编码设备能够将混合信号4101直接发送到解码设备。或者，在有多个混合信号4101的情形中，编码设备能够以将混合信号4101縮减混合成一个或两个缩减混合信号的方式发送它们。任选地，可通过针对混合信号传输效率量化和编码縮减混合信号4101来发送它。
可将源信号分成混合信号4101中所包括的信号("I 4102和混
合信号4101中不包括的其它源信号(- ■ 5" 4105。
例如，假设混合信号4101中包括的源信号4102是鼓和贝司(base)信号，且还假设混合信号4101中不包括的源信号4105是歌唱-1、歌唱-2、歌唱-3、钢琴和小提琴信号。在这种情形中，第一辅助信息生成单元4103利用混合信号4101和混合信号4101中所包括的鼓和贝司信号4102生成用于调节鼓和贝司信号的第一辅助信息。在以下的描述中，用于包括在混合信号4101中的源信号4102的辅助信息被称为第一辅助信息。并且，用于未被包括在混合信号4101中的源信号4105的辅助信息被称为第二辅助信息。
第二辅助信息生成单元4106利用歌唱-1、歌唱-2、歌唱-3、钢琴和小提琴信号生成第二辅助信息。第二辅助信息是用于按源信号调节未被包括在混合信号4101中的源信号4105的信息。第一和第二辅助信息中的每一个包括增益因数、按照子频带的功率、延迟常数等。
第一辅助信息编码单元4104编码由第一辅助信息生成单元4103生成的第
一辅助信息然后将经编码的信号发送到解码设备。
第二辅助信息编码单元4107编码由第二辅助信息生成单元4106生成的第
二辅助信息然后将经编码的信号发送到解码设备。
未被包括在混合信号4101中的源信号4105和相应的第二辅助信息不仅可由编码设备生成还可由其它设备生成。
具体地，未被包括在混合信号4101中的源信号4105和相应的第二辅助信息由与编码设备分离的提供源信号的服务器生成，然后将其提供给解码设备。
或者，未被包括在混合信号4101中的源信号4105和相应的第二辅助信息
可直接由用户生成。
46解码设备能够利用包括在混合信号4101中的源信号4102和未被包括在混合信号4101中的源信号4105生成新的混合信号。
在前面的示例中，用户仅按口味从包括在混合信号4101中的源信号中选择贝司信号，且还从未被包括在混合信号4101中的源信号4105中选择歌唱-1和钢琴声音，然后生成包括贝司信号、歌唱-l声音和钢琴声音的新混合信号。
用户能够从源信号提供服务器和/或解码设备分别接收未被包括在混合信号4101中的源信号4105中的每一个。所以，用户能够利用分别接收的源信号4105生成新的混合信号。
图42是根据本发明的一个实施例的第十七信号处理装置的框图。
参照图42，根据本发明的一个实施例的第十七信号处理装置包括混合信号修改单元4203、辅助信息修改单元4207和再混合单元4211。
第十七信号处理装置提取从编码设备接收或事先存储的混合信号4201、以及未被包括在混合信号4201中的源信号4202。
混合信号修改单元4203利用混合信号4201和未被包括在混合信号4201中的源信号4202修改混合信号4201。
具体地，混合信号修改单元4203从用户处接收源信号选择信息4208，然后生成新的混合信号4204，其包括由用户从包括在混合信号4201中的源信号中选择的源信号和未被包括在混合信号4201中的源信号4202。
辅助信息修改单元4207从用户处接收源信号选择信息4208然后生成用于按源信号调节新混合信号4204的辅助信息4209。在以下的描述中，用于新的混合信号4204的辅助信息可被称为第三辅助信息4209。
辅助信息修改单元4207能够利用按源信号调节混合信号4201的第一辅助信息和用于调节未被包括在混合信号4201中的源信号4202的第二辅助信息生成用于新的混合信号4204的第三辅助信息4209。
并且，辅助信息修改单元4207能够利用混合信号4201和未被包括在混合信号4201中的源信号4202直接生成第三辅助信息4209。
再混合单元4211从用户处接收控制信息4210，从混合信号修改单元4203接收经修改的混合信号4204、并从辅助信息修改单元4207接收用于新的混合信号4204的第三辅助信息。再混合单元4211利用控制信息4210、经修改的混合信号4204和用于经修改的混合信号4204的第三辅助信息4209生成经再混合的混合信号4212。
第十七信号处理装置可包括用于提取表示源信号的图标、修改所提取的图标和生成新图标的图标处理单元(图中未示出)。
用户能够在调节混合信号中所包括的相应源信号时使用用符号表示各个源信号的图标。图标可包括用于表示源信号的乐器的图像、歌手的脸部轮廓等或描述乐器名称的文本等。
用户能够利用由编码设备发送的源信号的图标来调节源信号。用户按口味修改由编码设备发送的源信号的图标，然后使用经修改的图标。用户通过访问用于提供源信号的服务器来接收用于源信号的图标，然后使用所接收的图标。并且，用户直接生成用于源信号的图标，然后使用所生成的互连至源信号的图标。
图43是根据本发明的一个实施例的混合信号变换单元的内部框图。
参照图43，混合信号修改单元4203包括源信号提取单元4301、控制单元4302和信号修改单元4303。
首先，源信号提取单元4301提取源信号。在这种情形中，源信号包括混合信号中包括的源信号和未被包括在混合信号中的源信号。
控制单元4302从用户处接收源信号选择信息4304。控制单元4302提取由用户选择的源信号然后将所提取的源信号发送至信号修改单元4303。
信号修改单元4303利用由用户选择的源信号生成新的混合信号。具体地，根据用户作出的选择，信号修改单元4303以从新的混合信号中排除混合信号中所包括的特定源信号、并使未被包括在混合信号中的源信号中的特定源信号能够被包括在新的混合信号中的方式生成包括由用户选择的源信号的新混合信号。
因此，用户能够通过按口味选择特定源信号来将原始混合信号修改成新的混合信号。
图44是根据本发明的一个实施例的利用源信号提供服务器处理信号的方法的示图。
参照图44，用户利用用户终端4402访问源信号提供服务器4401。在这种
48情形中，用户终端4402包括能够经由通信网络访问服务器的设备，诸如用户 PC、移动电话、PDA、 PMP等。
源信号提供服务器4401包括可与混合信号一起再现的未被包括在混合信 号中的源信号。
源信号提供服务器4401包括要与混合信号一起播放的源信号，其具有与 混合信号相同的节拍、节奏等并与混合信号同步。
例如，当歌曲'H"^—月的雨(November Rain)，由鼓、贝司、吉他和钢 琴演奏时，每个源信号对于同一音乐以同一节奏和节拍演奏。在这种情形中， 如果仅源信号中的鼓和贝司信号被包括在混合信号中，则用户能够从所访问源 信号的提供服务器下载'十一月的雨'的吉他或钢琴信号。
用户能够将所下载的吉他或钢琴信号与原始混合信号一起播放。 用户访问源信号提供服务器4401然后选择特定的音乐。 源信号提供服务器4401显示当前所包括的由用户选择的特定音乐的源信 号列表。
用户从由源信号提供服务器4401显示的源信号选择特定源。
源信号提供服务器4401提取用户选择的源信号然后将所提取的源信号发 送到用户终端4402。任选地，源信号提供服务器4401生成用于用户选择的源 信号的辅助信息然后将辅助信息与源信号一起发送到用户终端4402。
用户能够利用解码设备由从源信号提供服务器4401接收的源信号和包括 在原始混合信号中的源信号生成新的混合信号。
用户可从源信号提供服务器4401接收源信号并且还能够直接生成针对特 定音乐的源信号。用户能够通过利用混合信号中所包括的源信号和直接生成的 源信号修改原始混合信号生成新的混合信号。
源信号提供服务器4401可包括用于源信号的图标以及源信号。用户访问 源信号提供服务器4401然后下载以使用用于源信号的图标。用户修改从源信 号提供服务器4401接收的源信号的图标，然后使用经修改的图标。
图45是根据本发明的一个实施例的变换混合信号的方法的流程图。
参照图45，根据本发明的信号处理装置提取从编码设备接收的或先前存 储的混合信号。信号处理装置提取混合信号中包括的源信号(S4501)。
49在以下的描述中，混合信号中包括的源信号被称为第一源信号，而未被包 括在混合信号中的源信号被称为第二源信号。
信号处理装置提取从编码设备或源信号提供服务器4401接收的或直接由
用户生成的第二源信号(S4502)。
信号处理装置利用第一和第二源信号修改混合信号(S4503)。具体地，
信号处理装置生成仅包括由用户从第一源信号和第二源信号中选出的源信号
的新的混合信号。
图46是根据本发明的一个实施例的变换混合信号的方法的流程图。 参照图46，根据本发明的信号处理装置提取源信号(S4601)。在这种情
形中，源信号包括混合信号中所包括的第一源信号和未被包括在混合信号中的
第二源信号。
信号处理装置接收由用户选择的源信号(S4602)。
信号处理装置4303利用由用户选择的源信号生成新的混合信号(S4603)。
具体地，信号处理装置以从原始混合信号所包括的源信号中去除未被用户 指定的源信号、并将未被包括在混合信号中的源信号中由用户指定的源信号加 入混合信号中的方式生成新的混合信号。
信号处理装置生成用于新的混合信号的第三辅助信息以按源信号调节新 的混合信号。
根据本发明的信号处理装置能够利用用于混合信号的第一辅助信息和用 于未被包括在混合信号中的源信号的第二辅助信息生成用于新的混合信号的 第三辅助信息。
并且，信号处理装置能够不使用第一和第二辅助信息而生成第三辅助信息。
具体地，在生成新的混合信号后，信号处理装置能够利用所生成的混合信 号直接生成用于新的混合信号的第三辅助信息。
信号处理装置从用户处接收控制信息(S4605)。
并且，信号处理装置利用从用户处接收的控制信息和第三辅助信息生成能 够按源信号控制新的混合信号的经再混合的混合信号(S4606)。
50工业实用性
尽管本文参考本发明的优选实施例来描述和例示了本发明，但本领域的技 术人员将清楚可在本发明中作出各种修改和变形而不会脱离本发明的精神和 范围。因此，本发明旨在涵盖落入所附权利要求及其等效技术方案范围内的本 发明的修改和变形。
5权利要求
1.一种信号处理方法，包括从混合信号比特流提取包括至少一个源信号的混合信号；从辅助信息比特流提取辅助信息；获取用户混合参数；以及利用所述混合信号、所述辅助信息以及所述用户混合参数生成再混合信号，其中所述辅助信息比特流被分成第一首部区和数据区。
2. 如权利要求1所述的信号处理方法，其特征在于，所述第一首部区包括 所述至少一个源信号的名称、所述至少一个源信号的特性、所述至少一个源信 号的号码、子频带号和采样频率信息中的至少一个。
3. 如权利要求2所述的信号处理方法，其特征在于，所述第一首部区选择 性地包括用于摇移和增益的再混合范围和用户混合参数信息中的至少一个。
4. 如权利要求1所述的信号处理方法，其特征在于，所述数据区包括至少 一个第二首部区，且所述第二首部区包括至少一个源信号的增益信息。
5. 如权利要求1所述的信号处理方法，其特征在于，所述数据区包括至少 一个帧数据区，且所述至少一个帧数据区包括所述至少一个源信号的功率信 息。
6. 如权利要求5所述的信号处理方法，其特征在于，所述帧数据区还包括 数据类型信息。
7. 如权利要求6所述的信号处理方法，其特征在于，所述帧数据区还包括 根据所述数据类型信息的所述至少一个源信号的增益信息。
8. —种信号处理方法，包括 利用至少一个源信号获取混合信号； 从所述至少一个源信号获取要再混合的源信号； 利用所述混合信号和要再混合的所述源信号生成辅助信息；以及 分别利用所述混合信号和所述辅助信息生成混合信号比特流和辅助信息比特流，其中所述辅助信息比特流被分成第一首部区和数据区。
9. 一种信号处理方法，包括提取嵌入混合信号的分量中的非感知区中的辅助信息；以及 利用所述辅助信息和所述混合信号生成再混合信号。
10. 如权利要求9所述的信号处理方法，其特征在于，所述辅助信息提 取包括从所述辅助信息的首部区提取其中嵌入所述辅助信息的区域的大小信息；以及利用所述大小信息从所述混合信号提取所述辅助信息。
11. 如权利要求10所述的信号处理方法，其特征在于，所述辅助信息 的首部区嵌入所述混合信号的最低有效位(LSB)中。
12. 如权利要求9所述的信号处理方法，其特征在于，所述再混合信号 生成包括利用以控制信息生成的用户混合参数生成所述再混合信号。
13. —种信号处理方法，包括利用所述混合信号和所述混合信号中所包括的源信号生成用于再混合所 述混合信号的辅助信息；以及将所述辅助信息嵌入所述混合信号的分量中的非感知区内。
14. 如权利要求13所述的信号处理方法，其特征在于，所述辅助信息 以样本平面或位平面的顺序嵌入所述非感知区内。
15. 如权利要求14所述的信号处理方法，其特征在于，所述辅助信息 首先从所述样本平面或位平面的最高有效位(MSB)插入或者首先从所述样本 平面或位平面的最低有效位(LSB)插入。
16. 如权利要求13所述的信号处理方法，其特征在于，其中嵌入所述 辅助信息的区域的大小是利用所述混合信号的掩蔽阈值按其中嵌入所述辅助 信息的块得出的。
17. —种信号处理方法，包括提取嵌入第一音频信号的分量中的非感知区内的组合信号； 通过对所述组合信号执行无损解码重构对应于所述非感知区的信号分量；以及利用所述经重构的信号分量和所述第一音频信号生成第二音频信号， 其中所述第二音频信号是嵌入所述组合信号之前的原始信号。
18. 如权利要求17所述的信号处理方法，其特征在于，所述组合信号 包括辅助信息和利用位于所述第一音频的分量的所述非感知区中的信号分量 无损编码的信号分量。
19. 如权利要求18所述的信号处理方法，其特征在于，还包括-利用所述第一音频和所述辅助信息生成第三音频信号。
20. —种信号处理方法，包括无损编码位于音频信号的分量的非感知区中的信号分量； 通过将所述经无损编码的信号分量和辅助信息组合在一起来生成组合信 号；以及将所述组合信号嵌入所述非感知区。
21. —种信号处理方法，包括提取存在于混合信号的分量的非感知区中的辅助信息； 对从其提取所述辅助信息的混合信号进行编码；以及利用所述经编码的混合信号和所述辅助信息生成比特流， 其中所述辅助信息包括用于再混合所述混合信号的信息。
22. 如权利要求21所述的信号处理方法，其特征在于，所述混合信号 编码包括提取所述辅助信息的同步信息；以及 利用所述同步信息确定所述混合信号的帧起始位置。
23. —种信号处理方法，包括 从比特流提取经编码的混合信号和辅助信息； 解码所述经编码的混合信号；以及将所述辅助信息嵌入所述经解码的混合信号的分量的非感知区内， 其中所述辅助信息包括用于再混合所述混合信号的信息。
24. —种信号处理装置，包括嵌入信号解码单元，其提取嵌入混合信号的分量中的非感知区内的经编码的辅助信息；辅助信息解码单元，其通过解码所述经编码的辅助信息来生成辅助信息;以及再混合渲染单元，其利用所述辅助信息和所述混合信号生成再混合信号。
25. —种信号处理方法，包括 获取混合信号的识别信息；获取与所述识别信息匹配的源控制信息；以及 利用所述源控制信息和所述混合信号生成再混合信号。
26. 如权利要求25所述的信号处理方法，其特征在于，所述混合信号 的所述识别信息对应于所述混合信号的辅助信息。
27. 如权利要求25所述的信号处理方法，其特征在于，所述源控制信 息包括按源的增益因数。
28. 如权利要求27所述的信号处理方法，其特征在于，所述源控制信 息是时间可变的，且所述源控制信息还包括关于施加源控制信息的定时点的信 息。
29. 如权利要求25所述的信号处理方法，其特征在于，还包括 如果至少一个源控制信息与所述混合信号匹配，则显示所述源控制信息的列表；以及如果由用户输入对特定源控制信息的选择命令，则通过读出所选择的源控 制信息来输出所选择的源控制信息。
30. 如权利要求29所述的信号处理方法，其特征在于，所述源控制信 息列表包括所述混合信号的源信息，所述选择命令部分地针对源，且输出所选 择的源控制信息包括读出以输出对应于所选择源的源控制信息。
31. 如权利要求25所述的信号处理方法，其特征在于，与所述混合信 号匹配的所述源控制信息对应于存储值或输入值。
32. —种互连至混合信号的处理器的信号处理装置，包括 存储器，其存储按所述混合信号的识别信息的源控制信息；以及 控制单元，其基于所述混合信号的识别信息读出与所述混合信号匹配的源控制信息，并将所读取的源控制信息输出到所述混合信号的处理器。
33. 如权利要求32所述的信号处理装置，其特征在于，还包括用于输 出界面的显示器，其中与所述混合信号匹配的所述源控制信息包括存储在存储 器中的值或输入值。
34. —种信号处理方法，包括 读出对应于混合信号的源控制信息； 存储或发送所述源控制信息，其中所述源控制信息包括用于识别所述混合信号的识别信息。
35. 如权利要求34所述的信号处理方法，其特征在于，所述源控制信 息被发送到混合信号控制器。
36. —种信号处理装置，包括存储器，其存储对应于混合信号的源控制信息； 通信单元，其与混合信号控制器通信；以及控制单元，其控制源控制信号通过所述通信单元发送到所述混合信号控制器o
37. —种信号处理方法，包括 接收对应于混合信号的辅助信息和控制信息；以及生成扩展混合参数以基于所述辅助信息和所述控制信息扩展混合所述混 合信号。
38. 如权利要求37所述的信号处理方法，其特征在于，所述控制信息 包括增益因数和输出声道配置信息中的至少一个。
39. 如权利要求37所述的信号处理方法，其特征在于，还包括利用所 述混合信号生成所述辅助信息。
40. —种信号处理装置，包括通信单元，其接收对应于混合信号的控制信息；以及 参数生成单元，其生成扩展混合参数以基于所述控制信息和辅助信息扩展 混合所述混合信号。
41. 一种信号处理方法，包括 获取包括至少一个源信号的混合信号； 获取混合参数；以及利用指示所述混合信号中所包括的特定空间的信号分量生成辅助信息；以及利用所述混合信号、所述混合参数以及所述辅助信息生成再混合信号， 其中所述辅助信息指示所述混合信号和所述混合信号中所包括的至少一 个源信号中要再混合的源信号之间的关系。
42. 如权利要求41所述的信号处理方法，其特征在于，所述混合参数 是利用控制信息生成的。
43. —种信号处理方法，包括生成包括至少一个第一源信号的第一混合信号； 生成未被包括在所述第一混合信号中的第二源信号； 利用所述第一混合信号和所述第二源信号生成第二混合信号；以及 利用所述第一混合信号和所述第二混合信号生成再混合信号。
44. 如权利要求43所述的信号处理方法，其特征在于，所述第二混合 信号是通过降低所述第一源信号的增益生成的。
45. 如权利要求43所述的信号处理方法，其特征在于，还包括从用户 处获取源信号选择信息，其中所述再混合信号包括根据所述源信号选择信息在 所述第一源信号和所述第二源信号之间选择的源信号。
46. 如权利要求43所述的信号处理方法，其特征在于，还包括 生成用于生成所述再混合信号的辅助信息；以及 生成用于生成所述再混合信号的用户混合参数。
47. 如权利要求46所述的信号处理方法，其特征在于，还包括获取关 于所述第一混合信号的第一辅助信息和关于所述第二源信号的第二辅助信息， 用于生成所述再混合信号的辅助信息是利用所述第一辅助信息和所述第二辅 助信息生成的。
48. 如权利要求46所述的信号处理方法，其特征在于，还包括从用户 处获取控制信息，所述用户混合参数是利用所述控制信息生成的。
49. 如权利要求48所述的信号处理方法，其特征在于，所述控制信息 以用户使用显示在显示器上以指示所述第一源信号或所述第二源信号的可视 化工具的方式生成。
50. 如权利要求49所述的信号处理方法，其特征在于，所述可视化工 具包括图标、文本、按钮和屏幕的特定区域中的至少一个。
51. 如权利要求49所述的信号处理方法，其特征在于，所述可视化工 具是由编码器发送的，通过修改由所述编码器发送的不同可视化工具生成的， 或由所述用户创建的。
52. —种信号处理装置，包括混合信号解码单元，其获取包括至少一个源信号的混合信号； 辅助信息生成单元，其利用指示所述混合信号中包括的特定空间的信号分量生成辅助信息；以及再混合渲染单元，其利用所述混合信号、混合参数以及所述辅助信息生成再混合信号，其中所述辅助信息指示所述混合信号和所述混合信号中所包括的至少一 个或多个源信号中要再混合的源信号之间的关系。
53. —种信号处理装置，包括:混合信号解码单元，其生成包括至少一个第一源信号的第一混合信号； 源信号解码单元，其生成未被包括在所述第一混合信号中的第二源信号； 混合信号修改单元，其利用所述第一混合信号和所述第二源信号生成第二 混合信号；以及再混合信号生成单元，其利用所述第一混合信号和所述第二混合信号生成 再混合信号。
54. 如权利要求53所述的信号处理方法，其特征在于，所述再混合信 号仅包括由用户在所述第一源信号和所述第二源信号之间选择的源信号。
55. 如权利要求53所述的信号处理方法，其特征在于，还包括辅助信 息修改单元，其利用关于所述第一混合信号的第一辅助信息和关于所述第二源 信号的第二辅助信息生成用于生成所述再混合信号的所述辅助信息。
全文摘要
公开了一种用于处理信号的方法和装置，更具体地是用于处理信号的装置及其方法，通过它可编码/解码诸如音频信号和视频信号的混合信号。本发明包括从混合信号比特流提取包括至少一个源信号的混合信号；从辅助信息比特流提取辅助信息；获取用户混合参数；以及利用混合信号、辅助信息以及用户混合参数生成再混合信号，其中辅助信息比特流被分成第一首部区和数据区且其中数据区包括至少一个帧数据区和至少一个第二首部区。
文档编号G10L19/00GK101652810SQ200780041131
公开日2010年2月17日 申请日期2007年10月1日 优先权日2006年9月29日
发明者吴贤午, 尹圣龙, 郑亮源 申请人:Lg电子株式会社