声音合成装置、声音合成方法和程序的制作方法

专利名称：声音合成装置、声音合成方法和程序的制作方法
技术领域：
本发明涉及声音合成技术，特别地，用于根据文本合成声音的声音合 成装置、声音合成方法和程序。
背景技术：
最近，随着计算机高性能化、小型化，声音合成技术在汽车导航装置、
移动电话、PC、机器人等各种装置上安装并利用。伴随着对各种装置的应
用的普及，利用声音合成装置的环境多样化。
现有的一般的声音合成装置中，对于发音符号串(含有读、句法/词类 信息、语调类型等的文本解析结果)，韵律(例如，音调频率模式、振幅、 持续时长)生成、单位波形(例如，具有从自然声音中所提取的音调长或 音节时长程度的长度的波形)选择、波形生成处理结果原则上唯一地决定。 即，声音合成装置不管在什么样的情况和环境中，始终采用同样的发声形 式(声音的大小和发声速度、韵律、声调等)进行声音合成。
但是，实际上如果观察人类的发声，即使在讲同样文本的情况下，也 是按照讲话者的情况、感情、意图等来控制发声形式。因此，始终采用同 样发声形式的现有声音合成装置未必可以说是充分地有效地利用声音这 种传播介质的特征。
为解决声音合成装置的这样的问题，有人进行了按照用户环境(声音 合成装置利用者存在的场所的情况和环境)动态地改变韵律生成/单位波形 选择，由此产生适合用户环境的合成声音，改善用户使用方便的这种尝试。 例如，专利文献1中，公开了按照表示用户环境明暗和用户位置等的信息， 选择音韵/韵律的控制规则的声音合成系统的构成。
另外，专利文献2中，公开了根据周围噪音的能量谱、频率分布信息， 控制辅音功率、音调频率、以及取样频率的声音合成装置的构成。
更迸一步地，专利文献3中，公幵了根据包含有时间、日期、和星期
的各种计时信息，控制发声速度、音调频率、音量、以及音质的声音合成 装置。
下面说明构成本发明背景技术的公开了音乐信号的分析、检索方法的 非专利文献K3。非专利文献1，公开了采用分析音乐信号的短时间振幅
频谱或离散小波(wavelet)变换系数来得到音乐特征(乐器构成、节奏结 构)，从而推断音乐类型的类型推断方法。
非专利文献2中，公开了采用树结构型矢量量化法，根据音乐信号的 Mel频率推断音乐类型的音乐类型推断方法。
非专利文献3中，公开了采用频谱的直方图进行相似度计算、检索音 乐信号的方法。
专利文献1:日本特开第3595041号公报
专利文献2:日本特开平11-15495号公报
专利文献3:日本特开平11-161298号公报
非专禾lj文献 1: Tzanetakis, Essl， Cook: "Automatic Musical Genre Classification of Audio Signals", Proceedings of ISMIR 2001, pp.205画210， 2001.
非专禾U文献2: Hoashi, Matsumoto, Inoue: "Personalization of User Profiles for Content-based Music Retrieval Based on Relevance Feedback", Proceedings of ACM Multimedia 2003， pp. 110-119， 2003.
非专利文献3:木村、他「夕、'口一,/"&枝刈D^導入L/i音々映像 O高速探索j ，電子情報通信学会論文誌D-n, Vol. J85-D-n， No. 10, pp.l552-1562，2002年10月
为了吸引听众的注意以及让讯息给听众以深刻印象的目的， 一般和自 然声音一起播送BGM (background music,以下称为BGM)。例如，电视 和收音机的新闻、信息提供节—目，大多在解说背景中播送BGM。
如果分析该节目，虽然有些是按照说话者的发声形式选择BGM，特 别是该BGM属于的音乐类型，但也能够发现在说话者方面采用了意识到 BGM的说话方式。例如，天气预报和交通信息中，伴随容易倾听的平稳 曲调的BGM， 一般用平稳语调进行广播。但是，即使是相同的内容，在
特定节目中和实况转播等中，常常以有张力的声音进行广播。
并且在带着悲哀朗读诗的时候，将布鲁士舞曲音乐作为BGM使用， 说话者也进行含有感情的朗读。此外还能够看出想要演出神秘气氛的情况 下选择宗教音乐，快活的语调的情况下选择流行歌曲音乐这样的关系。
另一方面，利用上述种类声音合成装置的环境多样化，将含有上述
BGM的各种音乐进行再现的场所(用户环境)中，尽管输出合成声音的
机会变多，包含有上述专利文献1等中记载的技术方案的现有声音合成装 置中，在控制合成声音的发声形式方面，由于不能考虑用户环境中存在的 音乐，存在发声形式与周围的音乐不能协调的问题。

发明内容
本发明，是鉴于上述情况而产生的发明，其目的在于，提供声音合成 装置、声音合成方法以及程序，能够合成与用户环境中存在的音乐协调的声音。
根据本发明的第l个观点，提供一种声音合成装置，其特征在于，按 照所输入的音乐信号自动选择发声形式。更具体地，上述声音合成装置具
备分析音乐信号并决定适合该音乐信号分析结果的发声形式的发声形式 选择部；和按照上述发声形式合成声音的声音合成部。
根据本发明的第2个观点，提供一种采用声音合成装置产生合成声音
的声音合成方法，其特征在于，包含有上述声音合成装置分析所输入的
音乐信号并决定适合该音乐信号的分析结果的发声形式的步骤；和上述音
乐合成装置按照上述发声形式合成声音的步骤。
根据本发明的第3个观点，提供一种在构成声音合成装置的计算机上
执行的程序和保存该程序的记录介质，该程序在上述计算机上执行下列处
理分析所输入的音乐信号，从预先所准备的发声形式中，决定适合上述
音乐信号分析结果的发声形式的处理；和按照上述发声形式合成声音的处理。
根据本发明，能够采用同用户环境BGM等音乐取得协调的发声形式 而产生合成声音。结果，能够输出可以吸引用户注意的合成声音、以及不 破坏BGM具有的气氛和倾听BGM的用户的情绪的合成声音。


图1是对涉及本发明第1实施方式的声音合成装置的构成进行示意的 框图。
图2是对涉及本发明第1实施方式的声音合成装置中使用的音乐类型 与发声形式以及发声形式参数之间的关系进行定义的表的一个例子。
图3是用于对涉及本发明第1实施方式的声音合成装置的工作进行说 明的流程图。
图4是对涉及本发明第2实施方式的声音合成装置的构成进行示意的 框图。
图5是对涉及本发明第2实施方式的声音合成装置中使用的音乐类型 与发声形式以及发声形式参数之间的关系进行定义的表的一个例子。
图6是用于对涉及本发明第2实施方式的声音合成装置的工作进行说 明的流程图。
图7是对涉及本发明第3实施方式的声音合成装置的构成进行示意的 框图。
图8是用于对涉及本发明第3实施方式的声音合成装置的工作进行说 明的流程图。
图9是对涉及本发明第4实施方式的声音合成装置的构成进行示意的 框图。
图10是用于对涉及本发明第4实施方式的声音合成装置的工作进行 说明的流程图。 符号说明 11韵律生成部 12单位波形选择部 13波形生成部
15, ~15N韵律生成规则记忆部
16, 16N单位波形数据记忆部 17合成声音功率调整部
18合成声音功率计算部
19音乐信号功率计算部
21音乐类型推断部
23、 27发声形式选择部
24、 28发声形式信息记忆部 31音乐属性信息检索部
32音乐属性信息记忆部 35音乐再现部 36再现音乐信息取得部 37音乐数据记忆部
具体实施例方式
接着，对用于实施本发明的最佳的方式参照附图进行详细说明。图1 是对涉及本发明第1个实施方式的声音合成装置的构成进行示意的框图。
参照图l，涉及本实施方式的声音合成装置具备韵律生成部ll、单位波
形选择部12、波形生成部13、韵律生成规则记忆部15,至15N、单位波形 数据记忆部16,至16N、音乐类型推断部21、发声形式选择部23和发声形 式信息记忆部24。
韵律生成部11是用于从基于发声形式所选择的韵律生成规则和发音 符号串产生韵律信息的处理部件。
单位波形选择部12是用于从基于发声形式所选择的单位波形数据、 发音符号串和韵律信息选择单位波形的处理部件。
波形生成部13是用于从韵律信息和单位波形数据产生合成声音波形 的处理部件。
韵律生成规则记忆部15,至15N中保存通过各发声形式实现合成声音 所必需的韵律生成规则(例如，音调频率模式、振幅、持续时长等)。
同韵律生成规则记忆部的情况相同，单位波形数据记忆部16,至16N
中保存通过各发声形式实现合成声音所必需的单位波形数据(例如，具有
从自然声音中所提取的音调长和音节时间长程度的长度的波形)。
另外，上述韵律生成规则记忆部15,至15N和单位波形数据记忆部16,
至16N中应保存的韵律生成规则和单位波形数据，能够通过对适合各发声 形式的自然声音进行收集、分析而产生。
以下，本实施方式中，作为下列情况进行说明从有活力的声音所产 生的有活力的声音的实现所必需的韵律生成规则和单位波形数据保存在 韵律生成规则记忆部15,和单位波形数据记忆部16,中，从平稳的声音所 产生的平稳的声音的实现所必需的韵律生成规则和单位波形数据保存在 韵律生成规则记忆部152和单位波形数据记忆部162中，从耳语声所产生
的韵律生成规则和单位波形数据保存在韵律生成规则记忆部153和单位波 形数据记忆部163中，从标准声音所产生的韵律生成规则和单位波形数据 保存在韵律生成规则记忆部15w和单位波形数据记忆部16w中。另外，从 自然声音产生韵律生成规则和单位波形数据的方法，能够不依赖发声形 式，采用和从标准声音产生的情况相同的方法。
音乐类型推断部21是用于对所输入的音乐信号属于的音乐类型进行 推断的处理部件。
发声形式选择部23是用于根据音乐类型决定发声形式的处理部件， 该音乐类型根据发声形式信息记忆部24中保存的表所推断出。
发声形式信息记忆部24中保存有对图2中举例说明的音乐类型同发 声形式以及发声形式参数之间的关系进行定义的表。发声形式参数是指韵 律生成规则记忆部号码和单位波形数据记忆部号码，通过将与各号码对应 的韵律生成规则和单位波形数据进行编组，实现按照特定发声形式合成声 音。另外，图2的例子中，虽然为说明方便定义了发声形式和发声形式参 数两者，但是，由于发声形式选择部23中使用的只是发声形式参数，因 此，能够省略发声形式的定义。
相反的，发声形式信息记忆部24中，只定义音乐类型同发声形式之 间的关系，发声形式同韵律生成规则以及单位波形数据之间的对应关系， 能够采用韵律生成部11和单位波形选择部12，选择适合各发声形式的韵 律生成规则和单位波形数据。
并且，图2的例子中，虽然准备了多个发声形式，但是，能够只准备 1种发声形式的单位波形数据，根据韵律生成规则的改变进行发声形式的 转换。该情况，能够更加降低声音合成装置的记忆容量和处理量。 更进一步地，上述发声形式信息记忆部24中定义的音乐类型信息同 发声形式之间的对应关系，也可以按用户喜好而改变，也可以从预先所准 备的多个对应关系的组合中由用户按照喜好进行选择。
继续地，参照附图对涉及本实施方式的声音合成装置的工作详细说 明。图3是对涉及本实施方式的声音合成装置的工作进行示意的流程图。
参照图3，首先，音乐类型推断部21，从所输入的音乐信号，提取频谱和 倒谱(cepstrum)等的音乐信号的特征量，推断所输入的音乐属于的音乐 类型，向发声形式选择部23输出(步骤A1)。该音乐类型推断方法能够 使用之前提出的非专利文献1、非专利文献2等中所记载的公知的方法。
另外，在不存在BGM的情况和属于推断对象外的音乐类型的音乐被 输入的情况下，不将特定的类型名，而将"其它"作为音乐类型向发声形式 选择部23输出。
接着，发声形式选择部23,根据音乐类型推断部21所转达的推断音 乐类型，从发声形式信息记忆部24中所记忆的表(参照图2)选择相应的 发声形式，将为实现所选择的发声形式所必需的发声形式参数向韵律生成 部ll和单位波形选择部12转达(步骤A2)。
根据图2，例如，所推断的音乐类型为流行歌曲的情况，选择有活力 的声音作为发声形式，容易倾听的情况选择平稳的声音，宗教音乐的情况 选择耳语声。所推断的音乐类型在图2的表中不存在的情况下，同音乐类
型为"其它"的情况相同，选择标准的发声形式。
继续地，韵律生成部ll，参照从发声形式选择部23所供给的发声形 式参数，从韵律生成规则记忆部15i至15N中，选择具有发声形式选择部 23所指定的记忆部号码的韵律生成规则记忆部。然后，根据所选择的韵律 生成规则记忆部的韵律生成规则，从所输入的发音符号串产生韵律信息， 向单位波形选择部12和波形生成部13转达(步骤A3)。
继续地，单位波形选择部12，参照从发声形式选择部23所转达的发 声形式参数，从单位波形数据记忆部16,至16n中，选择具有发声形式选 择部23所指定的记忆部号码的单位波形数据记忆部。然后，根据所输入 的发音符号串和从韵律生成部11所供给的韵律信息，从所选择的单位波 形数据记忆部选择单位波形，向波形生成部13转达(步骤A4)。
最后，波形生成部13,根据从韵律生成部11所转达的韵律信息，连
接从单位波形选择部12所供给的单位波形，输出合成声音信号(步骤A5)。 如上所述，根据本实施方式，能够按照通过与用户环境BGM取得了 调和的韵律和单位波形实现的发声形式，产生合成声音。
另外，上述实施方式中，虽然按发声形式准备单位波形数据记忆部16, 至16N，但是，还能够只设置标准声音的单位波形数据记忆部。该情况下， 虽然只按照韵律生成规则控制发声形式，但是，单位波形数据与以韵律生 成规则为首的其它的数据相比，数据大小大，因此产生能够大幅度消减合 成装置整体的记忆容量的优点。
上述第l实施方式中，合成声音的功率没有成为控制对象，不管在釆 用耳语声输出合成声音的情况下，还是在通过有活力的声音输出合成声音 的情况下，功率都是相同的。例如，根据BGM和发声形式的对应关系， 能够想到如果合成声音的音量比背景音乐过大就损坏协调，根据场合的不 同变得刺耳。反过来，能够想到如果合成声音的音量比背景音乐过小，则 不仅仅损坏协调，而且变得难以听见合成声音。
这里，对于上述加以改良，将合成声音的功率也追加为控制对象的本 发明的第2实施方式，参照附图详细进行说明。图4是示意涉及本发明第 2实施方式的声音合成装置构成的框图。
参照图4，本实施方式的声音合成装置，对于涉及上述第l实施方式 的声音合成装置(参照图1)，再增加了下列部分合成声音功率调整部 17、合成声音功率计算部18和音乐信号功率计算部19。而且，按照图4 所示，本实施方式中，代替上述第1实施方式的发声形式选择部23和发 声形式信息记忆部24，配置有发声形式选择部27和发声形式信息记忆部 28。
发声形式信息记忆部28中，保存有对图5中举例说明的音乐类型同 发声形式以及发声形式参数的关系进行定义的表。同上述第1实施方式的 发声形式信息记忆部24中保持的表(参照图2)之间的不同点在于增加了 功率比。
该功率比是用合成声音的功率除以音乐信号的功率的值。g口，如果功 率比大于l.O，则表示合成声音的功率比音乐信号的功率大。参照图5，例 如，音乐类型被推断为流行歌曲的情况，发声形式是有活力的声音，功率 比设定为1.2，按照超过音乐信号功率的功率(1.2倍)输出合成声音。同 样地，发声形式为平稳的声音时设定功率比为1.0，耳语声的情况设定为
0.9，标准声音的情况设定为1.0。
继续地，对于涉及本实施方式的声音合成装置的工作，参照附图详细
说明。图6是示意涉及本实施方式的声音合成装置的工作的流程图。音乐 类型推断(步骤Al) 波形生成(步骤A5)为止的期间，虽然同上述第1 实施方式大致相同，但是不同点在于，步骤A2中，发声形式选择部27根 据从音乐类型推断部21所转达的推断音乐类型，将发声形式信息记忆部 28中所记忆的功率比向合成声音功率调整部17转达(步骤A2)。
步骤A5中，如果波形生成结束，音乐信号功率计算部19，对所输入 的音乐信号的平均功率进行计算，向合成声音功率调整部17转达(步骤 Bl)。如果信号样本号码为n、音乐信号为x(n)，例如按照下面式子(1) 表示的一次泄漏(!J 一夕/leaky)积分，能够求出音乐信号的平均功率Pm(n)。
徵1〗
其中，a是一次泄漏积分的时间常数。由于为了防止合成声音和BGM 的平均音量的差变大而计算功率，最好将a设定为0.9等大的值，计算长 时间平均功率。反过来，如果将a的值设定为0.1这样的小的值而计算功 率，则合成声音的音量变化变得频繁并且大，有可能变得难于听到合成声 音。另外，能够代替上面式子而使用移动平均和输入信号的所有样本的平 均值等。
继续地，合成声音功率计算部18，计算从波形生成部13所供给的合 成声音的平均功率，向合成声音功率调整部17转达(步骤B2)。合成声 音功率的计算中，能够采用同上述音乐信号功率相同的方法。
最后，合成声音功率调整部17，根据从音乐信号功率计算部19供给 的音乐信号功率、从合成声音功率计算部18供给的合成声音功率、从发 声形式选择部27供给的发声形式参数中的功率比，对从波形生成部13供
16
给的合成声音信号的功率进行调整，并作为功率调整结束声音合成信号输 出(步骤B3)。更具体地，合成声音功率调整部17调整合成声音的功率， 以使得最终输出的合成声音信号的功率和音乐信号功率的比接近从发声
形式选择部27所供给的功率比的值。
更直接地，采用音乐信号功率、合成声音信号功率、功率比求出功率 调整系数，并与合成声音信号相乘来实现。因此，功率调整系数中，音乐 信号和功率调整结束合成声音的功率比，有必要使用与从发声形式选择部
27所供给的功率比大致一致的值。如果音乐信号功率为Pm，合成声音功 率为Ps，功率比为r，则音乐调整系数c用下面式子给出。
徵2]
并且，如果功率调整前的合成声音信号为y,(n)，功率调整后的合成声 音信号》(n)用下面式子给出。 [数3]
h (") = ^1(")
以上那样，能够进行细微控制，选择有活力的声音的情况下，让合成 声音功率比标准声音稍大，选择耳语声的情况下，让功率稍小，能够实现 更加同BGM取得协调的发声形式。
上述第1、第2实施方式中，虽然采用了推定输入音乐的类型的方案， 但是，如果使用近几年的探索/对照方法，就能够更细致地分析输入音乐。 以下，参照附图对于本发明的第3实施方式详细说明，第3实施方式对于 上述加以改良。图7是对涉及本发明第3实施方式的声音合成装置的构成 进行示意的框图。
参照图7，涉及本实施方式的声音合成装置，对于涉及上述第1实施 方式的声音合成装置(参照图l)，增加音乐属性信息记忆部32的同时，
代替音乐类型推断部21而配置有音乐属性信息检索部31。
音乐属性信息检索部31是用于从所输入的音乐信号提取频谱等特征
量的处理部件。音乐属性信息记忆部32中，各种音乐信号的特征量和该
音乐信号的音乐类型单独地记录，根据对照特征量，能够确定音乐并决定 类型。
使用上述特征量的音乐信号的检索中，能够使用非专利文献3中公开
的通过频谱的直方图进行相似度计算的方法。
继续地，对于涉及本实施方式的声音合成装置的工作参照附图详细说
明。图8是对涉及本实施方式的声音合成装置的工作进行示意的流程图。 相对于上述第1实施方式，音乐类型推断(步骤Al)部不同且其他已经 说明完，因此以下对于图8的步骤D1详细说明。
首先，音乐属性信息检索部31从所输入的音乐信号提取频谱等特征 量。接着，音乐属性信息检索部31分别计算音乐属性信息记忆部32中保 存的音乐的全部特征量和所输入的音乐信号的特征量的相似度。然后，将 具有最高相似度的音乐的音乐类型信息向发声形式选择部转达(步骤D1)。
另外，步骤D1中，相似度的最大值，在低于所预先设定的阈值的情 况下，音乐属性信息检索部31，判断为与所输入的音乐信号相对应的音乐 没有记录在音乐属性信息记忆部32中，并将"其他"作为音乐类型输出。
以上那样，根据本实施方式，由于使用对于各个音乐单独地记录了音 乐类型的音乐属性信息记忆部32，能够按照比上述第l、第2实施方式更 高的精度确定音乐类型，并反映在发声形式上。
另外，构筑音乐属性信息记忆部32时，如果记忆曲名、艺术家名、 作曲者名等的属性信息，则能够根据音乐类型以外的属性信息决定发声形 式。
而且，如果音乐属性信息记忆部32中记忆的音乐的种类数目多，则 虽然能够确定很多的音乐信号的类型，但是，音乐属性信息记忆部32的 容量变大。根据需要，可以在音乐合成装置外部配置音乐属性信息记忆部 32，在计算音乐信号特征量的相似度时，使用有线和无线通信部件对音乐 属性信息记忆部32进行访问。
继续地，对于涉及上述第1实施方式的声音合成装置，增加了 BGM
等乐曲再现功能的本发明的第4实施方式，参照附图详细说明。 [第4实施方式]
图9是对涉及本发明第4实施方式的声音合成装置的构成进行示意的
框图。参照图9，涉及本实施方式的声音合成装置，对于涉及上述第l实 施方式的声音合成装置(参照图1),增加音乐再现部35、音乐数据记忆 部37的同时，代替音乐类型推断部21而配置再现音乐信息取得部36。
音乐数据记忆部37中保存有音乐信号、该音乐的曲号码和音乐类型。 音乐再现部35，按照包含有曲号码和音量、再现，停止'倒退，快进等各种命 令的再现指令，通过扬声器和耳机等，将音乐数据记忆部37中保存的音 乐信号进行输出。而且，音乐再现部35，对于再现音乐信息取得部36， 供给再现中的音乐的曲号码。
再现音乐信息取得部36是与上述第1实施方式的音乐类型推断部21 相同的处理部件，从音乐数据记忆部37取出与从音乐再现部35所供给的 曲号码相对应的音乐的类型信息，向发声形式选择部23转达。
继续地，对于涉及本实施方式的声音合成装置的工作参照附图详细说 明。图IO是对涉及本实施方式的声音合成装置的工作进行示意的流程图。 由于相对于上述第1实施方式，音乐类型推断(步骤Al)的部分不同且 其他己经说明完，以下，对于图10的步骤D2、 D3详细说明。
音乐再现部35，如果再现所指定的音乐，将该曲号码向再现音乐信息 取得部36供给(步骤D2)。
再现音乐信息取得部36，从音乐数据记忆部37取出与从音乐再现部 35供给的曲号码相对应的音乐的类型信息，向发声形式选择部23传达(步 骤D3)。
根据本实施例，音乐类型的推断处理和检索处理是不必要的，能够可 靠地确定再现中的BGM的音乐类型等。当然，在音乐再现部35，能够将 再现中的音乐的类型信息从音乐数据记忆部37直接取得的情况下，能够 取消再现音乐信息取得部36，从音乐再现部35向发声形式选择部23直接 供给音乐类型。
而且，音乐类型信息没有记录在音乐数据记忆部37中的情况下，能 够使用音乐类型推断部21代替再现音乐信息取得部36，推断音乐类型。
而且，如果在音乐数据记忆部37记录有类型以外的音乐属性信息， 如上述第3实施方式中说明的那样，可以改变发声形式选择部23以及发 声形式信息记忆部24，以使得能够通过类型以外的属性信息决定发声形 式。
以上，虽然对本发明各实施方式进行了说明，但本发明的技术范围， 不限于上述实施方式，能够按照声音合成装置的用途、方法等，加以各种 变形，或者，采用等同物。
权利要求
1. 一种声音合成装置，其特征在于具有分析音乐信号并决定适合该音乐信号分析结果的发声形式的发声形式选择部；和根据上述发声形式合成声音的声音合成部，按照所输入的音乐信号自动选择发声形式。
2. 根据权利要求1所述的声音合成装置，其特征在于 上述声音合成部具有根据上述发声形式产生韵律信息的韵律生成部；和 根据上述发声形式选择单位波形的单位波形选择部。
3. 根据权利要求1所述的声音合成装置，其特征在于 上述声音合成部具有记忆每个发声形式的韵律生成规则的韵律生成规则记忆部； 按每个发声形式记忆单位波形的单位波形记忆部；参照根据上述发声形式所选择的韵律生成规则，根据发音符号串产生 韵律信息的韵律生成部；从单位波形记忆部中所记忆的单位波形中选择对应上述发音符号串 和上述韵律信息的单位波形的单位波形选择部；和根据上述韵律信息合成上述单位波形而产生合成声音波形的波形生 成部。
4. 根据权利要求1至3的任一个所述的声音合成装置，其特征在于 还具有从关联音乐和其属性并记忆的音乐属性信息记忆部，检索与所输入的音乐信号的分析结果相对应的数据，推断上述所输入的音乐的属性 的音乐属性信息检索部，上述发声形式选择部，通过选择与上述所输入的音乐的属性相对应的 发声形式，来决定上述发声形式。
5. 根据权利要求1至3的任一个所述的声音合成装置，其特征在于具有分析上述音乐信号并推断上述音乐属于的音乐类型的音乐类型 推断部，上述发声形式选择部，通过选择与上述音乐类型相对应的发声形式， 来决定上述发声形式。
6. 根据权利要求1至3的任一个所述的声音合成装置，其特征在于 还具有关联音乐信号和属性信息并记忆的音乐数据记忆部； 对上述音乐数据记忆部中所保存的音乐信号进行再现的音乐再现部；和参照上述音乐数据记忆部，取得所再现的音乐的属性信息的再现音乐 信息取得部，上述发声形式选择部根据上述属性信息决定发声形式。
7. 根据权利要求6所述的声音合成装置，其特征在于 上述发声形式选择部，根据上述属性信息中包含有的音乐类型决定上述发声形式。
8. 根据权利要求1至7的任一个所述的声音合成装置，其特征在于 还具有按照上述音乐信号的功率，对根据上述发声形式所产生的上述合成声音波形的功率进行调整的合成声音功率调整部。
9. 根据权利要求1至7的任一个所述的声音合成装置，其特征在于还具有分析上述音乐信号而求出音乐信号功率的音乐信号功率计算部；和 分析上述合成声音波形而求出合成声音的功率的合成声音功率计算部；禾n '参照预先按每个发声形式设定的上述音乐信号的功率和上述合成声 音的功率的比率，从而按照上述音乐信号的功率，对根据上述发声形式所 产生的上述合成声音波形的功率进行调整的合成声音功率调整部。
10. —种声音合成方法，使用声音合成装置而产生合成声音，包括 上述声音合成装置，分析所输入的音乐信号，决定适合该音乐信号分析结果的发声形式的步骤；和上述声音合成装置根据上述发声形式合成声音的步骤。
11. 根据权利要求IO所述的声音合成方法，其特征在于还包括上述声音合成装置根据上述发声形式产生韵律信息的步骤；和 上述声音合成装置根据上述发声形式选择单位波形的步骤， 上述声音合成装置釆用上述韵律信息和上述单位波形合成声音。
12. 根据权利要求10所述的声音合成方法，其特征在于 上述声音合成装置根据上述发声形式合成声音的步骤，含有， 上述声音合成装置，参照从韵律生成规则记忆部中所记忆的韵律生成规则中按照上述发声形式所选择的韵律生成规则，根据发音符号串产生韵 律信息的步骤；和上述声音合成装置从按上述发声形式所准备的单位波形中，选择与上 述发音符号串和上述韵律信息相对应的单位波形的步骤；和上述声音合成装置根据上述韵律信息合成上述单位波形并产生合成 声音波形的步骤。
13. 根据权利要求10至12的任一个所述的声音合成方法，其特征在于还包括上述声音合成装置从关联音乐和其属性并记忆的音乐属性信 息记忆部，检索与所输入的音乐信号的分析结果相对应的数据，并对上述 所输入的音乐的属性进行推断的步骤，通过选择与上述所输入的音乐信号的属性相对应的发声形式，来决定 适合上述音乐信号的分析结果的发声形式。
14. 根据权利要求10至12的任一个所述的声音合成方法，其特征在于还包括上述声音合成装置分析上述音乐信号并推断该音乐属于的音 乐类型的步骤，上述声音合成装置通过选择与上述音乐类型相对应的发声形式，来决 定适合上述音乐信号的分析结果的发声形式。
15. 根据权利要求10至12的任一个所述的声音合成方法，其特征在于还包括上述声音合成装置，对关联音乐信号和属性信息并记忆的音乐数据记忆部中所保存的音乐信号进行再现的步骤；和上述声音合成装置，参照上述音乐数据记忆部，取得所再现的音乐的 属性信息的步骤，上述声音合成装置，代替所输入的音乐信号的分析，根据上述属性信 息决定发声形式。
16. 根据权利要求15所述的声音合成方法，其特征在于 上述声音合成装置，根据上述属性信息中包含有的音乐类型决定上述发声形式。
17. 根据权利要求10至16的任一个所述的声音合成方法，其特征在 于，还包括上述声音合成装置，对根据上述发声形式所产生的上述合成声音波形 的功率按照上述音乐信号的功率进行调整的步骤。
18. 根据权利要求10至16的任一个所述的声音合成方法，其特征在于，还包括上述声音合成装置分析上述音乐信号并求出音乐信号功率的步骤；上述声音合成装置分析上述合成声音波形并求出合成声音功率的步骤；禾口上述声音合成装置，参照预先按发声形式所设定的上述音乐信号的功 率和上述合成声音的功率的比率，对根据上述发声形式所产生的上述合成 声音波形的功率按照上述音乐信号的功率进行调整的步骤。
19. 一种程序，在构成声音合成装置的计算机上执行，在上述计算机上执行下列处理分析所输入的音乐信号，从预先准备的发声形式中决定适合上述音乐信号的分析结果的发声形式的处理；和 根据上述发声形式合成声音的处理。
20. 根据权利要求19所述的程序，其特征在于 经过根据上述发声形式产生韵律信息的处理；和根据上述发声形式选择单位波形的处理后， 使用上述韵律信息和上述单位波形，进行合成声音的处理。
21. —种权利要求19所述的程序，其特征在于 经过 参照从与上述计算机所连接的韵律生成规则记忆部中所记忆的韵律 生成规则中按照上述发声形式所选择的韵律生成规则，根据发音符号串产 生韵律信息的处理；和从上述计算机所连接的单位波形记忆部中按上述发声形式所准备的 单位波形中，选择与上述发音符号串和上述韵律信息相对应的单位波形的 处理后，根据上述韵律信息合成上述单位波形，并进行合成声音的处理。
22. 根据权利要求19至21的任一个所述的程序，其特征在于还包括从关联音乐和其属性并记忆的音乐属性信息记忆部，检索与 所输入的音乐信号的分析结果相对应的数据，并推断上述所输入的音乐的 属性的处理，通过选择与上述所输入的音乐的属性相对应的发声形式，来进行决定 适合上述音乐信号的分析结果的发声形式的处理。
23. 根据权利要求19至21的任一个所述的程序，其特征在于，还包括分析上述音乐信号并推断上述音乐属于的音乐类型的处理；和通过选择与上述音乐类型相对应的发声形式，来进行决定适合上述音 乐信号的分析结果的发声形式的处理。
24. 根据权利要求19至21的任一个所述的程序，其特征在于:还在上述计算机中执行对关联音乐信号和属性信息并记忆的音乐数据记忆部中所保存的音乐信号进行再现的处理；和参照上述音乐数据记忆部，取得所再现的音乐的属性信息的处理， 上述计算机，代替所输入的音乐信号的分析，根据上述属性信息决定 发声形式。
25. 根据权利要求24所述的程序，其特征在于上述计算机，根据上述属性信息中包含的音乐类型决定上述发声形式。
26. 根据权利要求19至25的任一个所述的程序，其特征在于还包括对根据上述发声形式产生的上述合成声音波形的功率按照上 述音乐信号的功率进行调整的处理。
27.根据权利要求19至25的任一个所述的程序，其特征在于，还包括分析上述音乐信号并求出音乐信号的功率的处理； 分析上述合成声音波形并求出合成声音功率的处理；和 参照预先按发声形式所设定的上述音乐信号的功率和上述合成声音的功率的比率，对根据上述发声形式所产生的上述合成声音波形的功率按照上述音乐信号的功率进行调整的处理。
全文摘要
本发明的目的在于，提供能够生成合成声音的装置、方法，该合成声音具有同音乐取得协调的发声形式。声音合成装置的音乐类型推断部21中，推断所输入的音乐信号属于的音乐类型，发声形式选择部23中，参照发声形式信息记忆部24，根据音乐类型决定发声形式。韵律生成部11中，参照从韵律生成规则记忆部15₁至15_N中根据发声形式所选择的韵律生成规则记忆部，根据发音符号串产生韵律信息。单位波形选择部12中，参照从单位波形数据记忆部16₁至16_N中根据发声形式所选择的单位波形数据记忆部，根据发音符号串和韵律信息选择单位波形。波形生成部13中，从韵律信息和单位波形数据产生合成声音波形。
文档编号G10L13/10GK101379549SQ20078000488
公开日2009年3月4日 申请日期2007年2月1日 优先权日2006年2月8日
发明者加藤正德 申请人:日本电气株式会社