一种在通话过程中判断对方情绪的方法及移动终端的制作方法

专利名称：一种在通话过程中判断对方情绪的方法及移动终端的制作方法
技术领域：
本发明涉及通信领域，尤其涉及一种在通话过程中判断对方情绪的方法及移动终
丄山顺。
背景技术：
现有的移动终端，一般只能通过使用者的感觉器官来主观的判断通话对方用户的 情绪，在这种情况下，己方用户可能不善于判断对方情绪或没有关注对方情绪变化，从而在 通话过程中，当对方用户的情绪因为通话内容、说话方式等因素而发生变化时，己方用户不 能及时发现对方用户的情绪变化，并据此调整通话内容或说话的方式，这样就可能会影响 双方通话的气氛，甚至会导致双方的矛盾或加深矛盾等。

发明内容
鉴于上述现有技术所存在的问题，本发明实施例提供了一种在通话过程中判断对 方情绪的方法及移动终端，在通话过程中从对方用户的语音或视频信息中提取情绪相关的 特征信息，实时的检测通话对方用户的情绪变化并给己方用户做出提示，以便己方用户及 时调整或选择适当的通话内容或说话方式，以避免不友好的通话氛围。 为了解决现有技术存在的问题，本发明实施例提供了一种在通话过程中判断对方
情绪的方法，用于移动终端中，包括 采集对方用户语音数据或视频数据； 从采集到的语音数据或视频数据中提取情绪特征信息，并分析判断对方用户当前 情绪状态； 将所述对方用户当前情绪状态显示在己方移动终端显示设备上。
相应的，本发明实施例还提供了一种移动终端，包括 语音或视频信息采集模块，用于在通话过程中采集对方用户的语音数据或视频数 据； 情绪特征信息提取模块，与所述语音或视频信息采集模块相连，用于从采集到的 语音数据或视频数据中提取情绪特征信息； 分析判断模块，用于根据所述情绪特征信息提取模块提取的情绪特征信息分析判 断对方用户当前情绪状态，得出判断结果； 显示模块，与所述分析判断模块相连，用于将所述分析判断模块得出的判断结果 显示于己方移动终端显示设备上。 实施本发明实施例，通过采集对方用户语音数据或视频数据；从采集到的语音数 据或视频数据中提取情绪特征信息，并分析判断对方用户当前情绪状态；将所述对方用户 当前情绪状态显示在己方移动终端显示设备上。实时给己方用户提示对方用户的情绪变 化，以便己方用户及时调整或选择适当的通话内容或说话方式，以避免不友好的通话氛围。


为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可 以根据这些附图获得其他的附图。
图1是本发明实施例在通话过程中判断对方情绪的方法的流程图；
图2是本发明实施例移动终端结构示意图；
图3是图2中分析判断模块的结构示意图。
具体实施例方式
本发明实施例提供了一种在通话过程中判断对方情绪的方法及移动终端，在通话 过程中从对方用户的语音或视频信息中提取情绪相关的特征信息，实时的检测通话对方用 户的情绪变化并给己方用户做出提示，以便己方用户及时调整或选择适当的通话内容或说 话方式，以避免不友好的通话氛围。 通过采集语音数据判断对方用户的情绪时，通常根据对方通话者的声强、语速、音 高以及语调等信息加以判断。因为情绪是一个时间较长的过程，可以以句子为单位来提取 以上特征。声强是检测到的声音的能量强度，通常通话者在处于愤怒或者恐惧等状态时声 音的平均强度会增加；语速的快慢可以反映出通话者的情绪状态偏向快乐还是难过；通话 过程中的各种停顿也可以用来分析情绪，如语句之间的长时间停顿可能反映出说话者处于 难过或气愤的状态，单词或短语之间的停顿可能反映了一种犹豫的状态；音高是频率相关 的参数通过检测音高的下限、音频及平均基频也可以判断出部分情绪偏向。将提取到的各 种参数同预设的判别标准进行比较，比如声强，我们可以设定在声强某些范围之内代表偏 向某种情绪，对各个特征项判别完成后再进行综合判断，如果各个特征项得出的结果都是 或者大部分是偏向某种情绪则认为该用户处于该情绪，从而判断出对方通话者的当前情绪 状态。通过采集视频数据判断对方用户的情绪时，可以通过检测视频图像中的脸部相关特 征，如嘴唇和眉毛的弯曲方向及弧度，嘴巴、眼睛、鼻子的张开程度等各种脸部特征并加以 分析可以判断通话者的情绪，比如现在很多摄像头都有笑脸识别的功能就是表情识别的一 种。移动终端判断出对方用户的情绪状态后，以文字或图像表情的方式显示于移动终端显 示设备，并通过提示音或震动以提示己方用户，以便己方用户及时调整或选择适当的通话 内容或说话方式，以避免不友好的通话氛围。
下面结合附图详细说明本发明的实施例。 参见图l，为本发明实施例在通话过程中判断对方情绪的方法的流程图，包括
步骤101 :采集对方用户语音数据或视频数据，该采集步骤为实时采集，这样才能 实现实时检测对方用户情绪状态。 步骤102 :从采集到的语音数据或视频数据中提取情绪特征信息，并分析判断对
方用户当前情绪状态。其中，情绪特征信息可以根据需要采集多种音频数据或视频数据中
的情绪特征；根据特征判断情绪时也可以通过多种方式，如特征匹配来进行判断。
如，本步骤可分为如下几个步骤顺序进行 A :从采集到的语音数据或视频数据中提取情绪特征信息；
5
在一个具体实施例中，当从语音数据中提取情绪特征信息时，所述情绪特征信息 包括声强、语速、音高、语调等多种信息中的一种或多种，通常情况下需要多种信息结合才 能比较准确的判断对方情绪；当从视频数据中提取情绪特征信息时，所述情绪特征信息包 括视频图像中的脸部相关特征，如嘴唇、眉毛、眼睛的张开程度等各种脸部特征，比如人在 笑的时候眼睛的张开角度会变小一些，嘴唇的弯曲弧度也不一样，愤怒时眼睛张开的角度 会大一些等。从采集到的语音数据或视频数据中提取情绪特征信息，需在移动终端中预先 确定是采集哪几个特征信息，比如在从语音数据中提取情绪特征信息时，可规定只采集声 强、语速、音高、语调四种特征信息。 B :将提取到的各情绪特征信息，分别与移动终端中预设的与相应情绪特征信息对 应的判别标准进行比较，一一得出判断结果； 如在一个具体实施例中，在移动终端存储器中，需预先设置与采集的各特征信息 对应的判别标准，所述判别标准是通过收集大量的不同人在不同情绪时的语音样本，通过 对这些样本进行分析形成的。如从语音数据中提取情绪特征信息时，规定了采集声强、语 速、音高、语调四种特征信息，那么在存储器中，需要预先设定某个特征信息的某个范围代 表偏向某种情绪。如通过大量分析后，可设定声强在a b范围内为愉快，在b c范围内 为愤怒，在c d范围为恐惧，用同样的方式可设定语速、音高、语调的某范围对应的某种情 绪，设定好所有范围对应的情绪后，存储于存储器内作为判别标准。当从采集到的语音数据 或视频数据中提取情绪特征信息后，将提取到的各情绪特征信息，分别与移动终端中预设 的与相应情绪特征信息对应的判别标准进行比较，一一得出判断结果，例如可将提取到的 当前对方用户声强与预设标准范围a b范围、b c范围、c d范围相比较，得出当前 对方用户声强所处范围，若当前声强处于c d范围，则根据存储器内预存的判别标准可得 出第一判断结果为恐惧，其他提取到的各情绪特征信息按照同样原理与对应的判别标准进 行对比，一一得出判断结果。 C :将各判断结果进行统计分析，判断出对方用户当前情绪状态。 在B步骤中，各情绪特征信息与对应的判别标准进行对比，一一得出判断结果后，
还需要将各判别结果进行分析判断，如果各情绪特征信息对于的判断结果都是或者大部分
是偏向某种情绪则可判断出该用户处于该情绪。该分析判断也需要经过大量样本进行分析
来设定，例如，假设提取的情绪特征信息为5种，那么在B步骤中会得出5个判断结果，若预
设偏向某种情绪的判断结果数量大于等于3，则判断出该用户处于该情绪。当然这只是一种
最简单的举例，在实际应用中会有多种多样的情况，那么统计分析标准可以根据实际需求
由移动终端厂家设定。 步骤103 :将所述对方用户当前情绪状态显示在己方移动终端显示设备上。
判断出对方用户当前情绪状态后，将情绪状态通过文字、图像表情或其他方式显 示在移动终端显示设备上，当然移动终端中需要预设各种情绪同显示结果的对应关系，假 设设定高兴对应符号~_~，伤心对应符号-(，则判断出对方用户当前情绪状态为高兴时， 则可以在移动终端中显示符号。显示方式可以为文字、图片表情、符号等多种方式，上面 仅为简单举例。当在步骤102中判断出对方用户情绪状态发生变化时，将所述对方用户当 前情绪状态显示在己方移动终端的同时，可发出提示音或震动以提示已方用户。
参见图2，为本发明实施例移动终端结构示意图，包括语音或视频信息采集模块1、情绪特征信息提取模块2、分析判断模块3和显示模块4 ; 所述语音或视频信息采集模块l，用于在通话过程中采集对方用户的语音数据或 视频数据； 所述情绪特征信息提取模块2，与所述语音或视频信息采集模块1相连，用于从采 集到的语音数据或视频数据中提取情绪特征信息；当从语音数据中提取情绪特征信息时， 所述情绪特征信息包括声强、语速、音高、语调等多种信息中的一种或多种，通常情况下需 要多种信息结合才能比较准确的判断对方情绪；当从视频数据中提取情绪特征信息时，所 述情绪特征信息包括视频图像中的脸部相关特征，如嘴唇、眉毛、眼睛的张开程度等各种脸 部特征，比如人在笑的时候眼睛的张开角度会变小一些，嘴唇的弯曲弧度也不一样，愤怒时 眼睛张开的角度会大一些等。从采集到的语音数据或视频数据中提取情绪特征信息，需在 移动终端中预先确定是采集哪几个特征信息，比如在从语音数据中提取情绪特征信息时， 可规定只采集声强、语速、音高、语调四种特征信息。 所述分析判断模块3，用于根据所述情绪特征信息提取模块2提取的情绪特征信 息分析判断对方用户当前情绪状态，得出判断结果。 所述显示模块4，与所述分析判断模块3相连，用于将所述分析判断模块3得出的 判断结果显示于己方移动终端显示设备上，具体的显示方式可以通过文字或图像表情的方 式进行显示。移动终端中需要预设各种情绪同显示结果的对应关系，假设设定高兴对应符 号~_~，伤心对应符号-(，则判断出对方用户当前情绪状态为高兴时，则可以在移动终端 中显示符号'_'。显示方式可以为文字、图片表情、符号等多种方式，上面仅为简单举例。
所述移动终端还包括存储单元5，用于存储预设的情绪特征信息对应的判别标 准，供分析判断模块3调用，以使分析判断模块3能根据所述情绪特征信息提取模块2提取 的情绪特征信息及所述存储模块5中存储的判别标准，判断对方当前情绪。所述判别标准 是通过收集大量的不同人在不同情绪时的语音样本，通过对这些样本进行分析形成的。如 从语音数据中提取情绪特征信息时，规定了采集声强、语速、音高、语调四种特征信息，那么 在存储器中，需要预先设定某个特征信息的某个范围代表偏向某种情绪。如通过大量分析 后，可设定声强在a b范围内为愉快，在b c范围内为愤怒，在c d范围为恐惧，用
同样的方式可设定语速、音高、语调的某范围对应的某种情绪，设定好所有范围对应的情绪 后，可通过对应关系表或其他方式存储于存储器内作为判别标准。 所述移动终端还包括情绪变化提示模块6，用于在所述分析判断模块3判断出对
方用户情绪状态发生变化时，发出提示音或震动以提示已方用户。 在本实施例中，所述分析判断模块3的具体结构可参见图3。 参见图3，为图2中分析判断模块3的结构示意图，所述分析判断模块3包括特征 对比单元31和统计分析单元32，所述特征对比单元31分别与所述情绪特征信息提取模块 2和所述存储模块5相连，用于将所述情绪特征信息提取模块2提取到的各情绪特征信息， 分别与所述存储模块5中预设的与相应情绪特征信息对应的判别标准进行比较， 一一得出 判断结果，例如，可将提取到的当前对方用户声强与存储器内预存的判别标准范围a b 范围、b c范围、c d范围相比较，得出当前对方用户声强所处范围，若当前声强处于 c d范围，则根据存储器内预存的判别标准可得出第一判断结果为恐惧，其他提取到的各 情绪特征信息按照同样原理与对应的判别标准进行对比，一一得出判断结果。所述统计分析单元32，与所述特征对比单元31相连，将所述特征对比单元得出的各判断结果进行统计
分析，判断出对方用户当前情绪状态。如果各情绪特征信息对于的判断结果都是或者大部
分是偏向某种情绪则可判断出该用户处于该情绪。该分析判断也需要经过大量样本进行分
析来设定，例如，假设提取的情绪特征信息为五种，那么在B步骤中会得出五个判断结果，
若预设偏向某种情绪的判断结果数量大于等于三，则判断出该用户处于该情绪。当然这只
是一种最简单的举例，在实际应用中会有多种多样的情况，那么统计分析标准可以根据实
际需求由移动终端厂家设定。当所述分析判断模块3为图3中所示的结构时，所述显示模
块4和所述情绪特征提示模块6均与所述分析判断模块3中的统计分析单元32相连。 本发明实施例提供的移动终端能够在通话过程中分析对方用户情绪状态，并提示
己方用户，该功能不能保证每个用户都喜欢，因此，在设计该功能时，需考虑用户选择权，在
移动终端中可设计开启和关闭入口，让移动终端用户自行选择是否开启该功能。 实施本发明实施例，通过采集对方用户语音数据或视频数据；从采集到的语音数
据或视频数据中提取情绪特征信息，并分析判断对方用户当前情绪状态；将所述对方用户
当前情绪状态显示在己方移动终端显示设备上。实时给己方用户提示对方用户的情绪变
化，以便己方用户及时调整或选择适当的通话内容或说话方式，以避免不友好的通话氛围。 以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权
利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助
软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，
本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，
该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使
得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例
或者实施例的某些部分所述的方法。
权利要求
一种在通话过程中判断对方情绪的方法，用于移动终端中，其特征在于，包括采集对方用户语音数据或视频数据；从采集到的语音数据或视频数据中提取情绪特征信息，并分析判断对方用户当前情绪状态；将所述对方用户当前情绪状态显示在己方移动终端显示设备上。
2. 如权利要求1所述的方法，其特征在于，所述从采集到的语音数据或视频数据中提 取情绪特征信息，并分析判断对方用户当前情绪状态包括从采集到的语音数据或视频数据中提取情绪特征信息；将提取到的各情绪特征信息，分别与移动终端中预设的与相应情绪特征信息对应的判 别标准进行比较，一一得出判断结果；将各判断结果进行统计分析，判断出对方用户当前情绪状态。
3. 如权利要求1或2所述的方法，其特征在于，当判断出对方用户情绪状态发生变化 时，将所述对方用户当前情绪状态显示在己方移动终端显示设备的同时，发出提示音或震 动以提示已方用户。
4. 如权利要求3所述的方法，其特征在于，所述将所述对方用户当前情绪状态显示在 己方移动终端显示设备上可通过文字或图像表情的方式进行显示。
5. 如权利要求4所述的方法，其特征在于，所述从采集到的语音数据或视频数据中提取情绪特征信息步骤中当从语音数据中提取情绪特征信息时，所述情绪特征信息包括声强、语速、音高、语调 中的一种或多种；当从视频数据中提取情绪特征信息时，所述情绪特征信息包括脸部特征，所述脸部特 征包括嘴唇、眉毛中的至少一个的弯曲方向及弧度，和/或眼睛、嘴巴、鼻子中的一个或多 个的张开程度。
6. —种移动终端，其特征在于，包括语音或视频信息采集模块，用于在通话过程中采集对方用户的语音数据或视频数据；情绪特征信息提取模块，与所述语音或视频信息采集模块相连，用于从采集到的语音 数据或视频数据中提取情绪特征信息；分析判断模块，用于根据所述情绪特征信息提取模块提取的情绪特征信息分析判断对 方用户当前情绪状态，得出判断结果；显示模块，与所述分析判断模块相连，用于将所述分析判断模块得出的判断结果显示 于己方移动终端显示设备上。
7. 如权利要求6所述的移动终端，其特征在于，还包括存储模块，与所述分析判断模块相连，用于存储预设的情绪特征信息对应的判别标准。
8. 如权利要求7所述的移动终端，其特征在于，所述分析判断模块包括 特征对比单元，分别与所述情绪特征信息提取模块和所述存储模块相连，用于将所述情绪特征信息提取模块提取到的各情绪特征信息，分别与所述存储模块中预设的与相应情 绪特征信息对应的判别标准进行比较， 一一得出判断结果；统计分析单元，与所述特征对比单元相连，将所述特征对比单元得出的各判断结果进 行统计分析，判断出对方用户当前情绪状态。
9. 如权利要求6至8任一项所述的移动终端，其特征在于，所述移动终端还包括 情绪变化提示模块，与所述分析判断模块相连，用于在所述分析判断模块判断出对方用户情绪状态发生变化时，发出提示音或震动以提示已方用户。
10. 如权利要求9所述移动终端，其特征在于，所述显示模块还用于将所述分析判断模 块得出的判断结果通过文字或图像表情的方式显示于己方移动终端显示设备上。
全文摘要
本发明提供了一种在通话过程中判断对方情绪的方法，用于移动终端中，通过采集对方用户语音数据或视频数据；从采集到的语音数据或视频数据中提取情绪特征信息，并分析判断对方用户当前情绪状态；将所述对方用户当前情绪状态显示在己方移动终端显示设备上。同时，本发明还提供了一种移动终端，实时给己方用户提示对方用户的情绪变化，以便己方用户及时调整或选择适当的通话内容或说话方式，以避免不友好的通话氛围。
文档编号G10L15/02GK101789990SQ20091021410
公开日2010年7月28日 申请日期2009年12月23日 优先权日2009年12月23日
发明者王强, 陈维山 申请人:宇龙计算机通信科技(深圳)有限公司