语音文字转换、手语文字转换的方法和装置的制作方法

专利名称：语音文字转换、手语文字转换的方法和装置的制作方法
技术领域：
本发明涉及手机、电话等通讯领域，特别是涉及将音频信息或手语视频 信息，转换成文字信息并且通过视频进行通讯的方法和装置。
背景技术：
目前各种通讯终端不断出现，从固网的座机电话到移动终端比比皆是。 但是这些通讯终端都是面向普通人进行使用的功能，对于聋哑人士，目前只 有短信这种方式可以进行交流。随着可视通讯时代的到来，人们可以借助网 络，进行面对面的交流。但是聋哑人士由于无法用声音进行交流，只能借助手 语,另一方面一般人又不懂手语，这就造成了交流上的困难。

发明内容
本发明的目的是提供一种语音文字转换、手语文字转换的方法和装置， 使聋哑人士和不懂手语的人能够进行交流，同时也适合普通人群的使用。 本发明的目的是通过以下技术方案实现的-
一种语音与文字转换的方法，其特点在于，其包括以下步骤1)检测 输入的音频数据；2)将该音频数据转换成相应的文字信息；3)编码器将该 文字信息编码进入视频数据中。
一种手语与文字转换的方法，其特点在于，其包括以下步骤1)检测 输入的手语视频数据；2)将该手语视频数据转换成相应的文字信息；3)编 码器将该文字信息编码进入视频数据中。
其中，在手语与文字转换的方法中，将摄像机采集的手语图像，与预先设置好的手语图像信息对比，找到与该摄像机采集的手语图像最接近的图 像，并提取出该图像对应的文字信息。
一种文字可视通讯装置，其特点在于，其包括语音与文字转换终端， 用于检测输入的音频数据，将该音频数据转换成相应的文字信息，并用编码
器将该文字信息编码进入视频数据中；手语与文字转换终端，用于检测输入
的手语视频数据，将该手语视频数据转换成相应的文字信息，编码器将该文 字信息编码进入视频数据中。
其中，该手语与文字转换终端将摄像机采集的手语图像，与预先设置好 的手语图像信息对比，找到与该摄像机采集的手语图像最接近的图像，并提 取出该图像对应的文字信息。
本发明的积极进步效果在于通过可视通讯装置，对声音和图像信号进 行处理，增加了通讯形式和内容。使聋哑人士和不懂手语的人能够通过文字 进行交流，并且对于普通人群来说，也提高了相互间交流的通话速度和通话 质量。


图1为本发明较佳实施例中，语音与文字转换功能流程图。
图2为本发明较佳实施例中，手语视频与文字转换功能流程图。
图3为图2所示的手语与文字转换过程中，提取文字信息的具体方法流程图。
图4为本发明较佳实施例中，文字可视通讯装置的结构示意图。 图5为本发明较佳实施例中，两人之间通讯的示意图。
具体实施例方式
下面结合附图给出本发明较佳实施例，以详细说明本发明的技术方案。 一、语音与文字、手语与文字转换的方法和装置 1、语音与文字转换的流程
4步骤IOI，用户选择声音与文字转换操作。
步骤102，检测输入的音频数据。
步骤103，将该音频数据转换成相应的文字信息。
步骤104，编码器将该文字信息编码进入视频数据中。
2、 手语与文字转换的流程
步骤201，用户选择手语与文字转换操作。
步骤202，检测输入的手语视频数据。
步骤203，将该手语视频数据转换成相应的文字信息。
步骤204，编码器将该文字信息编码进入视频数据中。
在上述步骤203中，提取文字信息的具体方式如图3所示。
步骤301，摄像机采集手语图像。
步骤302，与预先设置好的手语图像信息对比。
步骤303，找到与该摄像机采集的手语图像最接近的图像，并提取出该 图像对应的文字信息。
3、 文字可视通讯装置
如图4所示为实现上述方法的一文字可视通讯装置400。该装置包括有 如下终端。
语音与文字转换终端401，用于检测输入的音频数据，将该音频数据转 换成相应的文字信息，并用编码器将该文字信息编码进入视频数据中。
手语与文字转换终端402，用于检测输入的手语视频数据，将该手语视 频数据转换成相应的文字信息，编码器将该文字信息编码进入视频数据中。
二、实际通讯中的具体操作方法
1、聋哑人士与普通人士通讯 如图5，假定A为聋哑人士， B为普通人士。
l)在A端，A开启文字可视通讯装置400的手语与文字转换功能，A 的手语被转换成文字，同时视频编码器将文字信息也编码进入视频数据传送 给B。在B终端显示视频图像的同时，将文字信息也显示出来。2)在B端，B开启文字可视通讯装置400的语音与文字转换功能，将 B的语音信号转换成文字，同时被视频编码器编码进入视频数据。在A端显 示视频图像的同时，将文字信息显示出来。
通过上面两个步骤的反复交互，就可以实现聋哑人士和普通人之间的 正常交流了。
2、普通人与普通人通讯
如图5，假定A、 B均为普通人士。在可视通讯装置的通讯中，考虑到 语音在线路上的传输质量不好等问题，也可以将双方的语音转换为文字显 示，边听对方的话边看视频上的文字，达到更好的交流效果。
1) 在A端，A开启文字可视通讯装置400的语音与文字转换功能，A 的语音信号被转换成文字，同时视频编码器将文字信息也编码进入视频数据 传送给B。在B终端显示视频图像的同时，将文字信息也显示出来。
2) 在B端，B也开启文字可视通讯装置400的语音与文字转换功能， 将B的语音信号转换成文字，同时被视频编码器编码进入视频数据。在A 端显示视频图像的同时，将文字信息显示出来。
通过上面两个步骤的反复交互，就可以实现两普通人之间的正常交流了。
虽然以上描述了本发明的具体实施方式
，但是本领域的技术人员应当理 解，这些仅是举例说明，在不背离本发明的原理和实质的前提下，可以对这 些实施方式做出多种变更或修改。因此，本发明的保护范围由所附权利要求 书限定。
权利要求
1、一种语音与文字转换的方法，其特征在于，其包括以下步骤1)检测输入的音频数据；2)将该音频数据转换成相应的文字信息；3)编码器将该文字信息编码进入视频数据中。
2、 一种手语与文字转换的方法，其特征在于，其包括以下步骤1) 检测输入的手语视频数据；2) 将该手语视频数据转换成相应的文字信息；3) 编码器将该文字信息编码进入视频数据中。
3、 根据权利要求2所述的手语与文字转换的方法，其特征在于， 其将摄像机采集的手语图像，与预先设置好的手语图像信息对比，找到与该 摄像机采集的手语图像最接近的图像，并提取出该图像对应的文字信息。
4、 一种文字可视通讯装置，其特征在于，其包括 语音与文字转换终端，用于检测输入的音频数据，将该音频数据转换成相应的文字信息，并用编码器将该文字信息编码进入视频数据中；手语与文字转换终端，用于检测输入的手语视频数据，将该手语视频数据转换成相应的文字信息，编码器将该文字信息编码进入视频数据中。
5、 根据权利要求4所述的文字可视通讯装置，其特征在于，该手语与文字转换终端将摄像机采集的手语图像，与预先设置好的手语图像信息对比，找到与该摄像机采集的手语图像最接近的图像，并提取出该图像对应的文字信息。
全文摘要
本发明公开了一种语音与文字转换的方法，其包括以下步骤1)检测输入的音频数据；2)将该音频数据转换成相应的文字信息；3)编码器将该文字信息编码进入视频数据中。本发明还公开了一种手语与文字转换的方法，其包括以下步骤1)检测输入的手语视频数据；2)将该手语视频数据转换成相应的文字信息；3)编码器将该文字信息编码进入视频数据中。本发明还公开了一种文字可视通讯装置，其包括语音与文字转换终端和手语与文字转换终端。本发明通过可视通讯装置，对声音和图像信号进行处理，增加了通讯形式和内容。使聋哑人士和不懂手语的人能够通过文字进行交流，并且对于普通人群来说，也提高了相互间交流的通话速度和通话质量。
文档编号G10L21/06GK101452705SQ20071017192
公开日2009年6月10日 申请日期2007年12月7日 优先权日2007年12月7日
发明者军 周 申请人:希姆通信息技术(上海)有限公司