用于控制视频系统的操作的方法和系统的制作方法

专利名称：用于控制视频系统的操作的方法和系统的制作方法
技术领域：
本发明涉及一种用于检测电视信号的方法和系统。特别地，本发明的系统和方法改善电视录制或推荐系统的可操作性。
由于电视(TV)观众可用的频道数目的增加，以及在这种频道上可获得的节目内容的多样性，电视观众要识别感兴趣的节目，已经变得越来越富有挑战性。过去，电视观众通过分析印刷的电视节目指南来识别感兴趣的电视节目。这种印刷的电视节目指南一般含有按日期和时间、频道和名称列出可收看的电视节目的格子(grids)。由于电视节目数量的增加，要用这种印刷的指南来有效地识别所需要的电视节目，已经变得越来越困难。
最近以来，已经能得到电子格式的电视节目指南，即电子节目指南(EPG)。同印刷的电视节目指南一样，EPG含有按日期和时间、频道和名称列出可收看的电视节目的格子。然而有些EPG允许电视观众按照个性化的偏好分类或搜寻可收看的电视节目。此外，EPG还允许可观看的电视节目在屏幕上的呈现。
尽管EPG与传统的印刷的指南相比，允许观众更高效地识别所需要的节目，但它们有许多局限，如果克服这些局限，就能进一步增强观众识别所需要的节目的能力。例如，许多观众对某些类别的节目(诸如基于动作的节目或体育节目)有特别的偏爱或偏见。因此观众的偏好能被应用到EPGs，以获得特定观众可能感兴趣的一个推荐节目集。
EPG也能被录制电视系统使用，以使用户能确定录制所需节目的时间。
因此，已经有人提出了许多用于录制/推荐电视节目系统(也称电视节目录制器/推荐器)的工具。例如，美国加州Sunnyvale的Tivo公司销售的TivoTM录制器/推荐器系统，允许观众用“翘拇指和拇指朝下”特征(“Thumbs Up and Thumbs Down”feature)为节目评级，由此分别表示观众喜欢或不喜欢的节目。然后，TivoTM接收器把所记录的观众偏好与所接收的节目数据(例如EPG相匹配)以作出为每个观众定制的推荐。
尽管诸如具有其所有特征的TivoTM系统的电视录制/推荐系统为观众提供愉快的收视体验，它们仍有许多局限，如果克服这些局限，将进一步改善这些系统的可操作性。例如，目前的录制器/推荐器系统不知道用户是否正在观看一个电视节目，因为系统不知道电视机是否被打开。
当录制器/推荐器系统有一个预定要被自动录制的节目时，系统需要在屏幕上显示一个询问是否可以接受改变调谐器上的频道并切换到所推荐的节目的中断消息(disruptive message)，因此中断用户的观看。用户在该消息显示的时刻可能正在观看一个以前录制的节目。或者，用户可能正在通过电视机观看来自VCD、DVD或其它视频源中的录像，电视机既有一个一般被调谐在频道3-4的调谐器，又有一个插有音频/视频输入/输出电缆的辅助输入端。目前的录制器/推荐器系统不知道是否电视正在被观看，或者正被观看的信号是否来自录制器/推荐器系统的输出，而这会受到接收器的调谐的影响。
因此，如果正在被观看的节目不会受接收器的调谐的影响，或者如果用户甚至不在观看电视，则没有必要因询问用户是否可以接受频道的改变而打断用户的收视乐趣。
一个解决方案可以允许对进入电视上的音频/视频输入端口的信息进行分析，由此检测到信号。然而，消费者应当明白，要是他们从辅助输入端切换到电视天线，它们就会得到来自信号监测器的虚假读取(false read)。
因此需要一种用于探测来自诸如电视的任何视频源的信号的方法和系统。
本发明的目的和优点，将在随后的说明中陈述并由此显而易见，并且将通过实施本发明而被了解。本发明的其它优点将通过在说明书和权利要求书以及附图中特别指出的方法和系统而实现和获得。
为了实现这些和其它优点并且按照本发明目的，如所实现的和所描述的那样，本发明包括一种控制一个包括一个视频源和一个控制装置的视频系统的操作的方法。该方法包含以下步骤监视视频源的一个屏幕区域；确定该视频源是否接通；检测来自控制装置的代表一个控制功能的控制信号；如果确定视频源未接通则按照控制信号执行控制功能；如果确定视频源接通则询问用户是否要执行该控制功能。
本发明进一步包括一个用于控制一个视频源的操作的系统。该系统包含一个视频信号接收器和一个处理器，视频信号接收器用于监视该视频源，处理器用于确定该视频源是否接通、用于检测来自一个控制装置的代表一个控制功能的控制信号、用于在确定视频源未接通的情况下按照控制信号执行控制功能以及用于在确定视频源接通的情况下询问用户是否要执行该控制功能。
应当明白上述概括说明以及随后的详细说明都是示例性的，旨在为所要求保护的发明提供进一步的解释。
说明书所结合的、构成说明书一部分的附图，被包括来例示并进一步提供对本发明的方法和系统的进一步理解。附图与说明书一起解释本发明的原理。


图1是说明按照本发明优选实施例的系统的框图；图2是说明本发明的操作方法的有益实施例的流程图；图3是说明按照本发明另一个实施例的操作方法的有益实施例的流程图。
现在将详细参看附图中展示其例子的本发明当前的优选实施例。将结合对系统的详细说明描述本发明的方法和对应步骤。
以下讨论的图1、2和3以及本文中描述本发明的系统和方法的原理的各种实施例，仅仅是示例性的，不应以任何方式解释为限制本发明的范围。
本发明的系统和方法，将被描述为一种控制包括一个视频源和一个控制装置的视频系统的操作的系统和方法。
重要的是要认识到本发明的系统和方法并不限于电视录制或推荐系统。此外，本发明并不限于电视信号。所属技术领域的熟练人员容易明白，本发明的原理也可以成功地应用于任何类型的视频系统，包括但不限于电视接收器、机顶盒、存储装置、计算机视频显示系统以及任何类型的利用或处理视频和音频信号的电子设备。术语“电视录制系统”被用来指现在或将来可获得的这些和其它类似类型的设备。在以下的说明中，采用一个电视录制/推荐系统作为一个电视系统的代表性示例。
图1是说明按照本发明优选实施例的系统的框图。用于控制一个视频源的操作的系统包含一个电视录制/推荐系统25，其具有一个诸如摄影机5的视频信号接收器。按照本发明另一个实施例，该系统可包含至少一个用于获取音频信号的麦克风20。电视录制/推荐系统25一般包括诸如电视机10的视频源，它耦合到一个控制装置，诸如机顶盒15或能够接收和记录来自广播台的电视视频/音频信号的等效的硬件装置。机顶盒15也可包括用于分析用户的收视偏好、并向用户推荐要被录制的将来节目的推荐装置。机顶盒15一般包含一个处理器和用于处理数字视频/音频信号并向电视机10输出供显示的信号的软件装置。
按照本发明的优选实施例，用于检测电视信号的系统进一步包含一个指向电视机的摄影机5，用于记录在电视机屏幕上显示的模拟视频信号。摄影机5可以是个自动录制数字形式的视频信号的数字摄影机。摄影机5优选地耦合到计算机30。计算机30可以是具有处理视频/音频信号的处理装置的任何类型的机器。计算机30可包括一个模-数转换器，用于将从摄影机5接收的模拟信号转换成数字的视频/音频信号，供由处理装置进一步处理。计算机30从摄影机5接收到视频/音频信号后，优选地进行视频和音频信号分析，以确定电视机10是否被接通以及电视机是否被调谐到一个已知频道。
或者，按照本发明另一个实施例，图1中所示的系统可包括一个音频记录装置，诸如麦克风20。麦克风20将记录由电视机10播放的音频信号。这个音频信号将被发送到计算机30以供音频分析，以确定音频源的位置(即声音是否确实来自电视机)，因此确定电视机是否是接通的。音频分析也将确定所接收的音频信号是否已经是已知的，以避免为改变频道而询问用户。视所实施的音频分析的方法而定，可以使用多个麦克风。
应当明白，如图1中所示的系统的特定配置仅仅是举例。在本发明的其它实施例中，摄影机5和麦克风20能放置在各种位置，只要摄影机能拍摄到电视机的屏幕区域，以及麦克风能接收到来自电视机10的音频信号。或者，可以将该配置合并在视频源中位于信号进入电视机或监视器的地点，例如，这样的地点可以是“视频输入”(video in)和“音频输入”(audio in)或“合成输入”(composite in)。因此，在摄影机和麦克风的位置，可以监视“线路输入”(line in)(合成的或独立的音频和视频信号，或数字信号)以确定电视机正在接收的是什么。然而，这种替换配置在被调谐到天线(一般是频道3或4)或AUX(或A/V)输入的电视机上将不如优选实施例那样精确。因此，如果要用这种替换实施例，可以增加一个警告，以便让用户知道对什么节目正在被观看的确定是不那么肯定的，因此不能检测到电视机是否接通。
图2是说明本发明的操作的方法的有益实施例的流程图。在视频信号检测中，第一个步骤是检测电视机的屏幕(50)。用于检测一个诸如电视机的可识别形状的装置在计算机视觉技术领域中是已知的。例如，分析视频信号中的视频帧的可能是用于定义标准和宽屏幕两种电视机屏幕高宽比的外部和内部形状的边沿。在检测到屏幕后，可以把摄影机直接指向屏幕，以记录由电视机10显示的模拟视频信号。在步骤55，进行屏幕区域运动分析，以确定电视机是否接通。现有技术中有许多用于分析视频信号中的运动的已知方法。例如，视频信号一般由多个被单独分析的图像帧组成。在分析过程中要考虑诸如颜色、形状、边沿图(edge maps)、缩减率(cut rate)、采样率(samplingrate)之类的特征和其它特征。为每种分析确定信号之间的相等性尺度(scales for equality)，这产生一个整体的比较值。如果该值超过某个阈值，则图像被视为是相同的。
如果根据屏幕区域运动分析55，电视机是接通的(步骤60)，则能用进一步的处理来确定电视是否被调谐到一个以前由机顶盒15先前记录过的已知信号。例如，可以把来自指向电视机10的摄影机5的视频信号(信号“VSB”)与来自诸如机顶盒15的已知源的视频信号(信号“VSA”)相比，如与以前记录的材料相比的那样。
在步骤5，可以执行视频信号比较的两个方法。与步骤55类似，可以用现有技术中已知的运动分析、颜色分析等装置对信号VSA和VSB单独进行分析。例如，可以通过帧的视觉外表比较两个视频信号。视觉的相似性例如可以以颜色、形状、特定对象相似性、或对象相似性的概念上的类型为根据，并且可以是例如二维的、2.5维的(即计算机视觉)或三维的。
颜色相似性方法可以通过有感知意义的颜色空间(HSV，RGB，...)的使用来实现例如颜色直方图之间的距离。一般来说，颜色相似性方法相对独立于照度(颜色恒定性)。纹理对比方法的使用可涉及纹理特征提取(统计模型)。一般要考虑诸如方向性、粗糙程度、粒度等纹理品质。
此外，诸如圆度、偏心度、主轴指向等形状特征也被用于视频信号的分析。可以使用在假设图像已经被(自动地或人工地)分割成有意义的对象时的空间特性，并可考虑场景中对象的空间布局。
一般来说，上述的与图像或视频相关联的信息的类型被用于现有技术中众所周知的视觉信息检索系统中。被抽取的信息的类型一般包括以下类型(1)不直接涉及图像/视频内容、但却以某种方式与其相关的数据(也称作独立于内容的元数据)。例子有格式、作者姓名、日期、位置、所有者等等。
(2)涉及如上所述的图像的视觉内容的数据低/中级特征，诸如颜色、纹理、形状、空间关系、运动、以及它们的组合(也称作与内容相关的元数据)这些数据一般注重感知事实。
(3)内容语义，也称作内容描述性元数据。这些数据是有关图像实体与现实世界实体之间或者与和视觉符号和场景相关联的时间(temporal)事件、情绪及含义之间的关系的数据。
最后，可以比较视频信号的输出概貌(profiles)，如果所述概貌的差别在预定的阈值内，则可以认为视频的源是相同的。因此，如果源是相同的，则认为电视机被调谐到一个已知的信号(步骤70)。如果电视机被调谐到一个已知信号，电视录制/推荐系统25就为改变频道而询问用户(步骤75)。反之，如果电视机10被调谐到一个未知的视频信号，则为无人管理的录制改变频道，因为调谐器是空闲的。该未知视频信号可能来自一个诸如DVD、VCR或其它视频装置的辅助输入。
按照本发明一个实施例，对于用户的收视的打扰被减小，就是说，用户被询问的次数被减小。因此，当用户不在观看由STB调谐到的当前信号时，不需征询用户的允许就能改变频道。然而，如果用户正在观看相同的(已知)信号，就询问用户。或者，如图3中所示，可以在用户已经请求过的节目与系统正在推荐的节目之间作出区分。
尽管摄影机5的放置应当优选地位于电视机10的顶部，以便避免阻挡(blocking)视频信号，但是也能使用各种其它位置。按照本发明优选实施例的视频分析解决阻挡的问题。该分析将确定，在较大的百分比的可视屏幕中，电视机的输出与已知视频信号是否一致。某个预定的百分比(例如50％)的不同步的屏幕区域是可以接受的，只要另50％有大约90％的把握是来自相同的信号。确定度值可能因应用而异。
在本发明一个替代性实施例中，可以执行一个不同的比较视频信号的方法。能在低级别(a low level)对信号VSA和VSB作互相比较。例如，可以比较每个信号的光流(optical flows)。按照定义，光流是图像中亮度图案的明显运动(视网膜)。在不定地限制性的假设下，它可以被等同为环境中的物理对象的运动，或者被等同为摄影机(眼睛)的自身运动。一般来说，光流描述一个图像的不同部分的相对运动。光流起于图像中的对象与观众之间的相对运动。光流处理在像素级进行工作，并且能提供关于被观看对象的空间安排和对象之间空间的变化率的重要信息。光流中的间断被用来把图像分割成对应于不同的对象的区域。现有技术中有两种用于计算光流的众所周知的一般方法(1)根据使用诸如刚度(rigidity)、平滑度和接近度之类的光流约束的空-时滤波的基于梯度的方法；和(2)基于特征的方法(例如边沿、角)。按照本发明可以使用计算光流的任何方法。与比较视频信号的第一种方法类似，如果光流的差异超过预定的阈值，则认为视频源是相同的。
或者，按照本发明另一个实施例，该方法除了视频信号的检测还可包括检测音频信号的步骤。例如，所述系统可进一步包含一个用于接收来自电视机的模拟音频信号的麦克风。在接收到模拟音频信号后，可将它转换成数字形式以供分析用。
在一个优选实施例中，音频分析可包括用于确定音频源的位置的装置。图2表示，在步骤85，首先分析由麦克风20接收的音频信号，以确定音频源的位置，即音频是否来自电视机10。
音频位置检测方法在现有技术中是众所周知的。例如，可以采用一种麦克风阵列音频位置算法(步骤90)。小的麦克风阵列一般由两个到六个紧邻放置的麦克风组成。声源被保持在阵列的外部。最简单的阵列(双麦克风阵列)提供赖以导出其它阵列的基础。阵列中的每个麦克风与阵列中的其它麦克风之间有一定的延迟关系，这视声源的位置而定。对来自阵列的被记录的声音数据所进行的互相关，返回阵列中每对麦克风的时间延迟。从观测到的时间延迟中可以确定声源的方位。
互相关需要两组数据以便返回一个延迟。因此，要收集任何有意义的数据，需要一个至少具有两个麦克风的阵列。在双麦克风阵列中，一个麦克风比另一个更靠近声源，或者它们没有时间延迟并与声源等距离。路径差从零到一个最大值变动。一个双麦克风阵列的最大路径差是这两个麦克风之间的距离，并且在声源与两个麦克风在同一直线上时出现最大路径差。当声源存在于两个麦克风之间的线段的垂直平分线上时，出现零路径差。通过简单的公式D＝vt，由时间延迟确定路径差D，其中v是声音的速度，t是时间延迟。
音频位置算法确定音频信号源的位置。如果源是电视机，假设电视机是接通的(步骤95)。如果音频源的位置是电视机以外的某个东西，假设电视机是关闭的。然而，如果电视机的音量与背景中的其它噪声相比较低，则能进行进一步的对视频信号的分析。如果确定电视机是关闭的，则为无人管理的录制自动地改变频道(步骤80)。如果电视机接通，则可进行进一步的音频分析。
按照本发明另一个实施例，处理装置获取两个音频信号，(1)ASA-来自诸如机顶盒的一个已知源的音频流，和(2)ASB-来自对准电视机的摄影机的音频流。可以用现有技术中众所周知的音频分析技术单独分析这两个音频信号。例如，有许多特征可以被用来表征音频信号。一般来说，可以将所述特征划分成两类时间域和频率域。可以考虑诸如音量分布(volume distribution)、音调轮廓(pitch contour)、平均能量和频率等特征。
音频信号的音量分布例如揭示信号的幅度的时间变化。为了计算音量，可以把一个音频信号或剪辑划分成许多重叠的帧，并可用每个帧内的信号幅度的均方根(RMS)来近似计算该帧的音量。一个剪辑内的音量的均值和标准差被用作音量分布的描述符。此外，为了确定某个帧是否是静音的，可以将该帧的音量与一个根据整个剪辑的音量分布确定的阈值作比较。从静音检测的结果可以计算出静音比率，即静音间隔与整个期间的比率。一般来说这个比率在不同的视频序列中差别很大。例如在新闻报道中，记者的语音中具有有规则的停顿，而在广告节目中总是有某种背景音乐，由此导致低的静音比率。此外，音频信号的音调是人类语音波形的基本周期(period)，并且是语音信号的分析和合成中的重要参数。在一般由纯语音以及许多其它声音组成的音频信号中，音调失去物理意义。然而，音调可被用作一个表征不同音频信号中的波形的周期性的变化的低级别特征。现有技术中有许多众所周知的音调确定算法。例如，可以应用一个使用短时平均幅度差函数(AMDF)的算法来确定每个帧的音调。有些音频信号可能不含有任何语音。可以使用一种替代性方法。例如，在计算每个帧的音调后，能获得整个音频剪辑的一个音调轮廓。然后可将一个中值滤波器应用于这个音调轮廓，以消除误检测的、在音调轮廓中常常表现为尖峰(spikes)的音调。音调水平本身通常受说话者(男性或女性)而不是场景内容的影响。然而，相邻帧之间的音调差似乎更多地揭示场景内容。因此，音调差的均值和标准差可以被用作两个附加的音频特征。根据音调估计结果，可检测到语音帧。因为一个语音段一般具有相对不变的音调，只有那些(与在先的帧相比)具有平滑的音调期间的帧才被视为语音帧。语音比率被定义为语音的长度与整个音频剪辑的比率，它被用作另一个音频特征。
为了获得频率特征，可计算音频信号的频谱图。频谱图是一个沿时间轴的(对每个音频帧)的短时傅立叶变换的2D曲线。
一般来说，可以实施现有技术中的各种众所周知的音频特征提取方法来分析每个音频信号并将各音频信号互相比较(步骤100)。然后可以比较由上述方法产生的音频信号的输出概貌，如果所述概貌中的差在预定的阈值内，则可认为音频信号的源是相同的。如果认为所述源是相同的，则电视机被调谐到一个已经已知的信号(步骤105)，在这种情况下，提示用户改变频道(步骤75)。然而，如果电视机10被调谐到一个未知的信号，则为无人管理的录制而改变频道。
或者，按照本发明另一个实施例，可以在低级别上对两个音频信号进行互相比较。
如上所述的并在附图中表示的本发明的方法和系统，提供典型的电视录制/推荐系统的一种改善的功能。特别地，电视系统将能检测到电视信号，并因此改善自动录制过程。
对于所属技术领域的那些熟练人员来说，显然在不偏离本发明的精神和范围的情况下可以在本发明的方法和系统中作出各种修改和变动。因此，本发明旨在包括落在后附权利要求书及其等效条款的范围内的修改和变动。
权利要求
1.一种控制包括视频源和控制装置的视频系统的操作的方法，该方法包含以下步骤监视视频源的一个屏幕区域；确定视频源是否接通；检测来自控制装置的代表一个控制功能的控制信号；如果确定视频源未接通则按照控制信号执行控制功能；和如果确定视频源接通则询问用户是否要执行该控制功能。
2.权利要求1的方法，其中，视频源是电视机。
3.权利要求1的方法，其中，监视步骤包括检测来自视频源的视频信号。
4.权利要求3的方法，其中，确定视频源是否接通的步骤是利用对所检测的视频信号的屏幕区域运动分析而进行的。
5.权利要求1的方法，进一步包含以下步骤如果确定视频源接通则将所检测的视频信号与一个已知视频输入信号作比较，以确定视频源是否被调谐到该已知视频输入信号；和此外，其中如果所检测的视频信号不相当于该输入信号，则执行该执行步骤，如果所检测的视频信号与该已知视频输入信号确实相当，则执行该询问步骤。
6.权利要求1的方法，其中，监视步骤包括检测来自视频源的音频信号，其中视频源是个音频源。
7.权利要求6的方法，进一步包括用一个麦克风阵列方法确定音频源的位置的步骤。
8.权利要求6的方法，进一步包含以下步骤如果确定音频源接通则将所检测音频信号与一个已知音频输入信号相比较，以确定音频源是否被调谐到已知音频输入信号；和此外，其中如果所检测的音频信号与该音频输入信号不相当，则执行该执行步骤，如果所检测的音频信号与该已知音频输入信号确实相当，则执行该询问步骤。
9.用于控制视频源的操作的系统，该系统包含一个视频信号接收器，用于监视视频源；一个处理器，用于确定视频源是否接通；用于检测来自一个控制装置的代表一个控制功能的控制信号；用于在确定视频源未接通的情况下按照控制信号执行控制功能；和用于在确定视频源接通的情况下询问用户是否要执行该控制功能。
10.权利要求9的系统，其中，视频源是电视机。
11.权利要求9的系统，其中，进一步包含至少一个用于监视音频信号的麦克风。
12.权利要求9的系统，其中，视频信号接收器是摄影机。
全文摘要
本发明提供一种控制包括视频源和控制装置(15)的视频系统(25)的操作的方法和系统。该方法包含以下步骤监视视频显示单元的一个屏幕区域；确定视频显示是否接通；检测来自控制装置的代表一个控制功能的控制信号；如果确定视频显示单元未接通则按照控制信号执行控制功能；以及如果确定视频源接通则询问用户是否要执行该控制功能。本发明进一步包括一个用于控制视频系统的操作的系统，该系统包含用于监视视频显示单元(10)的屏幕的摄影机(5)和一个处理器，该处理器用于确定视频显示单元(10)是否接通、用于检测来自一个控制装置的代表一个控制功能的控制信号、用于在确定视频显示单元(10)未接通的情况下按照控制信号执行控制功能以及用于在确定视频显示单元(10)接通的情况下询问用户是否要执行该控制功能。
文档编号G10L15/28GK1672404SQ03817625
公开日2005年9月21日 申请日期2003年7月7日 优先权日2002年7月25日
发明者D·佩尔捷 申请人:皇家飞利浦电子股份有限公司