拍摄全景画面的方法

专利名称：拍摄全景画面的方法
技术领域：
本发明涉及具有拍摄数字图像功能的不同的复杂设备中的数字图像拍 摄，所述设备包括数码相机和装备有相机模块的移动终端。更具体地，本发 明涉及一种拍摄全景画面的方法。
背景技术：
通常，在数字图像拍摄设备中，图像捕捉单元的功能是获得图像，所述 图像在图像捕捉单元的镜头的焦距内被形成。这里，获得的图像在典型的视
角范围(对于普通相机来说大约是30。到50。)内，该范围小于人类视界(大 约150。到200°)。在适当地改变视角的同时拍摄多幅图像的传统方法中，拍 摄的图像按顺序彼此相连以将它们重组为一幅连续的图像。因此，用与人类 视界相似或大于人类视界的视角获得了画面。这样的传统方法被称为全景画 面拍摄方法。
更具体地，在全景画面拍摄模式中，传统的数字图像拍摄设备拍摄将被 水平或垂直相连的若干图像，并随后将它们存储在存储器中。存储在存储器 中的图像随后被提供给适当的内部/外部图像处理器，并一皮彼此连接为一幅连 续图像。此时，为了消除图像之间的边界处的色差和图像差异，数字图像拍 摄设备拍摄在其边界具有足够的重叠的多幅图像，并随后通过调整它们的边 界来对齐图像。其后，设备执行包括缝合和弯曲的图像处理。通过这样的处 理，获得了包括自然相连的多幅图像的单幅图像。
因此，全景画面拍摄对于捕捉对齐得尽可能精确的图像设置高优先级。 为此，辅助设备(例如三脚架)通常用于这样的手动拍摄以提高更精确对齐 的可能性。例如，最近已经提出了这样一种方法，其中相应的拍摄设备被安 装在三脚架等之上，安装的拍摄设备在全景拍摄中根据各幅图像旋转。这样 的方法的示例在2003年7月29日提交的标题为"Camera And Method for Photographing Panorama Picture (拍^聂全景画面的4目才几牙口方法)"、申"i青人为 Samsung Techwin Co. Ltd、发明人为BAE， Sung-cheol的第2003-0052444号韩
国专利申请中被公开。除了上述方法，还提出了以下方法具有检测旋转角 度的功能的设备可被附加地安装到相应的拍摄设备上，用户预先设置拍摄设 备的旋转角度，从而通过在全景拍摄中用户预设的拍摄设备的旋转角度的旋 转位移来拍摄各幅图像。
此外，为了在拍摄全景画面的情况(没有在相应的拍摄设备上安装辅助 部件或附加硬件)下更精确地对齐各幅图像，还提出了以下方法，其中，当 拍摄各幅图像时，先前拍摄的图像的边界的部分区域被呈现为与当前拍摄的 图像适当地重叠，从而用户可通过用当前拍摄的图像调整先前拍摄的图像来
控制拍摄的适当位置。这样的方法的示例在2003年3月31日提交的、标题 为"Panoramic Sequence Guide (全景顺序向导)"、发明人名字为Gregory V, Hofer的第2004/0189849号美国公布中被公开。
拍摄全景画面相对于拍摄普通单幅图像要求更多的用户技巧和熟练度， 这要求对操作和拍摄图像而言更好和更方便的解决方案。

发明内容
因此，本发明提供一种拍摄全景画面的方法，其中，用户可在不需要附 加设备和硬件的情况下更容易地操作拍摄设备和更精确地拍摄全景画面。
本发明旨在提供一种更精确地确认相机的移动并在拍摄全景画面中使用 才企查的相才几移动的方法。
因此，本发明提出一种考虑相机拍摄的特定环境采用曝光补偿的新的运 动估计技术，以通过使用预定范围中的图像块来识别输入图像的先前帧和当 前帧之间的运动。也就是说，本发明采用一种新的运动估计方案，代替传统 的运动估计方案。在这种情况下，由于在拍摄期间的计算必须迅速进行，从 而在预览正常操作的同时计算运动矢量，可使用积分图像(integral image)以减 少计算量。另外，基于可行的预览速度、拍4聂目标的尺寸或距离、以及与压 缩图像相比具有相对低相关性的预览图像特征来可变地调整用于找寻运动矢 量的参考块，从而可使用单块搜索方案来最大化其相关性。通常，当进行帧 间运动估计时，可采用平面图像。然而，考虑到拍摄全景画面的环境的特殊 性质，可进行对预先投影到圆柱全景投影空间的图像的运动估计。
根据本发明的示例性实施例，提供一种拍摄全景画面的方法，所述方法 包括以下步骤当拍摄构成全景画面的各幅图像时，通过采用曝光补偿的运
动估计技术将当前输入图像与先前图像进行实时对比来冲全查相应的拍摄设备 的运动；检查包括到目标的焦距和光学放大倍数的图像拍摄信息以计算图像
的实际拍摄范围距离，并考虑计算的图像的实际拍摄范围距离设置预设阈值； 确认由拍摄设备的移动引起的检查到的移动达到预设阈值，并确定各幅图像 的拍摄时间点；以及在各幅图像的拍摄时间点根据手动模式或自动模式拍摄 各幅图像。
优选地，运动估计技术可包括以下技术计算基于帧的图像块中的对比 的各像素之间的误差信息而匹配的图像块之间的运动矢量，根据相应的图像 块的平均值并采用曝光补偿来校正图像块中的各个像素。
例如，可通过计算由以下式定义的平方差之和SAD或绝对差之和来获得
误差信息
》务改的&1D
<formula>formula see original document page 6</formula>x,块
在式中，和/2分别是当前帧和先前帧内的图^3夹中的(x, y)和(x+m, y+n)
的像素值，7;和7;分别是与先前帧和当前帧内的块相应的像素的平均值。
当计算了像素的平均值时，可预先设置当前帧的积分图像，并且可通过 使用积分图像来计算各个图像块的平均值。像素值可相应于亮度或各个色调。
优选地，可根据预览性能和/或到目标的距离和/或拍摄模式信息变化地设 置图像块，并且可以变化地设置用于搜索与图像块匹配的SR。
根据本发明，可通过预先将帧投影到预设的全景投影空间使帧经过运动
对于检查拍摄设备的运动的步骤，拍摄设备移动的方向被识别，通过使 用引导装置引导拍摄设备从识别的方向向预设的全景画面拍摄方向移动。
引导装置可与显示器显示引导方向的用户界面相应，并且与在预设拍摄 ^立置的时间点;故驱动的才展动电才几相应。
根据本发明，所述方法还可包括以下步骤检查包括到目标的距离和光 学放大倍数的图像拍摄信息，通过使用图像拍摄信息计算图像的实际拍摄范 围距离，并在确定各幅图像的拍摄时间点之前考虑图像的实际拍摄范围距离
设置预设的阈值。
预设阈值例如可与指示拍摄各幅图像的时间点和/或到达拍4聂时间点的 时间点的值相应。
优选地，例如可通过在用户拍摄全景画面时反映包括相机移动速度、旋 转角度和相机摇晃的程度的拍摄模式来设置指示到达拍^t聂时间点的时间点的 预设阈值。


通过下面结合附图的详细描述，本发明的上述和其他方面、特点和优点
将会变得更清楚，其中
图1是示出根据本发明的移动终端的示例性框图2是示出根据本发明一示例性实施例的拍摄全景画面的操作的流程
图3A到图3E是根据本发明一示例性实施例的当拍摄全景画面时根据拍 摄设备的移动方向引导拍摄方向的预览屏幕的示例；
图4是图2中的步骤220 (检测相机移动的操作)的详细流程图； 图5是具有用于图4中的运动矢量检测的可变尺寸的图像块的示例； 图6A和图6B是积分图像的示例；
图7是示出根据本发明另一示例性实施例的拍摄全景画面的操作的流程
图8是根据全景拍摄的相机移动状态和相机与目标之间的关系的示例。
具体实施例方式
以下，将参照附图描述根据本发明的一示例性实施例。在下面的描述中， 示出了诸如详细部件设备的多个具体项，但是这些被给出仅用于提供对本发 明的一般理解，本领域的技术人员将理解本发明。
图1是根据本发明的移动终端的一个可行配置的示例性框图。以下，在 具有数字图像拍摄功能的不同的设备中，将用如图1所示的移动终端的示例 首先描述基于硬件的设备。
参照图1,根据本发明的具有数字图像拍摄功能的移动终端包括相机20、 图像处理器22、显示单元24以及控制器14、存储器单元16、键输入单元18、
射频(RF)单元10和无线数据处理器12。
RF单元10将用户语音、文本消息和控制数据调制为无线信号，并将调 制的信号发送到移动无线电通信网络的基站(未示出)。RF单元IO还从基站 接收无线信号，并随后将信号解调为语音、文本消息、控制数据等以进行输 出。无线数据处理器12在控制器14的控制下操作。无线数据处理器12将从 RF单元10接收的语音数据解码以经由扬声器输出可听见的声音，并产生包 括从麦克风接收的用户语音信号的数据以输出到RF单元10。然后，无线数 据处理器12将经由RF单元IO输入的文本消息和控制数据提供给控制器14。
参照图1,相机20在控制器14的控制下执行普通的数码相机功能，并 接收从目标反射的特定波长的可见光信号。相机20包括由电荷耦合装置(CCD) 拍摄装置等形成的图像捕捉单元202，以及用于测量亮度的亮度传感器204 和用于测量到目标的焦距等的距离传感器206。图像处理器22处理输出到相 机20的图像数据，以将处理的数据转换为适当格式的数字图像数据。
键输入单元18包括用于输入数字和文本消息信息的多个键以及用于设 置各种功能的多个功能键，从用户接收电话号码或文本消息，并将输入信号 输出到控制器14。显示单元24可用例如液晶显示器(LCD)的显示装置形成， 并在控制器14的控制下显示拍摄的数字图像数据，所述数字图像数据包括与 相应移动终端的各种操作状态相应的消息。
控制器14通过对各个功能单元的总体控制来控制移动通信终端的总体 操作。也就是说，控制器14根据经由键输入单元18输入的数字和菜单选择 信号执行处理，经由相机20接收外部拍摄信号以进行相应处理，并随后通过 显示单元24输出相机拍摄的图像以及各种操作所需的图像输出信号。此时， 控制器14取走存储在存储器单元16中的用于输出的内容，或将内容存储在 存储器单元16中。存储器单元16存储与控制器14的操作相关的多个程序和 数据，存储器单元16用于存储操作移动终端所需的信息和相机拍摄图像信 息。
装备有根据本发明的配置的移动终端执行例如相机功能以及例如与传统 移动通信服务相关的操作，此时，控制器14还根据本发明的特性执行全景画 面拍摄的操作。此外，根据本发明，存储器单元16存储控制器14中的用于 全景画面拍摄的操作的操作程序和相关信息，并在必要时将相应信息输出到 控制器14。
特别地，当根据本发明的移动终端实时接收如运动图像的目标图像，根 据全景画面的拍摄方向由用户移动移动终端，或者通过移动终端装备的附加 设备在拍摄全景画面的情况下自动旋转时，移动终端将当前输入图像与先前 图像进行对比以检测相应的移动终端的移动，并识别移动的方向和移动的程 度，随后获得与用于创建完整的全景画面的有序图像相应的图像。以下，将 参照附图描述根据本发明实施例的全景拍摄的操作。
图2是示出根据本发明示例性实施例的拍摄全景画面的示例性式操作的
流程图。参照图2,在实际全景画面拍摄之前，在步骤200设置拍摄全景画 面的各种环境。在步骤200，例如形成全景画面的各幅图像的上、下、左、 右方向的彼此连接方向(即，拍摄方向)被设置。此外，设置将彼此相连以 形成全景画面的拍摄图像的数量。
在步骤200的设置全景画面拍摄环境的操作中，在从传统移动终端提供 的设置各种功能的菜单中选择的相机拍摄菜单的子菜单(例如，全景画面拍 摄环境设置模式)中输入来自用户的各个环境设置值。当然，在移动终端中 由用户预先提供用于为菜单选择操作显示相应的菜单和确认输入到键输入单 元的键输入的配置和操作程序。另外，用户在步骤200设置的各个全景画面 拍摄环境模式中的某些或全部可被固定为由开发者适当设置的值以提供给用 户。
在步骤210，从移动终端的菜单中的相机拍摄菜单的子菜单中选择全景 画面拍摄模式，并通过拍摄全景画面的第一图像开始拍摄全景画面。此时， 通过用户的快门输入存储全景画面的第一图像，并将基于将在以后详细描述 的根据本发明示例性实施例的全景画面拍摄方法执行后续的图像拍摄。当开 始全景画面拍摄时，从视点实时输入到拍摄设备的图像被输入到和存储在存 储器中，随后使用存储的图像获得拍摄设备的移动信息。
在步骤220，根据本发明的以下示例性特征方案，在接收如同运动图像 的输入到拍摄设备的图像之后，通过使用当前输入图像和先前输入图像来检 测拍摄设备(即，相机)的移动。
优选地，可在步骤220 4企测相机移动，在步骤220通过对当前帧和先前 帧之间的具有适当尺寸的预定图像块进行对比和映射来执行可获得的块之间 的运动矢量的计算。例如，与在对普通运动图像的编码和解码中的运动估计 和运动补偿技术中使用的方案相似的方案可进行块之间的运动矢量的计算。
在本发明的描述中，与x轴(即，水平方向)相应的运动矢量定义为mi,x,与 y轴(即，垂直方向)相应的运动矢量定义为m,，y，其中，i指示帧的序号。
在步骤230,通过适当的用户界面(UI)提醒用户相机被放置移动的方向 (即，相机移动方向)，以便根据在步骤220检测的相机移动拍摄全景画面。 在这种情况下，可在显示单元上即时显示指示相^/L移动的方向的图标，因此 用户可识别相才几的移动方向。
图3A到图3E是根据本发明一示例性实施例的当拍摄全景画面时可被查 看以根据拍摄设备的移动方向引导拍摄方向的单向(one way)预览屏幕的示 例。
将参照图3A到图3E更详细地描述在步骤230执行的操作。
首先，该描述是假设正从左向右进行全景画面拍摄的情况(即，正进行 从第一图像到第n图像的拍摄下)做出的。另外，4艮设相机在拍摄全景画面 的第 一 图像之后目前正在进行全景画面的第二图像的拍摄。
如图3A所示，当相机上投影了图像"A"，并在不脱离全景画面拍摄的 范围的情况下以垂直方向移动时，通过x轴的运动矢量nv检测到相机在方 向4、 0和5 (向左、停止和向右)的范围内移动。然后，为了引导相机向第 二图像所在的方向移动，可在预览屏幕上显示右方向的箭头图标。
如图3B所示，当相机以垂直向下方向移动而脱离了全景画面拍摄的范 围并且其上投影有图像"B"时，通过x轴的运动矢量nv和y轴的运动矢量 m,，y检测到相机向方向6、 7或8(向左下、向下和向右下)移动。然后，为 了引导相机向第二图像所在的方向移动，可在预览屏幕上显示右上方向的箭 头图标。
此外，当相机通过相似方式的相机移动在其上投影有图像"C，，(图3C) 时，可在预览屏幕上显示右下方向的箭头图标。
另外，当目前相机上投影有图像"D"，如式(l)所示，作为y轴的运动矢 量m,，y的和结果，相机当前超出向上(向下)方向中预设的阈值(即，式(l) 中的^ )时，可在预览屏幕上显示用于警告的适当图标(见图3D)。
例如，适当的图标可同时表示包含"偏离了方向"的语句和指示移动方 向的箭头。尽管在本发明的示例性实施例中采用在预览屏幕上显示的图标提 醒相机超出全景画面的范围，但是可采用不同的方法提醒相机已经偏离了全 景画面拍摄的范围的事实。例如，可采用通过使用相机装配的外部的灯或振
动电机进行警告的方法。
E —2..................................................................(i)
类似地，在相机从第 一 图像的方向移动到第二图像的方向的同时相机在 全景画面拍摄的范围内水平移动的情况下，当相机超过第二图像的拍摄范围
时，可在当前相机上投影图像"F"(见图3E)。在这种情况下，可在预览屏 幕上显示适当的图标(具体地，包含"以相反方向移动"的语句和表示移动 方向的箭头)或通过警告装置来提醒用户。
在步骤240,根据在步骤220检测的相机移动来检查是否到达各幅图像 的拍摄时间点。作为在步骤240的检查的结果，当到达拍摄各幅图像的时间 点时，方法进行到步骤250。否则，方法进行到步骤220，重复执行上述步骤。
例如，当目前相机以从左向右的方向拍摄全景画面时，如以下的式(2)所 定义的将x轴的运动矢量的nv累加。然后，当累加值达到下面的式2定义 的预设阈值(即，下面的式(2)中的r,)时，可以确定到达拍摄当前图像的拍 摄时间点。
IX^ .............................................................. (2)
在步骤250,基于预设拍摄模式(例如，全景画面手动拍摄模式或全景 画面自动拍摄模式)在用户按下快门后尽快地拍摄相应图像。当然，可在设 置了步骤200示出的全景画面拍摄环境之后尽快地设置手动或自动全景画面 拍摄模式。
此外，当已存在已经到达拍摄时间点的提醒时，通过减少的相机抖动方 便用户，并且用户能够在拍摄时间点期间緩慢地移动相机，以获得高分辨率 的图像。因此，优选的是，通常通过UI在预览屏幕上显示提醒或通过使用相 机配备的外部灯或振动电机来提醒已经到达拍摄位置的事实。
这里，可通过使用x轴的运动矢量nv来设置关于到达拍摄位置的提醒 的时间点。例如，当相机以从左向右的方向拍摄全景画面，形成全景画面的 每幅图像被划分为10段，先前图像的IO段中的最右位置的两个范围与当前 拍摄图像的IO段中的最左位置的两个范围重叠的位置被设置为拍摄位置。此 外，与时间点相应的x轴的运动矢量m^可被设置为拍摄位置的预设阈值。 另夕卜，在到达拍摄位置之前，先前图像的IO段中的最右位置的三个范围与当 前拍摄图像的10段中的最左位置的三个范围重叠的位置可被设置为提醒已 经到达拍摄位置的时间点，并且与该时间点相应的x轴的运动矢量nv可被
设置为提醒已经到达拍摄位置的预设阈值。被定义用于确定拍摄位置的X轴
的运动矢量nv的预设阈值和被定义用于提醒已经到达拍摄位置的x轴的运 动矢量m，,x的预设阈值可在设置步骤200中示出的全景画面拍摄环境时被设置。
达拍摄位置。在拍摄全景画面中，拍摄全景画面的习惯和拍摄全景画面中的 拍摄模式(例如，相机移动速度、相机抖动、移动角度等)可根据每个用户 而改变。因此，当考虑使用相机的用户的拍摄模式来提醒用户已经到达拍摄 位置时，用户可预测拍摄位置，从而可获得更精确的全景画面。
在步骤260，识别当前拍摄的图像的数量是否达到步骤200中预设图像 的总数量。作为步骤260的识别的结果，当目前拍摄的图像的数量未达到预 设图像的总数量时，再次进行步骤220,重复执行上述步骤。相反，当目前 拍摄的图像已经达到预设图像的总数量时，终止全景画面拍摄的操作。当程 序返回步骤220时，运动矢量的值(具体地，作为x轴的运动矢量m,，x的总 和的2>")可被重置为初始值O。另外，当全景画面拍摄的操作终止时，通
过各幅图像的彼此连接来创建单幅全景图像。为了将多幅图像自然地彼此连 接，可应用诸如公知的图像对齐、缝合和弯曲方法的图像处理方法。
本领域的普通技术人员可通过图2中示出的全部处理理解用户需要拍 摄设备根据拍摄全景画面的拍摄方向(例如，从左向右的方向)移动。假设 在本发明中图像帧以规律的速度输入并且所有的帧未经历运动模糊现象，自 动获得具有规律的重叠宽度的图像。因此，根据拍摄方向(例如，从左向右 的方向)的输入图像的运动矢量(例如，x轴的运动矢量nv)被累加，因此 每当累加值达到预设阈值^时拍摄各幅图像。当以这样的方式自动设置图像 拍摄时，用户适当地移动拍摄设备，从而可以在适当的位置(根据阈值^ ) 自动拍摄形成全景画面的各幅图像。
同时，在步骤220优选地;险查拍摄设备的移动，在步骤220执行对可通 过使用当前帧与先前帧获得的帧之间的图像块的运动矢量的检测。以下，将 更详细地描述根据本发明的检测运动矢量的方案。匹配帧之间的图像块和检 测它们的运动矢量的方案可采用在运动图像(典型为广播图像)压缩技术(诸 如MPEG-4和H. 264 )中使用的运动估计技术。然而，在实际拍摄全景画面 中使用相机预览图像，从而相机预览图像没有特别地经过曝光补偿，并对每
个预览帧具有低相关性，这与理想广播图像不同。因此，当釆用一般的运动 估计技术而不进行任何修改时，难以找到精确的匹配块。此外， 一般运动估 计技术旨在高效的压缩，并且要求更复杂的计算技术，诸如用于再划分块(例 如，宏块)的尺寸的运动矢量检测技术。因此，本发明提供一种考虑全景画 面拍摄的特定环境来检测运动矢量的技术。
图4是图2中的步骤220 (检查相机移动的操作)的详细示例性流程图。 以下，将参照图4更详细地描述本发明的运动估计的操作。参照图4,在步 骤222，具有可变尺寸的块被设置以计算当前帧和先前帧之间的运动矢量。
在对预览图像进行运动估计的情况下，当在运动图像压缩方案的情况下 低性能的支持传感器和自动稳定的移动相机进行小尺寸块(通常是具有大约 4到16像素的矩形块)的运动估计时，由于各个块之间的矢量误差被累加， 所以难以更精确地找到运动矢量的值。因此，在本发明的一示例性实施例中， 采用一种通过使用具有相对大尺寸的少量块(例如一个块)来找寻运动矢量 的方案。
在前面提到的情况下，使用预览装置的预览性能、预览装置期望拍摄的 目标的大小和到目标的距离以及搜索空间的距离信息来可变地调整一个块的 尺寸。图5是被设置为帧中具有可变尺寸的块的示例。在图5中，标号"SR" 指定搜索范围，标号"BS"指定块尺寸。
SR是在将要搜索的目标帧内用于搜索与参考块匹配的搜索块的范围，帧 的整个范围可被设置为SR。然而，可以在不使用帧的全部图像的情况下，基 于参考块在目标帧内的位置为SR设置适当的范围。因此，预先防止搜索不 必要的部分(诸如帧的角落)以提高效率。
在本发明的一示例性实施例中，可以可变地i殳置BS和SR。例如，在用 户近距离拍摄目标或者拍摄具有相对大尺寸的目标的情况下，当BS增力。SR 减少时，可更精确地获得运动矢量。相反，在用户远距离拍摄目标或者拍摄 具有相对小尺寸的目标的情况下，当BS减少SR增加时，可以更精确地获得 运动矢量。
此外，当拍摄设备的预览性能差时，SR的显著增加加大了计算量，因而 需要大量时间用于找寻运动矢量，这相对地减少了帧速。另外，即使获得了 运动矢量的精确结果值，帧速的减少也增加了帧的图像之间的差异，这导致 了误差累加。因此，当从相机预览提取运动矢量时，可通过使用目标检测器
方法或通过使用自动输入信息(例如，焦距)或来自用户的手动输入信息(可 从用户设置信息预测的关于距离或目标的信息，包括近距离拍摄模式、风景 模式、人像模式)来识别基本的拍摄信息，因此根据拍摄距离或目标尺寸设 置SR。另外，可根据相应拍摄设备的预览性能考虑计算量来设置基本块尺寸。
参照图4，仅当没有设置当前块尺寸时(即，当最初进行检测运动矢量 的操作时)，在步骤222设置具有可变尺寸的块的操作仅进行一次，然后使用 最初设置的尺寸的块直到完成全景画面的拍摄的操作为止。该操作与距离/拍 摄模式信息有关。
在步骤224，通过使用具有在步骤222设置的尺寸的块来检查在当前帧 和先前帧之间是否存在匹配块。在此具体情况下，找寻匹配的块的方案基本 上使用各个块之间的对比像素的误差信息。当两个块之间的误差最低时，相 应的块一皮i人为是匹配块。
可通过计算诸如绝对差之和(SAD)和平方差之和(SSD )的误差函数来获 得误差信息。例如，下面的式(3)的计算可获得误差信息。也就是说，在步骤 224，例如可通过计算在运动图像压缩技术中常用的SAD和SSD来获得误差 信息。
<formula>formula see original document page 14</formula>在式(3)中，/,和^分别表示每帧(即，先前帧和当前帧)的块内的相应 位置的像素值(即，亮度和色调)，其中，相应位置包括先前帧中的参考块的 像素位置(x, y)和当前帧中搜索的目标块的像素位置(x+m, y+n)。
理想地，上述函数的计算可获得两个块之间的误差信息。然而，在实际 拍摄环境中，在从目标直接输入的图像的两个相邻帧之间可能存在曝光差。 这意味着不可能精确地获得两个块之间的误差信息。因此，需要一种考虑曝 光差获得误差信息的方案。在本发明中，如下面的式(4)定义的，使用考虑曝 光差的误差函数获得了两个块之间的误差信息。
》务改的&1D
<formula>formula see original document page 15</formula>We块
在式(4)中，/,和/2分别表示与每帧(即，先前帧和当前帧)内的块相应 的像素的平均值。
参照式(4),如本发明提出的获得误差信息的方案通过根据相应块的平均 值校正每帧块中的每个像素值(通过从式(4)中的每个像素值减去平均值)来 执行曝光补偿。
另外，先前帧的块的位置是固定的，也就是说，存在一个参考块，从而 仅计算一次/,。然而，为了找寻与先前帧的块最精确匹配的后面的帧的块，
在此情况下优选的是搜索具有相同尺寸的所有块。因此，每当搜索每个块时， 在此情况下优选的是计算相应块内的像素的平均值。这意味着7^)需要计
算所有块。
此外，每当搜索所有块时，块内的所有像素的相加和平均值的计算需要 大量的计算。因此，本发明提出一种通过使用积分图像(integralimage)来减少 计算量的方案。这里，积分图像指的是包括从图像的左上部分到其坐标的像 素的图像，积分图像值指的是通过将构成积分图像的像素的值相加而获得的值。
例如，在图6A中，积分图像指的是由虚线标记的块范围的图像，积分 图像值指的是该范围中的像素的总和。也就是说，/—(0,0)表示坐标为0和0
的像素值，可通过4tg(vW湖-l,Ae妙卜l)的计算获得给定图像中的所有像素的总和。
通过积分图^象，可通过4吏用与范围的4个顶点相应的像素值的加法和减 法计算期望的范围内的像素的总和。包括坐标(Xh yi)、 (x2, y2)、 (x3, ys)和(X4， y4) 的4个顶点的像素值用于计算与图6B中的虚线所标记的块范围相应的像素的 总和，如以下的式(5)所定义
7mtg k力)+4tg (Wi) - A，t g (A' K) - 4t g (w3) ......................(5)
在本发明的示例性实施例中，预先测量当前帧的积分图像，并随后使用 测量的图像，从而可以简单地计算所有块的像素的平均值。这意味着7^)需
15
要所有块的筒单计算。
在步骤224检查了当前帧和先前帧之间的匹配块之后，在步骤226获得 两个块之间的运动矢量(即，与x轴上的运动矢量相应的mi,x，以及与y轴上 的运动矢量相应的m,，y )。
根据如上所述的本发明的一示例性实施例，可以进行拍摄全景画面的操 作。尽管已经作为示例性目的描述了本发明的优选示例性实施例，但是本领 域的技术人员应理解，在不脱离本发明的范围和精神的情况下可进行各种》务 改、添加和替换。
例如，在找寻运动矢量的步骤中可使用找寻平面图像的运动矢量的方法。 这仅在压缩图像或广播图像的情况下提供高分辨率。然而，在获得用于全景 画面拍摄的运动矢量信息的情况下，有必要考虑运动矢量的获取的目的在于 获得更精确的全景画面图像的事实。
根据本发明的另一示例性实施例，可拍摄全景画面，然后可将各幅图像 投影到拼接平面和曲面上。使用该操作是因为在使相机的方向成圆形的同时 获得的用于构成全景画面的连续图像具有圆柱体结构。因此，在本发明的另 一示例性实施例中，将输入图像投影到适当的投影面(例如，圓柱面)上， 并在考虑图像曲线地移动而不是图像基于平面移动的情况下来找寻投影图像 的运动矢量，从而更精确地获得运动矢量。
另外，可考虑预览装置的预览速度特性通过使用跳帧获得运动矢量。具 体地，每帧的矢量信息通常对于运动图像压缩是重要的，从而对每帧进行运 动估计。然而，每帧的信息对于根据本发明的全景画面拍摄的运动估计的操 作并不重要。因此，在本发明的另一示例性实施例中，可以根据环境在跳帧 (例如1帧或2帧)的同时执行运动估计。在这种情况下，可以减少与跳过 的帧一样多的计算时间和计算量，从而可通过减少的时间量获得更宽的SR。 此外，可以更精确地计算运动矢量。
图7示出根据本发明另一示例性实施例的拍摄全景画面的操作的示例性 流程图。
参照图7，根据本发明另一示例性实施例的拍摄全景画面的方法与上述 的根据本发明一可行示例性实施例的拍摄全景画面的方法相同。然而，根据
本发明另一示例性实施例的拍摄全景画面的方法在步骤210之后还包括步骤 212、 214和216。在图7中，用与图2相同的标号来标识与图2相似的步骤，
并且将省略其详细描述。
图8是根据全景画面拍摄的相机移动状态的示例。参照图8,通过顺序 获得对第一图像旋转预定转角^的图像(即，第二图像和第三图像)并将获得 的图像彼此组合来最终缝合全景画面。在本发明中，相机在拍摄的图像之间 移动了多少是确定拍摄全景画面的时刻的一个重要因素。这里，通过运动矢 量的总和检查该因素。另外，为了更精确地拍摄全景画面，实际拍摄图像的 距离(以下，实际拍摄范围距离12)是另一重要因素。这里，实际拍摄范围 距离12是足够识别镜头获得的图像的虚拟距离。
当通过在作为相对近距离(例如，lm或更近的距离)的实际拍摄范围距 离12将图像旋转预定转角(例如，10°)而获得的图像与通过在作为相对远距 离(例如，3m或更远的距离)的实际拍摄范围距离12将图像旋转相同的转角 (例如，10°)而获得的图像进行比较时，在作为相对近距离的实际拍摄范围 距离12获得的图像具有比在相对远距离的实际拍摄范围距离12获得的图像相 对较小的运动矢量。
为了形成最佳全景画面，拍摄重叠预定部分的各幅图像比移动程度的绝 对大小更重要，从而有必要在实际拍摄范围距离12调整拍摄目标的时刻。也 就是说，有必要保证彼此连接的图像之间的重叠区。
因此，优选的是，在相对近距离的实际拍摄范围距离12拍摄全景画面的 情况下，和人像全景画面的情况相同，在运动矢量的总和变得相对小的时刻 拍摄全景画面。相反，优选的是，在相对远距离的实际拍摄范围距离12拍摄 全景画面的情况下，和风景全景画面的情况相同，在运动矢量的总和变得相 对大的时刻拍:J聂全景画面。
参照图7，在本发明的另一示例性实施例中，公开了一种考虑实际拍摄 范围距离12来拍摄全景画面的方法。
首先，在步骤200和210开始拍摄全景画面。在这种情况下，在步骤210， 从拍摄全景画面的第一图像得到的光学放大倍数和到目标的距离h以及第一 图像的信息(例如，形成图像的各像素的色调和亮度)被存储在存储器中。
在步骤212,执行参考存储器的任务以检查在步骤210获得的包括到目 标的距离l!和光学放大倍数的图像拍摄信息。在步骤214，在步骤212检查 的图像拍摄信息用于识别图像的实际拍摄范围距离12。可通过到目标的距离 h与光学放大倍数之间的关系来计算图像的实际拍摄范围距离12。例如，图像
的实际拍摄范围距离12可对应于通过将到目标的距离h除以用于图像拍摄的 光学放大倍数获得的值。
在步骤216，考虑在步骤214检查的实际拍摄范围距离12确定全景画面 中的多幅图像的拍摄时间点。在步骤240, x轴上的运动矢量nv被累加，并 且当累加值达到预设阈值时，确定到达拍摄时间点，^Mv而可以拍摄全景画面 的图像。也就是说，执行步骤216以设置预设阈值，从而关于实际拍摄范围 距离12适当地设置各幅图像的重叠范围。如上所述，当在相对近距离拍摄全 景画面时，和人像拍摄图像的情况一样，用于确定拍摄位置的预设阈值被设 置为具有相对小的值。相反，当在相对远距离拍摄全景画面时，和风景全景 图像的情况一样，预设阈值被设置为具有相对大的值。
优选地，在步骤216,还设置预设阈值以提醒已经到达拍摄位置。用于 提醒已经到达拍摄位置的预定阈值可被设置为具有比用于确定拍摄位置的预 设阈值相对小的值。例如，用于提醒已经到达拍摄位置的预设阈值可具有用 于确定拍摄位置的预设阈值大约80%的大小。用于确定拍摄位置的预设阈值 的大小仅作为该示例性实施例的一个示例被描述，并不将本发明限制为以上 描述中的任何示例阈值。
另外，尽管已经在假设想拍摄全景画面中根据本发明的拍摄设备由用户 移动的前提下进行了以上描述，但是，即使当拍摄设备被安装在单独的可移 动装置从而使其能够自动移动时，仍可以应用本发明而不需要任何修改。此 外，尽管对在拍摄全景画面中相机以水平方向或垂直方向拍摄全景画面进行 了描述，但是本发明还可应用于相机以混合方式在水平方向或垂直方向上拍 摄全景画面的情况(即，构成全景画面的多幅图傳^皮水平或垂直对齐以形成 拼接阵列的情况)。应注意，可用各种方式表示除了上述的UI之外的各种类 型的UI。
虽然已经参照本发明的特定示例性实施例示出和描述了本发明，但是本 领域的技术人员将理解，在不脱离权利要求限定的本发明的精神和范围的情 况下，可以做出在形式和细节上做出各种改变。
权利要求
1、一种拍摄全景画面的方法，所述方法包括以下步骤:(a)通过采用运动估计技术将当前输入图像与先前输入图像进行实时对比来检查相应拍摄设备的移动，所述运动估计技术对拍摄的构成全景画面的各幅图像采用曝光补偿；(b)检查包括用于计算目标的各幅图像的实际拍摄范围距离的焦距和光学放大倍数的图像拍摄信息，并考虑计算的各幅图像的实际拍摄范围距离设置预设阈值；(c)确认在步骤(a)中检查到的移动是否达到预设阈值，并确定各幅图像的拍摄时间点；以及(d)在各幅图像的拍摄时间点根据手动模式或自动模式拍摄各幅图像。
2、 如权利要求l所述的方法，其中，运动估计技术包括计算各幅图像 的多幅图像块中的图像块之间的运动矢量，所述图像块基于在帧的多幅图像 块之间中对比的各个像素的误差信息被匹配；根据相应的图像块的平均值校 正图像块中各个像素；以及应用曝光补偿。
3、 如权利要求2所述的方法，其中，通过以下的式定义的平方差之和SSD的计算或绝对差之和SAD的计算来获得误差信息 》务改的&4"E(m,w)= Z A(x，y) —A — (/2(x + m，_y +w) —/2(附,")]|x,块E(m, w) = S (x， _y) _ — (/2 (x + m, _y + m) — /2 (m, w))]2其中，和A分别是当前帧和先前帧内的图像块中的(x， y)和(x+m, y+n) 像素的值，;和5分别是与先前帧和当前帧内的图像块相应的像素的平均值。
4、 如权利要求3所述的方法，其中，当计算与图像块相应的像素的平均 值时，预先设置当前帧的积分图像，并通过使用积分图像来计算各个图像块 的平均值。
5、 如权利要求3所述的方法，其中，像素值对应于亮度或各个色调。
6、 如权利要求2所述的方法，其中，当计算图像块之间的运动矢量时， 使用单块搜索方案。
7、 如权利要求2所述的方法，其中，根据预览性能、到目标的距离和拍 摄模式信息中的一个或至少两个可变地设置多幅图像块中的图像块。
8、 如权利要求7所述的方法，其中，当搜索到与图像块匹配的图像块时， 可变地设置搜索范围。
9、 如权利要求2所述的方法，其中，通过预先将帧投影到预设全景投影 空间对帧进行运动估计。
10、 如权利要求2所述的方法，其中，当对比帧时，以预设方式跳过所述帧。
11、 如权利要求1所述的方法，其中，在检查拍摄设备的移动的步骤， 包括识别拍摄设备移动的方向，并通过使用引导装置引导拍摄设备从识别的 方向移动到预设的全景画面拍摄方向。
12、 如权利要求11所述的方法，其中，引导装置与通过显示器显示引导 方向的用户界面相应。
13、 如权利要求11所述的方法，其中，引导装置包括在预设全景图像拍 摄位置操作的振动电机。
14、 如权利要求l所述的方法，其中，所述预设阈值与指示拍摄各幅图 像的时间点和/或到达拍摄时间点的时间点的值相应。
15、 如权利要求13所述的方法，其中，所述预设阈值与指示拍摄各幅图 像的时间点和/或到达拍摄时间点的时间点的值相应。
16、 如权利要求14所述的方法，其中，在拍;t聂全景画面的时，通过反映 包括相机移动速度、旋转角度和相机抖动的程度的拍摄模式来设置指示到达 拍摄时间点的时间点的所述预设阈值。
全文摘要
一种拍摄全景画面的方法，包括以下步骤通过采用曝光补偿的运动估计技术将当前输入图像与先前输入图像进行实时对比来检查相应拍摄设备的移动。拍摄构成全景画面的各幅图像，检查包括焦距和光学放大倍数的图像拍摄信息以计算图像的实际拍摄范围距离。考虑计算的图像的实际拍摄范围距离设置预设阈值。确认检查的移动是否达到预设阈值，并确定各幅图像的拍摄时间点。在各幅图像的拍摄时间点根据手动模式或自动模式拍摄各幅图像。
文档编号G03B37/00GK101377615SQ20081021251
公开日2009年3月4日 申请日期2008年8月29日 优先权日2007年8月29日
发明者吴润济, 文载媛, 赵成大, 郑熙远, 金修均 申请人:三星电子株式会社