阈值确定装置和阈值确定方法

专利名称：阈值确定装置和阈值确定方法
技术领域：
本发明涉及阈值确定装置和阈值确定方法。
背景技术：
现今开发的多媒体装置使得可以执行复杂的图像处理。这种复杂的图像处理必然 需要色彩插值。典型地说，在转换图像信号的标准方法时色彩插值根据预先存在的色彩信息创建 新的色彩信息。因为色彩插值利用像素周围的其它分量生成当前像素中没有包括的新分量，所以 在存在大量高频的区域(例如，边缘或边界)处可能出现具有zipper形状的噪声。为了去除这种噪声，已经公开了许多现有技术。然而，这些现有技术在系统构建完 成之后将相同处理应用于所有图像。因此，这种处理不能随每一幅图像而变。即，因为至少 还必须将相同的噪声去除处理应用于具有很少噪声的图像，所以造成系统效率的浪费。在常规图像处理系统中，色彩插值也在系统构建完成之后将相同处理应用于所有 图像，这种处理不能随每一幅图像而变。

发明内容
被设计用来解决上述问题的本发明提供了一种使用可调阈值进行色彩插值的装 置，以便通过根据图像的蒙板(mask)中的特定值调节该阈值来根据每一个图像应用不同 色彩插值方法。本发明还提供了一种使用可调阈值进行色彩插值的装置，以便通过提供色彩插值 中的边缘增强的边缘增强系数来缩减线存储器。本发明还提供了一种确定用于色彩插值的阈值的装置和方法，以便按根据对依照 曝光输入的图像的属性的分析所确定的阈值而应用不同的色彩插值方法。另外，本发明提供了一种确定用于去除噪声的阈值的装置和方法，以便按根据对 依照曝光输入的图像的属性的分析所确定的阈值而应用不同的噪声去除方法。本发明的其它目的通过下述实施方式将变得更容易理解。为了实现上述目的，或至少提供一种有益的选择，本发明的一个方面提供了一种 阈值确定装置。根据本发明的一种实施方式，该阈值确定装置可以包括第一确定单元，该第一确 定单元确定针对分别利用最大曝光和最小曝光拍照的平坦表面的图像的噪声标准偏差；第 二确定单元，该第二确定单元利用通过该第一确定单元确定的分别在最大曝光和最小曝光下的该噪声标准偏差来确定阈值的最大值和最小值；以及第三确定单元，该第三确定单元 利用通过该第二确定单元确定的该阈值的最大值和最小值以及最大曝光和最小曝光来确 定该阈值。这时，该第二确定单元通过使用下面的公式来确定阈值的最大值thmax = o maMxp(其中，th_指阈值的最大值，而o maxra￡p指最大曝光下的噪声标准偏差)，并且该第二 确定单元通过使用下面的公式来确定阈值的最小值thmin= 0miMxp(其中，thmin指阈值的最 小值，而o minrap指最小曝光下的噪声标准偏差)。该第三确定单元通过使用下面的公式来确定该阈值 (其中，MaxExposure指最大曝光值，而MinExposure指最小曝光值)。根据本发明的另一实施方式，该阈值确定装置可以包括第一确定单元，该第一确 定单元接收分别利用最大曝光和最小曝光拍照的平坦表面的图像，并且根据接收图像的具 有一致尺寸的蒙板随机地获取样本和计算第一差与第二差，以计算该第一差的第一平均值 和该第二差的第二平均值，该第一差是最大曝光下的噪声的最大值与最小值之差，而该第 二差是最小曝光下的噪声的最大值与最小值之差；第二确定单元，该第二确定单元利用通 过该第一确定单元计算出的该第一平均值与该第二平均值之差的平均值来确定阈值的最 大值和最小值；以及第三确定单元，该第三确定单元利用通过该第二确定单元确定的该阈 值的最大值和最小值以及最大曝光和最小曝光来确定该阈值。该第二确定单元根据下面的公式来确定阈值的最大值th_ = diff_exp(其中， th_指阈值的最大值，而difTmaxra￡p指最大曝光下的噪声的最大值与最小值之差的平均值)， 并且该第二确定单元根据下面的公式来确定阈值的最小值thmin= diffminexp(其中，让_指 阈值的最小值，而difrmiMxp指最小曝光下的噪声的最大值与最小值之差的平均值)。该第三确定单元根据下面的公式来确定该阈值 (其中，MaxExposure指最大曝光值，而MinExposure指最小曝光值)。为了实现上述目的，或至少提供一种游戏的选择，本发明的另一方面提供了一种 阈值确定方法。根据本发明的一个实施方式，该阈值确定方法可以包括以下步骤确定针对分别 利用最大曝光和最小曝光拍照的平坦表面的图像的噪声标准偏差；利用通过确定该噪声标 准偏差的操作而确定的分别在最大曝光和最小曝光下的该噪声标准偏差来确定阈值的最 大值和最小值；以及利用通过确定该阈值的最大值和最小值的操作而确定的该阈值的最大 值和最小值以及最大曝光和最小曝光来确定该阈值。根据本发明的另一实施方式，该阈值确定方法可以包括以下步骤接收分别利用 最大曝光和最小曝光拍照的平坦表面的图像，并且根据接收图像的具有一致尺寸的蒙板随 机地获取样本和计算第一差和第二差，以计算该第一差的第一平均值和该第二差的第二平均值，该第一差是最大曝光下的噪声的最大值与最小值之差，而该第二差是最小曝光下的 噪声的最大值与最小值之差；利用通过计算该第一平均值和该第二平均值的操作而计算出 的该第一平均值与该第二平均值之差的平均值来确定阈值的最大值和最小值；以及利用通 过确定该阈值的最大值和最小值的操作而确定的该阈值的最大值和最小值以及最大曝光 和最小曝光来确定该阈值。


图1是例示根据本发明第一实施方式的色彩插值装置的操作的简化框图；图2是例示通过图1的色彩插值单元执行的插值的简化框图；图3是例示图1的色彩插值单元的实施方式的详细框图；图4是用于例示通过图3的插值单元执行的色彩插值的贝尔模式图像的一个简化 框图；图5是用于例示通过图3的插值单元执行的色彩插值的贝尔模式图像的另一简化 框图；图6是例示图3的第一高斯滤波器和第二高斯滤波器的示例；图7到图9是例示输入到图1的输出/边缘属性确定单元的边缘参数的示例；图10是总体例示根据本发明第一实施方式的使用可调阈值的色彩插值装置的简 化框图；图11是例示根据本发明第二实施方式的使用可调阈值的色彩插值装置的框图；图12是例示图11的后续处理单元的实施方式的详细框图；图13是例示图11的最大值/最小值确定单元的操作的概念图；图14是例示图11的噪声去除单元的实施方式的详细框图；图15是例示图14的zipper噪声去除单元的详细框图；图16和图17是例示图15的第一滤波器和第二滤波器中的每一个的示例；图18是例示输入到图16的第一滤波器和图17的第二滤波器中的数据R_n的示 例；图19是总体例示根据本发明第二实施方式的使用可调阈值的色彩插值装置的简 化框图；图20是例示依照根据本发明第三实施方式确定的阈值执行的色彩插值的简化框 图；图21例示了依赖于环境的摄像机曝光的属性曲线；图22和23例示了摄像机的根据曝光的噪声级的属性曲线；图24是例示根据本发明第三实施方式的阈值确定装置的框图；图25例示了曝光的最大值与最小值相对于照明度的曲线图；图26例示了阈值的最大值与最小值相对于曝光的曲线图；图27是例示依照根据本发明第四实施方式确定的阈值执行的噪声去除的简化框 图；图28是例示根据本发明第四实施方式的阈值确定装置的框图；图29是例示应用了根据本发明第四实施方式确定的阈值的噪声去除装置的框图；图30是例示图29的差计算单元的操作的概念图；图31是例示图29的差计算单元的实施方式的详细框图；以及图32是例示图29的zipper噪声去除单元的实施方式的详细框图。
具体实施例方式通过下面参照附图的描述，上述目的、特征以及优点将变得更清楚。因为本发明可以有多种替换例和实施方式，所以参照附图，对特定实施方式进行 例示和描述。然而，这决不是将本发明限于特定实施方式，而应解释为包括被本发明的精神 和范围所覆盖的全部替换例、等同物以及替代物。贯穿所有附图，相似组件都具有相似标 号。贯穿本发明的描述，当确定描述特定技术会避开本发明的要点时，将省略相关的详细描 述。诸如“第一”和“第二”的词语可以被用于描述各种组件，但上述组件不限于上述 词语。上述词语仅被用于区分一个组件与另一组件。例如，在不脱离本发明的权利要求的 范围的情况下，第一组件可以被命名为第二组件，反之亦然。词语“和/或”应当包括多个 列举项目的组合或多个列举项目中的任一个。如果将一个组件描述为“连接”或“接入”至另一组件，则其应被解释为直接连接或 接入至另一组件，但也可能在中间还具有又一组件。另一方面，如果一个组件被描述为“直 接连接”或“直接接入”至另一组件，则应被解释为在中间不存在其它组件。本说明书中使用的词语仅用于描述特定实施方式，而决不是对本发明构成限制。 除非以其它方式清楚地使用，采用单数形式的表达包括多种含义。在本说明书中，诸如“包
括”或“包括有......”的表达指定特征、数字、步骤、操作、组件、部分或其组合，而不应被
解释为排除一个或更多个其它特征、数字、步骤、操作、组件、部分或其组合的任何存在性或 可能性。除非另外定义，在此使用的包括技术词语和科学词语在内的所有词语都具有与本 发明所属领域的普通技术人员所通常理解的含义相同的含义。在普通字典中定义的任何术 语都应被解释为在相关领域的语境中具有相同含义，而且除非明确地以其它方式定义，否 则不应被解释成具有理想的或过度形式化的含义。 下文中，参照附图，对优选实施方式进行详细说明。相同或对应组件将具有相同标 号，而与图号无关，并且不再重复对相同或对应组件的任何多余描述。图1是例示根据本发明第一实施方式的色彩插值装置的简化框图。如图1所示，本发明的色彩插值装置可以包括色彩插值单元110、输出/边缘属 性确定单元120、RGB转换单元130以及边缘增强单元140。色彩插值单元110对输入的贝尔模式图像执行色彩插值。这将参照图3进行说明。图2是例示通过图1的色彩插值单元执行的插值的简化框图。如图2所示，一旦输入5X5的贝尔模式图像200，本发明的色彩插值单元110就 对5X5的贝尔模式图像200执行双线性插值，以获取3X3的输出图像201。3X3的输出 图像被称为R_all、G_all以及B_all。如果首先针对3X3的输出图像201执行本发明的插值(这将在后面进行说明)，则将获取1像素数据202。该1像素数据202变为1像素输出数据E_R、E_G以及E_B 203。 如果对1像素数据202执行边缘计算，则其将变为1像素输出数据E_Y 204。如果对3X3的输出图像201执行边缘计算(这将在后面进行说明)，则将获取 3X3的图像Y_all 205。如果对3X3的图像205执行高斯滤波，则将获取最终1像素输出 数据G_Y 206。另一方面，如果计算3X3的图像Y_all 205的特定值(最大值与最小值之 差)，则将获取1像素数据diff_Y207。而且，如果对3X3的图像201执行高斯滤波，则将获取成为一个输出的1像素输 出数据G_R、G_G以及G_B。因此，色彩插值单元110可以被输入5X5的贝尔模式图像200，并且输出5个1像 素数据203、204、206、207以及210。下文中，将参照图3，对色彩插值单元110的详细结构 进行说明。图3是例示图1的色彩插值单元的实施方式的详细框图。如图3所示，本发明的色彩插值单元110可以具有双线性插值单元310、插值单 元320、第一边缘计算单元330、第二边缘计算单元340、第一高斯滤波器350、差确定单元 360以及第二高斯滤波器370。双线性插值单元310对输入的5X5的贝尔模式图像执行双线性插值，并且输出 3X3的数据。因为该双线性插值和已知技术相同，所以省略了相关详细描述。插值单元320对输入的3X3的数据执行色彩插值。这种操作将参照对应的图进 行说明。图4是用于例示在R分量R3是RG线的中心像素的情况下通过图3的插值单元执 行的色彩插值的贝尔模式图像的简化框图。参照图4，下面的描述涉及R分量为中心像素的 情况。然而，考虑到R分量和B分量彼此交换它们的位置，可以将相同的描述应用于中心像 素是GB线上的B分量的情况。针对插值单元320执行的插值，图4的Rn、Rw、Rs以及Re和Krl、Kr2、Kr3以及 Kr4被分别定义为下面的公式1和公式2。公式1Krl = G4-Rn Kr2 = G6-Rw Kr3 = G9-Rs Kr4 = G7-Re公式2
接着，通过下面的公式3计算插值单元320的G分量的输出E_G。
公式3
E＿G=R3+Kr1+Kr2+Kr3+Kr4/4
因为插值单元320的插值方法与公知现有技术(例如，Soo-Chang Pei，Fellow, IEEE, Io-Kuong Tam, "Effective Color Interpolation in CCD ColorFilter Arrays Using Signal Correlation，，，IEEE transaction on circuits andsystems for video technology, Vol. 13(6), June 2003)相同，所以省略了相关详细描述。Gwn、Gws、Ges以及Gen和Kbl、Kb2、Kb3以及Kb4被分别定义为下面的公式4和公 式5，以计算插值的B分量的输出E_B和插值的R分量的输出E_R。公式4Gwn=G1+G3+G6+G4/4
Gws=G6+G8+G11+G9/4
Ges=G7+G9+G12+G10/4
Gen=G2+G4+G7+G5/公式5Kbl = Gwn-BlKbl = Gwn-BlKb 2 = Gen-B2Kb3 = Gws-B3Kb4 = Ges-B4根据公式4和公式5，插值的B分量的输出E_B和插值的R分量的输出E_R分别根 据公式6和公式7来确定。公式6
E＿B=E＿G-Kb1+Kb2+Kb3+Kb4/公式7E_R = R3另一方面，图5是用于例示在G分量G5是GB线上的中心像素的情况下通过图3 的插值单元执行的色彩插值的贝尔模式图像的另一简化框图。参照图5，下面的描述涉及G 分量为GB线上的中心像素的情况。然而，考虑到R分量和B分量在贝尔模式图像中彼此交 换它们的位置，可以将相同的描述应用于中心像素是RB线上的G分量的情况。Gn、Gw、Gs以及Ge和Krl、Kr2、Kbl以及Kb2被分别定义为下面的公式8和公式 9，以对图5的贝尔模式图像执行色彩插值。公式8Gn=G1+G2+G5+G3/4
根据公式8和公式9，针对图5的情况，分别通过公式10到公式12确定所述输出
- 2
针对中心像素是G分量、R分量或B分量的情况，如上所述确定对应输出中的每-
个第一边缘计算单元330对插值单元320的输出E_G、E_R以及E_B执行边缘计算。 该边缘计算通过下面的公式13来表示。
其中，E_Y被定义为第一边缘计算单元330的输出数据。接收来自双线性插值单元310的3X3的数据的第二边缘计算单元340执行边缘 计算，以对3X3的数据执行边缘检测。这种边缘计算与下面的公式14相同。
通过使用公式14来计算输入的3X3的数据的每一个像素而获取3X3的数据Y_ all。如果3X3的数据Y_all经过第一高斯滤波器350，则它变为1像素数据6_￥。图6是 例示图3的第一高斯滤波器和第二高斯滤波器的示例。差确定单元360确定第二边缘计算单元340的3X3的输出数据中的组元的最大 值与最小值之差。这通过下面的公式15来表示。公式15diff_Y = max(Y_all)-min(Y_all)
而且，第二高斯滤波器370可以通过对双线性插值单元310的3 X 3的输出数据进 行高斯滤波来获取输出数据G_R、G_G以及G_B。这样，图1的色彩插值单元110的输出数据是1像素数据E_R、E_G以及E_B，1像 素数据E_Y，1像素数据G_Y，1像素数据diff_Y以及1像素数据G_R、G_G以及G_B。另一方面，输出/边缘属性确定单元120接收色彩插值单元110的输出数据和边 缘参数，并且不仅确定RGB输出数据而且确定边缘增强系数和边缘标志。输出/边缘属性确定单元120预置第一阈值thrl和第二阈值thr2，这些阈值在先 前系统中确定和输入。这些阈值随着系统而变。第一阈值根据图像是否平坦而确定。第二 阈值根据边缘级而确定。针对从色彩插值单元110接收到的差diff_Y*于第一阈值的情况，确定对应图像 平坦(例如，墙部分)并且对应输出是第二高斯滤波器370的输出数据。S卩，这通过下面的 公式16来表示。公式16R_out = G_RG_out = G_GB_out = G_B如果差肚€^￥等于或大于第一阈值而小于第二阈值，则确定对应图像没有边缘 并且不平坦，即，图像具有诸如轮廓的属性(例如，这时，称为典型图像)。而且，输出/边缘 属性确定单元120确定对应输出是插值单元320的输出数据并且对应边缘标志为零。在这 种情况下，该输出通过下面的公式17来表示。公式17R_out = E_RG_out = E_GB_out = E_B如果差diff_Y等于或大于第二阈值，则确定对应图像具有边缘。而且，输出/边 缘属性确定单元120确定对应输出是插值单元320的输出数据并且对应边缘标志为1。输出/边缘属性确定单元120还利用输入的边缘参数生成边缘增强系数。该边缘 参数包括边缘核化、边缘增益以及边缘限制。这将参照图7到图9进行说明。图7到图9是例示输入到图1的输出/边缘属性确定单元的边缘参数的示例。边缘核化不仅去除噪声状边缘分量而且防止小边缘分量如同噪声一样显示在画 面上。如图7所示，从输入的边缘值中减去预定值，从而该值(含该值)之下的边缘分量变 为零。如图8所示，对经过边缘核化的边缘值执行边缘增益。通过将输出的边缘分量的 所得值梯度改变成输入的边缘分量来生成较大边缘值与较小边缘值之差。因此，通过使清 晰的边缘分量更清楚并且维持较小的边缘分量不变来提供更清晰且改进的图像质量。针对从边缘增益操作提取的边缘分量的绝对值非常大的情况，边缘极限限制了最 大边缘值，以防止具有较大绝对值的边缘分量明确地显示在画面上。该边缘极限具有正限 和负限。边缘增强系数通过边缘参数和从色彩插值单元110检测到的输出E_Y和G_Y来确定。这通过下面的公式18来表示。公式18Srgb = edge_enhancement (edge_component, edge_parameter)其中，Srgb是边缘增强系数，而“edge_C0mp0nent”是E_Y与G_Y之差。该边缘增 强系数是根据系统确定的称为“edge_C0mp0nent”的、边缘分量和边缘参数的函数。边缘增 强系数值不受限制。因此，输出/边缘属性确定单元120输出数据1 _011仏6_011仏8_0肚以及Srgb和边 缘标志。RGB转换单元130接收数据R_out、G_out以及B_out，并且将数据R_out和B_out 转换成亮度和色度YCbCr数据。这通过下面的公式19来表示。公式19
然而，因为将RGB数据转换成YCbCr数据的公式是公知的，所以该公式不限于上述 公式19。转换比率可以根据图像处理系统的种类而变。边缘增强单元140利用从上述RGB转换单元130接收到的亮度(Y)数据、从输出 /边缘属性确定单元120接收到的边缘增强系数Srgb和边缘标志来增强边缘。如果该边缘标志为1，则边缘增强单元140的输出数据根据下面的公式20来计算。公式20Y_out = Y+Srgb然而，如果边缘标志为零，则因为在上面确定对应图像没有边缘，所以边缘增强单 元140的输出数据忽略(bypass)输入的Y数据。图10是总体例示根据本发明第一实施方式的使用可调阈值的色彩插值装置的简 化框图。如图10所示，本发明的色彩插值装置计算差diff_Y。接着，如果该差diff_Y小于 第一阈值，则该色彩插值装置执行双线性插值和高斯滤波。如果该差diff_Y小于第二阈值 而等于或大于第一阈值，则色彩插值装置执行双线性插值并且图3的插值单元320执行插 值(在图10中称为“有效插值”)。而且，如果该差diff_Y等于或大于第二阈值，则执行有 效插值和边缘增强。图11是例示根据本发明第二实施方式的使用可调阈值的色彩插值装置的框图。如图11所示，本发明的色彩插值装置包括色彩插值单元1110、输出/边缘属 性确定单元1120、后续处理单元1130、最大值/最小值确定单元1140以及噪声去除单元 1150。色彩插值单元1110对输入的贝尔模式图像执行色彩插值。这将参照相应图进行 说明。下文中，参照图2，对图11所示色彩插值单元1110执行的插值方法进行说明。不 同于图2的贝尔模式图像和输出数据的大小可通过下面的描述来理解。而且，为便于说明， 尽管使用与在第一实施方式的第一描述中所提到的相同的公式，但将新的标号添加至同一公式。—旦输入7X7的贝尔模式图像200，本发明的色彩插值单元1110就对7X7的贝 尔模式图像200执行双线性插值，以获取5 X 5的输出图像201。对该5 X 5的输出图像执行 插值，以获取3X 3的数据202。该3X 3的数据202成为3X 3输出数据E_R、E_G以及E_B 203。对3X3的数据202执行边缘计算，以获取3X3的输出数据E_Y 204。此外，可以对5X5的输出数据201执行边缘计算，以获取5X5的数据Y_all 205。 对5X5的数据Y_all 205的高斯滤波可以产生3X3的输出数据G_Y206。而且，如果计算 数据Y_all 205的组元的最大值与最小值之差，则可以获取1像素数据diff_Y 207。最后，可以对5X5的输出数据201执行高斯滤波，以获取3X3的数据G_R、G_G以 及 G_B 210。色彩插值单元1110接收7 X 7的贝尔模式图像200并且输出5个3 X 3的数据203、 204,206,207 以及 210。下面，对色彩插值单元1110的结构进行说明。图11的色彩插值单元1110的详细 框图可以与参照图3所述的相同。色彩插值单元1110可以具有双线性插值单元310、插 值单元320、第一边缘计算单元330、第二边缘计算单元340、第一高斯滤波器350、差确定单 元360以及第二高斯滤波器370。然而，每一个组件的功能可以因输入的贝尔模式图像的大 小差别而变。参照图3，双线性插值单元310对输入的7X7的贝尔模式图像执行双线性插值，并 且输出5X5的数据。插值单元320对输入的5X5的数据执行色彩插值。将参照相关

这种操作。如上所述，图4是用于例示在R分量R3是RG线上的中心像素的情况下通过插值 单元320执行的色彩插值的贝尔模式图像的简化框图。参照图4，下面的描述涉及R分量为 中心像素的情况。然而，可以将相同的描述应用于中心像素是GB线上的B分量的情况。针对插值单元320执行的插值，图4的Rn、Rw、Rs以及Re和Krl、Kr2、Kr3以及 Kr4被分别定义为下面的公式21和公式22。公式21

rn=R1+R3/2 RW=R2+R3/2Rs =- 及3 +及4 Re =- 公式22
Krl = G4-Rn
Kr2 = G6-Rw
Kr3 = G9-Rs
Kr4 = G7-Re
接着，通过下面的公式23计算插值单元320的G分量的输出数据E_G。公式23E G = R3+Kr1++Kr2+Kr3+Kr4/4因为插值单元320的插值方法与公知现有技术(例如，Soo-Chang Pei，Fellow, IEEE, Io-Kuong Tam, "Effective Color Interpolation in CCD ColorFilter Arrays Using Signal Correlation，，，IEEE transaction on circuits andsystems for video technology, Vol. 13(6), June 2003)相同，所以省略了相关详细描述。Gwn、Gws、Ges以及Gen和Kbl、Kb2、Kb3以及Kb4被分别定义为下面的公式24和 公式25，以计算插值的B分量的输出数据E_B和插值的R分量的输出数据E_R。公式24
Gwn = G1 + G3 + G6 + G4/4
Gws = G6 + GS + GU + G9/4Ges =G7 + G9 + G12 + G10/4Gen = G2 + G4 + G7 + G5/公式邪Kbl = Gwn-BlKb2 = Gen-B2Kb3 = Gws-B3Kb4 = Ges-B4根据公式24和公式25，插值的B分量的输出E_B和插值的R分量的输出E_R分别 根据公式26和公式27来确定。公式26E B = E G-Kbl + Kb2 + Kb3 + Kb4/公式27E_R = R3将这个插值应用至5X5的矩阵，以输出3X3的输出数据E_R、E_G以及E_B。而且，如下所述，图5是用于例示在G分量G5是GB线上的中心像素的情况下通过 插值单元320执行的色彩插值的贝尔模式图像的另一简化框图。参照图5，下面的描述涉 及G分量为GB线上的中心像素的情况。然而，可以将相同的描述应用于中心像素是RB线 上的G分量的情况。Gn、Gw、Gs以及Ge和Krl、Kr2、Kbl以及Kb2被分别定义为下面的公式28和公式 29，以对图5的贝尔模式图像执行色彩插值。公式28Gn＝ G1 + G2 + G5 + G3/4
公式29Krl = Gn-RlKr2 = Gs_R2Kbl = Gw-BlKb2 = Ge-B2根据公式28和公式29，针对图5的情况，分别通过公式30到公式32确定输出数 据 E_G、E_R 以及 E_B。公式30E_G = G公式31
公式32
针对中心像素是G分量、R分量或B分量的情况，如上所述确定对应输出中的每一 个。将这个插值应用至5X5的矩阵，以输出3X3的输出数据E_R、E_G以及E_B。图30的第一边缘计算单元330对插值单元320的输出数据E_G、E_R以及E_B执 行边缘计算。该边缘计算通过下面的公式33来表示。公式33
其中，E_Y被定义为第一边缘计算单元330的输出数据。可以对形成3X3的数据 的每一个组元执行上述计算，以获取3X3的数据E_Y。接收来自双线性插值单元310的5X5的数据的边缘计算单元执行边缘计算，以对 5X5的数据执行边缘检测。这种边缘计算与下面的公式34相同。公式34
通过使用公式34来计算输入的5X5的数据的每一个组元而获取5X5的数据Y_ all。如果5X5的数据Y_all经过第一高斯滤波器350，则它变为3X3的数据G_Y。差确定单元360确定第二边缘计算单元340的5X5的输出数据中的组元的最大 值与最小值之差。这通过下面的公式35来表示。公式昍
diff_Y = max(Y_all)-min(Y_all)而且，在本发明的色彩插值单元1110中，第二高斯滤波器370可以通过对双线性插值单元310的5X5的输出数据进行高斯滤波来获取3X3的输出数据G_R、G_G以及G_ B0这样，色彩插值单元1110的输出数据是3X3的数据E_R、E_G以及E_B，3X3的数 据E_Y和G_Y，1像素数据diff_Y以及3 X 3的数据G_R、G_G以及G_B。另一方面，输出/边缘属性确定单元1120接收色彩插值单元1110的输出数据和 边缘参数，并且不仅确定RGB输出数据而且确定边缘增强系数和边缘标志。输出/边缘属性确定单元1120预置第一阈值thrl和第二阈值thr2，这些阈值在 先前系统中确定和输入。这些阈值随着系统而变。第一阈值根据图像是否平坦而确定。第 二阈值根据边缘级而确定。针对从色彩插值单元1110接收到的差diff_Y小于第一阈值的情况，确定对应图 像平坦(例如，墙部分)并且对应输出是第二高斯滤波器370的输出数据。S卩，这通过下面 的公式36来表示。公式邡R_m = G_RG_m = G_GB_m = G_B如果差肚€^￥等于或大于第一阈值而小于第二阈值，则确定对应图像没有边缘 并且不平坦，即，图像具有诸如轮廓的属性(例如，这时，称为典型图像)。而且，输出/边缘 属性确定单元1120确定对应输出是插值单元320的输出数据并且对应边缘标志为零。在 这种情况下，该输出通过下面的公式37来表示。公式37R_m = E_RG_m = E_GB_m = E_B如果差diff_Y等于或大于第二阈值，则确定对应图像具有边缘。而且，输出/边 缘属性确定单元1120确定对应输出是插值单元320的输出数据并且对应边缘标志为1。输出/边缘属性确定单元1120还利用输入的边缘参数生成边缘增强系数。该边 缘参数包括边缘核化、边缘增益以及边缘限制。边缘参数将参照第一实施方式的描述中的 图7到图9进行说明。即，参照图7到图9，对输入到输出/边缘属性确定单元1120的边缘 参数进行说明。边缘核化不仅去除噪声状边缘分量而且防止小边缘分量如同噪声一样显示在画 面上。如图7所示，从输入的边缘值中减去预定值，从而该值(含该值)之下的边缘分量变为零。如图8所示，对经过边缘核化的边缘值执行边缘增益。通过将输出的边缘分量的 所得值梯度改变成输入的边缘分量来生成较大边缘值与较小边缘值之差。因此，通过使清 晰的边缘分量更清晰并且维持较小的边缘分量不变来提供更清晰且改进的图像质量。针对从边缘增益操作提取的边缘分量的绝对值非常大的情况，边缘极限限制了最大边缘值，以防止具有较大绝对值的边缘分量明确地显示在画面上。该边缘极限具有正限 和负限。通过边缘参数和从色彩插值单元110检测到的输出数据E_Y和G_Y来确定边缘增 强系数。这通过下面的公式38来表示。公式38Srgb = edge_enhancement (edge_component, edge_parameter)其中，Srgb是边缘增强系数，而“edge_C0mp0nent”是E_Y与G_Y之差。该边缘增 强系数是根据系统确定的称为“edge_C0mp0nent”的、边缘分量和边缘参数的函数。边缘增 强系数值不受限制。这时，边缘增强系数还具有3X3的大小。
因此，输出/边缘属性确定单元1120输出数据R_m、G_m、B_m以及Srgb和边缘标
ο针对边缘标志为1的情况，后续处理部1130对输入的RGB数据执行边缘增强，以 防止生成伪色彩。换句话说，针对从输出/边缘属性确定单元1120输出的标志为零的情况， 后续处理部1130的输出数据R_n、G_n以及B_n与数据R_m、G_m以及B_m相同，即被忽略。图12是例示图11的后续处理单元的实施方式的详细框图。后续处理单元1130可以包括符号生成单元1131、Sr生成单元1132、Sg生成单 元1133、Sb生成单元1134、最小值生成单元1135、新边缘增强系数生成单元1136以及输出 单元1137。符号生成单元1131确定并生成输入的边缘增强系数Srgb的符号。这通过下面的 公式39来表示。公式39PN = sign (Srgb ⑴)其中，PN是边缘增强系数的符号，而i表示生成3X3的数据的每一个组元的符号。 下面的描述与这种情况相同。当将加至边缘增强系数Srgb的输入数据R_m的值称为Rl (即，Rl = R_ m(i) +Srgb⑴)时，如果Rl大于预定常数(例如，255)，则Sr生成单元1132利用下面的公 式40来确定Sr ；如果Rl小于零，则Sr生成单元1132利用下面的公式41来确定Sr ；否则， Sr生成单元1132利用下面的公式42来确定Sr。这时，Sr指R分量的后续处理常数。如果 Sg和Sb类似地分别指G和B分量的后续处理常数，则可以将相同的处理应用于Sg和Sb。公式40Sr = 255-R_m(i)公式41Sr = R_m(i)公式似Sr = abs(Srgb(i))这时，“abs”表示绝对值，而常数“255”随每一个系统而变。该常数不限于255。类似的是，当将分别加至边缘增强系数Srgb的数据G_m和B_m的值称为Gl和 Bl (即，Gl = G_m(i)+Srgb(i)和 Bl = B_m(i)+Srgb (i))时，如果 Gl 和 Bl 中的每一个都大 于预定常数(例如，255)，则Sg生成单元1133和Sb生成单元1134分别利用下面的公式43和46来确定Sg和Sb ；如果R1小于零，则Sg生成单元1133和Sb生成单元1134分别利用 下面的公式44和47来确定Sg和Sb ；否则，Sg生成单元1133和Sb生成单元1134利用下 面的公式45和48来确定Sg和Sb。公式43Sg = 255-G_m(i)公式44Sg = G_m(i)公式佔Sg = abs(Srgb(i))公式铋Sb = 255_B_m(i)公式耵Sb = B_m(i)公式48Sb = abs(Srgb(i))接着，最小值生成单元1135生成上述后续处理系数Sr、Sg以及Sb的最小值，而新 边缘增强系数生成单元1136利用该最小值和从符号生成单元1131接收到的符号PN生成 新的边缘增强系数。这通过下面的公式49来表示。公式似New_Srgb = PNXmin([Sr, Sg, Sb])其中，New_Srgb是新的边缘增强系数。利用该新的边缘增强系数，输出单元1137 输出具有增强的边缘的输出数据。从输出单元1137输出的RGB分量的输出数据R_n、G_n 以及B_n分别通过下面的公式50到52来计算。公式50R_n(i) = R_m(i) +New_Srgb公式51G_n(i) = G_m(i) +New_Srgb公式52
B_n (i) = B_m (i) +New_Srgb接着，最大值/最小值确定单元1140确定输入的数据R_n、G_n以及B_n的每一个 组元的最大值和最小值。这通过图13进行了例示。图13是例示图11的最大值/最小值 确定单元1140的操作的概念图。从后续处理单元1130输入的3X3的数据R_n、G_n以及B_n指数据RGB_n。接着， 最大值/最小值确定单元1140输出对应的数据RGB_nl340以及对应组元的最小值min_RGB 1320 和最大值 max_RGB 1330。这时，min_RGB 指 min_R、min_G 以及 min_B，而 max_RGB 指 max_R、max_G IMM max_B。接着，噪声去除单元1150根据该阈值确定噪声去除方法，并且根据确定的噪声去 除方法输出去除了噪声的数据。这将参照相关图进行说明。图14是例示图11的噪声去除单元1150的实施方式的详细框图。
如图14所示，图11的噪声去除单元1150可以具有噪声去除方法确定单元1151、 zipper噪声去除单元1152以及高斯滤波单元1153。噪声去除方法确定单元1151预置第三阈值thr 3和第四阈值thr 4，这些阈值首 先从先前系统确定并输入。这些阈值取决于系统。第三阈值根据对应图像是否平坦来确定， 而第四阈值根据边缘级来确定。在从色彩插值单元1110接收到的差diff_Y*于第三阈值的情况下，噪声去除方 法确定单元1151确定对应图像平坦(例如，墙部分)并且执行典型滤波。换句话说，噪声 去除方法确定单元1151确定应用高斯滤波单元1153来去除噪声。高斯滤波单元1153对 这个3X3的RGB数据执行高斯滤波。图14的高斯滤波单元的实施例可以按在参照图6的第一实施方式中的相同描述 来使用。然而，应当明白，本发明不限于高斯滤波。如果差肚€^￥等于或大于第三阈值而小于第四阈值，则噪声去除方法确定单元 1151确定对应图像没有边缘并且不平坦，即，图像具有诸如轮廓的属性(例如，这时，称为 典型图像)。而且，噪声去除方法确定单元1151将输出数据R_out、G_out以及B_out确定 为数据的中心组元值。即，噪声去除方法确定单元1151确定这个范围的图像不需要去除噪声。如果差diff_Y等于或大于第四阈值，则噪声去除方法确定单元1151确定对应图 像具有边缘并且确定执行zipper噪声去除。因此，zipper噪声去除单元1152执行zipper 噪声去除。这将参照相关图进行说明。图15是例示图14的zipper噪声去除单元1152的详细框图。如图15所示，噪声去除单元1152可以包括第一滤波器1510、第二滤波器1520、 第一绝对值检测单元1530和第二绝对值检测单元1540、求和单元1550以及处理单元 1560。可以是3X3的滤波器的第一滤波器1510和第二滤波器1520确定输入的RGB分 量的水平和垂直方向边缘分量分别为多少。针对这种情况，输入的RGB分量也为3X3的数 据。图16和图17分别是例示图15的第一滤波器和第二滤波器的实施例。图18是例示输 入到图16的第一滤波器和图17的第二滤波器中的数据R_n的实施例。然而，尽管图18的 例示假定数据R_n被输入到第一滤波器1510和第二滤波器1520中，但相同的例示可以应 用于数据G_n和B_n。图16的第一滤波器和图17的第二滤波器要分别确定输入的数据的水平和垂直方 向边缘分量。一旦如图18所示输入数据R_n，针对同一位置处的各分量来将组元相乘。图 18的符号“X”指同一位置的组元相乘。第一绝对值检测单元1530对第一滤波器1510的输出数据的组元求和，并且检测 这些组元的和的绝对值。第一绝对值检测单元1530的输出数据根据下面的公式53来计算。公式53abs_Sl = abs (R7+2 X R8+R9-R1-2 X R2-R3)其中，“abs”指绝对值。第二绝对值检测单元1540对第二滤波器1520的输出数 据的组元求和，并且检测这些组元的和的绝对值。第二绝对值检测单元1540的输出数据根 据下面的公式54来计算。
公式54
abs_S2 = abs(R3+2XR6+R9-R1-2 XR4-R7)求和单元1550计算第一和第二绝对值检测单元1530和1540的输出数据的和 abs_S。这通过下面的公式55来表示。公式55abs_S = abs_Sl+abs_S2处理单元1560输出根据求和单元1550的输出abs_S而滤波的数据Rout。如果 和abs_S大于预定第五阈值，则该处理单元1560识别出存在边缘，并且确定该边缘是水平 方向边缘还是垂直方向边缘。换句话说，如果abs_Sl大于将abs_S2加至预定第六阈值而得的值，则处理单元 1560将输出Rout确定为中心行的水平方向平均值，该中心行的中心被添加至权重。在这种 情况下，输出Rout根据下面的公式56来计算。公式恥
r n n 及4+2x及5十及6Rout =-
4如果abs_S2大于将abs_Sl加至第六阈值而得的另一值，则处理单元1560将输出 Rout确定为中心列的垂直方向平均值，该中心列的中心被加至权重。在这种情况下，输出 Rout根据下面的公式57来计算。公式57
r n R2+2xR5+R8Rout =-
4在abs_S大于第五阈值时除非abs_Sl大于将abs_S2加至第六阈值而得的值并且 和abs_S2大于将abs_Sl加至第六阈值而得的值，否则处理单元1560将输出Rout确定为 中心行/列的水平/垂直方向平均值，该中心行/列的中心被加至权重。在这种情况下，输 出Rout根据下面的公式58来计算。公式诏
r n n 4xR5 + R2 + R4 + R6 + RSRout =-
4如果和abs_S小于第一阈值，则处理单元1560可以识别出对应图像没有边缘并且 将输出Rout确定为R5，该R5是图像的中心组元的值。这里，第五阈值可变。第六阈值可以被确定为50，但不限于此。可以针对数据G_n和B_n重复上述处理，来确定Gout和Bout。图19是总体例示根据本发明第二实施方式的使用可调阈值的色彩插值装置的简 化框图。如图19所示，本发明的色彩插值装置计算差diff_Y。如果该差diff_Y小于第一 阈值，则该色彩插值装置执行双线性插值和高斯滤波。如果该差diff_Y小于第二阈值且 等于或大于第一阈值，则色彩插值装置执行双线性插值并且图3的插值单元320执行插值 (在图19中称为“有效插值”)。而且，如果该差diff_Y等于或大于第二阈值，则色彩插值 装置执行有效插值和边缘增强。另一方面，本发明计算差diff_Y。如果该差diff_Y小于第三阈值，则本发明执行
20诸如高斯滤波的典型滤波。如果该差diff_Y小于第四阈值且等于或大于第三阈值，则本发 明忽略其性能。而且，如果该差肚€^￥等于或大于第四阈值，则本发明执行zipper噪声去 除。图20是例示依照根据本发明第三实施方式确定的阈值执行的色彩插值的简化框 图。如图20所示，在根据本发明确定阈值的色彩插值中，执行根据阈值的不同色彩插 值方法。这可以根据作为图像属性的像素最大值与最小值之差(像素值差)而不同地应用。在图20中，第二阈值根据图像的边缘属性来确定。已经公知确定像素值差是否具 有边缘属性的方法。因此，在本发明中将公开设置第一阈值的方法。在图20中，第三区域的目的是去除噪声。因此，第一阈值可以根据噪声来设置。这 时，图像相对于外部环境的照明度的亮度典型地根据摄像机曝光来确定。这将参照相关图 来描述。图21例示了根据环境的摄像机曝光的属性曲线。如图21所示，照明度从低到高的变化越大，曝光级就渐渐变得越来越小。2000lux 或以上的高照明度维持恒定量的曝光。从摄像机获取的图像的噪声级根据这个摄像机的曝 光级而变。图22和23例示了摄像机的噪声级相对于曝光的属性曲线。如图22和23所示，其典型地示出了以下趋势，即，照明度越低，噪声级呈现得越 高，并且在特定照明度级或以上时噪声级保持恒定。因此，第一阈值可以根据照明度级来确 定。这时，因为与外部环境相对应的照明度确定摄像机的曝光级，所以第一阈值可以根据摄 像机的曝光级来确定。下文中，将“第一阈值”称为“阈值”。图24是例示根据本发明的阈值确定装置的框图。如图24所示，本发明的阈值确定装置可以包括标准偏差确定单元2410、最大/ 最小阈值确定单元2420以及阈值确定单元2430。标准偏差确定单元2410接收分别利用最大曝光和最小曝光拍照的平坦表面的图 像，并且计算每一个噪声标准偏差。指在最大曝光下的噪声标准偏差。。miMxp指在 最小曝光下的噪声标准偏差。最大/最小阈值确定单元2420利用从前述标准偏差确定单元2410接收到的分别 在最大曝光和最小曝光下的噪声标准偏差来确定阈值的最大值和最小值。如果将阈值的最大值表示为“th_”而将阈值的最小值表示为“thmin”，则该th-和 th-分别可以根据最大噪声和最小噪声来确定。假定最大噪声在最大曝光下生成，而最小 噪声在最小曝光下生成。因为最大/最小噪声分别可以根据最大曝光和最小曝光的标准偏 差来计算，所以该thmax和thmin分别通过下面的公式59和60来表示。公式59thmax = o maxexp公式60thmin = o minexp如果噪声级较高，则必须增大阈值以去除图20的第三区域中的噪声。图25例示了曝光的最大值与最小值相对于照明度的曲线图，而图26例示了阈值 的最大值与最小值相对于曝光的曲线图。
如上所述，大量噪声主要出现在低照明度下，而低照明度具有高曝光值，如图25 所示。因此，假定在最大曝光值Max Exposure下存在大多数噪声来设置阈值th的最大值。 而且，在最小曝光值Min Exposure下设置作为阈值th的最小值的thmin，其中，曝光恒定地 维持在特定照明度级处。在内部区域中，可以形成具有线性属性的阈值。因此，根据图26 的曲线图属性，阈值确定单元2430可以根据下面的公式61计算取决于曝光的阈值th。公式61
色彩插值可以利用根据上述公式61确定的阈值来执行。下文中，根据公式61计算出的阈值表示“第一阈值”。参照在描述第一实施方式时 引用的图1到图9，对利用根据前述边缘级确定的第二阈值来执行色彩插值的方法进行说 明。而且，为便于描述，尽管在该描述中使用了和第一实施方式中描述的相同的公式，但将 新的标号添加至该相同的公式。参照图1，其中例示了应用有确定的阈值的色彩插值装置的框图，本发明的色彩插 值装置可以包括色彩插值单元110、输出/边缘属性确定单元120、RGB转换单元130以及 边缘增强单元140。色彩插值单元110对输入的贝尔模式图像执行色彩插值。图2是例示通过图1的 色彩插值单元执行的插值的简化框图。如图2所示，一旦输入5X5的贝尔模式图像700，本发明的色彩插值单元110就 对5X5的贝尔模式图像200执行双线性插值，以获取3X3的输出图像201。3X3的输出 图像201被称为R_all、G_all以及B_all。如果首先针对3 X 3的输出图像201执行本发明的插值，则将获取1像素数据202。 该1像素数据202成为1像素输出数据E_R、E_G以及E_B 203。如果对1像素数据202执 行边缘计算，则其将成为1像素输出数据E_Y 204。如果再次对3X3的输出图像201执行边缘计算，则将获取3X3的图像Y_all 205。如果对3X3的图像Y_all 205执行高斯滤波，则将获取最终1像素输出数据G_Y 206。 另一方面，如果计算3X3的图像Y_all 205的特定值(最大值与最小值之差)，则将获取1 像素数据diff_Y 207。而且，如果对3X3的图像201执行高斯滤波，则将获取作为一个输出的1像素输 出数据G_R、G_G以及G_B。因此，色彩插值单元110可以被输入5X5的贝尔模式图像200，并且输出5个1像 素数据 203、204、206、207 以及 210。图3是例示图1的色彩插值单元的实施方式的详细框图。如图3所示，本发明的 色彩插值单元110可以具有双线性插值单元310、插值单元320、第一边缘计算单元330、 第二边缘计算单元340、第一高斯滤波器350、差确定单元360以及第二高斯滤波器370。双线性插值单元310对输入的5X5的贝尔模式图像执行双线性插值，并且输出 3X3的数据。插值单元320对输入的3 X 3的数据执行色彩插值。图4例示了用于插值单元320执行的色彩插值的贝尔模式图像。参照图4，下面的描述涉及R分量R3为RG线上的中心像 素的情况。然而，可以将相同的描述应用于中心像素是GB线上的B分量的情况。针对通过插值单元320执行的插值的情况，图4的Rn、Rw、Rs以及Re和Krl、Kr2、 Kr3以及Kr4被分别定义为下面的公式62和公式63。公式62
公式63Krl = G4-RnKr2 = G6-RwKr3 = G9_RsKr4 = G7_Re接着，按下面的公式64计算插值单元320的G分量的输出数据E_G。公式ME G =及3 +-
一4因为插值单元320的插值方法与公知现有技术相同，所以省略了相关详细描述。Gwn、Gws、Ges以及Gen和Kbl、Kb2、Kb3以及Kb4被分别定义为下面的公式65和 公式66，以计算插值的B分量的输出数据E_B和插值的R分量的输出数据E_R。公式65
r n ^ GI + G3 + G6 + G4Gwn =-
4
r n ^ G6 + G8 + G11 + G9Gws --
4
r n ^ G7 + G9 + G12 + G10Ges --
4
r n ^ G2 + G4 + G7 + G5Gen =-
公式66Kbl = Gwn-BlKb2 = Gen-B2Kb 3 = Gws-B3Kb4 = Ges-B4根据公式65和公式66，插值的B分量的输出数据E_B和插值的R分量的输出数据 E_R分别根据公式67和公式68来确定。
2公式67
公式68E_R = R3另一方面，图5是例示在G分量G5是GB线中的中心像素的情况下通过图3的插 值单元320执行的色彩插值的贝尔模式图像的另一简化框图。下面的描述涉及G分量为GB 线中的中心像素的情况。然而，可以将相同的描述应用于中心像素是RB线中的G分量的情况。Gn, Gw, Gs以及Ge和Krl、Kr2、Kbl以及Kb2被分别定义为下面的公式69和公式 70，以对图5的贝尔模式图像执行色彩插值。公式69
公式70Krl = Gn-RlKr2 = Gs_R2Kbl = Gw-BlKb2 = Ge-B2根据公式69和公式70，针对图5的情况，分别通过公式71到公式73确定输出数 据 E_G、E_R 以及 E_B。公式71E_G = G公式72
Γ ρKrl +Kr公式73
E_B = G5----针对中心像素是G分量、R分量或B分量的情况，如上所述确定每一个对应输出数 据。第一边缘计算单元330对插值单元320的输出数据E_G、E_R以及E_B执行边缘计 算。该边缘计算通过下面的公式74来表示。公式74Γ r v E R+2xE G+E BE F = ~=-=-
_4其中，E_Y被定义为第一边缘 计算单元330的输出数据。接收来自双线性插值单元310的3X3的数据的第二边缘计算单元340执行边缘 计算，以对3X3的数据执行边缘检测。这种边缘计算与下面的公式75相同。公式兀
Γ ρ R all + 2xG all+ B allY all = —^=-=-=“
—4通过使用公式75计算输入的3X3的数据中的每一个像素而获得3X3的数据Y_ all。如果3X3的数据Y_all经过第一高斯滤波器350，则它变为1像素数据6_￥。图6是 例示图3的第一高斯滤波器和第二高斯滤波器的示例。差确定单元360确定第二边缘计算单元340的3X3的输出数据的组元的最大值 与最小值之差。这通过下面的公式76来表示。公式冗diff_Y = max(Y_all)-min(Y_all)而且，第二高斯滤波器370可以通过对双线性插值单元310的3 X 3的输出数据进 行高斯滤波而获得输出数据G_R、G_G以及G_B。这样，图1的色彩插值单元110的输出数据是1像素数据E_R、E_G以及E_B，1像 素数据E_Y，1像素数据G_Y，1像素数据diff_Y以及1像素数据G_R、G-G以及G_B。另一方面，输出/边缘属性确定单元120接收色彩插值单元110的输出数据和边 缘参数，并且不仅确定RGB输出而且确定边缘增强系数和边缘标志。根据本发明，输出/边缘属性确定单元120预置根据公式61确定的第一阈值和根 据边缘属性确定的第二阈值。这些阈值随着系统而变。针对从色彩插值单元110接收到的差diff_Y小于第一阈值的情况，确定对应图像 平坦(例如，墙部分)，并且对应输出为第二高斯滤波器370的输出数据。S卩，这通过下面的 公式77来表示。公式打R_out = G_RG_out = G_GB_out = G_B如果差肚€^￥等于或大于第一阈值而小于第二阈值，则确定对应图像没有边缘 并且不平坦，即，该图像具有诸如轮廓的属性(例如，这时，称为典型图像)。而且，输出/边 缘属性确定单元120确定对应输出为插值单元320的输出数据并且对应边缘标志为零。在 这种情况下，该输出通过下面的公式78来表示。公式川R_out = E_RG_out = E_GB_out = E_B如果差diff_Y等于或大于第二阈值，则确定对应图像具有边缘。而且，输出/边缘属性确定单元120确定对应输出是插值单元320的输出数据，并且对应边缘标志为1。输出/边缘属性确定单元120还利用输入的边缘参数生成边缘增强系数。该边缘 参数包括边缘核化、边缘增益以及边缘极限。参照图7到图9对边缘参数进行说明。图7到图9是例示输入到输出/边缘属性确定单元120中的边缘参数的示例 。边缘核化不仅去除噪声状边缘分量而且防止小边缘分量如同噪声一样显示在画 面上。如图7所示，从输入的边缘值中减去预定值，从而该值(含该值)之下的边缘分量变 为零。如图8所示对经过边缘核化的边缘值执行边缘增益。通过将输出的边缘分量的所 得值梯度改变成输入的边缘分量来生成较大边缘值与较小边缘值之差。因此，通过使清晰 的边缘分量更清晰并且维持较小的边缘分量不变来提供更清晰且改进的图像质量。针对从边缘增益操作提取的边缘分量的绝对值非常大的情况，边缘极限限制了最 大边缘值，以防止具有较大绝对值的边缘分量明确地显示在画面上。该边缘极限具有正限 和负限。边缘增强系数通过边缘参数和从色彩插值单元110检测到的输出E_Y和G_Y来确 定。这通过下面的公式79来表示。公式79Srgb = edge_enhancement (edge_component, edge_parameter)其中，Srgb指边缘增强系数，而“edge_C0mp0nent”指E_Y与G_Y之差。该边缘增 强系数是根据系统确定的称为“edge_C0mp0nent”的、边缘分量和边缘参数的函数。边缘增 强系数值不受限制。因此，输出/边缘属性确定单元120输出数据R_out、G_out、B_out以及Srgb和边 缘标志。RGB转换单元130接收数据R_out、G_out、B_out，并且将数据R_out和B_out转换 成亮度和色度YCbCr数据。这通过下面的公式80来表示。公式80
λ ( 0.299 0.587 0.114 J ⑷ f 0、Cb = -0.169 -0.331 0.5 χ G - 128 、CrJ ( 0.5 -0.419 -0.081 J (^J然而，因为将RGB数据转换成YCbCr数据的公式是公知的，所以该公式不限于上述 公式19。转换比率可以根据图像处理系统的种类而变。边缘增强单元140利用从上述RGB转换单元130接收到的亮度(Y)数据、从输出 /边缘属性确定单元120接收到的边缘增强系数Srgb以及边缘标志来增强边缘。如果该边缘标志为1，则边缘增强单元140的输出数据根据下面的公式81来计算。公式81Y_out = Y+Srgb然而，如果边缘标志为零，则因为在上面确定对应图像没有边缘，所以边缘增强单 元140的输出数据忽略Y数据。图27是例示依照根据本发明第四实施方式确定的阈值执行的噪声去除的简化框 图。
如图27所示，在利用根据本发明的阈值确定的噪声去除中，根据阈值而按不同方 式执行噪声去除方法。这可以根据作为图像的属性的像素最大值与最小值之差(像素值 差)而不同地应用。在图27中，对与第一区域相对应的图像执行zipper噪声去除。因此，必须将第二 阈值调节成被应用至确定为边缘的区域。然而，由于传感器的特性，在稍微高的噪声级的情 况下，可以通过将第二阈值调节成第一阈值而将图像中被忽略的区域(即，第二区域)控制 成执行与第一区域相同的操作。然而，第一阈值需要根据摄像机的曝光级来调节。在图27中，第二阈值根据图像的边缘属性来确定。已经公知确定像素值差是否具 有边缘属性的方法。因此，在本发明中将公开设置第一阈值的方法。在图27中，第三区域的目的不是去除边缘噪声而是去除典型的图像噪声。因此， 第一阈值可以根据噪声来设置。这时，典型地根据摄像机曝光来确定图像相对于外部环境 照明度的亮度。这将参照图21到图23来描述，这些图在对第三实施方式的描述中被引用。如图21所示，照明度从低到高的变化越大，曝光状态就渐渐变得越来越小。 20001ux或以上的高照明度维持恒定量的曝光。从摄像机获取的图像的噪声级根据这个摄 像机的曝光级而变。图22和23例示了摄像机的噪声级相对于曝光的属性曲线。如图22和 23所示，其典型地示出了这样的趋势，S卩，照明度越低，噪声级就呈现得越高，并且在特定的 照明度级或以上噪声级保持恒定。因此，第一阈值可以根据照明度级来确定。这时，因为与 外部环境相对应的照明度确定摄像机的曝光级，所以第一阈值可以根据摄像机的曝光级来 设置。下文中，将“第一阈值”称为“阈值”。图28是例示根据本发明第四实施方式的阈值确定装置的框图。如图28所示，本发明的阈值确定装置可以包括平均值确定单元2810、最大/最 小阈值确定单元2820以及阈值确定单元2830。平均值确定单元2810接收分别利用最大曝光和最小曝光拍照的平坦表面的图 像，并且根据图像的具有一致大小的蒙板随机地获取样本，并且计算每一个曝光的最大 值与最小值之差。接着，平均值确定单元2810计算这些计算出的值的各平均值。这时， difffflaxexp指在最大曝光下的噪声的最大值与最小值之差的平均值。difTmiMxp指在最小曝光 下的噪声的最大值与最小值之差的平均值。最大/最小阈值确定单元2820利用从前述平均值确定单元2810接收到的分别在 最大曝光和最小曝光下的噪声标准偏差来确定阈值的最大值和最小值。如果将阈值的最大值表示为“th_”而将阈值的最小值表示为“thmin”，则该th-和 thfflin分别可以根据最大噪声级和最小噪声级来确定。假定最大噪声在最大曝光下生成，而 最小噪声在最小曝光下生成。因为最大/最小噪声可以根据噪声标准偏差和在最大曝光和 最小曝光中的每一种下的噪声的最大值与最小值之差的平均值来计算，所以该th-和thmin 分别通过下面的公式82和83来表示。公式拟thfflax = difffflaxexp公式们thfflin = difffflinexp如果噪声级较高，则必须增大阈值以去除图3的第三区域中的噪声。
如上参照图25和26所述，大量噪声主要呈现在低照明度下，而低照明度具有高曝 光值。因此，假定在最大曝光值Max Exposure下存在大多数噪声来设置阈值th的最大值。 而且，在最小曝光值Min Exposure下设置作为阈值th的最小值的thmin，其中，在特定照明 度级下曝光保持恒定。在内部区域中，可以形成具有线性属性的阈值。因此，根据图26的 曲线图属性，阈值确定单元2830可以根据下面的公式84计算取决于曝光的阈值th。公式84
__Exposure + MaxExposure thmin - MinExposure ■ thmax
MaxExposure - MinExposureMaxExposure - MinExposure色彩插值可以利用根据上述公式84确定的阈值来执行。下文中，根据公式84计算出的阈值指“第一阈值”。下面，对利用根据边缘级确定 的第二阈值来执行色彩插值的方法进行说明。图29是例示应用有根据本发明确定的阈值的噪声去除装置的框图。如图29所示，本发明的噪声去除装置可以具有差计算单元2910、噪声去除方法 确定单元2920、zipper噪声去除单元2930以及高斯滤波单元2940。下文中，尽管下面的描述采用输入到噪声去除装置中的亮度(Y)数据作为示例， 但还可以使用红色/绿色/蓝色(RGB)数据。这是因为RGB数据和Y数据可以根据公式而 相互简单转换。图29的差计算单元2910计算输入的3X3的Y数据的组元的最大值和最小值。参 照图30，对差计算单元2910的操作进行说明。图30是例示图29的差计算单元2910的操作的概念图。如图30所示，图29的差计算单元2910将输入的3X3的Y数据3010的最小值确 定为1像素的最小值min_Y 3020，而将输入的3X3的Y数据3010的最大值确定为1像素 的最大值 max_Y 3030。max_Y 3030 与 min_Y 3020 之差 diff_Y 3040 是利用 max_Y 3030 和min_Y 3020来确定的。3X 3的Y数据3050被忽略，以去除噪声。图31是例示图29的差计算单元2910的实施方式的详细框图。如图31所示，差计算单元2910可以具有最大值确定单元2911、最小值确定单元 2912以及差确定单元2913。最大值确定单元2911确定3X3的Y数据的组元的最大值max_Y。最小值确定单 元2912确定3X 3的Y数据的组元的最小值min_Y。差确定单元2913确定max_Y与min_Y 之差 diff_Y。噪声去除方法确定单元2920预置根据本发明确定的第一阈值和根据图像的边缘 级确定的第二阈值。在差diff_Y小于第一阈值的情况下，噪声去除方法确定单元2920识 别出输入图像没有边缘和照明度较低，并且执行典型滤波。换句话说，噪声去除方法确定单 元2920确定应用高斯滤波单元2940来去除噪声。高斯滤波单元2940对这个3X3的Y数 据执行高斯滤波。图6中例示了图31的高斯滤波单元2940的实施例。当然，本发明不限 于高斯滤波。针对差肚€^￥等于或大于第一阈值而小于第二阈值的情况，噪声去除方法确定 单元2920确定对应图像没有边缘并且不平坦，即，图像具有诸如轮廓的属性(例如，这时，称为典型图像)。而且，噪声去除方法确定单元2920将输出Y_out确定为Y5。S卩，噪声去 除方法确定单元2920确定这个区域的图像不需要去除噪声。如果差diff_Y等于或大于第二阈值，则噪声去除方法确定单元2920确定对应图 像具有边缘并且确定执行zipper噪声去除。因此，zipper噪声去除单元2930执行zipper 噪声去除。参照相关图对其进行说明。图32是例示图29的zipper噪声去除单元2930的实施方式的详细框图。如图32所示，本发明的噪声去除单元2930可以包括第一滤波器2931、第二滤波 器2932、第一绝对值检测单元2933和第二绝对值检测单元2934、求和单元2935以及处理 单元2936。可以是3X3的滤波器的第一滤波器2931和第二滤波器2932检查输入的Y分量 的水平和垂直方向边缘分量分别为多少。针对这种情况，输入的Y分量数据也为3X3的数 据。根据本发明的实施方式，输入诸如图30的3X3的数据3050的数据，但本发明不限于 此。应当明白，可以根据输入到差计算单元2910中的数据来使用NXN的滤波器。已经参照图16和图17描述了图32的第一滤波器和第二滤波器的实施例。而且， 已经参照图18描述了例示输入到第一滤波器和第二滤波器中的数据的实施例。如上所述，第一滤波器和第二滤波器要检查相应输入的Y分量数据的水平和垂直 方向边缘分量。一旦如图18所示输入Y分量数据，就针对同一位置的各分量将组元相乘。 图18的符号“X”指同一位置的组元相乘。图32的第一绝对值检测单元2933对第一滤波器2931的输出数据的相关组元求 和，并且检测这些组元的和的绝对值。第一绝对值检测单元2933的输出数据根据下面的公 式85来计算。公式邪abs_Sl = abs (Y7+2 X Y8+Y9-Y1-2 X Y2-Y3)其中，“abs”指绝对值。图32的第二绝对值检测单元2934对第二滤波器2932的 输出数据的相应组元求和，并且检测这些组元的和的绝对值。第二绝对值检测单元2934的 输出数据根据下面的公式86来计算。公式86abs_S2 = abs (Y3+2 X Y6+Y9-Y1-2 X Y4-Y7)求和单元2935计算第一和第二绝对值检测单元2933和2934的输出的和abs_S。 这通过下面的公式87来表示。公式87abs_S = abs_Sl+abs_S2处理单元2936输出根据求和单元2935的输出abs_S而滤波的数据Y_out。如果 abs_S大于第三阈值，则该处理单元2936识别出存在边缘，并且确定该边缘是水平方向边 缘还是垂直方向边缘。换句话说，如果abs_Sl大于将abs_S2加至第四阈值而得的值，则处理单元2936 将输出数据Y_out确定为中心行的水平方向平均值，该中心行的中心被加至权重。在这种 情况下，输出数据Y_out根据下面的公式88来计算。公式88
如果abs_S2大于将abs_Sl加至第四阈值而得的另一值，则处理单元2936将输出 Rout确定为中心列的垂直方向平均数据，该中心列的中心被加至权重。在这种情况下，输出 数据Y_out根据下面的公式89来计算。公式洲
在abs_S大于第三阈值时除非abs_Sl大于将abs_S2加至第四阈值而得的值并且 abs_S2大于将abs_Sl加至第四阈值而得的值，否则处理单元2936将输出数据Y_out确定 为中心行/列的水平/垂直方向平均值，该中心行/列的中心被加至权重。在这种情况下， 输出数据Y_out根据下面的公式90来计算。公式卯
如果abs_S小于第三阈值，则处理单元2936可以识别出对应图像没有边缘并且将 输出数据Y_out确定为Y5，该Y5是图像的中心组元的值。这里，该第三阈值可变。第四阈值可以被确定为50，但不限于此。同样，处理单元2936可以控制zipper噪声去除单元2930的输出数据Y_out。如上所述，虽然常规噪声去除方法对整个图像应用了一个噪声去除滤波器，而本 发明可以通过根据图像的属性确定噪声去除方法来防止系统损失。附图和具体的描述仅是本发明的示例，只是用于描述本发明而绝非对本发明的精 神和范围的限制或约束。因此，本领域的任何技术人员应当理解，还可以有大量替换例和其 它等同实施方式。本发明的真实范围仅由所附权利要求的精神所限定。如上所述，与将一个噪声去除滤波器应用于整个图像的常规噪声去除方法不同， 本发明可以通过根据图像中的蒙板的像素的特定值(最大值与最小值之差)调节阈值并且 应用不同的色彩插值方法来提供改进的图像质量。本发明还可以通过根据图像中的蒙板的像素的特定值(最大值与最小值之差)调 节阈值来选择合适的色彩插值。而且，本发明可以通过将合适的色彩插值应用于R、G以及 B分量而如用户所希望地有效去除噪声。然而，常规噪声去除方法对整个图像应用了一个噪 声去除滤波器。本发明通过将噪声去除直接应用于RGB数据而还可以使得不需要去除色度分量 噪声所需的一个线存储器。与将一个噪声去除滤波器应用于整个图像的常规噪声去除方法不同，本发明还可 以通过根据由图像的曝光级造成的噪声设置阈值并且应用不同的色彩插值方法来提供改 进的图像质量。另外，本发明可以按根据对依照曝光而输入的图像的属性进行分析所确定的阈值 而应用不同的噪声去除方法。
权利要求
一种阈值确定装置，该阈值确定装置包括第一确定单元，该第一确定单元确定针对分别利用最大曝光和最小曝光拍照的平坦表面的图像的噪声标准偏差；第二确定单元，该第二确定单元利用通过该第一确定单元确定的分别在最大曝光和最小曝光下的该噪声标准偏差来确定阈值的最大值和最小值；以及第三确定单元，该第三确定单元利用通过该第二确定单元确定的该阈值的最大值和最小值以及最大曝光和最小曝光来确定该阈值。
2.根据权利要求1所述的阈值确定装置，其中，该第二确定单元通过使用下面的公式 来确定该阈值的最大值thmaxO mzxexp ‘其中，thmax表示该阈值的最大值，而σωζχ φ表示最大曝光下的噪声标准偏差。
3.根据权利要求1所述的阈值确定装置，其中，该第二确定单元通过使用下面的公式 来确定该阈值的最小值thmin^ min exp，其中，thmin表示阈值的最小值，而Omimxp表示最小曝光下的噪声标准偏差。
4.根据权利要求1到3中的任一项所述的阈值确定装置，其中，该第三确定单元通过使 用下面的公式来确定该阈值th =^max -^min__Exposure + MctxExP。脈,沩-“MinExposure · th職MaxExposure — MinExposureMaxExposure - MinExposure其中，MaxExposure表示最大曝光值,而MinExposure表示最小曝光值。
5.一种阈值确定方法，该阈值确定方法包括以下步骤确定针对分别利用最大曝光和最小曝光拍照的平坦表面的图像的噪声标准偏差；利用通过确定该噪声标准偏差的操作而确定的分别在最大曝光和最小曝光下的该噪 声标准偏差来确定阈值的最大值和最小值；以及利用通过确定该阈值的最大值和最小值的操作而确定的该阈值的最大值和最小值以 及最大曝光和最小曝光来确定该阈值。
6.一种阈值确定装置，该阈值确定装置包括第一确定单元，该第一确定单元接收分别利用最大曝光和最小曝光拍照的平坦表面的 图像，并且根据接收图像的具有一致大小的蒙板随机地获取样本和计算第一差与第二差， 以计算该第一差的第一平均值和该第二差的第二平均值，该第一差是最大曝光下的噪声的 最大值与最小值之差，而该第二差是最小曝光下的噪声的最大值与最小值之差；第二确定单元，该第二确定单元利用通过该第一确定单元计算出的该第一平均值与该 第二平均值之差的平均值来确定阈值的最大值和最小值；以及第三确定单元，该第三确定单元利用通过该第二确定单元确定的该阈值的最大值和最 小值以及最大曝光和最小曝光来确定该阈值。
7.根据权利要求6所述的阈值确定装置，其中，该第二确定单元根据下面的公式来确 定该阈值的最大值thmax di f f niaxexp，其中，thmax表示该阈值的最大值，而diffmaMxp表示最大曝光下的噪声的最大值与最小值之差的平均值。
8.根据权利要求6所述的阈值确定装置，其中，该第二确定单元根据下面的公式来确 定该阈值的最小值thmin diff"minexp，其中，thmin表示阈值的最小值，而diffmiMxp表示最小曝光下的噪声的最大值与最小值 之差的平均值。
9.根据权利要求6到8中的任一项所述的阈值确定装置，其中，该第三确定单元根据下 面的公式来确定该阈值fh =伪腿-^min__Exposure + MaxExPosure ‘ th^ “ MinExposure · ^maxMaxExposure - MinExposureMaxExposure 一 MinExposure其中，MaxExposure表示最大曝光值,而MinExposure表示最小曝光值。
10.一种阈值确定方法，该阈值确定方法包括以下步骤接收分别利用最大曝光和最小曝光拍照的平坦表面的图像，并且根据接收图像的具有 一致大小的蒙板随机地获取样本和计算第一差与第二差，以计算该第一差的第一平均值和 该第二差的第二平均值，该第一差是最大曝光下的噪声的最大值与最小值之差，而该第二 差是最小曝光下的噪声的最大值与最小值之差；利用通过计算该第一平均值和该第二平均值的操作而计算出的该第一平均值与该第 二平均值之差的平均值来确定阈值的最大值和最小值；以及利用通过确定该阈值的最大值和最小值的操作而确定的该阈值的最大值和最小值以 及最大曝光和最小曝光来确定该阈值。
全文摘要
本发明公开了阈值确定装置和阈值确定方法。该阈值确定装置包括第一确定单元，该第一确定单元确定针对分别利用最大曝光和最小曝光拍照的平坦表面的图像的噪声标准偏差；第二确定单元，该第二确定单元利用通过该第一确定单元确定的分别在最大曝光和最小曝光下的该噪声标准偏差来确定阈值的最大值和最小值；以及第三确定单元，该第三确定单元利用通过该第二确定单元确定的该阈值的最大值和最小值以及最大曝光和最小曝光来确定该阈值。
文档编号H04N9/64GK101867832SQ201010196419
公开日2010年10月20日 申请日期2006年12月29日 优先权日2005年12月29日
发明者朴俊旿, 李浩瑛 申请人:安泰科技有限公司