一种马赛克插值方法和系统与流程

1.本发明涉及图像数据处理技术，尤其涉及一种马赛克插值方法和系统。


背景技术：

2.图像是视觉信息的重要载体，具有极为丰富的信息含量表达。最常见的图像获取方式是通过相机，其中图像传感器负责将外界入射光线转变为电子流，图像处理器负责生成合适的数字图像。传感器成像过程采用cfa阵列对入射光线进行滤波，以降低成像成本。最常见的cfa阵列为bayer格式，经bayer格式滤光后的成像图像称为raw图，每个位置仅包含r、g、b三色分量之一，对应呈现灰度的成像效果。由于人眼对色彩更加敏感，为了提升图像视觉效果，需要使用去马赛克算法将bayer图像恢复成rgb真彩图像，去马赛克算法是决定相机成像质量的核心算法，高效低复杂度的去马赛克算法一直是业界的研究热点。传统去马赛克算法往往过于简单，多数忽略了边缘信息的作用，造成插值质量较差，产生插值结果伪彩和拉链效应。代表性的插值算法原理简介如下：双线性插值是最简单的去马赛克方法，其简单利用插值中心点附近区域内的颜色信息，采取均值加权计算恢复插值中心缺失的色彩分量。双线性插值的优点是计算代价低、原理简单，然而均值的加权权重和边缘信息的忽略使得其插值后的图像在高频边缘区域容易产生伪彩和拉链效应。
3.高质量线性插值在双线性插值的基础上，增加了对不同色彩平面之间相关性的考虑。对于bayer图像的不同插值情况，基于大量图像数据集拟合了线性插值的最佳权重，获得了优于双线性插值的色彩恢复质量同时计算代价增加不大。然而其也并未利用图像中的梯度数值，因此无法识别边缘和平坦区域，在边缘附近产生较大的插值误差。
4.ha插值算法是经典的内容自适应插值算法，在线性插值基础上增加了对图像边缘信息的检测和利用。首先计算待插值中心各方向上的梯度值，选取梯度最小的方向插值缺失的绿色分量，然后计算缺失的红蓝色分量。ha算法由于利用了图像中的梯度数值，取得了较好的边缘恢复效果，但其边缘检测手段过于简单，且未对插值后的图像误差进行纯化处理，因此也存在着视觉效果缺陷。


技术实现要素：

5.本发明针对现有技术中的缺点，提供了一种马赛克差值方法。
6.为了解决上述技术问题，本发明通过下述技术方案得以解决：一种马赛克插值方法，包括以下步骤：接收bayer格式图像；以n*n窗口遍历bayer格式图像，n为5以上的奇数；计算n*n窗口中心点上、下、左和右方向上的梯度数值，并计算水平方向和竖直方向的梯度数值；根据中心点上、下、左和右方向上的梯度数值计算中心点水平方向的绿色分量插
值结果a1和竖直方向的绿色分量插值结果a2；根据水平方向和竖直方向的梯度数值，对中心点水平方向的绿色分量插值结果a1和竖直方向的绿色分量插值结果a2加权后得到中心点缺失的绿色分量插值结果b；根据上述步骤完成所有中心点绿色分量插值结果b计算之后，根据当前像素点的绿色分量插值结果b，以及当前像素点的色差分量，计算红色分量插值结果和蓝色分量插值结果。
7.作为一种优选方案，所述计算n*n窗口中心点上、下、左和右方向上的梯度数值的计算方法包括：左方向的梯度数值计算包括：在窗口范围内，根据中心点左行的像素点，以及中心点左行像素点上下各延伸一行以上像素点的数据，计算梯度数值，并加重中心点左行像素点计算的参数的权重；右方向的梯度数值计算包括：在窗口范围内，根据中心点右行的像素点，以及中心点右行像素点上下各延伸一行以上像素点的数据，计算梯度数值，并加重中心点右行像素点计算的参数的权重；上方向的梯度数值计算包括：在窗口范围内，根据中心点上列的像素点，以及中心点上列像素点左右各延伸一列以上像素点的数据，计算梯度数值，并加重中心点上列像素点计算的参数的权重；下方向的梯度数值计算包括：在窗口范围内，根据中心点下列的像素点，以及中心点下列像素点左右各延伸一列以上像素点的数据，计算梯度数值，并加重中心点下列像素点计算的参数的权重。
8.作为一种优选方案，计算水平方向和竖直方向的梯度数值的方法，包括：水平方向的梯度数值计算包括：计算左方向和右方向的梯度数值的和值；竖直方向的梯度数值计算包括：计算上方向和下方向的梯度数值的和值。
9.作为一种优选方案，所述根据中心点上、下、左和右方向上的梯度数值计算中心点水平方向的绿色分量插值结果a1和竖直方向的绿色分量插值结果a2的方法，包括：比较左方向和右方向的梯度数值相对大小，若其中一方向的梯度数值超过另一方向的梯度数值的第一预设参数倍，则取比较为小的梯度数值作为水平方向的绿色分量插值结果a，若两个方向的梯度数值相差倍数在第一预设参数倍以内，则采用ha插值算法计算；比较上方向和下方向的梯度数值的相对大小，若其中一方向的梯度数值超过另一方向的梯度数值的第一预设参数倍，则取比较为小梯度数值作为竖直方向的绿色分量插值结果a，若两个方向的梯度数值相差倍数在第一预设参数倍以内，则采用ha插值算法计算。
10.作为一种优选方案，所述根据水平方向和竖直方向的梯度数值，对中心点水平方向的绿色分量插值结果a1和竖直方向的绿色分量插值结果a2加权后得到中心点缺失的绿色分量插值结果b的方法，包括：比较中心点水平方向和竖直方向的梯度数值的相对大小，若其中一个方向的梯度数值大于另一个方向的梯度数值的第二预设参数倍，则取比较为小的方向的绿色分量插值结果作为中心点缺失的绿色分量插值结果b；比较中心点水平方向和竖直方向的梯度数值的相对大小，若其中一个方向的梯度数值大于另一个方向的梯度数值超过第三预设参数倍，取两个方向的绿色分量插值结果
a1、a2加权计算作为中心点缺失的绿色分量插值结果b，加权计算方法包括：降低比较为大的方向的绿色分量插值结果，或加重比较为小的方向的绿色分量插值结果的权重；其中，第二预设参数大于第三预设参数。
11.作为一种优选方案，根据当前像素点的绿色分量插值结果b，以及当前像素点的色差分量，计算红色分量插值结果和蓝色分量插值结果的方法，包括：绿色采样位置的红色分量同行的红色分量插值和蓝分量插值计算：绿色采样位置原始色度减去恢复绿色分量后的所述绿色采样位置的色差分量。
12.作为一种优选方案，根据当前像素点的绿色分量插值结果b，以及当前像素点的色差分量，计算红色分量插值结果和蓝色分量插值结果的方法，包括：红色采样位置的蓝色分量计算：所述红色采样位置的绿色分量插值结果b减去恢复绿色分量后的所述红色采样位置的色差分量；蓝色采样位置的红色分量计算：所述蓝色采样位置的绿色分量插值b结果减去恢复绿色分量后的所述蓝色采样位置的色差分量。
13.作为一种优选方案，马赛克插值方法还包括插值优化方法，先优化绿色分量插值结果，再根据绿色优化后的绿色分量插值结果计算红色分量插值结果和蓝色分量插值结果，优化绿色分量插值结果包括：对原始采样位置的红色采样位置和蓝色采样位置的绿色分量插值进行优化；计算完成插值后的窗口中心点的上、下、左和右四个点的色差值，以及中心点的色差值；根据上、下、左和右四个点的色差值与中心点的色差值，分别计算中心点与上、下、左和右四个点的色差梯度；对四个色差梯度做权重处理，结合权重处理后的色差梯度对上、下、左和右四个点的色差值进行线性组合，叠加原始色度分量，得到优化后的绿色分量插值结果。
14.基于上述方式，提出一种马赛克插值系统，包括以下结构：图像接收模块：用于接收bayer格式图像；窗口模块，用于以n*n窗口遍历bayer格式图像，n为5以上的奇数；梯度计算模块，计算n*n窗口中心点上、下、左和右方向上的梯度数值，并计算水平方向和竖直方向的梯度数值；绿色分量恢复模块一，用于根据中心点上、下、左和右方向上的梯度数值计算中心点水平方向的绿色分量插值结果a1和竖直方向的绿色分量插值结果a2；绿色分量恢复模块二，用于根据水平方向和竖直方向的梯度数值，对中心点水平方向的绿色分量插值结果a1和竖直方向的绿色分量插值结果a2加权后得到中心点缺失的绿色分量插值结果b；红蓝分量恢复模块，根据当前像素点的绿色分量插值结果b，以及当前像素点的色差分量，计算红色分量插值结果和蓝色分量插值结果。
15.作为一种优选方案，还包括以下结构：效果提升模块，对原始采样位置的红色采样位置和蓝色采样位置的绿色分量插值进行优化，其连接在所述红蓝分量恢复模块之后，且输出结果返回给所述红蓝分量恢复模
块；效果提升模块的功能包括：计算中心点的上、下、左和右四个点的色差值，以及中心点的色差值；根据上、下、左和右四个点的色差值与中心点的色差值，分别计算中心点与上、下、左和右四个点的色差梯度；对四个色差梯度做权重处理，结合权重处理后的色差梯度对上、下、左和右四个点的色差值进行线性组合，叠加原始色度分量，得到优化后的绿色分量插值结果。
16.本发明的有益效果：分析经典去马赛克算法的原理可知，合理利用图像中的梯度数值将大幅提升插值后的边缘保留效果，对插值后的图像进行后处理效果提升将减少视觉现象失真。本发明提出了一种基于梯度数值融合的去马赛克算法，通过准确高效的边缘梯度检测过程确定图像中存在的梯度数值，再计算bayer格式图像中缺失的绿色信息，并通过计算绿色信息和色差信息恢复缺失的蓝色分量。
17.本发明中所有计算限制在n*n窗口内，例如5*5窗口，硬件缓存行数少；其次计算过程不涉及除法、开方、倒数等复杂计算，减小了关键路径上的延时；同时该差值方法不需要迭代和先验参数的计算，减小了运算资源消耗。具有较低的计算代价，适合于硬件实现，能够满足现代应用的高图像精度和实时处理要求。
18.删除了其他方向的插值计算，如对角方向的插值，仅对计算中心点水平和竖直方向的插值，方案更加的简单。将左右/上下分开计算，准确检测位于边缘端点的像素。
附图说明
19.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
20.图1是马赛克插值方法的流程图；图2是马赛克插值方法中的窗口示意图；图3是马赛克插值方法中的梯度数值计算的窗口示意图。
具体实施方式
21.下面结合实施例对本发明做进一步的详细说明，以下实施例是对本发明的解释而本发明并不局限于以下实施例。
22.实施例1
23.一种马赛克插值方法，如图1，包括以下步骤：1）接收bayer格式图像；2）以n*n窗口遍历bayer格式图像，n为5以上奇数；3）计算n*n窗口中心点上、下、左和右方向的梯度数值，并计算水平方向和竖直方向的梯度数值；4）根据中心点上、下、左和右方向上的梯度数值计算中心点水平方向的绿色分量
插值结果a1和竖直方向的绿色分量插值结果a2；5）根据水平方向和竖直方向的梯度数值，对中心点水平方向的绿色分量插值结果a1和竖直方向的绿色分量插值结果a2加权后得到中心点缺失的绿色分量插值结果b；6）根据上述2）-5）完成所有中心点绿色分量插值结果b计算之后，根据当前像素点的绿色分量插值结果b，以及当前像素点的色差分量，计算红色分量插值结果和蓝色分量插值结果。作为一种优选的方案，所述计算n*n窗口中心点上、下、左和右方向上的梯度数值的计算方法包括：左方向的梯度数值grad_hl计算包括：在窗口范围内，根据中心点左行的像素点，以及中心点左行像素点上下各延伸一行以上像素点的数据，计算梯度数值，并加重中心点左行像素点计算的参数的权重；右方向的梯度数值grad_hr计算包括：在窗口范围内，根据中心点右行的像素点，以及中心点右行像素点上下各延伸一行以上像素点的数据，计算梯度数值，并加重中心点右行像素点计算的参数的权重；上方向的梯度数值grad_vt计算包括：在窗口范围内，根据中心点上列的像素点，以及中心点上列像素点左右各延伸一列以上像素点的数据，计算梯度数值，并加重中心点上列像素点计算的参数的权重；下方向的梯度数值grad_vd计算包括：在窗口范围内，根据中心点下列的像素点，以及中心点下列像素点左右各延伸一列以上像素点的数据，计算梯度数值，并加重中心点下列像素点计算的参数的权重。
24.本实施例以5*5窗口为例，如图2展示了其中一组窗口像素点数据，以该数据为例，列举计算公式，以便对上文公开方法的理解。
25.步骤1中，以5*5窗口滑动遍历bayer格式图像，计算每个窗口内中心点在各方向上的梯度数据，包括中心点上、下、左、右四个方向的梯度数据。将中心点上、下、左、右四方向的四个方向的梯度数值分别表示为grad_vt、grad_vd、grad_hl、grad_hr，各方向的梯度数据计算过程均基于相邻的同色分量，每个方向的梯度计算过程都是选用的同色像素对，例如r20和r22、g21和g23就是同色像素对，r20和g21就是不同色像素对。
26.详细计算公式如下，式中r、g、b代表bayer格式图像采样位置原始已知的色彩分量，r为红色，g为绿色，b为蓝色，采用的计算区域如图2和图3所示。
27.其中，2为权重系数，以中心点左方向的一行b作为主要计算数据提高权重，并向上下各延伸一行a行和c行，来计算中心点左方向的梯度数值；右方向同理。
[0028][0029]
其中，2为权重系数，以中心点上方向的一行e作为主要计算数据提高权重，并向左右各延伸一行d行和f行，来计算中心点上方向的梯度数值；下方向同理。
[0030][0031]
若只采用中心点所在行列的像素参加计算，则无法检测极端情况下宽度为1的边缘存在，产生错误结果。本方案通过延伸计算，可有效检测出边缘，梯度数值计算方式更为细致准确，检测范围大、权重合理。
[0032]
其中，计算水平方向和竖直方向的梯度数值的方法，包括：水平方向的梯度数值计算包括：计算左方向和右方向的梯度数值的和值；竖直方向的梯度数值计算包括：计算上方向和下方向的梯度数值的和值，水平方向的梯度数值记为grad_h，竖直方向的梯度数值记为grad_v，计算公式如下：
[0033]
作为一种优选的方案，所述根据中心点各个方向上的梯度数值计算中心点的水平方向的绿色分量插值结果a1和竖直方向的绿色分量插值结果a2的方法，包括：比较左方向和右方向的梯度数值相对大小，若其中一方向的梯度数值超过另一方向的梯度数值的第一预设参数倍，则取比较为小的梯度数值作为水平方向的绿色分量插值结果，若两个方向的梯度数值相差倍数在第一预设参数倍以内，则采用ha插值算法计算；比较上方向和下方向的梯度数值的相对大小，若其中一方向的梯度数值超过另一方向的梯度数值的第一预设参数倍，则取比较为小梯度数值作为竖直方向的绿色分量插值结果a，若两个方向的梯度数值相差倍数在第一预设参数倍以内，则采用ha插值算法计算。
[0034]
计算中心点在水平方向的绿色分量插值结果a1和竖直方向的绿色分量插值结果a2，对应记为intp_h和intp_v，在intp_h和intp_v的计算过程中，根据各个方向梯度数据决定计算结果，融合差距较小的梯度方向插值信息，舍弃差距较大梯度方向的插值信息。具体计算公式如下，式中变量p
ij
(其中p可能的取值为r、g、b) 的位置对应见图2，
[0035]
参考上述公式，以水平方向为例，若左方向梯度数据超过右方向梯度数据的3倍，则分析为中心点的左方向为纹理变化剧烈的边缘，因此抛弃其值而只使用右方向的值作为水平插值结果，反之同理；对于中心点左右两边梯度差距不大的情况，采用ha插值算法计算即可（即最后一个else）。
[0036]
作为一种优选的方案，根据水平方向和竖直方向的梯度数值，对中心点水平方向的绿色分量插值结果a1和竖直方向的绿色分量插值结果a2加权后得到中心点缺失的绿色分量插值结果b的方法，包括：比较中心点水平方向和竖直方向的梯度数值的相对大小，若其中一个方向的梯度数值大于另一个方向的梯度数值的第二预设参数倍，则取比较为小的方向的绿色分量插值结果作为中心点缺失的绿色分量插值结果b；比较中心点水平方向和竖直方向的梯度数值的相对大小，若其中一个方向的梯度数值大于另一个方向的梯度数值超过第三预设参数倍，取两个方向的绿色分量插值结果a加权计算作为中心点缺失的绿色分量插值结果b，加权计算方法包括：降低比较为大的方向的绿色分量插值结果a，或加重比较为小的方向的绿色分量插值结果a的权重；其中，第二预设参数大于第三预设参数。
[0037]
上述方法采取水平方向的绿色插值结果a1和竖直方向的绿色插值结果a2相互融合的方式，以图2为参考，图2展示的一组窗口数据的对应计算过程的具体公式如下：其中，g22是r22采样位置的最终计算得到的绿色分量插值结果。
[0038]
可以理解为，最终插值结果为水平方向的绿色分量插值结果a1、竖直方向的绿色分量插值结果a2的组合加权。通过对水平方向和竖直方向的梯度数值的分析，分析出可能为图像边缘的数据，本方案遵循基本逻辑是梯度越大的方向越有可能是图像边缘因此其加权权重越小。其中，系数3、1.5是已验证的最优解，不排除加大数据分析之后还存在其他较优解，加权目的是调整水平方向和竖直方向上，调整梯度差异程度不同时的加权权重。
[0039]
水平方向和竖直方向上的梯度融合，采用了阶梯式的 拟合方式，根据两方向上的梯度差异大小融合最终的插值结果，提升了插值准确性。
[0040]
根据上文完成所有绿色分量插值结果，然后基于绿色分量插值结果，计算bayer格式图像中缺失的红色分量和蓝色分量包括：红色采样位置的蓝色分量计算：所述红色采样位置的绿色分量插值结果b减去所述红色采样位置的色差分量；蓝色采样位置的红色分量计算：所述蓝色采样位置的绿色分量第二插值结果减去所述蓝色采样位置的色差分量。
[0041]
举例说明，以图2中位置(2, 2)为例介绍红色采样位置的蓝色分量计算过程，计算公式如下，
[0042]
上式中，b22和g22分别表示位置(2,2)处的蓝色分量插值结果和绿色分量插值结果，g11、g13、g31和g33代表对应位置的绿色分量插值结果，b11、b13、b31、b33分别代表对应位置的原始蓝色分量。
[0043]
同理蓝色采样位置的红色分量插值结果计算公式如下：
[0044]
上式中，r13和g13分别表示位置(1,3)处的红色分量插值计算结果和绿色分量插值结果，g02、g04、g22和g24代表对应位置的绿色分量插值结果，b02、b04、b22、b24分别代表对应位置的原始蓝色分量。
[0045]
其中，绿色采样位置的红色分量和蓝色分量，分为红色分量同行与蓝色分量同行两种情况。
[0046]
其一，绿色采样位置的红色分量同行的红色分量插值和蓝分量插值计算：绿色采样位置原始色度减去所述绿色采样位置的色差分量，参考图2数据，计算公式如下：
[0047]
公式中，r21表示位置(2,1)处的红色分量插值计算结果，g20、g22代表对应位置的绿色分量插值结果，r20、r22代表对应位置的原始红色分量，b11、b31代表对应位置的原始蓝色分量，g21代表对应位置的原始绿色分量。
[0048]
其二，同理可得绿色采样位置的蓝色色分量同行的红色分量插值和蓝分量插值计算：绿色采样位置原始色度减去所述绿色采样位置的色差分量，参考图2数据，计算公式如下：
[0049]
公式中，r12表示位置(1,2)处的红色分量插值计算结果，g02、g22代表对应位置的绿色分量插值结果，r02、r22代表对应位置的原始红色分量，b11、b13代表对应位置的原始
蓝色分量，g12代表对应位置的原始绿色分量。
[0050]
实施例2：一种马赛克插值方法，基于实施例1完成的所有色度分量插值结果计算完成后，还包括图像恢复效果优化方法，包括以下步骤：优化绿色分量插值结果包括：对原始采样位置的红色采样位置和蓝色采样位置的绿色分量插值进行优化；再根据绿色优化后的绿色分量插值结果计算红色分量插值结果和蓝色分量插值结果。
[0051]
计算根据实施例1完成所有色度的插值结果后的窗口中心点的上、下、左和右四个点的色差值，以及中心点的色差值；根据上、下、左和右四个点的色差值与中心点的色差值，分别计算中心点与上、下、左和右四个点的色差梯度；对四个色差梯度做权重处理，结合权重处理后的色差梯度对上、下、左和右四个点的色差值进行线性组合，叠加原始色度分量，得到优化后的绿色分量插值结果。
[0052]
首先优化插值后的绿色分量，只对原始采样位置非绿色的位置进行优化（即红色采样位置和蓝色采样位置），参考图2公开的窗口数据，计算过程如下，式中cdf
1-4
分别表示中心上、下、左、右四点的色差值计算结果，cdfc为插值后中心点的色差计算结果，diff
1-4
分别表示cdf
1-4
与cdfc的差值绝对值，weight
1-4
分别表示四方向的加权权重大小，g22’为提纯后中心点的绿色插值结果。
[0053][0054]
本实施例方案的基本前提是bayer格式图像已经初步插值完成，每个位置都包含一个原始色度和两个插值完成的色度。首先根据5*5窗口中心点的色度类型，计算中心点上、下、左、右四邻域位置的色差和当前插值中心的色差，然后计算中心点上、下、左、右四方向与插值中心的色差梯度，依据插值过程的同样逻辑对四方向的色差进行线性组合，采取倒数形式是为了减小色差梯度大方向的加权权重，最后将色差与中心点的已知色度进行叠加，得到插值结果。绿色分量的优化原理是插值后色差的倒数值融合思路，能够高效去除插值伪彩并提升图像质量效果。
[0055]
关于n*n窗口，实施采用n=3、5、7为变量计算后，n=5参数得出结果对于边缘识别和恢复效果最佳，不排除存在5以上其他窗口参数在执行上述公开的核心思路下得到的更好的效果，所以，本方案保护n为5以上的奇数值。
[0056]
实施例3：基于上述公开的方法或者方法的任意组合，本实施例公开一种马赛克插值系统，如图1包括以下结构：图像接收模块：用于接收bayer格式图像；窗口模块，用于以n*n窗口遍历bayer格式图像，n为5以上的奇数；梯度计算模块，计算n*n窗口中心点上、下、左和右方向上的梯度数值，并计算水平方向和竖直方向的梯度数值；绿色分量恢复模块一，用于根据中心点上、下、左和右方向上的梯度数值计算中心点水平方向的绿色分量插值结果a1和竖直方向的绿色分量插值结果a2；绿色分量恢复模块二，用于根据水平方向和竖直方向的梯度数值，对中心点水平方向的绿色分量插值结果a1和竖直方向的绿色分量插值结果a2加权后得到中心点缺失的绿色分量插值结果b；红蓝分量恢复模块，根据当前像素点的绿色分量插值结果b，以及当前像素点的色差分量，计算红色分量插值结果和蓝色分量插值结果。
[0057]
基于实施例2中提出的优化方法，系统还包括以下结构：效果提升模块，对原始采样位置的红色采样位置和蓝色采样位置的绿色分量插值进行优化，其连接在所述红蓝分量恢复模块之后，且输出结果返回给所述红蓝分量恢复模块；效果提升模块的功能包括：计算中心点的上、下、左和右四个点的色差值，以及中心点的色差值；根据上、下、左和右四个点的色差值与中心点的色差值，分别计算中心点与上、下、左和右四个点的色差梯度；对四个色差梯度做权重处理，结合权重处理后的色差梯度对上、下、左和右四个点的色差值进行线性组合，叠加原始色度分量，得到优化后的绿色分量插值结果。
[0058]
基于此，存在其他子模块，子模块功能参照实施例1和实施例2公开的内容可以得到，不再赘述。
[0059]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。
[0060]
所述模块可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0061]
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0062]
所述集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0063]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何在本发明揭露的技术范围内的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种马赛克插值方法，其特征在于，包括以下步骤：接收bayer格式图像；以n*n窗口遍历bayer格式图像，n为5以上奇数；计算n*n窗口中心点上、下、左和右方向的梯度数值，并计算水平方向和竖直方向的梯度数值；根据中心点上、下、左和右方向上的梯度数值计算中心点水平方向的绿色分量插值结果a1和竖直方向的绿色分量插值结果a2；根据水平方向和竖直方向的梯度数值，对中心点水平方向的绿色分量插值结果a1和竖直方向的绿色分量插值结果a2加权后得到中心点缺失的绿色分量插值结果b；根据上述步骤完成所有中心点绿色分量插值结果b计算之后，根据当前像素点的绿色分量插值结果b，以及当前像素点的色差分量，计算红色分量插值结果和蓝色分量插值结果。2.根据权利要求1所述的一种马赛克插值方法，其特征在于，所述计算n*n窗口中心点上、下、左和右方向上的梯度数值的计算方法包括：左方向的梯度数值计算包括：在窗口范围内，根据中心点左行的像素点，以及中心点左行像素点上下各延伸一行以上像素点的数据，计算梯度数值，并加重中心点左行像素点计算的参数的权重；右方向的梯度数值计算包括：在窗口范围内，根据中心点右行的像素点，以及中心点右行像素点上下各延伸一行以上像素点的数据，计算梯度数值，并加重中心点右行像素点计算的参数的权重；上方向的梯度数值计算包括：在窗口范围内，根据中心点上列的像素点，以及中心点上列像素点左右各延伸一列以上像素点的数据，计算梯度数值，并加重中心点上列像素点计算的参数的权重；下方向的梯度数值计算包括：在窗口范围内，根据中心点下列的像素点，以及中心点下列像素点左右各延伸一列以上像素点的数据，计算梯度数值，并加重中心点下列像素点计算的参数的权重。3.根据权利要求1或2所述的一种马赛克插值方法，其特征在于，所述计算水平方向和竖直方向的梯度数值的方法，包括：水平方向的梯度数值计算包括：计算左方向和右方向的梯度数值的和值；竖直方向的梯度数值计算包括：计算上方向和下方向的梯度数值的和值。4.根据权利要求1或2所述的一种马赛克插值方法，其特征在于，所述根据中心点上、下、左和右方向上的梯度数值计算中心点水平方向的绿色分量插值结果a1和竖直方向的绿色分量插值结果a2的方法，包括：比较左方向和右方向的梯度数值相对大小，若其中一方向的梯度数值超过另一方向的梯度数值的第一预设参数倍，则取比较为小的梯度数值作为水平方向的绿色分量插值结果a1，若两个方向的梯度数值相差倍数在第一预设参数倍以内，则采用ha插值算法计算；比较上方向和下方向的梯度数值的相对大小，若其中一方向的梯度数值超过另一方向的梯度数值的第一预设参数倍，则取比较为小梯度数值作为竖直方向的绿色分量插值结果a2，若两个方向的梯度数值相差倍数在第一预设参数倍以内，则采用ha插值算法计算。5.根据权利要求4所述的一种马赛克插值方法，其特征在于，所述根据水平方向和竖直
方向的梯度数值，对中心点水平方向的绿色分量插值结果a1和竖直方向的绿色分量插值结果a2加权后得到中心点缺失的绿色分量插值结果b的方法，包括：比较中心点水平方向和竖直方向的梯度数值的相对大小，若其中一个方向的梯度数值大于另一个方向的梯度数值的第二预设参数倍，则取比较为小的方向的绿色分量插值结果作为中心点缺失的绿色分量插值结果b；比较中心点水平方向和竖直方向的梯度数值的相对大小，若其中一个方向的梯度数值大于另一个方向的梯度数值超过第三预设参数倍，取两个方向的绿色分量插值结果a1、a2加权计算作为中心点缺失的绿色分量插值结果b，加权计算方法包括：降低比较为大的方向的绿色分量插值结果，或加重比较为小的方向的绿色分量插值结果的权重；其中，第二预设参数大于第三预设参数。6.根据权利要求1所述的一种马赛克插值方法，其特征在于，根据当前像素点的绿色分量插值结果b，以及当前像素点的色差分量，计算红色分量插值结果和蓝色分量插值结果的方法，包括：绿色采样位置的红色分量同行的红色分量插值和蓝分量插值计算：绿色采样位置原始色度减去恢复绿色分量后的所述绿色采样位置的色差分量。7.根据权利要求1或6所述的一种马赛克插值方法，其特征在于，根据当前像素点的绿色分量插值结果b，以及当前像素点的色差分量，计算红色分量插值结果和蓝色分量插值结果的方法，包括：红色采样位置的蓝色分量计算：所述红色采样位置的绿色分量插值结果b减去恢复绿色分量后的所述红色采样位置的色差分量；蓝色采样位置的红色分量计算：所述蓝色采样位置的绿色分量插值结果b减去恢复绿色分量后的所述蓝色采样位置的色差分量。8.根据权利要求1所述的一种马赛克插值方法，其特征在于，马赛克插值方法还包括插值优化方法，先优化绿色分量插值结果，再根据绿色优化后的绿色分量插值结果计算红色分量插值结果和蓝色分量插值结果，优化绿色分量插值结果包括：对原始采样位置的红色采样位置和蓝色采样位置的绿色分量插值进行优化；计算完成插值后的窗口中心点的上、下、左和右四个点的色差值，以及中心点的色差值；根据上、下、左和右四个点的色差值与中心点的色差值，分别计算中心点与上、下、左和右四个点的色差梯度；对四个色差梯度做权重处理，结合权重处理后的色差梯度对上、下、左和右四个点的色差值进行线性组合，叠加原始色度分量，得到优化后的绿色分量插值结果。9.一种马赛克插值系统，其特征在于，包括以下结构：图像接收模块：用于接收bayer格式图像；窗口模块，用于以n*n窗口遍历bayer格式图像，n为5以上的奇数；梯度计算模块，计算n*n窗口中心点上、下、左和右方向上的梯度数值，并计算水平方向和竖直方向的梯度数值；绿色分量恢复模块一，用于根据中心点上、下、左和右方向上的梯度数值计算中心点水
平方向的绿色分量插值结果a1和竖直方向的绿色分量插值结果a2；绿色分量恢复模块二，用于根据水平方向和竖直方向的梯度数值，对中心点水平方向的绿色分量插值结果a1和竖直方向的绿色分量插值结果a2加权后得到中心点缺失的绿色分量插值结果b；红蓝分量恢复模块，根据当前像素点的绿色分量插值结果b，以及当前像素点的色差分量，计算红色分量插值结果和蓝色分量插值结果。10.根据权利要求9所述的马赛克插值系统，其特征在于，还包括以下结构：效果提升模块，对原始采样位置的红色采样位置和蓝色采样位置的绿色分量插值进行优化，其连接在所述红蓝分量恢复模块之后，且输出结果返回给所述红蓝分量恢复模块；效果提升模块的功能包括：计算中心点的上、下、左和右四个点的色差值，以及中心点的色差值；根据上、下、左和右四个点的色差值与中心点的色差值，分别计算中心点与上、下、左和右四个点的色差梯度；对四个色差梯度做权重处理，结合权重处理后的色差梯度对上、下、左和右四个点的色差值进行线性组合，叠加原始色度分量，得到优化后的绿色分量插值结果。

技术总结
本发明公开一种马赛克插值方法和系统，涉及图像数据处理技术，方法包括：以n*n窗口遍历Bayer格式图像，计算n*n窗口中心点上、下、左和右方向上的梯度数值，并计算水平方向和竖直方向的梯度数值；根据中心点上、下、左和右方向上的梯度数值计算中心点水平方向和竖直方向的绿色分量插值结果A1、A2；根据水平方向和竖直方向的梯度数值，对中心点水平方向和竖直方向的绿色分量插值结果A1、A2加权后得到中心点缺失的绿色分量插值结果B；根据当前像素点的绿色分量插值结果B，以及当前像素点色差分量，计算红色分量插值结果和蓝色分量插值结果。本发明提出了一种基于梯度数值融合的去马赛克算法，通过准确高效的梯度检测过程确定图像中存在的梯度数值。在的梯度数值。在的梯度数值。


技术研发人员：王军 张智涵 范益波 殷海兵 朱旭东
受保护的技术使用者：杭州雄迈集成电路技术股份有限公司
技术研发日：2023.06.27
技术公布日：2023/8/1