一种基于局部双像素先验的图像盲去模糊方法

1.本发明涉及数字图像处理技术领域，具体为一种基于局部双像素先验的图像盲去模糊方法。


背景技术：

2.在真实场景拍摄中，由于相机抖动、大气湍流、散焦等因素的影响，都可能造成光学系统的成像质量显著下降。常见的图像模糊包括运动模糊、湍流模糊、散焦模糊这三类。模糊的图像往往会影响后续计算机视觉任务的性能，例如目标识别和目标检测等。
3.传统的数字图像处理方法，主要包含基于滤波的非盲复原、盲目迭代以及退化模型参数辨识等几类方法。经典方法的局限性非常明显，盲目迭代方法对初始化值非常敏感，收敛性和可靠性较差；基于滤波的方法以及基于退化模型的方法，其效果主要取决于退化模型准确性，然而实际的退化模型是复杂多变的，并且难以准确获得，因此这类方法在实际应用中的效果往往非常不理想。
4.近几年，基于最大后验概率框架的图像盲去模糊算法受到广泛关注。只有模糊图像是已知的，而退化模型是未知的，因此图像盲去模糊实质上是一种高度不适定的问题，不适定问题的解往往不是唯一的，需要添加正则化约束来缩小解空间。基于最大后验概率框架的图像盲去模糊算法，将图像特性先验和模糊核特性先验加入算法框架中，来求解不适定问题的最优解。在图像恢复过程中，这些先验往往倾向于清晰图像的特性分布而不是模糊图像的，据此可以得到估计的模糊核和中间图像。
5.当前存在的主要问题有：一方面是选取的先验的有效性难以保障，不同的特性先验效果不同，有效性差的先验可能会在图像去模糊过程中造成振铃伪影现象。因此，从图像中提取更准确有效的特性先验，可以使得中间图像的复原效果更好，估计的模糊核也会更加准确，算法的鲁棒性会更强。然而更有效的先验往往比较复杂，数学分析困难，这也是一个难点。另一方面是复杂的先验往往更多为非线性项，非线性项在优化计算中比较困难。


技术实现要素：

6.(一)解决的技术问题
7.针对现有技术的不足，本发明提供了一种基于局部双像素先验的图像盲去模糊方法，解决了选取的先验的有效性难以保障，复杂的先验往往更多为非线性项，非线性项在优化计算中比较困难的问题。
8.(二)技术方案
9.为实现以上目的，本发明通过以下技术方案予以实现：一种基于局部双像素先验的图像盲去模糊方法，具体包括以下步骤：
10.s1.灰度转换
11.输入模糊图像b，将模糊图像b转为灰度图像；
12.s2.构件模型
13.构建金字塔优化模型，在金字塔第一层初始化模糊核k0，对图像b下采样得到b1；
14.s3.构建双像素
15.构建局部双像素先验，局部双像素先验描述图像局部区域内最大最小像素差值的变化特性；
16.s4.构建函数
17.将局部双像素正则化约束与图像梯度域的正则化约束和模糊核的正则化约束引入基于最大后验概率的去模糊框架，构建目标函数；
18.s5.更新图像
19.更新中间图像i，通过优化更新中间图像i，通过优化进行求解，其中，k
i-1
表示上一层估计得到的模糊核进行上采样后的结果；
20.s6.更新模糊核
21.更新模糊核k，通过优化进行求解；
22.s7.判断迭代
23.判断金字塔优化模型是否迭代完成，若迭代层数达到s则此时的k即为最终估计的模糊核，若未达到迭代层数s，则往下继续执行；
24.s8.图像调整采样
25.将图像和模糊核的大小调整到下一层金字塔的采样尺寸，对图像b进行下采样，对模糊核ki进行上采样到第i+1层的尺寸，然后返回步骤s4，继续执行；
26.s9.最终成像
27.基于估计的模糊核k，选择非盲去模糊方法，得到最终的去模糊图像。
28.优选的，所述步骤s2中的模糊核初始化方法为：将整个模糊核的元素置0，然后将数值仅赋给中间位置，进行归一化后得到初始化的模糊核，或者对整个模糊核的元素置1，再进行归一化后得到初始的模糊核。
29.优选的，所述步骤s2中的下采样可以采用设置行列间隔直接下采样方法或双线性下采样方法类插值方法。
30.优选的，所述步骤s3中的dpp先验的形式包括局部最大值与局部最小值的减法和除法。
31.优选的，所述步骤s5中对方程中非线性的局部双像素正则项进行计算的方法为，将非线性的局部双像素先验转化为线性映射算子与图像向量相乘的线性计算。
32.优选的，所述步骤s9中的非盲复原算法可以为维纳滤波方法或r-l方法或基于超拉普拉斯类图像特性先验的优化算法或深度学习方法。
33.(三)有益效果
34.本发明提供了一种基于局部双像素先验的图像盲去模糊方法。具备以下有益效果：
35.本发明提供了一种基于局部双像素先验的图像盲去模糊方法，本发明用于计算图像中非重叠分片区域内最大像素强度差值，该先验稀疏性强，计算效率高，对局部双像素先验进行正则化约束，并同时引入图像梯度域的正则化约束及模糊核的正则化约束，算法的
有效性和鲁棒性强，并且提出的新线性映射算子，能够解决非线性的局部双像素先验约束项的计算求解问题，制定了有效的优化策略。
附图说明
36.图1为本发明算法流程图；
37.图2为本发明局部双像素先验项的分布图；
38.图3为本发明模糊图复原前后示意图。
具体实施方式
39.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
40.实施例：
41.如图1-3所示，本发明实施例提供一种基于局部双像素先验的图像盲去模糊方法，具体包括以下步骤：
42.s1.灰度转换
43.输入模糊图像b，将模糊图像b转为灰度图像；在本实验中，以levin数据集中的im02_ker06图像为例进行处理；
44.s2.构件模型
45.构建金字塔优化模型，然后在金字塔第一层初始化模糊核k0，对图像b下采样得到b1；
46.s3.构建双像素
47.构建局部双像素先验；局部双像素先验描述了图像局部区域内最大最小像素差值的变化特性，在本实验中，该先验的定义如下：
[0048][0049]
其中，m
×
n大小的图像i被划分为n块p
×
p大小的不重叠区域，n＝[(m/p)
·
(n/p)]，ωi代表第i块图像区域内的像素，i＝1,2,
…
,n，x代表区域内的像素，ic代表图像的第c个色彩通道，当图像为灰度图时，
[0050]
图2所示为||1-dpp||项的分布图，其中，图像像素值被归一化到0-1范围内再求其分布。由图可以看出，相比于模糊图像，清晰图像的||1-dpp||先验项在零值处的分布更多，因此在本实验中，使用l0范数对该先验项进行正则化，以此在优化过程中准确地估计中间图像和模糊核。
[0051]
s4.构建函数
[0052]
将局部双像素正则化约束与图像梯度域的l0正则化约束和模糊核的l2正则化约束引入基于最大后验概率的去模糊框架，构建目标函数；
[0053]
目标函数为：其中α，β，γ是正则化参数；在本实验中，取α＝2，β＝4e-3
，γ＝5e-3
；
[0054]
s5.更新图像
[0055]
更新中间图像i，通过优化更新中间图像i，通过优化进行求解，其中，k
i-1
表示上一层估计得到的模糊核进行上采样后的结果；
[0056]
s6.更新模糊核
[0057]
更新模糊核k，通过优化进行求解；
[0058]
s7.判断迭代
[0059]
判断金字塔优化模型是否迭代完成，若迭代层数达到s则此时的k即为最终估计的模糊核；若未达到迭代层数s，则往下继续执行；
[0060]
s8.图像调整采样
[0061]
将图像和模糊核的大小调整到下一层金字塔的采样尺寸，对图像b进行下采样，对模糊核ki进行上采样到第i+1层的尺寸，然后返回s4，继续执行；
[0062]
s9.最终成像
[0063]
基于估计的模糊核k，选择非盲去模糊方法，得到最终的去模糊图像。在本实验中，采用去振铃非盲反卷积算法。
[0064]
上述技术方案中，s2中构建金字塔优化模型，其迭代层次计算公式为上述技术方案中，s2中构建金字塔优化模型，其迭代层次计算公式为其中，floor为向下取整操作，k_size为模糊核的尺寸，在本实验中设置为25
×
25，则金字塔层数s＝5；模糊核初始化方法为：初始层模糊核尺寸为7
×
7，将整个模糊核的元素置0，然后将数值赋给最中间位置，进行归一化后得到初始化的模糊核；图像下采样因子为
[0065]
上述技术方案中，s5中的优化求解方法为：
[0066]
1)首先对方程中非线性的局部双像素正则项进行计算，非线性的局部双像素先验可以转化为线性映射算子与图像向量相乘的线性计算。
[0067]
计算局部最大值的线性映射算子为：
[0068][0069]
其中，i是图像i的向量形式，i∈rz，z＝m
×
n，x表示第i块图像区域内最大值的像素位置，m
ax
∈rz×z是只有z个非0值的稀疏矩阵；
[0070]
类似的，计算局部最小值的映射算子为：
[0071]
[0072]
因此，局部双像素先验可以转化为：
[0073]
dpp(i)＝(m
ax-m
in
)
·
i＝di
[0074]
2)其次，引入辅助变量w和u，则方程转化为：
[0075][0076]
其中，i,b,w,u分别是i,b,w,u的向量形式；k和是托普利兹矩阵形式；λ和σ为正的权重参数，分别初始化为一个极小的正值；
[0077]
则原方程可以分成以下三个方程：
[0078][0079][0080][0081]
再次引入辅助变量，以避免大型矩阵d的复杂共轭计算，方程转化为：
[0082][0083]
其中，ρ为正权重参数，初始化为一个极小的正值
[0084]
则原方程可以分成以下两个方程：
[0085][0086][0087]
因此，中间图像i可以通过交替优化四个分方程进行求解：
[0088]
(1)方程可以通过硬阈值进行计算：
[0089][0090]
直到σ≥σ
max
，停止迭代；在本实验中，σ的初始值通过方差计算，每次迭代后取σ＝4σ；为了节省计算成本，在本实验中迭代次数直接设置为4次。
[0091]
(2)方程可以通过fft进行计算，可以得到：
[0092][0093]
直到ρ≥ρ
max
，停止迭代；在本实验中，ρ的初始值为2σ，每次迭代后取ρ＝4ρ；为了节省计算成本，在本实验中迭代次数直接设置为4次。
[0094]
(3)方程可以通过硬阈值进行计算：
[0095][0096]
(4)方程可以通过fft计算，可得到：
[0097][0098]
直到λ≥λ
max
，停止迭代；在本实验中，λ的初始值为2β，每次迭代后取λ＝2λ,λ
max
＝1e-5
；
[0099]
一旦满足所有迭代停止条件，即可得到该金字塔层的中间图像i。
[0100]
上述技术方案中，s6中可以采用最小二乘方法进行优化计算。
[0101]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种基于局部双像素先验的图像盲去模糊方法，其特征在于，具体包括以下步骤：s1.灰度转换输入模糊图像b，将模糊图像b转为灰度图像；s2.构件模型构建金字塔优化模型，在金字塔第一层初始化模糊核k0，对图像b下采样得到b1；s3.构建双像素构建局部双像素先验，局部双像素先验描述图像局部区域内最大最小像素差值的变化特性；s4.构建函数将局部双像素正则化约束与图像梯度域的正则化约束和模糊核的正则化约束引入基于最大后验概率的去模糊框架，构建目标函数；s5.更新图像更新中间图像i，通过优化更新中间图像i，通过优化进行求解，其中，k
i-1
表示上一层估计得到的模糊核进行上采样后的结果；s6.更新模糊核更新模糊核k，通过优化进行求解；s7.判断迭代判断金字塔优化模型是否迭代完成，若迭代层数达到s则此时的k即为最终估计的模糊核，若未达到迭代层数s，则往下继续执行；s8.图像调整采样将图像和模糊核的大小调整到下一层金字塔的采样尺寸，对图像b进行下采样，对模糊核ki进行上采样到第i+1层的尺寸，然后返回步骤s4，继续执行；s9.最终成像基于估计的模糊核k，选择非盲去模糊方法，得到最终的去模糊图像。2.根据权利要求1所述的一种基于局部双像素先验的图像盲去模糊方法，其特征在于：所述步骤s2中的模糊核初始化方法为：将整个模糊核的元素置0，然后将数值仅赋给中间位置，进行归一化后得到初始化的模糊核，或者对整个模糊核的元素置1，再进行归一化后得到初始的模糊核。3.根据权利要求1所述的一种基于局部双像素先验的图像盲去模糊方法，其特征在于：所述步骤s2中的下采样可以采用设置行列间隔直接下采样方法或双线性下采样方法类插值方法。4.根据权利要求1所述的一种基于局部双像素先验的图像盲去模糊方法，其特征在于：所述步骤s3中的dpp先验的形式包括局部最大值与局部最小值的减法和除法。5.根据权利要求1所述的一种基于局部双像素先验的图像盲去模糊方法，其特征在于：所述步骤s5中对方程中非线性的局部双像素正则项进行计算的方法为，将非线性的局部双像素先验转化为线性映射算子与图像向量相乘的线性计算。6.根据权利要求1所述的一种基于局部双像素先验的图像盲去模糊方法，其特征在于：
所述步骤s9中的非盲复原算法可以为维纳滤波方法或r-l方法或基于超拉普拉斯类图像特性先验的优化算法或深度学习方法。

技术总结
本发明提供一种基于局部双像素先验的图像盲去模糊方法，涉及数字图像处理技术领域。该基于局部双像素先验的图像盲去模糊方法，具体包括以下步骤：S1.灰度转换；S2.构建模型；S3.构建双像素；S4.构建函数；S5.更新图像；S6.更新模糊核；S7.判断迭代；S8.图像调整采样；S9.最终成像。本发明针对以上问题和难点，提出了基于局部区域最大最小像素强度差值的统计先验，先验的鲁棒性强；并提出了新的优化计算方法，设计线性映射算子来解决非线性先验的求解问题；最终提出一种基于局部双像素先验的图像盲去模糊方法，提升了去模糊的效果和鲁棒性，可以适用于不同退化类型和强度下的去模糊任务。任务。任务。


技术研发人员：饶鹏 张淑媛 陈忻
受保护的技术使用者：中国科学院上海技术物理研究所
技术研发日：2023.03.23
技术公布日：2023/8/9