一种简单透镜点扩散函数估计方法

1.本发明涉及数字图像处理领域，具体指一种应用于简单透镜成像的点扩散函数(point spread function，psf)估计方法。


背景技术：

2.近年来，随着计算摄影技术和光学设计的不断发展，简单透镜计算成像技术逐渐成为一个新的研究方向。简单透镜成像是指光通过单一镜片在焦平面成实像的现象。相比于传统的复杂镜头成像，简单透镜成像可以显著降低成像系统的经济成本，但成像效果受到简单镜头光路无法在焦平面汇聚为一点的影响，会呈现出模糊的现象。点扩散函数是点光源发射的光通过透镜或镜头在焦平面上成像的函数表示。根据场景通过透镜所得的模糊图像估计简单透镜在不同成像分块位置的点扩散函数，是对所成模糊图像进行图像复原的前序步骤之一。
3.关于单透镜计算成像，现在提出了不同的方法估计单透镜光学成像系统的psf。专利zl.201410064041.7提出了一种单透镜成像的psf快速标定方法，该方法对n个psf值求取平均值，作为某类单透镜的psf模板，并以该psf模板作为psf校正过程的迭代初始值，以快速估计得到单透镜的psf。专利zl.201510222290.9提出一种基于对称性的单透镜计算成像psf快速标定方法，该方法利用单透镜psf的空间对称性特点，将已估计出的图像块psf作为其对称的图像块psf估计的初始值，以此减少估计psf所需的迭代过程，减少psf估计时间。专利zl.201510379305.2提出一种基于稀疏表示的单透镜计算成像psf估算方法，该方法将目标函数中的清晰图像表示为过完备字典和稀疏系数的乘积，并对稀疏系数进行约束，然后通过迭代优化算法依次交替估计出模糊核、过完备字典和稀疏系数，从而估算出单透镜的psf。
4.随着单透镜计算成像技术研究的不断发展和对图像质量要求的提高，现有方法虽然可以估计单透镜的psf，但是所估计出的psf精度已无法满足单透镜计算成像的实际需求。简单透镜成像总体上呈现像的中心区域畸变小、周边区域畸变大的特点。因此，不能使用单一点扩散函数对整个简单透镜成像建模，而要根据成像区域到像中心的距离，将像划分成为分块逐个建模。


技术实现要素：

5.本发明为克服现有技术中的问题，旨在提供一种简单透镜点扩散函数估计方法，以解决现有psf估计方法不够精确的问题。
6.本发明的目的是通过如下技术方案实现的，基于直觉模糊的复杂网络博弈攻击方策略优化方法，所述方法包括：
7.一种简单透镜点扩散函数估计方法，包括以下步骤：
8.步骤1，根据单透镜特点生成的点扩散函数作用于清晰图像，得到模拟的单透镜模糊图像；
9.步骤2，所述的单透镜模糊图像经过傅里叶变换到频域，作为端到端神经网络的输入，生成估计的点扩散函数；
10.步骤3，所述的估计的点扩散函数与所述的生成的点扩散函数计算损失函数，并推动端到端神经网络参数随训练迭代而更新；
11.步骤4，获得最终估计的点扩散函数。
12.具体地，步骤1中所述的点扩散函数的生成过程包括如下步骤：
13.对单透镜点扩散函数做参数化建模与生成；
14.设生成星形多边形的角个数为n，外径为do∈rn，内径为di∈rn，偏离角为ar∈rn，记外径、内径的第k个维度分别为和，用均匀分布随机初始化外径：内径初始化计算公式为：其中，r～u(0.1,0.3)随机生成，表示外径的第l-1个维度，偏离角采用均匀分布初始化；
15.根据参数计算星形多边形顶点坐标{pk＝(xk,yk)|k＝1,
…
,2n}，xk表示第k个顶点的横坐标，yk表示第k个顶点的纵坐标，记星形多边形顶点的极坐标角度a0∈r
2n+1
，且，且表示第0个顶点的极坐标角度暨初始极坐标角度，记生成的星形多边形顶点的极坐标角度a∈r
2n+1
，且，且ak表示极坐标角度a的第k个维度，表示极坐标角度a的第k个维度与初始极坐标角度的差值，并通过随机生成获取，当k为偶数时，生成的星形多边形顶点坐标计算公式如下：
[0016][0017]
当k为奇数时计算公式如下：
[0018][0019]
筛选出在星形多边形s
p
内部的点集合g＝{(i,j)|(i,j)∈s
p
}，i表示星形多边形内部点的横坐标，j表示星形多边形内部的的纵坐标；
[0020]
对点位能量进行建模：e(i,j)＝αexp(-β‖i2+j2‖)，其中，α,β为待定常数，‖
·
‖表示计算绝对值，点位能量应满足能量总和为1的约束，即∏
(i,j)∈g
e(i,j)＝1；
[0021]
由此可得：α＝1/(∏
(i,j)∈g
exp(-β‖i2+j2‖))，待定常数β表征点扩散函数能量的分散程度；
[0022]
待定常数确定后，计算出星形多边形内的点扩散函数能量分布，获得生成的点扩散函数{e(i,j)|i,j＝1,
…
,m}，其中m∈n
+
为点扩散函数的尺寸。
[0023]
优选地，所述的生成的点扩散函数为点扩散函数能量分布与平滑卷积核κ的卷积：psf＝e*κ。
[0024]
优选地，平滑卷积核
[0025]
待定系数β～u(0.004,0.008)。
[0026]
具体地，根据单透镜特点生成的点扩散函数作用于清晰图像的过程中，清晰图像分块y与生成的点扩散函数psf做卷积，得到模拟的单透镜模糊图像分块x，即：x＝y*psf；单透镜模糊图像经过傅里叶变换到频域的过程中，将模糊图像分块x先通过二维离散傅里叶变换转换为频域图像，并将零频点移动到频谱中央：x＝fftshift(fft2(x))，fft2(
·
)表示二维离散傅里叶变换，fftshift(
·
)表示将零频点移动到频谱中央，再计算功率谱密度：其中函数real(
·
)和imag(
·
)分别表示提取频域图像的实部和虚部。
[0027]
具体地，所述的端到端神经网络的输入为某一分块频域模糊图像的功率谱密度，输出为单透镜某一分块估计的点扩散函数；
[0028]
所述的端到端神经网络采用生成对抗的形式训练，其中，生成器采用u-net结构，记为g
θ
(
·
)，其中θ为模型参数集合，生成器训练的损失函数为：
[0029]
lg＝λ‖g
θ
(s)-psf‖1+psf
·
(g
θ
(s)-psf)2+‖d
φ
(g
θ
(s))-1‖2[0030]
其中，第一分项为保真项，λ为系数，g
θ
(s)表示参数集为θ的u-net，‖
·
‖1表示计算1-范数；第二分项为形状先验，突出真值psf对模型输出的影响，psf表示生成的点扩散函数；第三分项为真实性项，通过判别器d
φ
(
·
)判别结果与1的差的平方度量生成器所生成结果与真值psf真实性的差异，‖
·
‖2表示计算2-范数；其中φ为判别器的模型参数集合；
[0031]
判别器d
φ
(
·
)采用残差分类网络resnet-34，训练损失函数为：
[0032]
ld＝‖d
φ
(psf)-1‖2+‖d
φ
(g
θ
(s))-0‖2[0033]
第一分项使得判别器趋向识别真实psf为真，第二分项使得判别器趋向识别生成器g
θ
(
·
)生成的psf为假。
[0034]
优选地，λ＝100。
[0035]
具体地，所述的端到端神经网络的模型训练采用随机梯度下降法，批大小为8，优化算子采用adam算子，初始学习率为1e-4
，每间隔2万次迭代学习率减小为当前的1/10，直到学习率减小到1e-7
；总训练迭代次数为20万次；每一次迭代优化时，先计算生成器损失函数，通过优化算子计算梯度更新生成器参数θ；再计算判别器损失函数，通过优化算子计算梯度更新生成器参数φ。
[0036]
更进一步地，将分块后的单透镜成像图转为灰度图，再将灰度图的功率谱密度输入训练后的生成器g
θ
(
·
)，输出即为估计的单透镜成像图各个子块的点扩散函数。
附图说明
[0037]
图1示出了本发明实施例的流程示意图；
[0038]
图2示出了本发明实施例的单透镜结构图；
[0039]
图3示出了本发明实施例的单透镜成像分块划分图；
[0040]
图4示出了本发明实施例中点扩散函数的估计流程示意图。
具体实施方式
[0041]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施
例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0042]
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0043]
如图1所示，一种简单透镜点扩散函数估计方法，包括以下步骤：
[0044]
步骤1，根据单透镜特点生成的点扩散函数作用于清晰图像，得到模拟的单透镜模糊图像；
[0045]
步骤2，所述的单透镜模糊图像经过傅里叶变换到频域，作为端到端神经网络的输入，生成估计的点扩散函数；
[0046]
步骤3，所述的估计的点扩散函数与所述的生成的点扩散函数计算损失函数，并推动端到端神经网络参数随训练迭代而更新；
[0047]
步骤4，获得最终估计的点扩散函数。
[0048]
如图2所示，简单透镜成像可以显著降低成像系统的经济成本，但成像效果受到简单镜头光路无法在焦平面汇聚为一点的影响，会呈现出模糊的现象。根据场景通过透镜所得的模糊图像估计简单透镜在不同成像分块位置的点扩散函数，是对所成模糊图像进行图像复原的前序步骤之一。
[0049]
本实施例的图像划分方法如图3所示。先将4:3比例的单透镜成像划分为12
×
9个方块，再逐块进行模糊核估计。
[0050]
本实施例提出的单透镜点扩散函数估计流程如图4所示。根据单透镜特点生成的点扩散函数作用于清晰图像，得到模拟的单透镜模糊图像。该图像经过傅里叶变换到频域并提取实部，作为端到端神经网络的输入，生成估计的点扩散函数。估计的点扩散函数与生成的点扩散函数计算损失函数，并推动神经网络参数随训练迭代而更新。
[0051]
点扩散函数(psf)生成。由于加工精度问题，简单透镜的分块点扩散函数的实际测量结果呈现不规则“四角星”形状。为此需要对单透镜点扩散函数做参数化建模与生成。设生成星形多边形的角个数为n，外径为do∈rn，内径为di∈rn，偏离角为ar∈rn。记外径、内径的第k个维度分别为和。用均匀分布随机初始化外径
[0052][0053]
内径初始化计算如公式(2)
[0054][0055]
其中r～u(0.1,0.3)随机生成。偏离角ai同外径一样，采用公式(1)的均匀分布初始化。
[0056]
根据参数计算星形多边形顶点坐标{pk＝(xk,yk)|k＝1,
…
,2n.}。记星形多边形顶点的极坐标角度a0∈r
2n+1
，且
[0057][0058]
记生成的星形多边形顶点的极坐标角度a∈r
2n+1
且
[0059][0060]
则生成的星形多边形顶点坐标记当k为偶数时采用公式(5)计算
[0061][0062]
当k为奇数时采用公式(6)计算
[0063][0064]
根据星形多边形顶点坐标生成点扩散函数{e(i,j)|i,j＝1,
…
,m.}，其中m∈n
+
为点扩散函数的尺寸。首先筛选出在星形多边形s
p
内部的点集合g＝{(i,j)|(i,j)∈s
p
}；其次，对点位能量进行建模：
[0065]
e(i,j)＝αexp(-β‖i2+j2‖).
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0066]
其中α,β为待定常数。点位能量应满足能量总和为1的约束，即
[0067]
∏
(i,j)∈g
e(i,j)＝1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0068]
将公式(7)带入(8)可得
[0069]
α＝1/(∏
(i,j)∈g
exp(-β‖i2+j2‖))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0070]
待定常数β表征点扩散函数能量的分散程度，通常取β～u(0.004,0.008)。当常数β确定，可根据公式(8)推算出常数α，再根据公式(7)计算出星形多边形内的点扩散函数能量分布。
[0071]
利用卷积平滑点扩散函数。以上步骤生成的点扩散函数可能存在边缘不连续的问题，为此构造平滑卷积核κ，最终点扩散函数psf为能量分布e与平滑卷积核κ的卷积
[0072]
psf＝e*κ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0073]
其中卷积核取
[0074][0075]
神经网络模型的输入数据处理。首先，将清晰图像分块y与s3步骤生成的点扩散函数psf做卷积，得到仿真单透镜成像的模糊图像分块x，即
[0076]
x＝y*psf
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0077]
其次，单透镜所成的模糊图像在频域的功率谱密度与单透镜点扩散函数形态存在相关性。因此，将模糊图像分块x先通过二维离散傅里叶变换(fft2)转换为频域图像并将零频点移动到频谱中央(fftshift)
[0078]
x＝fftshift(fft2(x))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
[0079]
再计算其功率谱密度
[0080][0081]
其中函数real(
·
)和imag(
·
)分别表示提取频域图像的实部和虚部。
[0082]
s5.神经网络模型的结构与训练方法。神经网络模型输入为某一分块频域模糊图像的功率谱密度s；输出为估计的单透镜某一分块点扩散函数。模型采用生成对抗的形式训练，生成神经网络模型结构采用u-net结构，记为g
θ
(
·
)，其中θ为模型参数集合。生成器u-net模型训练的损失函数为
[0083]
lg＝λ‖g
θ
(s)-psf‖1+psf
·
(g
θ
(s)-psf)2+‖d
φ
(g
θ
(s))-1‖
2 (15)
[0084]
其中第一项为保真项，系数λ＝100；第二项为形状先验，突出真值psf对模型输出的影响；第三项为真实性项，通过判别器d
φ
(
·
)判别结果与1的差的平方度量生成网络所生成结果与真值psf真实性的差异；其中φ为判别器的模型参数集合。判别器d
φ
(
·
)采用残差分类网络resnet-34实现，其训练损失函数为
[0085]
ld＝‖d
φ
(psf)-1‖2+‖d
φ
(g
θ
(s))-0‖2ꢀꢀꢀꢀ
(16)
[0086]
第一项使得模型趋向识别真实psf为真，第二项使得模型趋向识别生成器g
θ
(
·
)生成的psf为假。
[0087]
模型训练和参数优化采用随机梯度下降法，批大小为8，优化算子采用adam算子，初始学习率为1e-4
，每间隔2万次迭代学习率减小为当前的1/10，直到学习率减小到1e-7
；总训练迭代次数为20万次；每一次迭代优化时，先通过公式(15)计算生成器损失函数，通过优化算子计算梯度更新生成器参数θ；再通过公式(16)计算判别器损失函数，通过优化算子计算梯度更新生成器参数φ。
[0088]
单透镜的点扩散函数估计。将分块后的单透镜成像图转为灰度图，再将其灰度图的功率谱密度输入神经网络g
θ
(
·
)，神经网络输出即为估计的单透镜成像图各个子块的点扩散函数。
[0089]
本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

技术特征：
1.一种简单透镜点扩散函数估计方法，其特征在于，包括以下步骤：步骤1，根据单透镜特点生成的点扩散函数作用于清晰图像，得到模拟的单透镜模糊图像；步骤2，所述的单透镜模糊图像经过傅里叶变换到频域，作为端到端神经网络的输入，生成估计的点扩散函数；步骤3，所述的估计的点扩散函数与所述的生成的点扩散函数计算损失函数，并推动端到端神经网络参数随训练迭代而更新；步骤4，获得最终估计的点扩散函数。2.根据权利要求1所示的一种简单透镜点扩散函数估计方法，其特征在于，步骤1中所述的点扩散函数的生成过程包括如下步骤：对单透镜点扩散函数做参数化建模与生成；设生成星形多边形的角个数为n，外径为d
o
∈r
n
，内径为d
i
∈r
n
，偏离角为a
r
∈r
n
，记外径、内径的第k个维度分别为和用均匀分布随机初始化外径：内径初始化计算公式为：其中，r～u(0.1,0.3)随机生成，表示外径的第k-1个维度，偏离角采用均匀分布初始化；根据参数计算星形多边形顶点坐标{p
k
＝(x
k
,y
k
)|k＝1,
…
,2n}，x
k
表示第k个顶点的横坐标，y
k
表示第k个顶点的纵坐标，记星形多边形顶点的极坐标角度a0∈r
2n+1
，且，且表示第0个顶点的极坐标角度暨初始极坐标角度，记生成的星形多边形顶点的极坐标角度a∈r
2n+1
，且，且a
k
表示极坐标角度a的第k个维度，表示极坐标角度a的第k个维度与初始极坐标角度的差值，并通过随机生成获取，当k为偶数时，生成的星形多边形顶点坐标计算公式如下：当k为偶数当k为奇数时计算公式如下：当k为奇数筛选出在星形多边形s
p
内部的点集合g＝{(i,j)|(i,j)∈s
p
}，i表示星形多边形内部点的横坐标，j表示星形多边形内部的的纵坐标；对点位能量进行建模：e(i,j)＝αexp(-β‖i2+k2‖)，其中，α,β为待定常数，‖
·
‖表示计算绝对值，点位能量应满足能量总和为1的约束，即∏
(i,j)∈g
e(i,j)＝1；由此可得：α＝1/(∏
(i,j)∈g
exp(-β‖i2+j2‖))，待定常数β表征点扩散函数能量的分散程度；待定常数确定后，计算出星形多边形内的点扩散函数能量分布，获得生成的点扩散函数。3.根据权利要求2所示的一种简单透镜点扩散函数估计方法，其特征在于，所述的生成
的点扩散函数为点扩散函数能量分布e与平滑卷积核κ的卷积：psf＝e*κ。4.根据权利要求3所示的一种简单透镜点扩散函数估计方法，其特征在于，平滑卷积核5.根据权利要求2所示的一种简单透镜点扩散函数估计方法，其特征在于，待定系数β～u(0.004,0.008)。6.根据权利要求1所示的一种简单透镜点扩散函数估计方法，其特征在于，根据单透镜特点生成的点扩散函数作用于清晰图像的过程中，清晰图像分块y与生成的点扩散函数psf做卷积，得到模拟的单透镜模糊图像分块x，即：x＝y*psf；单透镜模糊图像经过傅里叶变换到频域的过程中，将模糊图像分块x先通过二维离散傅里叶变换转换为频域图像，并将零频点移动到频谱中央：x＝fftshift(fft2(x))，fft2(
·
)表示二维离散傅里叶变换，fftshift(
·
)表示将零频点移动到频谱中央，再计算功率谱密度：其中函数real(
·
)和imag(
·
)分别表示提取频域图像的实部和虚部。7.根据权利要求6所示的一种简单透镜点扩散函数估计方法，其特征在于，所述的端到端神经网络的输入为某一分块频域模糊图像的功率谱密度，输出为单透镜某一分块估计的点扩散函数；所述的端到端神经网络采用生成对抗的形式训练，其中，生成器采用u-net结构，记为g
θ
(
·
)，其中θ为模型参数集合，生成器训练的损失函数为：l
g
＝λ‖g
θ
(s)-psf‖1+psf
·
(g
θ
(s)-psf)2+‖d
φ
(g
θ
(s))-1‖2其中，第一分项为保真项，λ为系数，g
θ
(s)表示参数集为θ的u-net，‖
·
‖1表示计算1-范数；第二分项为形状先验，突出真值pse对模型输出的影响，psf表示生成的点扩散函数；第三分项为真实性项，通过判别器d
φ
(
·
)判别结果与1的差的平方度量生成器所生成结果与真值psf真实性的差异，‖
·
‖2表示计算2-范数；其中φ为判别器的模型参数集合；判别器d
φ
(
·
)采用残差分类网络resnet-34，训练损失函数为：l
d
＝‖d
φ
(psf)-1‖2+‖d
φ
(g
θ
(s))-0‖2第一分项使得判别器趋向识别真实psf为真，第二分项使得判别器趋向识别生成器g
θ
(
·
)生成的psf为假。8.根据权利要求7所示的一种简单透镜点扩散函数估计方法，其特征在于，λ＝100。9.根据权利要求7所示的一种简单透镜点扩散函数估计方法，其特征在于，所述的端到端神经网络的模型训练采用随机梯度下降法，批大小为8，优化算子采用adam算子，初始学习率为1e-4
，每间隔2万次迭代学习率减小为当前的1/10，直到学习率减小到1e-7
；总训练迭代次数为20万次；每一次迭代优化时，先计算生成器损失函数，通过优化算子计算梯度更新生成器参数θ；再计算判别器损失函数，通过优化算子计算梯度更新生成器参数φ。10.根据权利要求1所示的一种简单透镜点扩散函数估计方法，其特征在于，将分块后的单透镜成像图转为灰度图，再将灰度图的功率谱密度输入训练后的生成器g
θ
(
·
)，输出即为估计的单透镜成像图各个子块的点扩散函数。

技术总结
本发明公开了一种简单透镜点扩散函数估计方法，包括以下步骤：根据单透镜特点生成的点扩散函数作用于清晰图像，得到模拟的单透镜模糊图像；所述的单透镜模糊图像经过傅里叶变换到频域，作为端到端神经网络的输入，生成估计的点扩散函数；所述的估计的点扩散函数与所述的生成的点扩散函数计算损失函数，并推动端到端神经网络参数随训练迭代而更新；获得最终估计的点扩散函数。本发明对单透镜点扩散函数做精准的参数化建模与生成，使得生成的点扩散函数更加符合单透镜特点，提供了一系列的图像处理技术特征，最后利用生成对抗的神经网络模型获得更加精准的点扩散函数。型获得更加精准的点扩散函数。型获得更加精准的点扩散函数。


技术研发人员：谭瀚霖 蔡晗潇 肖华欣 刘煜 陈琛 张茂军
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：2023.05.11
技术公布日：2023/8/28