一种基于动态视窗的透水对空成像畸变矫正方法

1.本发明属于图像中图像成像畸变校正领域，尤其涉及一种基于动态视窗的透水对空成像畸变矫正方法。


背景技术：

2.海洋环境中的水介质会引起光线折射和散射，导致通过水下相机获取的图像出现畸变。透水图像畸变矫正的目标是恢复图像中的真实颜色、对比度和几何形状，以提供更准确、清晰的视觉信息。但畸变校正较为复杂，对于水下相机浸没在水中,无水上设备辅助这是一大挑战。相对来讲，空中拍摄水下目标是相对容易的，因为在空中使用设备得到较多的先验信息，然而水中在介质影响下系统得到的先验信息较少并具有不稳定性。水面起伏对空拍摄产生相应的畸变扭曲，在折射过程中出现的相机自然采集窗口(snell)也同样限制了相机拍摄视野，超出窗口会导致相机采样光线不能射出水面，无法形成有效像素点。因此需要利用计算机视觉技术，开发设计一种针对透水对空场景的图像成像畸变矫正方法。
3.在波面估计领域中，marinaalterman等人提出设计恒星海洋折射成像系统的文章，使用孔阵方法可以得到特定位置水面的梯度数据，但是该文章中没有提及更加有效水面复原的算法，因此无法较准确的获得水面数据。iosifm.levin基于水面的折射和反射原理设计了一套跨介质数据采集实验设备，该设备由空中光源和水面满散射光源组成，水上红色光源以一定倾斜角度照射水面，相机采集到反射点即可求解水面数据；在水下安置标定板，再用与红色光源无交叉波长的绿色光源在标定板射底部照射，相机得到携带绿色的像素点即为采集的目标物像素信息。但两种颜色的信息点重合无法剥离出信息，导致信息缺失。
4.在图像矫正领域中，目前校正方法应用图像序列较多。基于图像序列复原的算法有两种：均值图像、幸运图像。使用均值图作为参考图像，图像在框架结构方面得到一定程度的复原，但是由于各帧图细节被均值模糊，因此会导致使用均值图像作为模板会引入非结构化稀疏噪声，造成图像细节缺失。
5.以上方法在构建透水对空成像畸变矫正方法涉及算法存在如下问题：一是现有波面估计系统无法准确获取水面数据。二是图像序列复原算法会导致图像细节丢失问题。因此，亟需提出一种基于动态视窗的透水对空成像畸变矫正方法，以解决上述技术问题。


技术实现要素：

6.为解决上述技术问题，本发明提出了一种基于动态视窗的透水对空成像畸变矫正方法，将海面与图像的畸变视为联合变化，利用水面与相机空间关系计算动态视窗，在计算动态视窗与相机自然采集窗口交集得到该方法可校正的范围，再利用提出的二次透水动态视窗空间位置重排列方法完成畸变矫正，最后采用在水面上平铺多组数据包括中文、英文、卡通画像及实物图，从相机在水中不同深度和同深度相机不同焦距验证本发明方法。
7.为实现上述目的，本发明提供了一种基于动态视窗的透水对空成像畸变矫正方
法，包括以下步骤：
8.重建水面范围，取所述水面范围与相机自然采集窗口范围的交集，获得动态视窗；
9.基于所述动态视窗与相机自然采集窗口的交集，获得矫正区域；
10.对所述矫正区域内的图像进行像素重置，获得重排列图像，完成畸变矫正。
11.可选地，重建水面范围的过程包括：以水面的水平面为基础面，获取超出或低于水平面的光线长度，并确定不同长度的光线分别在水平面上对应的横纵坐标以及对应两点的梯度向量；基于获得的不同的光线长度以及对应的横纵坐标和梯度向量，采用光阵算法对水面范围进行重建。
12.可选地，获得动态视窗的过程包括：判断相机自然采集窗口接收到的光线与重建的水面范围是否存在交点；若存在交点，基于snell规则获得该光线在空中的折射向量坐标，并判断所述折射向量坐标是否为复数形式；其中，将不是复数形式的光线对应的像素点所构成的范围视为动态视窗。
13.可选地，所述动态视窗与相机自然采集窗口的交集包括三种位置关系：所述动态视窗包含于相机自然采集窗口、所述动态视窗与相机自然采集窗口相交以及所述相机自然采集窗口包含于动态视窗。
14.可选地，获得空间像素的过程包括：在所述矫正区域内，对相机采集的图像进行边界扫描，求解最大的像素分布区域，获得重排列的图像像素在空间中的排列范围，进而获得空间像素。
15.可选地，获得空间像素之后的过程还包括：基于相邻原则赋值法，获得所述空间像素与相机采集的图像像素的位置关系，基于所述位置关系对所述空间像素进行网格化赋值和重新排列，获得矫正后的图像，之后对矫正后的图像进行非规则化插值，获得最终的矫正图像。
16.与现有技术相比，本发明具有如下技术效果：
17.本发明利用水面与相机空间关系计算动态视窗，再利用动态视窗与相机自然采集窗口计算得到可校正的范围，最后利用提出的二次透水动态视窗空间位置重排列方法在可校正的范围完成畸变矫正，实现对透水对空成像畸变的矫正。
附图说明
18.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
19.图1为本发明实施例的基于动态视窗的透水对空成像畸变矫正方法流程示意图；
20.图2为本发明实施例的实验采集仿真实验装置示意图；
21.图3为本发明实施例的snell与动态窗口的三种位置关系示意图；
22.图4为本发明实施例的水面复原对比图，其中，(a)为水面真实状态示意图，(b)复原的水面图；
23.图5为本发明实施例的校正结果对比图，其中，(a)为畸变图，(b)为动态视窗可校正的范围示意图，(c)为校正结果示意图；
24.图6为本发明实施例的相机不同高度的成像示意图，其中，(a)为相机在-50cm的成像示意图,(b)为相机在-30cm的成像示意图,(c)为相机在-10cm的成像示意图；
25.图7为本发明实施例的相机不同焦距的成像示意图，其中，(a)为相机焦距为4mm的成像示意图,(b)为相机焦距为8mm的成像示意图,(c)为相机焦距为12mm的成像示意图；
26.图8为本发明实施例的透过水面孔板的光阵列示意图。
具体实施方式
27.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
28.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
29.实施例一
30.如图1所示，本实施例提供一种基于动态视窗的透水对空成像畸变矫正方法，包含以下步骤：
31.步骤1：使用光阵算法对水面形态重建。
32.1)如图8所示，每条光线对应高低起伏的水面，本实施例提出以水平面为基础面，超出或低于水平面的长度设为sl1，sl
mn
(有m＝10行,n＝13列)。p
x
，py为对应sl光线在空间中的横纵坐标，(t1_x，t1_y，t1_z)，(t2_x，t2_y，t2_z)分别为对应两点的梯度向量，其中，本实施例中所述的两点为在计算过程中，相邻的光柱的上端点。
33.在x方向：
34.第一列：
[0035][0036]
第2～(m-1)列：
[0037]
δ
x(i,j)
＝sl(j+(i*n)-sl(j+(i-2)*n)
[0038]
第m列：
[0039][0040]
第一列及第m列：
[0041]
δ_x_i(1)＝(p
x
(m+n)-p
x
(m))*(-(t1_x(m+n)+t2_x(m))/2)/(t1_z(m+n)+t2_z(m))
[0042]
2～(m-1)列：
[0043][0044]
综合公式为：δ_x_i＝δ
x
[0045]
根据上面的方程可以写成为：
[0046][0047]
简写为g1*sl＝δ
x
[0048]
在y方向：
[0049]
第一行：
[0050][0051]
2-(n-1)行：
[0052]
δ
x(i,j)
＝sl(j+((i-1)*n-1)-sl(j+((i-1))*n+1)
[0053]
第n行：
[0054][0055]
第一行及第n行：
[0056]
δ_y_j(1)＝(py(m)-py(m-1))*(-(t1_y(m)+t2_y(m-1))/2)/(t1_z(m)+t2_z(m-1))/2
[0057]
2～(m-1)列：
[0058]
δ_y_j(2)＝(py(m+1)-py(m))*(-(t1_y(m+1)+t2_y(m))/2)/(t1_z(m+1)+t2_z(m))/2
[0059]
综合公式为：δ_y_i＝δy[0060]
根据上面的差分方程可以写成为：
[0061][0062]
简写为g2*sl＝δy[0063]
对公式整理，合并成一(2mn)*(2mn)线性系统：
[0064][0065]
步骤2：确定动态视窗范围
[0066]
动态视窗是重建水面范围与相机自然采集窗口(snell)范围的交集。动态视窗的范围可以转化成两个条件。首先通过相机和动态视窗的关系判断相机接收到的光线是否与重建水面存在交点，若存在交点则继续第二步判断。第二步基于折射法则公理(snell规则)计算出空中的折射向量，并且判断折射向量坐标不是复数。若不存在复数形式则该像素接受到的光线穿透动态视窗。
[0067]
计算动态视窗
[0068]
好的动态视窗可提升透水对空成像畸变矫正效果。本实施例基于设计的波面采集仿真实验系统，如图2所示，和水面复原算法，利用水面与相机空间关系计算动态视窗。其中，所述仿真实验系统包括四部分：数字相机成像系统、水面仿真系统，平行光照仿真系统，以及水面复原重建系统。
[0069]
计算动态视窗可校正的范围
[0070]
相机拍摄范围受限制于snell窗口，因为窗口内的光线可以通过，超过该窗口则光线无法穿透水面成像。因此二次像素逆向追踪过程受限制于snell窗口及已知水面的动态窗口区域。两个区域的交集为像素逆向索引的可矫正区域。通过计算得到的已知水面区域为动态窗口，当相机放置在水下，动态窗口会存在三种不同位置关系如图3所示，knownseasurface则为本实施例提出的动态视窗。
[0071]
像素重排列畸变矫正算法
[0072]
在动态视窗可校正的范围的像素是可矫正的，因为视窗是三维的，其边界呈高低起伏，边界对应的光线需要再次判断，从一方面来讲由于边界的高低状态，则可校正的像素区域为不规则形状，白白增加了外围的最大空间范围，后续会导致空间点坐标的空缺。由于空间范围大，像素数量降低，图像需要进行像素重置。对二次像素追踪的图像进行边界扫描，求解最大的像素分布区域，则为重排列图像的像素数量。
[0073]
{p
x,y
∈((xmin,ymin),(xmax,ymax))}
[0074]
公式为空间重排列像素点p的范围，其表示为相机采集的像素在空间中真实体现。重排列图像可以使像素在空间中分布比较均匀。需要确定获得的空间像素与该图像像素位置的关系，由于范围比较大，则采用相邻原则赋值法。
[0075]
x＝round((x-xmin)/det_x)+1
[0076]
y＝round((y-ymin)/det_y)+1
[0077]
其中：
[0078]
det_x＝(xmax-xmin)/l
pixels_x
[0079]
det_y＝(ymax-ymin)/l
pixels_y
[0080]
基于空间像素与该图像像素位置的关系，对空间像素网格化赋值，把空间坐标转成二维图像坐标，继而对像素进行重新排列，获得新图像，在新图像上呈现最佳的像素分布效果。由于在这个逆向追踪过程中会出现一定偏差，那么像素会有部分损失。则需要对校正图像进行非规则化插值，使图像在细节上更加丰富。
[0081]
本实施例将海面与图像的畸变视为联合变化，基于设计的波面采集仿真实验系统和水面复原算法，利用水面与相机空间关系计算动态视窗，在计算动态视窗与相机自然采集窗口交集得到该方法可校正的范围，再利用提出的二次透水动态视窗空间位置重排列方法完成畸变矫正。其优点在于：(1)解决了现有波面估计系统无法准确获取水面数据的问题。(2)现有复原算法会导致图像细节丢失问题。
[0082]
接下来，本实施例将采用在水面上平铺多组数据包括中文、英文、卡通画像及实物图，从相机在水中不同深度和同深度相机不同焦距验证本实施例的方法。
[0083]
基于动态视窗的透水对空成像畸变矫正方法实验分析
[0084]
水面复原实验结果：
[0085]
水面在复原过程中，需要采集阳光透过水面映射在接受器上的斑点作为水面复原
过程的信息输入。因为实时变化水面的原因，得到的斑点图也跟随着水面变化。采用本实施例提出的算法，对于水面的复原的误差可以控制在极低的范围内。无论从形状还是空间位置都可以高度复原。采用本实施例的技术手段复原水面的效果非常优秀。本实施例通过多种水面状况的对比实验来验证算法的精确度及限制点。实验结果如图4所示。图4中(a)为水面真实状态，(b)本实施例算法复原的水面图，其在形态方面数据与真实数据相差极小，因为在复原的过程中采用梯度的插值计算以及一定的系统性误差导致水面的粗糙程度较大。此误差可以通过误差函数进行计算，如下所示：
[0086][0087]
其中，h代表水面的真实高度，h为本实施例的算法进行复原的高度，error为单位像素误差值，本实施例提出此公式可以作为评估两水面的形态差异及空间位置相似性的综合指标。
[0088]
图像矫正结果：
[0089]
如图5所示，为验证本实施例提出改进后的目标检测算法的有效性，本实施例采用了若干数据用来校正，采用图像平铺在水面上，多组数据包括中文、英文、卡通画像及实物图。多样的图像从逻辑上讲，实现了校正实验的多样性。在结果图中发现本实施例的算法存在校正盲区，这就解释了本实施例的校正图中出现了内容残缺，图中仅为相机中得到的图像的大部分。其原因是相机逆向二次像素索引的过程中，其相机的光线大部分在动态视窗的外部。本实施例提出的算法只能校正光线穿过视窗的像素区域。
[0090]
该方法将海面与图像的畸变视为联合变化，利用水面与相机空间关系计算动态视窗，在计算动态视窗与相机自然采集窗口交集得到该方法可校正的范围，再利用提出的二次透水动态视窗空间位置重排列方法完成畸变矫正。
[0091]
水下相机不同深度位置图像矫正结果：
[0092]
依据相机位于水下的深度几种不同的情况从原视角以及动态视窗的关系进行分析。其相机光线可覆盖的水面区域长度为：
[0093]
l＝2h*tan(θc/2)
[0094]
相机深度达到一定程度，则大部分矢量光线超出snell成像区间，如公式所示：
[0095]
ls＝2h*tan(θs/2)
[0096]
其中θc,θs分别是相机视角及snell区域角。由于相机距离水面的高度较大，则导致θc》θs，则得到l》》ls。从空间关系上来讲视角的范围覆盖snell区域。由于空中视野较大，不同高度透过可视范围成像得到的图。实验结果图如图6所示。
[0097]
由图中abc三组高度数据得到的图像在畸变程度上差异明显。位于深度较大时，相机光线传送距离远，相邻像素点之间矢量角度差增大，则光线与水面交点法线的夹角变大。采集像素对应的折射现象明显，图像几乎发生整体畸变扭曲。当离水面深度减小，即像素矢量夹角过于密集，采样的像素偏离较小。并且在由c到a的过程中，图5(a)拍摄空中的视野变化不大，但是在(b)(c)中视野范围增大，可校正的图像区间扩增，即为公式所示：
[0098]
xd＝2h*tan(θd)
[0099]
其中θd是动态视窗与相机像素光线的夹角，在高度变化的过程中，h降低，得到θd增
大，已知θd《θs，导致二次像素逆向索引的范围增加，最终在动态视窗范围内增加可校正的像素点。
[0100]
通过像素点的对比较直观的体现相机的高度，深度与动态视窗的关系，可以使用相关配准公式得到动态视窗内图像与无畸变图像的关系：
[0101][0102]
其中xmax，xmin，ymax，ymin分别为动态视窗二次像素索引相应的空间像素位置。根据索引的位置得到校正图像部分与整体图像的比值。使用该方案求得到可校正比例的部分精准度高，已知动态视窗的范围与水面的形态相关，表1为使用多种水面形态数据综合得出结论。
[0103]
表1
[0104][0105]
水下相机相同深度不同焦距图像矫正结果：
[0106]
通过观察图7可知，相机不同焦距的成像(a),(b),(c)分别为相机在4mm，8mm，12mm，相机的焦距在成像上没有太大的影响，如焦距为4mm，和12mm，这焦距的差距在于成像的范围，4mm的成像角度较大，12mm则比较适合拍摄较远的目标。同样焦距的选择也和相机距离水面的远近,对于该设备的选的及参数的确定并不是单一的，这是一个完备的系统，相辅相成。
[0107]
以上，仅为本技术较佳的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。

技术特征：
1.一种基于动态视窗的透水对空成像畸变矫正方法，其特征在于，包括以下步骤：重建水面范围，取所述水面范围与相机自然采集窗口范围的交集，获得动态视窗；基于所述动态视窗与相机自然采集窗口的交集，获得矫正区域；对所述矫正区域内的图像进行像素重置，获得空间像素；对所述空间像素再次进行像素重排列，完成畸变矫正。2.根据权利要求1所述的基于动态视窗的透水对空成像畸变矫正方法，其特征在于，重建水面范围的过程包括：以水面的水平面为基础面，获取超出或低于水平面的光线长度，并确定不同长度的光线在水平面上端的横纵坐标以及对应光柱的梯度向量；基于获得的不同的光线长度以及对应的横纵坐标和梯度向量，采用光阵算法对水面范围进行重建。3.根据权利要求1所述的基于动态视窗的透水对空成像畸变矫正方法，其特征在于，获得动态视窗的过程包括：判断相机自然采集窗口接收到的光线与重建的水面范围是否存在交点；若存在交点，基于折射法则公理获得该光线在空中的折射向量坐标，并判断所述折射向量坐标是否为复数形式；其中，将不是复数形式的光线对应的像素点所构成的范围视为动态视窗。4.根据权利要求1所述的基于动态视窗的透水对空成像畸变矫正方法，其特征在于，所述动态视窗与相机自然采集窗口的交集包括三种位置关系：所述动态视窗包含于相机自然采集窗口、所述动态视窗与相机自然采集窗口相交以及所述相机自然采集窗口包含于动态视窗。5.根据权利要求1所述的基于动态视窗的透水对空成像畸变矫正方法，其特征在于，获得空间像素的过程包括：在所述矫正区域内，对相机采集的图像进行边界扫描，求解最大的像素分布区域，获得重排列的图像像素在空间中的排列范围，进而获得空间像素。6.根据权利要求5所述的基于动态视窗的透水对空成像畸变矫正方法，其特征在于，获得空间像素之后的过程还包括：基于相邻原则赋值法，获得所述空间像素与相机采集的图像像素的位置关系，基于所述位置关系对所述空间像素进行网格化赋值和重新排列，获得矫正后的图像，之后对矫正后的图像进行非规则化插值，获得最终的矫正图像。

技术总结
本发明公开了一种基于动态视窗的透水对空成像畸变矫正方法，包括以下步骤：重建水面范围，取所述水面范围与相机自然采集窗口范围的交集，获得动态视窗；基于所述动态视窗与相机自然采集窗口的交集，获得矫正区域；对所述矫正区域内的图像进行像素重置，获得重排列图像，完成畸变矫正。本发明利用水面与相机空间关系计算动态视窗，再利用动态视窗与相机自然采集窗口计算得到本文方法可校正的范围，最后利用提出的二次透水动态视窗空间位置重排列方法在可校正的范围完成畸变矫正，实现一种透水对空成像畸变矫正方法。水对空成像畸变矫正方法。水对空成像畸变矫正方法。


技术研发人员：曹一乾 蔡成涛 周文涛 赵杰 贾璐毓
受保护的技术使用者：哈尔滨工程大学
技术研发日：2023.07.06
技术公布日：2023/9/25