基于空间光学图像的船舶检测方法和装置与流程
未命名
08-02
阅读:116
评论:0

1.本发明属于光学图像检测领域,具体涉及一种基于空间光学图像的船舶检测方法和装置。
背景技术:
2.光学传感器是靠获取场景的各种反射信息成像的,其有较高的时空分辨率,所获图像能够很好地反映景物表面的纹理细节信息,有利于观察者对场景的整体认知,其边缘、纹理等细节信息丰富,在充足的光照条件下图像清晰,光敏感度高,适合人眼观察。在物体信息获取中,光学传感器作为最常见的图像源,被广泛应用于船舶检测识别跟踪等领域。通过图像源提取有用信息,可以提高对船舶的探测能力,降低预警中的虚警率和漏警率,对各类实际应用场景下的判决和决策提供有力支持。
3.近年来,随着空间光学传感技术的飞速发展,高分辨率、大尺度空间光学图像数据不断丰富。对于空间光学图像而言,光学数据成像质量易受光照和天气的影响,在采光条件差、光线较弱时,光学图像的质量会急剧下降,变得模糊,且空间光学图像具有幅面大、多尺度等特点,相比通用图像来说检测难度更大。光学物体检测是在光学图像中找到感兴趣物体的具体位置并识别其类别。然而,由于空间光学图像背景非常复杂,并且大多数光学地物都是密集小物体,因此传统的基于机器学习的光学检测方法的结果往往不能令人满意。对于大规模的空间光学图像,小型船舶仅占据了几个像素,这些小型船舶容易在训练过程中丢失,导致错过一些关键信息。而在空间光学图像中,要检测的船舶通常是在更复杂的场景中,这使得检测小型船舶更加困难,且这一场景下卷积神经网络的复杂度高及运算量大。因此,如何实现对空间光学图像中船舶的高精度且快速的检测,并且满足平台的资源约束条件,是当前急需解决的问题。
技术实现要素:
4.本发明的目的在于提供了一种基于空间光学图像的船舶检测方法和装置,以实现高时效、高精度的光学船舶检测,能够在数据量较大、场景复杂的空间光学图像数据中,以及空间平台资源约束的条件下完成光学船舶检测。
5.本发明公开了一种基于空间光学图像的船舶检测方法,包括:
6.s1,获取待检测空间光学图像信息;所述待检测空间光学图像信息中的待检测空间光学图像为同一地区、不同时间的船舶空间光学图像;
7.s2,对所述待检测空间光学图像信息进行预处理,得到标准空间光学图像信息;
8.s3,建立和训练船舶图像检测模型;
9.s4,利用所述船舶图像检测模型,对所述标准空间光学图像信息进行处理,得到船舶检测结果;所述船舶检测结果,表征所述待检测空间光学图像信息在同一地区、不同时间的船舶存在信息。
10.所述对所述待检测空间光学图像信息进行预处理,得到标准空间光学图像信息,
包括:
11.s21,对所述待检测空间光学图像信息进行线性量化处理,得到量化图像数据信息;
12.s22,对所述量化图像数据信息的灰度值信息进行线性拉伸处理,得到灰度拉伸图像信息;
13.s23,对所述灰度拉伸图像信息进行船舶标注和归一化处理,得到标注图片信息;所述标注图片信息,包括光学图像和对应的标签信息;
14.s24,对所述灰度拉伸图像信息和标注图片信息进行合并处理,得到源图片集合;
15.s25,对所述源图片集合进行比例划分处理,得到第一标准图像集合和第二标准图像集合;
16.s26,对所述第一标准图像集合进行重叠剪裁操作,得到第二子光学图像集;
17.s27,对所述第二子光学图像集进行船舶筛选处理,得到所有含有船舶的子图像,作为第三标准图像集合;
18.s28,对所述第三标准图像集合进行数据增强处理,得到第四标准图像集合;
19.s29,对所述第二标准图像集合和第四标准图像集合进行融合处理,得到标准空间光学图像信息;所述标准空间光学图像信息包括空间光学图像和对应的船舶标签信息;所述船舶标签信息,包括船舶的类别信息和位置信息。
20.所述对所述第一标准图像集合进行重叠剪裁操作,得到第二子光学图像集,包括:
21.s261,对所述第一标准图像集合中的每一张空间光学图像,从设定方向用滑动窗口进行部分重叠切割,得到第一子光学图像集;所述第一子光学图像集,包括有若干个第一子光学图像;所述第一子光学图像集中的相邻的两个子光学图像,含有预设比例的重叠区域;
22.s262,对所述第一子光学图像集中的每个子光学图像,计算其被切割船舶区域的交并比,判断所述交并比是否大于设定阈值,得到阈值判断结果;所述被切割船舶区域的交并比,是被切割船舶区域在所述子光学图像中的剩余面积与被切割船舶区域的完整面积之比;
23.若所述阈值判断结果为大于设定阈值,将所述子光学图像保留在所述第一子光学图像集中,对所有保留的子光学图像进行汇总处理,得到第二子光学图像集;
24.若所述阈值判断结果为小于设定阈值,将所述子光学图像从所述第一子光学图像集中删除。
25.所述对所述第三标准图像集合进行数据增强处理,得到第四标准图像集合,包括:
26.s281,对所述第三标准图像集合中的每个空间光学图像,计算其所含有的船舶数量;
27.s282,对所有空间光学图像的船舶数量进行统计处理,得到所述船舶数量的取值分布范围;
28.s283,利用所设定的第一分界值和第二分界值为边界值,按照其取值由低至高顺序,对所述取值分布范围进行划分,将所述取值分布范围依次划分为第一取值区间、第二取值区间和第三取值区间;
29.s284,对所述第三标准图像集合中的每个空间光学图像,判断其所含有的船舶数
量所属的取值区间;
30.s285,若所述所属的取值区间为第一取值区间,对相应的空间光学图像进行随机排布处理,得到第一增强空间光学图像;
31.若所述所属的取值区间为第二取值区间,对相应的空间光学图像进行随机缩放处理,得到第二增强空间光学图像;
32.若所述所属的取值区间为第三取值区间,对相应的空间光学图像进行随机裁剪处理,得到第三增强空间光学图像;
33.s286,对所述第一增强空间光学图像、第二增强空间光学图像和第三增强空间光学图像进行汇总处理,得到第四标准图像集合。
34.所述船舶图像检测模型,包括特征编码模块、特征融合模块、预测模块和反馈模块;
35.所述特征编码模块包括三个不同维度的特征提取层、一个注意力机制层、一个相关性提取模块和两个上采样模块;
36.所述特征编码模块,用于对所述标准空间光学图像信息进行特征编码,得到特征图像;所述特征编码模块的第一输出端,连接所述特征融合模块的第一输入端;所述特征编码模块的第二输出端,连接所述预测模块的第一输入端;
37.所述特征融合模块,用于对所述特征图像进行融合处理,得到融合特征;所述特征融合模块的第一输出端,连接所述预测模块的第二输入端;
38.所述预测模块,用于对所述融合特征和特征图像进行回归和分类处理,得到船舶的类别信息和位置信息;所述预测模块的第一输出端,连接所述反馈模块的第一输入端;
39.所述反馈模块,用于对所述船舶的类别信息和位置信息与所述船舶标签信息进行距离差异计算处理,得到差异信息;所述反馈模块的第一输出端,连接所述预测模块的第三输入端。
40.所述利用所述船舶图像检测模型,对所述标准空间光学图像信息进行处理,得到船舶检测结果,包括:
41.s401,利用所述三个不同维度的特征提取层,分别对所述标准空间光学图像信息进行卷积池化和编码处理,分别得到第一特征图、第二特征图和第三特征图;
42.s402,利用所述注意力机制层,对所述标准空间光学图像信息进行通道注意力提取,得到通道注意力特征;
43.s403,利用所述相关性提取模块,对所述通道注意力特征、第一特征图、第二特征图和第三特征图进行相关性提取,得到相关性特征图像;将所述相关性特征图像输出至预测模块;
44.所述相关性提取的计算表达式为:
[0045][0046]
其中,f表示特征图集合,包括第一特征图、第二特征图和第三特征图,mc()表示通道注意力提取函数,f
′
表示通道注意力特征,ms()表示空间注意力映射函数,f
″
表示相关性特征图像;
[0047]
s404,将上采样后的第一特征图和上采样后的第二特征图进行融合,得到第一融合特征图像;将上采样后的第二特征图和上采样后的第三特征图进行融合,得到第二融合特征图像;将所述第一特征图、第二特征图、第三特征图、第一融合特征图像和第二融合特征图像,输入至特征融合模块;
[0048]
s405,利用所述特征融合模块,对特征图像进行融合处理,得到融合特征;所述特征图像包括第一特征图、第二特征图、第三特征图、第一融合特征图像和第二融合特征图像;
[0049]
s406,利用预测模块,对所述融合特征和相关性特征图像进行分类和回归处理,得到船舶的类别信息和位置信息;所述船舶的类别信息和位置信息,构成船舶检测结果。
[0050]
所述预测模块,包括第一回归子模块、第二回归子模块、残差分析子模块、回归融合子模块和分类子模块;
[0051]
所述第一回归子模块,用于对融合特征和相关性特征图像与对应的标签信息进行线性拟合,得到线性拟合模型,并利用权重调整值对线性预测模型的权重值进行调整;
[0052]
所述第二回归子模块,用于对融合特征和相关性特征图像与对应的标签信息进行多项式拟合,得到多项式拟合模型,并利用权重调整值对多项式拟合模型的权重值进行调整;
[0053]
所述残差分析子模块,用于分别对线性拟合模型和多项式拟合模型的残差进行计算,根据残差计算结果,生成融合权重;
[0054]
所述回归融合子模块,用于利用融合权重,对线性拟合模型和多项式拟合模型进行加权融合处理,生成第一预测模型;
[0055]
所述分类子模块,用于实现对第一预测模型的预测结果进行特征分类操作,得到船舶的类别信息和位置信息。
[0056]
所述训练船舶图像检测模型,包括:
[0057]
从所述第二标准图像集合中选取出样本图像信息;
[0058]
对训练次数值进行初始化;
[0059]
将所述样本图像信息输入船舶图像检测模型,将得到的船舶的类别信息和位置信息,作为训练检测结果;
[0060]
利用损失函数对所述样本图像信息和训练检测结果进行计算,得到差异值;
[0061]
对所述训练次数值进行累加操作;
[0062]
判断所述训练次数值是否超过训练次数阈值,得到第一判断结果;当所述第一判断结果为是时,触发执行模型校验操作;
[0063]
当所述第一判断结果为否时,判断所述差异值是否满足收敛条件,得到第二判断结果;
[0064]
当所述第二判断结果为是时,触发执行模型校验操作;当所述第二判断结果为否时,利用所述差异值对预测模块的权重值进行更新,并触发执行将所述样本图像信息输入船舶图像检测模型;
[0065]
利用所述第四标准图像集合,对所述船舶图像检测模型进行校验;将第四标准图像集合输入船舶图像检测模型,得到检测结果;统计所述检测结果的正确率,若所述检测结果正确率超过设定阈值,判断船舶图像检测模型通过校验;若所述检测结果正确率未超过
设定阈值,触发执行从所述第二标准图像集合中选取出样本图像信息。
[0066]
本发明还公开了一种基于空间光学图像的船舶检测装置,所述装置包括:
[0067]
存储有可执行程序代码的存储器;
[0068]
与所述存储器耦合的处理器;
[0069]
所述处理器调用所述存储器中存储的所述可执行程序代码,执行所述的基于空间光学图像的船舶检测方法。
[0070]
本发明还公开了一种计算机可存储介质,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行所述的基于空间光学图像的船舶检测方法。
[0071]
本发明的有益效果为:
[0072]
1.本发明可有效解决进行小型船舶检测时,由于在图像有限的像素区域内船舶尺寸小,在神经网络中进行多次下采样操作之后,特征的表达能力下降后,不容易被网络所学习的问题,从而提高船舶的检测率。
[0073]
2.对于目前的基于人工智能的图像检测方法,所需要的网络规模和计算量都较大,在受平台本身质量和功耗的限制时,其携带的计算单元的内存、算力有限,无法得到有效应用。本发明对所述船舶图像检测模型对于检测功能的实现,采用预测模块来实现,预测模块通过拟合加权方法来实现,可以在在平台内存和算力都受限的情况下完成对船舶的实时检测,实现高时效、高精度的光学小型船舶检测。
附图说明
[0074]
图1为本发明方法的实施流程图;
[0075]
图2为本发明方法的特征融合模块的组成示意图;
[0076]
图3为本发明方法的预测模块的组成示意图;
[0077]
图4为应用本发明方法在普通海况下的检测结果;
[0078]
图5为应用本发明方法在高海况下的检测结果;
[0079]
图6为特征编码模块的组成示意图。
具体实施方式
[0080]
为了更好的了解本发明内容,这里给出一个实施例。
[0081]
图1为本发明方法的实施流程图;图2为本发明方法的特征融合模块的组成示意图;图3为本发明方法的预测模块的组成示意图;图4为应用本发明方法在普通海况下的检测结果;图5为应用本发明方法在高海况下的检测结果。图4中,左图为检测前的结果,右图为检测后得到的结果。图5中,左图为检测前的结果,右图为检测后得到的结果。
[0082]
本实施例公开了一种基于空间光学图像的船舶检测方法,包括:
[0083]
s1,获取待检测空间光学图像信息;所述待检测空间光学图像信息中的待检测空间光学图像为同一地区、不同时间的船舶空间光学图像;
[0084]
s2,对所述待检测空间光学图像信息进行预处理,得到标准空间光学图像信息;
[0085]
s3,建立和训练船舶图像检测模型;
[0086]
s4,利用所述船舶图像检测模型,对所述标准空间光学图像信息进行处理,得到船舶检测结果;所述船舶检测结果,表征所述待检测空间光学图像信息在同一地区、不同时间
的船舶存在信息。
[0087]
所述步骤s2,包括:
[0088]
s21,对所述待检测空间光学图像信息进行线性量化处理,得到量化图像数据信息;
[0089]
所述步骤s21,具体包括:对获取的待检测空间光学图像信息,即16bit中低分辨率单通道光学图像数据,进行线性量化,得到8bit的可视化图像数据;
[0090]
s22,对所述量化图像数据信息的灰度值信息进行线性拉伸处理,得到灰度拉伸图像信息;
[0091]
s23,对所述灰度拉伸图像信息进行船舶标注和归一化处理,得到标注图片信息;所述标注图片信息,包括光学图像和对应的标签信息;
[0092]
s24,对所述灰度拉伸图像信息和标注图片信息进行合并处理,得到源图片集合;
[0093]
s25,对所述源图片集合进行比例划分处理,得到第一标准图像集合和第二标准图像集合;
[0094]
所述对源图片集合进行比例划分处理,可以是,将源图片集合中的80%图片,构建第一标准图像集合,将源图片集合中的20%图片,构建第二标准图像集合;
[0095]
s26,对所述第一标准图像集合进行重叠剪裁操作,得到第二子光学图像集;
[0096]
s27,对所述第二子光学图像集进行船舶筛选处理,得到所有含有船舶的子图像,作为第三标准图像集合;
[0097]
所述对第二子光学图像集进行船舶筛选处理,包括:
[0098]
判断第二子光学图像集中的每个子图像,是否包含有船舶;当判断结果为否时,将不含有船舶的子图像,从第二子光学图像集中删除;当判断结果为是时,保留含有船舶的子图像;
[0099]
s28,对所述第三标准图像集合进行数据增强处理,得到第四标准图像集合;
[0100]
s29,对所述第二标准图像集合和第四标准图像集合进行融合处理,得到标准空间光学图像信息;所述标准空间光学图像信息包括空间光学图像和对应的船舶标签信息;所述船舶标签信息,包括船舶的类别信息和位置信息。
[0101]
所述对第二标准图像集合和第四标准图像集合进行融合处理,可以是将两个集合进行合并。
[0102]
所述步骤s26,包括:
[0103]
s261,对所述第一标准图像集合中的每一张空间光学图像,从设定方向用滑动窗口进行部分重叠切割,得到第一子光学图像集;所述第一子光学图像集,包括有若干个第一子光学图像;所述第一子光学图像集中的相邻的两个子光学图像,含有预设比例的重叠区域;
[0104]
所述滑动窗口的尺寸,可以是5
×
5;
[0105]
s262,对所述第一子光学图像集中的每个子光学图像,计算其被切割船舶区域的交并比,判断所述交并比是否大于设定阈值;若大于设定阈值,将所述子光学图像保留在所述第一子光学图像集中,对所有保留的子光学图像进行汇总处理,得到第二子光学图像集;若小于设定阈值,将所述子光学图像从所述第一子光学图像集中删除;所述被切割船舶区域的交并比,是被切割船舶区域在所述子光学图像中的剩余面积与被切割船舶区域的完整
面积之比。
[0106]
所述设定阈值,可以是0.6;
[0107]
所述设定方向,可以是从图像左上角开始,按照先向右、再向下的顺序进行部分重叠切割。
[0108]
所述被切割船舶区域,是指对每一张空间光学图像,从设定方向用滑动窗口进行部分重叠切割后,被切割而不能在所述空间光学图像中完整显示的船舶的完整船舶区域。
[0109]
所述步骤s28,包括:
[0110]
s281,对所述第三标准图像集合中的每个空间光学图像,计算其所含有的船舶数量;
[0111]
s282,对所有空间光学图像的船舶数量进行统计处理,得到所述船舶数量的取值分布范围;
[0112]
s283,利用所设定的第一分界值和第二分界值为边界值,按照其取值由低至高顺序,对所述取值分布范围进行划分,将所述取值分布范围依次划分为第一取值区间、第二取值区间和第三取值区间;
[0113]
第一取值区间为所述取值分布范围内小于第一分界值的范围;所述第二取值区间为所述取值分布范围内介于第一分界值和第二分界值之间的范围;所述第三取值区间为所述取值分布范围内大于第二分界值的范围;
[0114]
所述第一分界值,可以是船舶数量最小值的1.1倍;所述第二分界值,可以是船舶数量最大值的0.9倍。
[0115]
s284,对所述第三标准图像集合中的每个空间光学图像,判断其所含有的船舶数量所属的取值区间;
[0116]
s285,若所述所属的取值区间为第一取值区间,对相应的空间光学图像进行随机排布处理,得到第一增强空间光学图像;
[0117]
若所述所属的取值区间为第二取值区间,对相应的空间光学图像进行随机缩放处理,得到第二增强空间光学图像;
[0118]
若所述所属的取值区间为第三取值区间,对相应的空间光学图像进行随机裁剪处理,得到第三增强空间光学图像;
[0119]
s286,对所述第一增强空间光学图像、第二增强空间光学图像和第三增强空间光学图像进行汇总处理,得到第四标准图像集合。
[0120]
所述船舶图像检测模型,包括特征编码模块、特征融合模块、预测模块和反馈模块;
[0121]
所述特征编码模块,用于对所述标准空间光学图像信息进行特征编码,得到特征图像;所述特征编码模块的第一输出端,连接所述特征融合模块的第一输入端;所述特征编码模块的第二输出端,连接所述预测模块的第一输入端;所述特征编码模块,包括第一特征提取层、第二特征提取层、第三特征提取层、注意力机制层、相关性提取模块、第一上采样模块和第二上采样模块;第一特征提取层、第二特征提取层、第三特征提取层的维度均不相同;所述三个不同维度的特征提取层、一个注意力机制层均和相关性提取模块相连接;所述第一特征提取层、第二特征提取层均与第一上采样模块相连接;所述第二特征提取层、第三特征提取层均与第二上采样模块相连接;所述相关性提取模块,与所述预测模块相连接;所
述第一特征提取层、第二特征提取层、第三特征提取层、第一上采样模块和第二上采样模块,均与特征融合模块相连接。图6为特征编码模块的组成示意图。
[0122]
所述特征融合模块,用于对所述特征图像进行融合处理,得到融合特征;所述特征融合模块的第一输出端,连接所述预测模块的第二输入端;
[0123]
所述预测模块,用于对所述融合特征和特征图像进行回归和分类处理,得到船舶的类别信息和位置信息;所述预测模块的第一输出端,连接所述反馈模块的第一输入端;
[0124]
所述反馈模块,用于对所述船舶的类别信息和位置信息与所述船舶标签信息进行距离差异计算处理,得到差异信息;所述反馈模块的第一输出端,连接所述预测模块的第三输入端。
[0125]
所述三个不同维度的特征提取层,采用三个不同规模的卷积池化子模块来实现;所述卷积池化子模块,由卷积核和池化层进行连接来实现。所述卷积核的输出端,与池化层的输入端相连。所述注意力机制层,用于实现注意力机制。
[0126]
所述特征融合模块,由差分单元、跨尺度融合的注意力模块、第一卷积层、上采样层和第二卷积层构成,跨尺度融合的注意力模块的输出端与第一卷积层的输入端相连,上采样层的输出端和第二卷积层的输入端相连,第一卷积层的输出端,与差分单元的第一输入端相连接,第二卷积层的输出端,与差分单元的第二输入端相连接。
[0127]
所述预测模块,包括第一回归子模块、第二回归子模块、残差分析子模块、回归融合子模块和分类子模块;
[0128]
所述第一回归子模块,用于对融合特征和相关性特征图像与对应的标签信息进行线性拟合,得到线性拟合模型,并利用权重调整值对线性预测模型的权重值进行调整;
[0129]
所述第二回归子模块,用于对融合特征和相关性特征图像与对应的标签信息进行多项式拟合,得到多项式拟合模型,并利用权重调整值对多项式拟合模型的权重值进行调整;
[0130]
所述残差分析子模块,用于分别对线性拟合模型和多项式拟合模型的残差进行计算,根据残差计算结果,生成融合权重;
[0131]
所述回归融合子模块,用于利用融合权重,对线性拟合模型和多项式拟合模型进行加权融合处理,生成第一预测模型;
[0132]
所述分类子模块,用于实现对第一预测模型的预测结果进行特征分类操作,得到船舶的类别信息和位置信息;
[0133]
所述特征分类操作,可以采用朴素贝叶斯方法、决策树归纳方法或随机森林方法来实现。
[0134]
所述利用所述船舶图像检测模型,对所述标准空间光学图像信息进行处理,得到船舶检测结果,包括:
[0135]
s401,利用所述三个不同维度的特征提取层,分别对所述第二标准图像集合的空间光学图像信息进行卷积池化和编码处理,分别得到第一特征图、第二特征图和第三特征图;
[0136]
s402,利用所述注意力机制层,对所述第二标准图像集合的空间光学图像信息进行通道注意力提取,得到通道注意力特征;
[0137]
s403,利用所述相关性提取模块,对所述通道注意力特征、第一特征图、第二特征
图和第三特征图进行相关性提取,得到相关性特征图像;将所述相关性特征图像输出至预测模块;
[0138]
所述相关性提取的计算表达式为:
[0139][0140]
其中,f表示特征图集合,包括第一特征图、第二特征图和第三特征图,mc()表示通道注意力提取函数,f
′
表示通道注意力特征,ms()表示空间注意力映射函数,f
″
表示相关性特征图像;
[0141]
s404,将上采样后的第一特征图和上采样后的第二特征图进行融合,得到第一融合特征图像;将上采样后的第二特征图和上采样后的第三特征图进行融合,得到第二融合特征图像;将所述第一特征图、第二特征图、第三特征图、第一融合特征图像和第二融合特征图像,输入至特征融合模块;
[0142]
s405,利用所述特征融合模块,对特征图像进行融合处理,得到融合特征;所述特征图像包括第一特征图、第二特征图、第三特征图、第一融合特征图像和第二融合特征图像;
[0143]
s406,利用预测模块,对所述融合特征和相关性特征图像进行分类和回归处理,得到船舶的类别信息和位置信息;所述船舶的类别信息和位置信息,构成船舶检测结果。
[0144]
所述训练船舶图像检测模型,包括:
[0145]
在进行所述步骤s2后,进行步骤s3前,所述方法还包括:
[0146]
从所述第二标准图像集合中选取出样本图像信息;
[0147]
对训练次数值进行初始化;
[0148]
将所述样本图像信息输入船舶图像检测模型,将得到的船舶的类别信息和位置信息,作为训练检测结果;
[0149]
利用损失函数对所述样本图像信息和训练检测结果进行计算,得到差异值;
[0150]
对所述训练次数值进行累加操作;
[0151]
判断所述训练次数值是否超过训练次数阈值,得到第一判断结果;当所述第一判断结果为是时,触发执行模型校验操作;
[0152]
当所述第一判断结果为否时,判断所述差异值是否满足收敛条件,得到第二判断结果;
[0153]
当所述第二判断结果为是时,触发执行模型校验操作;当所述第二判断结果为否时,利用所述差异值对预测模块的权重值进行更新,并触发执行将所述样本图像信息输入船舶图像检测模型;
[0154]
利用所述第四标准图像集合,对所述船舶图像检测模型进行校验;将第四标准图像集合输入船舶图像检测模型,得到检测结果;统计所述检测结果的正确率,若所述检测结果正确率超过设定阈值,判断船舶图像检测模型通过校验;若所述检测结果正确率未超过设定阈值,触发执行从所述第二标准图像集合中选取出样本图像信息。
[0155]
所述利用差异值对预测模块的权重值进行更新,包括:
[0156][0157]
θ
←
θ+v,
[0158]
其中,xi表示所述第二标准图像集合的第i个样本图像信息,θ表示表示所述预测模块的权重值,pi表示所述第二标准图像集合的第i个样本图像所对应的船舶标签信息,l(xi,θ,pi)表示所述样本图像信息和训练检测结果对应的差异值,表示对自变量θ求偏导数,η表示乘性更新修正因子,α表示乘性保留因子,v表示更新变量。所述函数l(,),可采用损失函数来实现。
[0159]
所述训练船舶图像检测模型,包括:
[0160]
s301,利用所述三个不同维度的特征提取层,分别对所述第二标准图像集合的空间光学图像信息进行卷积池化和编码处理,分别得到第一特征图、第二特征图和第三特征图;
[0161]
s302,利用注意力机制层,对所述第二标准图像集合的空间光学图像信息进行通道注意力提取,得到通道注意力特征;
[0162]
s303,对所述通道注意力特征、第一特征图、第二特征图和第三特征图进行相关性提取,得到相关性特征图像;将所述相关性特征图像输出至预测模块;
[0163]
s304,将上采样后的第一特征图和上采样后的第二特征图进行融合,得到第一融合特征图像;将上采样后的第二特征图和上采样后的第三特征图进行融合,得到第二融合特征图像;将所述第一特征图、第二特征图、第三特征图、第一融合特征图像和第二融合特征图像,输入至特征融合模块;
[0164]
s305,利用所述特征融合模块,对特征图像进行融合处理,得到融合特征;所述特征图像包括第一特征图、第二特征图、第三特征图、第一融合特征图像和第二融合特征图像;
[0165]
s306,利用预测模块,对所述融合特征和相关性特征图像进行分类和回归处理,得到船舶的类别信息和位置信息;
[0166]
s307,利用反馈模块,对所述船舶的类别信息和位置信息与第二标准图像集合的船舶标签信息进行距离差异计算处理,得到差异值,并根据所述差异值生成权重调整值;
[0167]
s308,利用所述权重调整值对所述预测模块的权重值进行更新;
[0168]
s309,对训练次数进行统计更新,得到累积训练次数;判断累积训练次数是否超过所设定的次数阈值,得到训练次数判断结果;
[0169]
s310,若训练次数判断结果为超过所设定的次数阈值,利用船舶图像检测模型对所述第四标准图像集合进行处理,得到船舶的类别信息和位置信息检测结果;
[0170]
若训练次数判断结果为未超过所设定的次数阈值,返回步骤s301;
[0171]
s311,根据第四标准图像集合的船舶标签信息,统计所述检测结果的正确率;当所述正确率未超过设定的正确率阈值时,返回步骤s301;当所述正确率超过设定的正确率阈值时,完成船舶图像检测模型的训练。
[0172]
所述s303,包括:
[0173]
所述相关性提取的计算表达式为:
[0174][0175]
其中,f表示特征图集合,包括第一特征图、第二特征图和第三特征图,mc()表示通道注意力提取函数,f
′
表示通道注意力特征,ms()表示空间注意力映射函数,f
″
表示相关性特征图像。
[0176]
注意力机制通过通道注意力(cam)和空间注意力(sam)两个子模块对通道和特征空间之间的相关性进行提取;
[0177]
假设输入特征图f,一维通道注意力映射为mc(f),二维空间注意力映射为ms(f
′
),通道注意力是关注哪个通道上的特征更为重要,通道注意力输出之后,再引入空间注意力模块,关注空间中有意义的特征,则整体cbma的处理流程为:
[0178][0179]
所述利用所述船舶图像检测模型,对所述标准空间光学图像信息进行处理,得到船舶检测结果,包括:
[0180]
利用步骤s301至步骤s306对所述标准空间光学图像信息进行处理;将船舶图像检测模型的预测模块所得到船舶的类别信息和位置信息,作为船舶检测结果。
[0181]
本实施例公开了一种基于空间光学图像的船舶检测装置,所述装置包括:
[0182]
存储有可执行程序代码的存储器;
[0183]
与所述存储器耦合的处理器;
[0184]
所述处理器调用所述存储器中存储的所述可执行程序代码,执行如权利要求所述的基于空间光学图像的船舶检测方法。
[0185]
本实施例公开了一种计算机可存储介质,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行所述的基于空间光学图像的船舶检测方法。
[0186]
以上所述仅为本技术的实施例而已,并不用于限制本技术。对于本领域技术人员来说,本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本技术的权利要求范围之内。
技术特征:
1.一种基于空间光学图像的船舶检测方法,其特征在于,包括:s1,获取待检测空间光学图像信息;所述待检测空间光学图像信息中的待检测空间光学图像为同一地区、不同时间的船舶空间光学图像;s2,对所述待检测空间光学图像信息进行预处理,得到标准空间光学图像信息;s3,建立和训练船舶图像检测模型;s4,利用所述船舶图像检测模型,对所述标准空间光学图像信息进行处理,得到船舶检测结果;所述船舶检测结果,表征所述待检测空间光学图像信息在同一地区、不同时间的船舶存在信息。2.如权利要求1所述的基于空间光学图像的船舶检测方法,其特征在于,所述对所述待检测空间光学图像信息进行预处理,得到标准空间光学图像信息,包括:s21,对所述待检测空间光学图像信息进行线性量化处理,得到量化图像数据信息;s22,对所述量化图像数据信息的灰度值信息进行线性拉伸处理,得到灰度拉伸图像信息;s23,对所述灰度拉伸图像信息进行船舶标注和归一化处理,得到标注图片信息;所述标注图片信息,包括光学图像和对应的标签信息;s24,对所述灰度拉伸图像信息和标注图片信息进行合并处理,得到源图片集合;s25,对所述源图片集合进行比例划分处理,得到第一标准图像集合和第二标准图像集合;s26,对所述第一标准图像集合进行重叠剪裁操作,得到第二子光学图像集;s27,对所述第二子光学图像集进行船舶筛选处理,得到所有含有船舶的子图像,作为第三标准图像集合;s28,对所述第三标准图像集合进行数据增强处理,得到第四标准图像集合;s29,对所述第二标准图像集合和第四标准图像集合进行融合处理,得到标准空间光学图像信息;所述标准空间光学图像信息包括空间光学图像和对应的船舶标签信息;所述船舶标签信息,包括船舶的类别信息和位置信息。3.如权利要求2所述的基于空间光学图像的船舶检测方法,其特征在于,所述对所述第一标准图像集合进行重叠剪裁操作,得到第二子光学图像集,包括:s261,对所述第一标准图像集合中的每一张空间光学图像,从设定方向用滑动窗口进行部分重叠切割,得到第一子光学图像集;所述第一子光学图像集,包括有若干个第一子光学图像;所述第一子光学图像集中的相邻的两个子光学图像,含有预设比例的重叠区域;s262,对所述第一子光学图像集中的每个子光学图像,计算其被切割船舶区域的交并比,判断所述交并比是否大于设定阈值,得到阈值判断结果;所述被切割船舶区域的交并比,是被切割船舶区域在所述子光学图像中的剩余面积与被切割船舶区域的完整面积之比;若所述阈值判断结果为大于设定阈值,将所述子光学图像保留在所述第一子光学图像集中,对所有保留的子光学图像进行汇总处理,得到第二子光学图像集;若所述阈值判断结果为小于设定阈值,将所述子光学图像从所述第一子光学图像集中删除。4.如权利要求2所述的基于空间光学图像的船舶检测方法,其特征在于,所述对所述第
三标准图像集合进行数据增强处理,得到第四标准图像集合,包括:s281,对所述第三标准图像集合中的每个空间光学图像,计算其所含有的船舶数量;s282,对所有空间光学图像的船舶数量进行统计处理,得到所述船舶数量的取值分布范围;s283,利用所设定的第一分界值和第二分界值为边界值,按照其取值由低至高顺序,对所述取值分布范围进行划分,将所述取值分布范围依次划分为第一取值区间、第二取值区间和第三取值区间;s284,对所述第三标准图像集合中的每个空间光学图像,判断其所含有的船舶数量所属的取值区间;s285,若所述所属的取值区间为第一取值区间,对相应的空间光学图像进行随机排布处理,得到第一增强空间光学图像;若所述所属的取值区间为第二取值区间,对相应的空间光学图像进行随机缩放处理,得到第二增强空间光学图像;若所述所属的取值区间为第三取值区间,对相应的空间光学图像进行随机裁剪处理,得到第三增强空间光学图像;s286,对所述第一增强空间光学图像、第二增强空间光学图像和第三增强空间光学图像进行汇总处理,得到第四标准图像集合。5.如权利要求2所述的基于空间光学图像的船舶检测方法,其特征在于,所述船舶图像检测模型,包括特征编码模块、特征融合模块、预测模块和反馈模块;所述特征编码模块包括三个不同维度的特征提取层、一个注意力机制层、一个相关性提取模块和两个上采样模块;所述特征编码模块,用于对所述标准空间光学图像信息进行特征编码,得到特征图像;所述特征编码模块的第一输出端,连接所述特征融合模块的第一输入端;所述特征编码模块的第二输出端,连接所述预测模块的第一输入端;所述特征融合模块,用于对所述特征图像进行融合处理,得到融合特征;所述特征融合模块的第一输出端,连接所述预测模块的第二输入端;所述预测模块,用于对所述融合特征和特征图像进行回归和分类处理,得到船舶的类别信息和位置信息;所述预测模块的第一输出端,连接所述反馈模块的第一输入端;所述反馈模块,用于对所述船舶的类别信息和位置信息与所述船舶标签信息进行距离差异计算处理,得到差异信息;所述反馈模块的第一输出端,连接所述预测模块的第三输入端。6.如权利要求5所述的基于空间光学图像的船舶检测方法,其特征在于,所述利用所述船舶图像检测模型,对所述标准空间光学图像信息进行处理,得到船舶检测结果,包括:s401,利用所述三个不同维度的特征提取层,分别对所述标准空间光学图像信息进行卷积池化和编码处理,分别得到第一特征图、第二特征图和第三特征图;s402,利用所述注意力机制层,对所述标准空间光学图像信息进行通道注意力提取,得到通道注意力特征;s403,利用所述相关性提取模块,对所述通道注意力特征、第一特征图、第二特征图和第三特征图进行相关性提取,得到相关性特征图像;将所述相关性特征图像输出至预测模
块;所述相关性提取的计算表达式为:其中,f表示特征图集合,包括第一特征图、第二特征图和第三特征图,m
c
()表示通道注意力提取函数,f
′
表示通道注意力特征,m
s
()表示空间注意力映射函数,f
″
表示相关性特征图像;s404,将上采样后的第一特征图和上采样后的第二特征图进行融合,得到第一融合特征图像;将上采样后的第二特征图和上采样后的第三特征图进行融合,得到第二融合特征图像;将所述第一特征图、第二特征图、第三特征图、第一融合特征图像和第二融合特征图像,输入至特征融合模块;s405,利用所述特征融合模块,对特征图像进行融合处理,得到融合特征;所述特征图像包括第一特征图、第二特征图、第三特征图、第一融合特征图像和第二融合特征图像;s406,利用预测模块,对所述融合特征和相关性特征图像进行分类和回归处理,得到船舶的类别信息和位置信息;所述船舶的类别信息和位置信息,构成船舶检测结果。7.如权利要求6所述的基于空间光学图像的船舶检测方法,其特征在于,所述预测模块,包括第一回归子模块、第二回归子模块、残差分析子模块、回归融合子模块和分类子模块;所述第一回归子模块,用于对融合特征和相关性特征图像与对应的标签信息进行线性拟合,得到线性拟合模型,并利用权重调整值对线性预测模型的权重值进行调整;所述第二回归子模块,用于对融合特征和相关性特征图像与对应的标签信息进行多项式拟合,得到多项式拟合模型,并利用权重调整值对多项式拟合模型的权重值进行调整;所述残差分析子模块,用于分别对线性拟合模型和多项式拟合模型的残差进行计算,根据残差计算结果,生成融合权重;所述回归融合子模块,用于利用融合权重,对线性拟合模型和多项式拟合模型进行加权融合处理,生成第一预测模型;所述分类子模块,用于实现对第一预测模型的预测结果进行特征分类操作,得到船舶的类别信息和位置信息。8.如权利要求5所述的基于空间光学图像的船舶检测方法,其特征在于,所述训练船舶图像检测模型,包括:从所述第二标准图像集合中选取出样本图像信息;对训练次数值进行初始化;将所述样本图像信息输入船舶图像检测模型,将得到的船舶的类别信息和位置信息,作为训练检测结果;利用损失函数对所述样本图像信息和训练检测结果进行计算,得到差异值;对所述训练次数值进行累加操作;判断所述训练次数值是否超过训练次数阈值,得到第一判断结果;当所述第一判断结果为是时,触发执行模型校验操作;
当所述第一判断结果为否时,判断所述差异值是否满足收敛条件,得到第二判断结果;当所述第二判断结果为是时,触发执行模型校验操作;当所述第二判断结果为否时,利用所述差异值对预测模块的权重值进行更新,并触发执行将所述样本图像信息输入船舶图像检测模型;利用所述第四标准图像集合,对所述船舶图像检测模型进行校验;将第四标准图像集合输入船舶图像检测模型,得到检测结果;统计所述检测结果的正确率,若所述检测结果正确率超过设定阈值,判断船舶图像检测模型通过校验;若所述检测结果正确率未超过设定阈值,触发执行从所述第二标准图像集合中选取出样本图像信息。9.一种基于空间光学图像的船舶检测装置,其特征在于,所述装置包括:存储有可执行程序代码的存储器;与所述存储器耦合的处理器;所述处理器调用所述存储器中存储的所述可执行程序代码,执行如权利要求1-8任一项所述的基于空间光学图像的船舶检测方法。10.一种计算机可存储介质,其特征在于,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行如权利要求1-8任一项所述的基于空间光学图像的船舶检测方法。
技术总结
本发明公开了一种基于空间光学图像的船舶检测方法,包括:获取待检测空间光学图像信息;所述待检测空间光学图像信息中的待检测空间光学图像为同一地区、不同时间的船舶空间光学图像;对所述待检测空间光学图像信息进行预处理,得到标准空间光学图像信息;建立和训练船舶图像检测模型;利用所述船舶图像检测模型,对所述标准空间光学图像信息进行处理,得到船舶检测结果;所述船舶检测结果,表征所述待检测空间光学图像信息在同一地区、不同时间的船舶存在信息。本发明方法能够实现高时效、高精度的光学船舶检测,且能在数据量较大、场景复杂的空间光学图像数据中,以及空间平台资源约束的条件下完成光学船舶检测。源约束的条件下完成光学船舶检测。源约束的条件下完成光学船舶检测。
技术研发人员:赵薇薇 陈雪华 吕守业 刘喆 王永刚 王艳 王刚
受保护的技术使用者:中国人民解放军61646部队
技术研发日:2023.05.10
技术公布日:2023/8/1
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/