一种水下图像异常目标识别方法、系统和设备与流程
未命名
10-21
阅读:60
评论:0
1.本发明涉及水下图像异常目标识别技术领域,尤其涉及一种水下图像异常目标识别方法、系统和设备。
背景技术:
2.水下图像增强和异常物体检测是水下机器人、潜水电缆检测和海洋生物研究等领域的重要技术。在水下环境中,由于水体的吸收和散射特性,图像往往受到模糊、颜色失真等问题的影响,降低了异常物体检测的准确性。传统的图像增强方法和单一网络结构无法在这些复杂环境中取得理想的检测性能。
3.因此,在现有的技术中,通常是采用生成对抗网络(gan)进行图像增强,并使用单独的卷积神经网络(cnn)进行物体检测。然而,上述方法存在一定的局限性,例如在增强过程中可能丢失有用的信息,导致缺乏上下文信息,造成检测精度低,难以精准检测出水下图像中的异常目标。
技术实现要素:
4.本发明提供了一种水下图像异常目标识别方法、系统和设备,解决了现有的技术在增强过程中可能丢失有用的信息,导致缺乏上下文信息,造成检测精度低,难以精准检测出水下图像中的异常目标的技术问题。
5.本发明第一方面提供的一种水下图像异常目标识别方法,包括:
6.响应接收到的水下图像异常目标识别请求,获取所述水下图像异常目标识别请求对应的原始水下图像;
7.对所述原始水下图像进行增强处理,生成增强水下图像;
8.分别对所述原始水下图像和所述增强水下图像进行卷积处理,并进行特征融合,生成特征融合图像;
9.采用预设的异常物体检测模块在所述特征融合图像的物体边界框内对所述原始水下图像进行异常目标检测,生成初步检测结果;
10.基于所述特征融合图像中异常目标的深度信息,通过预设空间分布模型对所述初步检测结果进行假阳性抑制处理,生成异常目标检测结果。
11.可选地,所述对所述原始水下图像进行增强处理,生成增强水下图像的步骤,包括:
12.将所述原始水下图像输入预设的初始图像增强模块;
13.通过所述初始图像增强模块的判别器提取所述原始水下图像的特征,生成更新水下图像;
14.采用所述更新水下图像对所述初始图像增强模块进行训练,生成目标图像增强模块;
15.通过所述目标图像增强模块的生成器提取所述原始水下图像的特征,生成增强水
下图像。
16.可选地,所述判别器包括多个卷积层、下采样层、激活层和归一化层、池化层和第一全连接层;所述通过所述初始图像增强模块的判别器提取所述原始水下图像的特征,生成更新水下图像的步骤,包括:
17.通过所述初始图像增强模块的判别器的多个卷积层提取所述原始水下图像的特征,生成第一特征图像并输入所述下采样层;
18.通过所述下采样层提取所述第一特征图像的特征,生成第二特征图像并输入所述激活层;
19.通过所述激活层对所述第二特征图像进行非线性转换处理,生成第三特征图像并输入所述归一化层;
20.通过所述归一化层对所述第三特征图像进行归一化处理,生成第四特征图像并输入所述池化层;
21.通过所述池化层对所述第四特征图像进行池化处理,生成第五特征图像并输入所述第一全连接层;
22.通过所述第一全连接层连接所述第五特征图像的特征,生成更新水下图像。
23.可选地,所述生成器包括编码器和解码器;所述通过所述目标图像增强模块的生成器提取所述原始水下图像的特征,生成增强水下图像的步骤,包括:
24.通过所述目标图像增强模块的编码器对应的卷积层提取所述原始水下图像的特征,生成第一增强特征图像并输入所述编码器的激活层;
25.通过所述编码器的激活层对所述第一增强特征图像进行非线性转换处理,生成第二增强特征图像并输入所述编码器的归一化层;
26.通过所述编码器的归一化层对所述第二增强特征图像进行归一化处理,生成第三增强特征图像并分别输入跳层连接和所述解码器的卷积层;
27.通过所述解码器的卷积层对所述第三增强特征图像进行卷积,生成第四增强特征图像并输入所述解码器的转置卷积层;
28.通过所述解码器的转置卷积层对所述第四增强特征图像进行上采样处理,生成第五增强特征图像并输入所述解码器的激活层;
29.通过所述解码器的激活层对所述第五增强特征图像进行非线性转换处理,生成第六增强特征图像并输入所述解码器的归一化层;
30.通过所述解码器的归一化层对所述第六增强特征图像进行归一化处理,生成第七增强特征图像并输入所述跳层连接;
31.通过所述跳层连接将所述第二增强特征图像和第七增强特征图像进行拼接,生成增强水下图像。
32.可选地,所述分别对所述原始水下图像和所述增强水下图像进行卷积处理,并进行特征融合,生成特征融合图像的步骤,包括:
33.通过自适应扩张卷积模块分别对所述原始水下图像和所述增强水下图像进行卷积处理,分别生成第一卷积特征图像和第二卷积特征图像并输入动态特征融合模块;
34.通过所述动态特征融合模块将所述第一卷积特征图像和所述第二卷积特征图像进行特征融合,生成特征融合图像。
35.可选地,所述通过所述动态特征融合模块将所述第一卷积特征图像和所述第二卷积特征图像进行特征融合,生成特征融合图像的步骤,包括:
36.通过所述动态特征融合模块的多路特征通道分别对所述第一卷积特征图像的第一卷积特征、所述第二卷积特征图像的第二卷积特征和第三卷积特征进行均值池化操作,分别生成第一池化特征、第二池化特征和第三池化特征;
37.将所述第一池化特征、所述第二池化特征和所述第三池化特征进行拼接,生成初始特征向量并输入第二全连接层进行连接,生成更新特征向量并输入softmax层;
38.通过所述softmax层对所述更新特征向量进行softmax操作,生成更新向量;
39.采用所述更新向量的数值与所述更新向量对应的特征的特征通道数相乘,生成多个目标向量;
40.采用全部所述目标向量进行拼接,生成特征融合图像。
41.可选地,所述采用预设的异常物体检测模块在所述特征融合图像的物体边界框内对所述原始水下图像进行异常目标检测,生成初步检测结果的步骤,包括:
42.将所述特征融合图像输入预设的区域建议网络,生成多个物体边界框;
43.通过所述区域建议网络预测所述物体边界框内的特征融合图像的物体性,并对所述特征融合图像的物体性进行评分,生成物体性分数;
44.判断所述物体性分数是否大于或等于分数阈值;
45.若是,则提取所述物体性分数对应的物体边界框以及所述物体边界框对应的物体边界框坐标;
46.采用再优化模块对所述物体性分数对应的物体边界框进行优化,生成优化物体边界框;
47.采用所述优化物体边界框对所述特征融合图像进行检测,生成区域检测结果;
48.将所述原始水下图像输入所述异常物体检测模块;
49.通过所述异常物体检测模块的特征提取器提取所述原始水下图像的特征,生成第一异常物体特征图像;
50.将所述第一异常物体特征图像与所述特征融合图像进行拼接,生成第二异常物体特征图像并输入卷积网络;
51.通过所述卷积网络提取所述第二异常物体特征图像的特征,生成注意力检测结果;
52.将所述注意力检测结果与所述区域检测结果对应的置信度通道相乘,生成目标异常物体特征图像;
53.按照所述目标异常物体特征图像上的优化物体边界框对所述目标异常物体特征图像进行异常物体检测,生成初步检测结果。
54.可选地,所述通过预设空间分布模型对所述初步检测结果进行假阳性抑制处理,生成异常目标检测结果的步骤,包括:
55.通过回归法从所述特征融合图像检测异常目标的深度信息;
56.基于所述异常目标的深度信息和所述特征融合图像上的优化物体边界框内的图像像素数据,构建预设空间分布模型;
57.分析所述初步检测结果中的异常目标的多个空间分布;
58.判断所述空间分布是否大于或等于所述预设空间分布模型的分布阈值;
59.若否,则将所述空间分布确定为假阳性,并去除所述空间分布;
60.若是,则确定所述异常目标的空间分布,并结合多个空间分布,生成异常目标检测结果。
61.本发明第二方面提供的一种水下图像异常目标识别系统,包括:
62.原始水下图像模块,用于响应接收到的水下图像异常目标识别请求,获取所述水下图像异常目标识别请求对应的原始水下图像;
63.增强水下图像模块,用于对所述原始水下图像进行增强处理,生成增强水下图像;
64.特征融合图像模块,用于分别对所述原始水下图像和所述增强水下图像进行卷积处理,并进行特征融合,生成特征融合图像;
65.初步检测结果模块,用于采用预设的异常物体检测模块在所述特征融合图像的物体边界框内对所述原始水下图像进行异常目标检测,生成初步检测结果;
66.异常目标检测结果模块,用于基于所述特征融合图像中异常目标的深度信息,通过预设空间分布模型对所述初步检测结果进行假阳性抑制处理,生成异常目标检测结果。
67.本发明第三方面提供的一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上述任一项所述的水下图像异常目标识别方法的步骤。
68.从以上技术方案可以看出,本发明具有以下优点:
69.本发明通过响应接收到的水下图像异常目标识别请求,获取水下图像异常目标识别请求对应的原始水下图像;对原始水下图像进行增强处理,生成增强水下图像;分别对原始水下图像和增强水下图像进行卷积处理,并进行特征融合,生成特征融合图像;采用预设的异常物体检测模块在特征融合图像的物体边界框内对原始水下图像进行异常目标检测,生成初步检测结果;基于特征融合图像中异常目标的深度信息,通过预设空间分布模型对初步检测结果进行假阳性抑制处理,生成异常目标检测结果。解决了现有的技术在增强过程中可能丢失有用的信息,导致缺乏上下文信息,造成检测精度低,难以精准检测出水下图像中的异常目标的技术问题。
70.本发明通过将图像增强和物体检测进行一体化设计,对原始图像、增强图像和编码器特征的融合,能够适应不同尺度的特征,充分利用了上下文信息和预测物体的深度信息,降低了噪声和散射对检测结果的影响,减少假阳性检测,提高了检测结果的可靠性。
附图说明
71.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
72.图1为本发明实施例一提供的一种水下图像异常目标识别方法的步骤流程图;
73.图2为本发明实施例二提供的一种水下图像异常目标识别方法的步骤流程图;
74.图3为本发明实施例二提供的一种水下图像异常目标识别方法使用的模块操作流程示意图;
75.图4为本发明实施例三提供的一种水下图像异常目标识别系统的结构框图。
具体实施方式
76.本发明实施例提供了一种水下图像异常目标识别方法、系统和设备,用于解决现有的技术在增强过程中可能丢失有用的信息,导致缺乏上下文信息,造成检测精度低,难以精准检测出水下图像中的异常目标的技术问题。
77.为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
78.请参阅图1,图1为本发明实施例一提供的一种水下图像异常目标识别方法的步骤流程图。
79.本发明提供的一种水下图像异常目标识别方法,包括以下步骤:
80.步骤101、响应接收到的水下图像异常目标识别请求,获取水下图像异常目标识别请求对应的原始水下图像。
81.需要说明的是,水下图像异常目标识别请求指的是对水下机器人拍摄到的水下图像中的异常目标进行识别的请求。
82.在具体实施时,当接收到水下图像异常目标识别请求时,获取水下机器人拍摄到的原始水下图像,便于后续进行图像增强或其他图像处理。
83.步骤102、对原始水下图像进行增强处理,生成增强水下图像。
84.在具体实施时,对原始水下图像进行增强处理包括但不限于提取原始水下图像的特征,并对提取特征后的图像进行激活处理、归一化处理等,从而得到增强水下图像。
85.步骤103、分别对原始水下图像和增强水下图像进行卷积处理,并进行特征融合,生成特征融合图像。
86.需要说明的是,特征融合图像指的是两个特征图像进行特征融合后,得到的特征融合图像。
87.在具体实施时,采用两个自适应扩张卷积模块分别对原始水下图像和增强图像进行卷积处理,生成两个更新图像,采用动态特征融合模块将两个更新图像进行特征融合,得到特征融合图像。
88.步骤104、采用预设的异常物体检测模块在特征融合图像的物体边界框内对原始水下图像进行异常目标检测,生成初步检测结果。
89.需要说明的是,预设的异常物体检测模块指的是上下文感知异常物体检测模块,具体为由预定义水下物体模板引导的注意力机制,关注在潜水电缆背景下更可能包含异常物体的区域。上述模板代表了预期的海洋生物、碎片和电缆损坏的外观,使用动态特征融合模块的融合特征和注意力引导的上下文信息,在细化的区域建议内检测异常目标。
90.在具体实施时,采用特征融合图像提取的深度信息和物体边界框内的图像像素数据,构建预设的异常物体检测模块,使异常物体检测模块在物体边界框内对原始水下图像进行异常目标检测,得到初步检测结果。
91.步骤105、基于特征融合图像中异常目标的深度信息,通过预设空间分布模型对初步检测结果进行假阳性抑制处理,生成异常目标检测结果。
92.需要说明的是,异常目标检测结果指的是对水下图像的异常目标检测后,得到的检测结果,该检测结果包括检测到的异常物体及其周围水下环境的深度信息。
93.假阳性抑制处理指的是针对水下环境定制的预定义的空间分布模型来减少水下图像的假阳性,有助于提高异常物体检测的整体精度。
94.在具体实施时,对于初步检测结果的包围框(物体边界框),裁切其内部的图像像素数据和特征融合图像中异常目标的深度信息,归一化处理后得到空间分布模型中异常目标的分布概率,提取初步检测结果中的异常目标的空间分布对应的分布概率,分布概率小于空间分布模型中异常目标的分布概率阈值时,则认定为假阳性,去掉该空间分布,将剩余的空间分布对应的检测结果确定为异常目标检测结果。
95.请参阅图2-3,图2为本发明实施例二提供的一种水下图像异常目标识别方法的步骤流程图。
96.本发明提供的一种水下图像异常目标识别方法,包括以下步骤:
97.步骤201、响应接收到的水下图像异常目标识别请求,获取水下图像异常目标识别请求对应的原始水下图像。
98.在本发明实施例中,步骤201的具体实施过程与步骤101类似,在此不再赘述。
99.步骤202、将原始水下图像输入预设的初始图像增强模块。
100.需要说明的是,预设的初始图像增强模块包括一个判别器和生成器,其中,生成器采用编码器-解码器架构,相应层之间具有跳层连接。
101.在具体实施时,将原始水下图像输入初始图像增强模块进行图像增强处理。
102.步骤203、通过初始图像增强模块的判别器提取原始水下图像的特征,生成更新水下图像。
103.可选地,判别器包括多个卷积层、下采样层、激活层和归一化层、池化层和第一全连接层;步骤203包括以下步骤s11-s16:
104.s11、通过初始图像增强模块的判别器的多个卷积层提取原始水下图像的特征,生成第一特征图像并输入下采样层;
105.s12、通过下采样层提取第一特征图像的特征,生成第二特征图像并输入激活层;
106.s13、通过激活层对第二特征图像进行非线性转换处理,生成第三特征图像并输入归一化层;
107.s14、通过归一化层对第三特征图像进行归一化处理,生成第四特征图像并输入池化层;
108.s15、通过池化层对第四特征图像进行池化处理,生成第五特征图像并输入第一全连接层;
109.s16、通过第一全连接层连接第五特征图像的特征,生成更新水下图像。
110.需要说明的是,判别器是一个卷积神经网络,经过多个卷积层、下采样层(包括池化或步长大于1的卷积层)、激活层、归一化层以及最终的一个池化层(将空间尺寸降低到1
×
1)、1个或多个全连接层(特征通道由c降低至1),1个sigmoid层,输出单个数值形式的置信度。用于在网络训练过程中区分真实图像和生成图像,引导生成器生成质量和外观类似
于清晰图像的增强图像。其中,在上述步骤中和下述步骤s42中的第一全连接层和第二全连接层均为全连接层。
111.在具体实施时,在上述步骤中,第一特征图像指的是原始水下图像经过判别器的多个卷积层进行卷积处理后,得到的特征图像;第二特征图像指的是第一特征图像经过下采样层进行下采样处理后,得到的特征图像;第三特征图像指的是第二特征图像经过激活层进行非线性转换处理后,得到的特征图像;第四特征图像指的是第三特征图像经过归一化层进行归一化处理后,得到的特征图像;第五特征图像指的是第四特征图像经过池化层进行池化处理后,得到的特征图像;更新水下图像指的是第五特征图像经过全连接层进行连接处理后,得到的特征图像。
112.步骤204、采用更新水下图像对初始图像增强模块进行训练,生成目标图像增强模块。
113.需要说明的是,目标图像增强模块为采用判别器进行训练完成后,引导生成器生成质量和外观类似于清晰图像的增强图像,即可成为目标图像增强模块。
114.在具体实施时,采用更新水下图像对初始图像增强模块进行训练,训练初始图像增强模块的损失函数包括对抗损失lg、内容损失lc和下游任务损失lf。当生成器为g,判别器为d,某一原始水下图像为x0,其对应的增强图像真值为x
gt
,具体公式为
115.lg=-log(d(x
gt
))-log(1-d(g(x0))
116.lc=||g(x0)-x
gt
||
117.具体地,下游任务损失由整个神经网络框架的检测结果的损失反向传播得到的,在整体训练阶段的早期,图像增强模块使用退化原始水下图像和增强水下图像的数据对单独进行训练,中后期参与整个框架的联合训练,以优化其编码器输出的特征。具体而言,参考图3,以图3中的异常物体检测模块的目标检测损失和深度估计模块的深度估计的损失反向传播得到,具体公式为:
118.lf=bp(l
det
:{θ
rpn
,θ
ref
})+αbp(l
dep
:θ
de
)
119.式中,l
det
为目标检测损失,包括区域建议网络和边界再优化两部分损失,θ
rpn
为区域建议网络(region proposal network)的参数,θ
ref
为边界再优化网络(refinement)的参数,l
dep
为深度估计的损失,一般为预测出的深度和真值深度之间的2范数或其他损失函数(具体地,此处的深度值图像中每个点到相机的距离,即rgbd中的d,并非指水下深度),θ
de
为深度估计网络(depth estimation)的参数,bp为反向传播,即常规的通过链式求导法则反向传播梯度。
120.在网络训练的早期,先单独训练图像增强模块,即仅使用对抗损失lg和内容损失lc,具体公式为:
121.l
enh_early
=lg+λlc122.式中,l
enh_early
为目标图像增强模块在训练早期的损失函数,lg为对抗损失,lc为内容损失。
123.中后期参与联合训练,具体公式为:
124.l
enh
=lg+λ1lc+λ2lf125.式中,l
enh
为目标图像增强模块在训练中后期的损失函数,lg为对抗损失,lc为内容损失,lf为下游任务损失。
126.步骤205、通过目标图像增强模块的生成器提取原始水下图像的特征,生成增强水下图像。
127.可选地,生成器包括编码器和解码器;步骤205包括以下步骤s21-s28:
128.s21、通过目标图像增强模块的编码器对应的卷积层提取原始水下图像的特征,生成第一增强特征图像并输入编码器的激活层;
129.s22、通过编码器的激活层对第一增强特征图像进行非线性转换处理,生成第二增强特征图像并输入编码器的归一化层;
130.s23、通过编码器的归一化层对第二增强特征图像进行归一化处理,生成第三增强特征图像并分别输入跳层连接和解码器的卷积层;
131.s24、通过解码器的卷积层对第三增强特征图像进行卷积,生成第四增强特征图像并输入解码器的转置卷积层;
132.s25、通过解码器的转置卷积层对第四增强特征图像进行上采样处理,生成第五增强特征图像并输入解码器的激活层;
133.s26、通过解码器的激活层对第五增强特征图像进行非线性转换处理,生成第六增强特征图像并输入解码器的归一化层;
134.s27、通过解码器的归一化层对第六增强特征图像进行归一化处理,生成第七增强特征图像并输入跳层连接;
135.s28、通过跳层连接将第二增强特征图像和第七增强特征图像进行拼接,生成增强水下图像。
136.需要说明的是,编码器由一系列步长为1或大于的卷积层组成,其卷积核首层可使用但不限于7
×
7大小卷积核,输出通道数包括但不限于128或256,其后的卷积核使用1
×
1或3
×
3大小卷积核,步长为1时特征空间域尺寸不变,步长为2时或更高(记s)时,特征空间域尺寸缩小为1/s,称其为下采样,通道数随每次特征下采样扩增为上一特征的(不限于)s或2s倍,非下采样时特征通道数维持不变。每个卷积层后接激活层,可采用但不限于relu、leaky relu等激活函数。每个激活层后接归一化层,包括但不限于批归一化、层归一化、组归一化或实例归一化。记卷积层为c,激活层为r,归一化层为b,则对于某一层特征xi(x0为原始水下图像)而言有:
137.x
i+1
=b
i+1
(r
i+1
(c
i+1
(xi)))
138.在具体实施时,解码器由一系列卷积层与转置卷积层及激活、归一化层组成,其中卷积层步长均为1,转置卷积层的上采样率与编码器中的下采样层镜像对应,例如编码器中若包含3个下采样卷积层,下采样率分别为1/4,1/2和1/2,则解码器中包含3个转置卷积层,上采样率分别为2,2和4。解码器中每个卷积层或转置卷积层后同样接激活层和归一化层。
139.跳层连接是将编码器中卷积层输出的中间特征拿到解码器对应尺度上进行特征通道上的拼接(参考unet)。
140.在具体实施时,第一增强特征图像指的是原始水下图像经过编码器对应的卷积层进行卷积特征提取处理后,生成的特征图像;第二增强特征图像指的是第一增强特征图像经过编码器的激活层进行非线性转换处理后,生成的特征图像;第三增强特征图像指的是第二增强特征图像经过编码器的归一化层进行归一化处理后,生成的特征图像;第四增强特征图像指的是第三增强特征图像经过解码器的卷积层进行卷积处理后,生成的特征图
像;第五增强特征图像指的是第四增强特征图像经过解码器的转置卷积层进行上采样处理后,生成的特征图像;第六增强特征图像指的是第五增强特征图像经过解码器的激活层进行非线性转换处理后,生成的特征图像;第七增强特征图像指的是第六增强特征图像经过解码器的归一化层进行归一化处理后,生成的特征图像,增强水下图像指的是由第二增强特征图像和第七增强特征图像经过跳层连接进行拼接后,生成的水下图像。
141.步骤206、分别对原始水下图像和增强水下图像进行卷积处理,并进行特征融合,生成特征融合图像。
142.可选地,步骤206包括以下步骤s31-s32:
143.s31、通过自适应扩张卷积模块分别对原始水下图像和增强水下图像进行卷积处理,分别生成第一卷积特征图像和第二卷积特征图像并输入动态特征融合模块;
144.s32、通过动态特征融合模块将第一卷积特征图像和第二卷积特征图像进行特征融合,生成特征融合图像。
145.需要说明的是,在上述步骤中,使用不同扩张率的自适应扩张卷积模块从原始水下图像和生成的增强水下图像中提取特征。由于感兴趣物体在图像中的尺寸随物体本身大小和相机远近、视角等多个因素影响,变化较大,因此需要可变的感受野以改进物体检测效果。自适应扩张卷积模块在不增加参数数量的情况下扩展卷积的接受域,使网络能够在不同尺度上捕获上下文信息。但是,人工设定的自适应扩张卷积模块的扩张率难以适应真实大数据中复杂的变化。
146.因此,在本发明实施例中,记某一卷积层具有c个卷积核,其中包含c0个普通卷积核和c1个可变扩张率卷积核。以网络训练的某一步为例,使用上一步的c1个扩张卷积核的扩张率进行正向传播,计算损失函数。
147.以启发式或随机方向式调整c1个扩张卷积核中的部分扩张率数次,每次计算损失函数,记最小损失函数为优化方向,寻找更优的扩张率设置。随着整体框架的训练进程,损失函数降低至设定阈值以下后,停止扩张率的优化并固化配置,使用固化配置继续后续的训练,并在推理阶段进行目标检测。使网络能够根据数据分布自适应地得到最优的感受野大小,这种自适应扩张卷积模块有助于网络捕获异常目标检测任务中更有意义的特征。
148.在具体实施时,当两个自适应扩张卷积模块分别对原始水下图像和增强水下图像进行特征提取后,生成的第一卷积特征f
orig
和第二卷积特征f
enh
,以及目标图像增强模块中的生成器的编码器部分提取的特征f
enc
,均输入动态特征融合模块进行特征融合处理,生成特征融合图像。
149.可选地,步骤s32包括以下步骤s41-s45:
150.s41、通过动态特征融合模块的多路特征通道分别对第一卷积特征图像的第一卷积特征、第二卷积特征图像的第二卷积特征和第三卷积特征进行均值池化操作,分别生成第一池化特征、第二池化特征和第三池化特征;
151.s42、将第一池化特征、第二池化特征和第三池化特征进行拼接,生成初始特征向量并输入第二全连接层进行连接,生成更新特征向量并输入softmax层;
152.s43、通过softmax层对更新特征向量进行softmax操作,生成更新向量;
153.s44、采用更新向量的数值与更新向量对应的特征的特征通道数相乘,生成多个目标向量;
154.s45、采用全部目标向量进行拼接,生成特征融合图像。
155.需要说明的是,从目标图像增强模块的生成器的编码器和自适应扩张卷积模块获取三路特征作为动态特征融合模块的输入,上述特征在两个网络的不同层次上提取,捕捉多尺度信息。采用一系列基于注意力的门控机制,有选择地将来自三路的特征图进行组合。这些门控机制依据特征对任务的相关性学会权衡来自每个来源的特征的重要性。
156.在具体实施时,原始水下图像和增强水下图像分别生成的第一卷积特征f
orig
和第二卷积特征f
enh
,以及目标图像增强模块中的生成器的编码器部分提取的特征f
enc
,即动态特征融合模块的左、中和右三路特征通道分别输入f
orig
、f
enh
和f
enc
,设三路特征通道的通道数分别为c
orig
、c
enh
和c
enc
,分别对f
orig
、f
enh
和f
enc
在空间维度进行均值池化操作,生成第一池化特征、第二池化特征和第三池化特征,使其空间尺寸降低为1
×
1后进行拼接,得到一个长度为c
orig
+c
enh
+c
enc
向量(也就是初始特征向量),该向量输入1个或多个全连接层,得到一个长度为n的向量(也就是更新特征向量),对该向量执行softmax操作得到向量a(也就是更新向量),向量a表示了n个门控机制,其中,n=1+nd,为自适应扩张卷积模块中扩张率的非重复个数(例如在自适应扩张卷积模块中,包含32个扩张率为1的卷积核(等价于普通卷积核)、32个扩张率为2的卷积核、16个扩展率为4的卷积核、以及16个扩展率为8的卷积核,则nd=4,即num({1,2,4,8})),而其中的1则对应f
enc
,得到向量a后,使用向量a的数值乘到特征的对应通道中后,生成多个目标向量,在通道维度进行拼接,即:
157.f
merge
=concatenate({a0.·fenc
,a[dr=1]
·forig
[dr=1],a[dr=1]
·fen
[dr=1],a[dr=2]
·forig
[dr=2],a[dr=2]
·fenh
[dr=2],
…
})
[0158]
式中,f
merge
为融合特征,dr扩张率,f...[]表示按照[]中的条件进行索引操作,concatenate表示在特征通道中进行拼接操作。
[0159]
在具体实施时,动态特征融合模块的输出是一组融合特征,包含增强图像和原始图像的信息,以及目标图像增强模块的编码器的信息,对于其中不同感受野的特征加入了门控机制后融合,使得后续网络能够得到自适应的较优的融合特征,对于不同尺度的上下文信息具有自适应的注意力。
[0160]
步骤207、采用预设的异常物体检测模块在特征融合图像的物体边界框内对原始水下图像进行异常目标检测,生成初步检测结果。
[0161]
可选地,步骤207包括以下步骤s51-s512:
[0162]
s51、将特征融合图像输入预设的区域建议网络,生成多个物体边界框;
[0163]
s52、通过区域建议网络预测物体边界框内的特征融合图像的物体性,并对特征融合图像的物体性进行评分,生成物体性分数;
[0164]
s53、判断物体性分数是否大于或等于分数阈值;
[0165]
s54、若是,则提取物体性分数对应的物体边界框以及物体边界框对应的物体边界框坐标;
[0166]
s55、采用再优化模块对物体性分数对应的物体边界框进行优化,生成优化物体边界框;
[0167]
s56、采用优化物体边界框对特征融合图像进行检测,生成区域检测结果;
[0168]
s57、将原始水下图像输入异常物体检测模块;
[0169]
s58、通过异常物体检测模块的特征提取器提取原始水下图像的特征,生成第一异
常物体特征图像;
[0170]
s59、将第一异常物体特征图像与特征融合图像进行拼接,生成第二异常物体特征图像并输入卷积网络;
[0171]
s510、通过卷积网络提取第二异常物体特征图像的特征,生成注意力检测结果;
[0172]
s511、将注意力检测结果与区域检测结果对应的置信度通道相乘,生成目标异常物体特征图像;
[0173]
s512、按照目标异常物体特征图像上的优化物体边界框对目标异常物体特征图像进行异常物体检测,生成初步检测结果。
[0174]
需要说明的是,预设的区域建议网络(region proposal network)通过在来自动态特征融合模块的特征融合图像上滑动一个小型网络来生成区域建议,在每个区域建议预测物体性分数和边界框坐标。再优化模块独立地使用来自动态特征融合模块的融合特征细化区域建议的边界框坐标。改进检测到的物体的定位,帮助网络关注异常物体检测任务中最相关的区域。
[0175]
在具体实施时,将特征融合图像输入到区域建议网络中,通过区域建议网络预测特征融合上的异常目标,并对预测到的异常目标划分物体边界框,并采用区域建议网络预测物体边界框内的特征融合图像的物体性,对物体性进行评分,生成物体性分数。当物体性分数大于或等于预设的分数阈值时,提取物体性分数对应的物体边界框。
[0176]
在具体实施时,采用再优化模块细化物体边界框,即可生成优化物体边界框,并应用优化物体边界框对特征融合图像进行检测,生成区域检测结果。
[0177]
在具体实施时,设一组包含了常见水下异常目标的原始水下图像为i
tplt
,图像尺寸为h
×
w,图像张数为n,则i
tplt
尺寸为n
×h×
w,将其输入一卷积神经网络形式的特征提取器e
t0
,控制e
t0
的下采样率,使其空间尺寸将至与f
merge
相同,得到f
tplt
(也就是第一异常物体特征图像),将f
merge
(特征融合图像)与f
tplt
(也就是第一异常物体特征图像)级联(即特征通道拼接),得到第二异常物体特征图像,再输入另一卷积神经网络e
t1
,得到一热力图形式的注意力结果a
t
。将a
t
与区域检测结果中的置信度通道相乘,得到目标异常物体特征图像(区域建议和再优化模块的输出与现有各种物体检测输出相同,为h
′
×w′
×
(1+4+c),h
′
×w′
为原始水下图像经过各模块的下采样后的尺寸,1为置信度,4为优化物体边界框,c为物体类别分类结果,与“1”那个通道相乘)。
[0178]
在具体实施时,按照a
t
与区域建议和再优化模块的区域检测结果中的置信度通道相乘得到的目标异常物体特征图像以及目标异常物体特征图像上的边界框,对边界框内的目标异常物体特征图像上的信息进行异常物体检测,从而得到初步检测结果。
[0179]
具体地,引入常见模板注意力能够进一步提高了网络在异常物体检测方面的准确性和泛化能力。
[0180]
步骤208、基于特征融合图像中异常目标的深度信息,通过预设空间分布模型对初步检测结果进行假阳性抑制处理,生成异常目标检测结果。
[0181]
可选地,步骤208包括以下步骤s61-s66:
[0182]
s61、通过回归法从特征融合图像检测异常目标的深度信息;
[0183]
s62、基于异常目标的深度信息和特征融合图像上的优化物体边界框内的图像像素数据,构建预设空间分布模型;
[0184]
s63、分析初步检测结果中的异常目标的多个空间分布;
[0185]
s64、判断空间分布是否大于或等于预设空间分布模型的分布阈值;
[0186]
s65、若否,则将空间分布确定为假阳性,并去除空间分布;
[0187]
s66、若是,则确定异常目标的空间分布,并结合多个空间分布,生成异常目标检测结果。
[0188]
需要说明的是,在上述步骤中,使用来自动态特征融合模块的融合特征估计检测到的异常目标的深度。深度估计采用基于回归方法,使用一个类似全卷积网络(fcn)的神经网络从输出各点的深度,并通过预测的异常目标包围框采样得到物体深度。估计的深度信息为基于拒绝采样法的假阳性抑制模块提供了额外的上下文信息,帮助其更好地区分真阳性和假阳性。同时,深度估计能够提供损失函数用于优化前续模块的网络参数。另外,检测到的异常目标及其周围水下环境的深度信息本身也是一种感兴趣信息,能够为使用者提供对于现场更多的感知。
[0189]
在具体实施时,预设空间分布设定方法具体为:以异常目标实例的优化物体边界框裁切其内部rgb和深度数据,在归一化的rgbd空间中构建预设空间分布模型,并得到概率分布(也就是空间分布)。
[0190]
分析初步检测结果中预测的异常目标的包围框(也就是空间分布),裁切其内部rgb和深度数据,归一化处理后在分布中采样其概率,概率小于设定阈值(分布阈值)时,认定为假阳性。将假阳性对应的空间分布去除,从而确定异常目标的空间分布,并结合各空间分布,生成异常目标检测结果。
[0191]
本发明响应接收到的水下图像异常目标识别请求,获取水下图像异常目标识别请求对应的原始水下图像;对原始水下图像进行增强处理,生成增强水下图像;分别对原始水下图像和增强水下图像进行卷积处理,并进行特征融合,生成特征融合图像;采用预设的异常物体检测模块在特征融合图像的物体边界框内对原始水下图像进行异常目标检测,生成初步检测结果;基于特征融合图像中异常目标的深度信息,通过预设空间分布模型对初步检测结果进行假阳性抑制处理,生成异常目标检测结果。解决了现有的技术在增强过程中可能丢失有用的信息,导致缺乏上下文信息,造成检测精度低,难以精准检测出水下图像中的异常目标的技术问题。
[0192]
本发明通过将图像增强和物体检测进行一体化设计,对原始图像、增强图像和编码器特征的融合,能够适应不同尺度的特征,充分利用了上下文信息和预测物体的深度信息,降低了噪声和散射对检测结果的影响,减少假阳性检测,提高了检测结果的可靠性。
[0193]
请参阅图4,图4为本发明实施例三提供的一种水下图像异常目标识别系统的结构框图。
[0194]
本发明提供的一种水下图像异常目标识别系统,包括:
[0195]
原始水下图像模块401,用于响应接收到的水下图像异常目标识别请求,获取水下图像异常目标识别请求对应的原始水下图像;
[0196]
增强水下图像模块402,用于对原始水下图像进行增强处理,生成增强水下图像;
[0197]
特征融合图像模块403,用于分别对原始水下图像和增强水下图像进行卷积处理,并进行特征融合,生成特征融合图像;
[0198]
初步检测结果模块404,用于采用预设的异常物体检测模块在特征融合图像的物
体边界框内对原始水下图像进行异常目标检测,生成初步检测结果;
[0199]
异常目标检测结果模块405,用于基于特征融合图像中异常目标的深度信息,通过预设空间分布模型对初步检测结果进行假阳性抑制处理,生成异常目标检测结果。
[0200]
可选地,增强水下图像模块402包括:
[0201]
初始图像增强子模块,用于将原始水下图像输入预设的初始图像增强模块;
[0202]
更新水下图像子模块,用于通过初始图像增强模块的判别器提取原始水下图像的特征,生成更新水下图像;
[0203]
目标图像增强子模块,用于采用更新水下图像对初始图像增强模块进行训练,生成目标图像增强模块;
[0204]
增强水下图像子模块,用于通过目标图像增强模块的生成器提取原始水下图像的特征,生成增强水下图像。
[0205]
可选地,判别器包括多个卷积层、下采样层、激活层和归一化层、池化层和第一全连接层;更新水下图像子模块包括:
[0206]
下采样层子模块,用于通过初始图像增强模块的判别器的多个卷积层提取原始水下图像的特征,生成第一特征图像并输入下采样层;
[0207]
激活子模块,用于通过下采样层提取第一特征图像的特征,生成第二特征图像并输入激活层;
[0208]
输入归一化层子模块,用于通过激活层对第二特征图像进行非线性转换处理,生成第三特征图像并输入归一化层;
[0209]
池化层子模块,用于通过归一化层对第三特征图像进行归一化处理,生成第四特征图像并输入池化层;
[0210]
第一全连接层子模块,用于通过池化层对第四特征图像进行池化处理,生成第五特征图像并输入第一全连接层;
[0211]
生成更新水下图像子模块,用于通过第一全连接层连接第五特征图像的特征,生成更新水下图像。
[0212]
可选地,生成器包括编码器和解码器;增强水下图像子模块包括:
[0213]
第一编码器子模块,用于通过目标图像增强模块的编码器对应的卷积层提取原始水下图像的特征,生成第一增强特征图像并输入编码器的激活层;
[0214]
第二编码器子模块,用于通过编码器的激活层对第一增强特征图像进行非线性转换处理,生成第二增强特征图像并输入编码器的归一化层;
[0215]
卷积层子模块,用于通过编码器的归一化层对第二增强特征图像进行归一化处理,生成第三增强特征图像并分别输入跳层连接和解码器的卷积层;
[0216]
装置卷积层子模块,用于通过解码器的卷积层对第三增强特征图像进行卷积,生成第四增强特征图像并输入解码器的转置卷积层;
[0217]
激活层子模块,用于通过解码器的转置卷积层对第四增强特征图像进行上采样处理,生成第五增强特征图像并输入解码器的激活层;
[0218]
归一化层子模块,用于通过解码器的激活层对第五增强特征图像进行非线性转换处理,生成第六增强特征图像并输入解码器的归一化层;
[0219]
跳层连接子模块,用于通过解码器的归一化层对第六增强特征图像进行归一化处
理,生成第七增强特征图像并输入跳层连接;
[0220]
生成增强水下图像子模块,用于通过跳层连接将第二增强特征图像和第七增强特征图像进行拼接,生成增强水下图像。
[0221]
可选地,特征融合图像模块403包括:
[0222]
动态融合子模块,用于通过自适应扩张卷积模块分别对原始水下图像和增强水下图像进行卷积处理,分别生成第一卷积特征图像和第二卷积特征图像并输入动态特征融合模块;
[0223]
特征融合图像子模块,用于通过动态特征融合模块将第一卷积特征图像和第二卷积特征图像进行特征融合,生成特征融合图像。
[0224]
可选地,特征融合图像子模块包括:
[0225]
第三池化特征子模块,用于通过动态特征融合模块的多路特征通道分别对第一卷积特征图像的第一卷积特征、第二卷积特征图像的第二卷积特征和第三卷积特征进行均值池化操作,分别生成第一池化特征、第二池化特征和第三池化特征;
[0226]
softmax层子模块,用于将第一池化特征、第二池化特征和第三池化特征进行拼接,生成初始特征向量并输入第二全连接层进行连接,生成更新特征向量并输入softmax层;
[0227]
更新向量子模块,用于通过softmax层对更新特征向量进行softmax操作,生成更新向量;
[0228]
目标向量子模块,用于采用更新向量的数值与更新向量对应的特征的特征通道数相乘,生成多个目标向量;
[0229]
特征融合图像子模块,用于采用全部目标向量进行拼接,生成特征融合图像。
[0230]
可选地,初步检测结果模块404包括:
[0231]
物体边界框子模块,用于将特征融合图像输入预设的区域建议网络,生成多个物体边界框;
[0232]
物体性分数子模块,用于通过区域建议网络预测物体边界框内的特征融合图像的物体性,并对特征融合图像的物体性进行评分,生成物体性分数;
[0233]
分数阈值子模块,用于判断物体性分数是否大于或等于分数阈值;
[0234]
物体边界框坐标子模块,用于若是,则提取物体性分数对应的物体边界框以及物体边界框对应的物体边界框坐标;
[0235]
优化物体边界框子模块,用于采用再优化模块对物体性分数对应的物体边界框进行优化,生成优化物体边界框;
[0236]
区域检测结果子模块,用于采用优化物体边界框对特征融合图像进行检测,生成区域检测结果;
[0237]
异常物体检测模块子模块,用于将原始水下图像输入异常物体检测模块;
[0238]
第一异常物体特征图像子模块,用于通过异常物体检测模块的特征提取器提取原始水下图像的特征,生成第一异常物体特征图像;
[0239]
卷积网络子模块,用于将第一异常物体特征图像与特征融合图像进行拼接,生成第二异常物体特征图像并输入卷积网络;
[0240]
注意力检测结果子模块,用于通过卷积网络提取第二异常物体特征图像的特征,
memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0256]
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
技术特征:
1.一种水下图像异常目标识别方法,其特征在于,包括:响应接收到的水下图像异常目标识别请求,获取所述水下图像异常目标识别请求对应的原始水下图像;对所述原始水下图像进行增强处理,生成增强水下图像;分别对所述原始水下图像和所述增强水下图像进行卷积处理,并进行特征融合,生成特征融合图像;采用预设的异常物体检测模块在所述特征融合图像的物体边界框内对所述原始水下图像进行异常目标检测,生成初步检测结果;基于所述特征融合图像中异常目标的深度信息,通过预设空间分布模型对所述初步检测结果进行假阳性抑制处理,生成异常目标检测结果。2.根据权利要求1所述的水下图像异常目标识别方法,其特征在于,所述对所述原始水下图像进行增强处理,生成增强水下图像的步骤,包括:将所述原始水下图像输入预设的初始图像增强模块;通过所述初始图像增强模块的判别器提取所述原始水下图像的特征,生成更新水下图像;采用所述更新水下图像对所述初始图像增强模块进行训练,生成目标图像增强模块;通过所述目标图像增强模块的生成器提取所述原始水下图像的特征,生成增强水下图像。3.根据权利要求2所述的水下图像异常目标识别方法,其特征在于,所述判别器包括多个卷积层、下采样层、激活层和归一化层、池化层和第一全连接层;所述通过所述初始图像增强模块的判别器提取所述原始水下图像的特征,生成更新水下图像的步骤,包括:通过所述初始图像增强模块的判别器的多个卷积层提取所述原始水下图像的特征,生成第一特征图像并输入所述下采样层;通过所述下采样层提取所述第一特征图像的特征,生成第二特征图像并输入所述激活层;通过所述激活层对所述第二特征图像进行非线性转换处理,生成第三特征图像并输入所述归一化层;通过所述归一化层对所述第三特征图像进行归一化处理,生成第四特征图像并输入所述池化层;通过所述池化层对所述第四特征图像进行池化处理,生成第五特征图像并输入所述第一全连接层;通过所述第一全连接层连接所述第五特征图像的特征,生成更新水下图像。4.根据权利要求2所述的水下图像异常目标识别方法,其特征在于,所述生成器包括编码器和解码器;所述通过所述目标图像增强模块的生成器提取所述原始水下图像的特征,生成增强水下图像的步骤,包括:通过所述目标图像增强模块的编码器对应的卷积层提取所述原始水下图像的特征,生成第一增强特征图像并输入所述编码器的激活层;通过所述编码器的激活层对所述第一增强特征图像进行非线性转换处理,生成第二增强特征图像并输入所述编码器的归一化层;
通过所述编码器的归一化层对所述第二增强特征图像进行归一化处理,生成第三增强特征图像并分别输入跳层连接和所述解码器的卷积层;通过所述解码器的卷积层对所述第三增强特征图像进行卷积,生成第四增强特征图像并输入所述解码器的转置卷积层;通过所述解码器的转置卷积层对所述第四增强特征图像进行上采样处理,生成第五增强特征图像并输入所述解码器的激活层;通过所述解码器的激活层对所述第五增强特征图像进行非线性转换处理,生成第六增强特征图像并输入所述解码器的归一化层;通过所述解码器的归一化层对所述第六增强特征图像进行归一化处理,生成第七增强特征图像并输入所述跳层连接;通过所述跳层连接将所述第二增强特征图像和第七增强特征图像进行拼接,生成增强水下图像。5.根据权利要求1所述的水下图像异常目标识别方法,其特征在于,所述分别对所述原始水下图像和所述增强水下图像进行卷积处理,并进行特征融合,生成特征融合图像的步骤,包括:通过自适应扩张卷积模块分别对所述原始水下图像和所述增强水下图像进行卷积处理,分别生成第一卷积特征图像和第二卷积特征图像并输入动态特征融合模块;通过所述动态特征融合模块将所述第一卷积特征图像和所述第二卷积特征图像进行特征融合,生成特征融合图像。6.根据权利要求5所述的水下图像异常目标识别方法,其特征在于,所述通过所述动态特征融合模块将所述第一卷积特征图像和所述第二卷积特征图像进行特征融合,生成特征融合图像的步骤,包括:通过所述动态特征融合模块的多路特征通道分别对所述第一卷积特征图像的第一卷积特征、所述第二卷积特征图像的第二卷积特征和第三卷积特征进行均值池化操作,分别生成第一池化特征、第二池化特征和第三池化特征;将所述第一池化特征、所述第二池化特征和所述第三池化特征进行拼接,生成初始特征向量并输入第二全连接层进行连接,生成更新特征向量并输入softmax层;通过所述softmax层对所述更新特征向量进行softmax操作,生成更新向量;采用所述更新向量的数值与所述更新向量对应的特征的特征通道数相乘,生成多个目标向量;采用全部所述目标向量进行拼接,生成特征融合图像。7.根据权利要求1所述的水下图像异常目标识别方法,其特征在于,所述采用预设的异常物体检测模块在所述特征融合图像的物体边界框内对所述原始水下图像进行异常目标检测,生成初步检测结果的步骤,包括:将所述特征融合图像输入预设的区域建议网络,生成多个物体边界框;通过所述区域建议网络预测所述物体边界框内的特征融合图像的物体性,并对所述特征融合图像的物体性进行评分,生成物体性分数;判断所述物体性分数是否大于或等于分数阈值;若是,则提取所述物体性分数对应的物体边界框以及所述物体边界框对应的物体边界
框坐标;采用再优化模块对所述物体性分数对应的物体边界框进行优化,生成优化物体边界框;采用所述优化物体边界框对所述特征融合图像进行检测,生成区域检测结果;将所述原始水下图像输入所述异常物体检测模块;通过所述异常物体检测模块的特征提取器提取所述原始水下图像的特征,生成第一异常物体特征图像;将所述第一异常物体特征图像与所述特征融合图像进行拼接,生成第二异常物体特征图像并输入卷积网络;通过所述卷积网络提取所述第二异常物体特征图像的特征,生成注意力检测结果;将所述注意力检测结果与所述区域检测结果对应的置信度通道相乘,生成目标异常物体特征图像;按照所述目标异常物体特征图像上的优化物体边界框对所述目标异常物体特征图像进行异常物体检测,生成初步检测结果。8.根据权利要求7所述的水下图像异常目标识别方法,其特征在于,所述通过预设空间分布模型对所述初步检测结果进行假阳性抑制处理,生成异常目标检测结果的步骤,包括:通过回归法从所述特征融合图像检测异常目标的深度信息;基于所述异常目标的深度信息和所述特征融合图像上的优化物体边界框内的图像像素数据,构建预设空间分布模型;分析所述初步检测结果中的异常目标的多个空间分布;判断所述空间分布是否大于或等于所述预设空间分布模型的分布阈值;若否,则将所述空间分布确定为假阳性,并去除所述空间分布;若是,则确定所述异常目标的空间分布,并结合多个空间分布,生成异常目标检测结果。9.一种水下图像异常目标识别系统,其特征在于,包括:原始水下图像模块,用于响应接收到的水下图像异常目标识别请求,获取所述水下图像异常目标识别请求对应的原始水下图像;增强水下图像模块,用于对所述原始水下图像进行增强处理,生成增强水下图像;特征融合图像模块,用于分别对所述原始水下图像和所述增强水下图像进行卷积处理,并进行特征融合,生成特征融合图像;初步检测结果模块,用于采用预设的异常物体检测模块在所述特征融合图像的物体边界框内对所述原始水下图像进行异常目标检测,生成初步检测结果;异常目标检测结果模块,用于基于所述特征融合图像中异常目标的深度信息,通过预设空间分布模型对所述初步检测结果进行假阳性抑制处理,生成异常目标检测结果。10.一种电子设备,其特征在于,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1-8任一项所述的水下图像异常目标识别方法的步骤。
技术总结
本发明公开了一种水下图像异常目标识别方法、系统和设备,本发明包括采用预设的异常物体检测模块在特征融合图像的物体边界框内对原始水下图像进行异常目标检测,生成初步检测结果;基于特征融合图像中异常目标的深度信息,通过预设空间分布模型对初步检测结果进行假阳性抑制处理,生成异常目标检测结果。解决了现有的技术在增强过程中缺乏上下文信息,难以精准检测出水下图像中的异常目标的技术问题。本发明通过将图像增强和物体检测进行一体化设计,对原始图像、增强图像和编码器特征的融合,能够适应不同尺度的特征,充分利用了上下文信息和预测物体的深度信息,降低了噪声和散射对检测结果的影响,减少假阳性检测,提高了检测结果的可靠性。了检测结果的可靠性。了检测结果的可靠性。
技术研发人员:冯炎炯 谢顺添 陈先 罗文博 张清文 林斌 梁席源 陈俊东 黎如欣 司徒宇
受保护的技术使用者:广东电网有限责任公司阳江供电局
技术研发日:2023.07.21
技术公布日:2023/10/19
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
航空商城 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/