多源信息融合驱动的水下场景智能感知方法

1.本发明涉及多源信息融合驱动技术领域，特别是一种多源信息融合驱动的水下场景智能感知方法。


背景技术：

2.单一的侧扫声呐或摄像机目标感知无法提供可靠的结果：侧扫声呐具有探测范围广，但是存在图像纹理不清晰等弊端；摄像机具有丰富的色彩信息和图像纹理特征，但是存在探测视野不够等弊端。
3.在水下大范围探测时，由于光线较差，通常采用感知视野较广的声学设备进行探测。侧扫声呐作为海底地形地貌探测的主要传感器，在海底勘探、底质分类、水下目标探测等方面具有重要应用。基于侧扫声呐图像的处理技术能够对距离移动设备较远的目标具有较好的感知能力，但是由于声呐本身成像特性，其对于小目标的感知能力较弱，甚至难以扫测到，并且在靠近移动设备较近的目标会处于成像盲区或者图像被压缩，因此侧扫声呐对于小目标和距离较近的目标的感知往往处于“疑似”状态。
4.在水下光源充足、且距离移动设备较近的目标感知，通常采用成像纹理和色彩较为丰富的光学设备，摄像机是水下移动设备采集近处目标的首选传感器。但是摄像机在光源的辅助下，通常探测极限距离约为10米，在10米之内的目标成像的纹理信息远多于侧扫声呐等声学传感器的纹理信息，但是在10米之外的探测距离，其近乎探测不到任何目标物，因此探测距离是光学设备在水下工作的首要挑战。
5.目前，没有一种传感器可以兼顾探测距离和探测精细度，并且没有一种算法可以兼顾感知不同距离采集的海洋信息。因此现有的方法具有感知视野受阻且探测不全面，算法实时性不够等弊端。


技术实现要素：

6.本发明的目的在于克服现有技术存在的上述缺陷，提出了一种多源信息融合驱动的水下场景智能感知方法，对声呐在远距离采集的声学数据和摄像机在近程采集的光学数据进行感知并融合结果，更适合水下移动设备的工作应用。
7.本发明的技术方案是：一种多源信息融合驱动的水下场景智能感知方法，包括以下步骤：s1，全局感知：使用侧扫声呐采集远距离的声学图像，采用基于深度学习的rms模块提取侧扫声呐图像更深层的纹理信息，划定感兴趣的目标区域；s2，局部感知：使用摄像机采集近距离的光学图像，采用基于深度学习的la模块对光学图像进行感知，进一步精准确定目标种类；s3，置信度筛查：将s1和s2的输出结果进行融合，来确定声学和光学多源信息最终感知结果，实现水下场景的智能感知。
8.本发明中，步骤s1包括以下步骤：
s1.1，将侧扫声呐采集的声学图像x作为输入，经过处理，得到：；s1.2，将输入rms模块进行数据处理：；s1.3，重复rms模块的数据处理过程：；；其中，为编码器的输出结果；s1.4，进行解码操作，得到全局感知的声学图像种类结果x，公式如下：。
9.步骤s1.1中，处理的公式为：；；其中，为时间步长t的输出；表示循环结构的上一时刻的输入；表示当前时刻的输入；和均为层的输入；代表常用卷积层的权值；代表特征图；c为偏置；为激活函数relu。
10.步骤s1.2中，rms模块的数据处理的公式为：；；其中，代表rms模块时间步长t的输出，和分别代表rms模块的输入；代表深度可分离卷积层的权值；代表特征图；c为偏置；为激活函数relu。
11.步骤s2包括：s2.1，通过的卷积操作，将全局感知得到的感兴趣的目标x进行局部处理，进行特征初步提取；s2.2，将初步提取的特征i输入到la模块中，得到输出d：；s2.3，对d的特征经过的卷积操作，得到：；s2.4，将全局感知得到的感兴趣的目标x和步骤s2.3得到的结合：
；s2.5，将步骤s2.4得到的e再次输入到la模块中，重复la模块的数据处理过程，得到f：；s2.6，采用的卷积操作将步骤s2.4得到的特征图f进行降维，获得局部输出的结果o。
12.步骤s2.1中，进行特征初步提取的公式为：；其中，，代表感兴趣区域的像素个数，k为感兴趣目标区域的通道数。
13.步骤s2.2包括：s2.2.1，将初步提取的特征i分别进行三次卷积操作，三次的卷积操作为同时且并联进行：通过第一个卷积操作，得到可训练的变换矩阵；通过第二个卷积操作，得到可训练的变换函数；通过第三个卷积操作，得到可训练的变换函数；s2.2.2，将可训练的变换函数和通过进行如下处理：；s2.2.3，将a通过softmax函数处理：；得到的b为具有关键图像目标信息的矩阵；s2.2.4，将b与可训练的变换矩阵进行如下处理：；其中，代表非线性函数，包含bn层和relu函数；w为本模块可学习的权矩阵；s2.2.5，通过将步骤s2.2.4得到的c和步骤s2.1得到的i进行加权，得到la模块的输出d：。
14.步骤s3中，通过置信度筛查，将s1和s2的输出结果进行融合：；其中，h代表探测区域个数；网络感知需要将探测的区域数据划分为若干个尺寸较小的图像作为输入，i表示一个区域中划分的图像个数；表示在某个探测区域中全局感知的结果，表示在某个探测区域中局部感知的结果。
15.如果与属于同一类别，那么的值为 1，则证明
在全局感知到疑似目标，在前往感兴趣的区域进行局部感知后，同样感知到有目标物，则证明该感兴趣的区域具有目标物。
16.相反的，若与不属于同一类别，此时的值为 0，则说明全局感知到疑似目标后进行局部细致感知，并未感知到感兴趣目标；当0.5≤z《1时，证明该感兴趣的区域具有高度感兴趣的目标物，具有探测价值；当0≤z《0.5时，证明该感兴趣的区域干扰物较多，探测价值较低。
17.本发明的有益效果是：（1）在远距离探测时，先利用侧扫声呐探测出疑似目标区域进行全局感知，然后再利用摄像机靠近进行细致的局部感知，对声呐在远距离采集的声学数据和摄像机在近程采集的光学数据进行感知并融合结果，更适合水下移动设备的工作应用；（2）侧扫声呐和摄像机的协同工作可提高水下多种目标探测和感知的精度，辅助rov、auv、arv等多种水下移动设备的作业；（3）通过声光融合技术来驱动水下移动设备对海洋环境的感知，可以用来感知水下线缆、渔网、钢框架结构体、水雷等多种目标，针对感知结果，能够实现水下设备的情报侦测、探雷灭雷、军事支援等作业；（4）全局感知和局部感知均采用轻量级网络，可以节省水下移动平台能耗，实现在线数据实时处理。
附图说明
18.图1是本发明的流程图；
19.图2是本发明中全局感知的流程图；
20.图3是本发明中局部感知的流程图。
具体实施方式
21.为了使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
22.在以下描述中阐述了具体细节以便于充分理解本发明。但是本发明能够以多种不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广。因此本发明不受下面公开的具体实施方式的限制。
23.如图1所示，本发明所述的多源信息融合驱动的水下场景智能感知方法包括以下步骤。
24.第一步，全局感知。采用侧扫声呐作为声学探测传感器，对远距离的海洋目标采集声学图像，采用基于深度学习的rms（recurrent mobilenetv2 segnet）模块提取侧扫声呐图像更深层的纹理信息，初步定为海洋目标位置以及种类，划定感兴趣的目标区域。
25.在全局感知中，先采用声学设备进行广泛采集数据并分析，本发明主干网络将segnet原始编码器采用轻量级网络mobilenetv2来替换，用ms来表示，针对声学图像的低信噪比和图像模糊特点，将循环网络（recurrent network）思想引入ms中，形成rms模块。声学信号序列具有时序特点，循环思想具有短期记忆能力，可以整合声学信号的在时序上的关系，更有助于分析图像特点，输出感兴趣的目标区域。
26.将声学图像x作为输入，先经过recurrent
−
》conv
−
》batch normalisation
−
》relu处理，用表示：，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）上述公式具体展开如下：，
ꢀꢀꢀꢀꢀꢀꢀꢀ
（2），
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）其中，为时间步长t的输出；表示循环结构的上一时刻的输入，表示当前时刻的输入，和均为层的输入，将声学信号的时序特点融入到网络中更有助于提取有效特征；代表常用卷积层的权值；代表特征图；c为偏置；为激活函数relu。
27.接下来，将输入到本技术提出的rms模块中，其具体展开过程为recurrent
−
》depthwise separable conv
−
》batch normalisation
−
》relu，公式如下：,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）上述公式具体展开如下：，
ꢀꢀꢀꢀꢀꢀꢀꢀ
（5），
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（6）在上述过程中，主要是将segnet的标准卷积分解为mobilenetv2的深度方向卷积和逐点卷积。深度方向卷积对每个输入通道应用一个滤波器，逐点卷积采用的卷积将深度卷积的输出结合起来。深度可分离卷积将标准卷积分为两层，分别用于滤波和合并，深度可分离卷积能够减轻网络负担，大大缩小网络模型。
28.深度可分离卷积包括两步，第一步，进行深度方向卷积操作，使用卷积核分别对每一个通道进行卷积，得到对应大小的特征图；第二步，进行逐点卷积操作，使用数个卷积核执行卷积操作，最终得到特征图。
29.其中，代表rms模块时间步长t的输出，和分别代表rms模块的输入；代表深度可分离卷积层的权值；代表特征图；c为偏置；为激活函数relu。
30.以此类推，则：，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（7），
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（8）其中，为编码器的输出结果。
31.进而进行解码操作，得到全局感知的声学图像种类结果x，公式如下：
。
ꢀꢀꢀꢀꢀꢀ
（9）
32.第二步，局部感知。采用摄像机作为光学探测传感器，对近距离的海洋目标采集光学图像，采用基于深度学习的la（local attention）模块对光学图像进行感知，进一步精准确定目标种类。
33.在局部感知中，由于要对全局感知的感兴趣的目标结果进一步分析，对感兴趣的目标区域进行高度关注，采用光学设备进行更加精细的数据采集和分析，针对全局感知的输出结果进行高度关注，提出了局部注意力（local attention，la）模块，通过将光学图像的低级特征和高级特征结合起来，优化全局感知结果来增强局部感知，进一步确定图像种类。
34.局部感知主要对全局感知选择的感兴趣的区域进行进一步分析，其具体流程见图3。
35.将全局感知得到的感兴趣的目标x进行局部处理，首先经过的卷积操作，进行特征初步提取：行特征初步提取：，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（10）其中，，代表了感兴趣区域的像素个数，k为感兴趣目标区域的通道数。将初步提取的特征i输入到la模块中，得到输出d：，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（11）其中，为本技术提出的局部注意力模块，主要用于对感兴趣的目标进行高度关注，确保不遗漏重要信息。通过该模块对数据进行处理的具体流程如下所述。
36.将初步提取的特征i分别进行三次卷积操作，上述三次的卷积操作为同时且并联进行。通过第一个卷积操作，得到可训练的变换矩阵；通过第二个卷积操作，得到可训练的变换函数；通过第三个卷积操作，得到可训练的变换函数。将可训练的变换函数和通过下述公式进行处理：，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（12）将得到的a通过softmax函数处理：，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（13）得到的b为具有关键图像目标信息的矩阵。将b与可训练的变换矩阵通过下述公式进行处理：，
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（14）其中，代表非线性函数，包含bn层和relu函数；w为本模块可学习的权矩阵。通过将公式（14）得到的c和公式（10）得到的i进行加权，得到la模块的输出d。
37.,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（15）对d的特征经过的卷积操作，得到：
,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（16）经过la模块的处理，可以获得图像较为深层的信息。接下来，将低级特征x和高级特征结合起来，确保信息不丢失：,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（17）将e再次输入到la模块中，重复上述la模块中的数据处理过程，得到f：,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（18）最后，采用的卷积操作将特征图f进行降维，获得最终局部输出的结果o。
38.第三步，采用置信度筛查将第一步和第二步的输出结果进行融合，来确定声学和光学多源信息最终感知结果，实现水下场景的智能感知，以进行后续的避障或打击等任务。
39.将侧扫声呐感知结果以及摄像机感知结果进行融合，通过共识函数进行置信度筛查，通过计算共联矩阵将多个分类器得到的预测结果构建矩阵，主要是用来判别所有数据样本之间属于同一个类别的概率，继而计算数据样本之间的相似度，矩阵中每一个元素就代表了两个数据样本之间的相似度。置信度筛查的公式如下：,
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（19）海洋探测区域很大，因此探测时需要将划分为若干个小的探测区域逐一探测。其中，h代表探测区域的个数，h代表第h个探测区域；网络感知需要将探测的区域数据划分为若干个尺寸较小的图像作为输入，i表示将其中的一个探测区域划分的图像个数；表示在某个探测区域中全局感知的结果，表示在某个探测区域中局部感知的结果。
40.如果与属于同一类别，那么的值为 1，则证明在全局感知到疑似目标，在前往感兴趣的区域进行局部感知后，同样感知到有目标物，则证明该位置具有目标物。
41.相反的，若与不属于同一类别，此时的值为 0，则说明全局感知到疑似目标后进行局部细致感知，并未感知到感兴趣目标。
42.当0.5≤z《1时，证明该片区域具有高度感兴趣的目标物，具有探测价值；当0≤z《0.5时，证明该片区域干扰物较多，探测价值较低。两种探测技术的结合实现优势互补，通过置信度筛查可以达到良好感知效果，实现多方位水下场景的精准感知。
43.以上对本发明所提供的多源信息融合驱动的水下场景智能感知方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种多源信息融合驱动的水下场景智能感知方法，其特征在于，包括以下步骤，s1，全局感知：使用侧扫声呐采集远距离的声学图像，采用基于深度学习的rms模块提取侧扫声呐图像更深层的纹理信息，划定感兴趣的目标区域；s2，局部感知：使用摄像机采集近距离的光学图像，采用基于深度学习的la模块对光学图像进行感知，进一步精准确定目标种类；s3，置信度筛查：将s1和s2的输出结果进行融合，来确定声学和光学多源信息最终感知结果，实现水下场景的智能感知。2.根据权利要求1所述的多源信息融合驱动的水下场景智能感知方法，其特征在于，步骤s1包括以下步骤：s1.1，将侧扫声呐采集的声学图像x作为输入，经过处理，得到：；s1.2，将输入rms模块进行数据处理：；s1.3，重复rms模块的数据处理过程，；；其中，为编码器的输出结果；s1.4，进行解码操作，得到全局感知的声学图像种类结果x：。3.根据权利要求2所述的多源信息融合驱动的水下场景智能感知方法，其特征在于，步骤s1.1中，处理的公式为：；；其中，为时间步长t的输出；表示循环结构的上一时刻的输入；表示当前时刻的输入；和均为层的输入；代表常用卷积层的权值；代表特征图；c为偏置；为激活函数relu。4.根据权利要求2所述的多源信息融合驱动的水下场景智能感知方法，其特征在于，步骤s1.2中，rms模块的数据处理的公式为：；；其中，代表rms模块时间步长t的输出，和分别代表rms模块的输入；
代表深度可分离卷积层的权值；代表特征图；c为偏置；为激活函数relu。5.根据权利要求1所述的多源信息融合驱动的水下场景智能感知方法，其特征在于，步骤s2包括：s2.1，通过的卷积操作，将全局感知得到的感兴趣的目标x进行局部处理，进行特征初步提取；s2.2，将初步提取的特征i输入到la模块中，得到输出d：；s2.3，对d的特征经过的卷积操作，得到：；s2.4，将全局感知得到的感兴趣的目标x和步骤s2.3得到的结合：；s2.5，将步骤s2.4得到的e再次输入到la模块中，重复la模块的数据处理过程，得到f：；s2.6，采用的卷积操作将步骤s2.4得到的特征图f进行降维，获得局部输出的结果o。6.根据权利要求5所述的多源信息融合驱动的水下场景智能感知方法，其特征在于，步骤s2.1中，进行特征初步提取的公式为：进行特征初步提取的公式为：，其中，，代表感兴趣区域的像素个数，k为感兴趣目标区域的通道数。7.根据权利要求5所述的多源信息融合驱动的水下场景智能感知方法，其特征在于，步骤s2.2包括：s2.2.1，将初步提取的特征i分别进行三次卷积操作，三次的卷积操作为同时且并联进行：通过第一个卷积操作，得到可训练的变换矩阵；通过第二个卷积操作，得到可训练的变换函数；通过第三个卷积操作，得到可训练的变换函数；s2.2.2，将可训练的变换函数和通过进行如下处理：；s2.2.3，将a通过softmax函数处理，；得到的b为具有关键图像目标信息的矩阵；s2.2.4，将b与可训练的变换矩阵进行如下处理：；
其中，代表非线性函数，包含bn层和relu函数；w为本模块可学习的权矩阵；s2.2.5，通过将步骤s2.2.4得到的c和步骤s2.1得到的i进行加权，得到la模块的输出d，。8.根据权利要求1所述的多源信息融合驱动的水下场景智能感知方法，其特征在于，步骤s3中，通过置信度筛查，将s1和s2的输出结果进行融合：；其中，h代表探测区域个数；网络感知需要将探测的区域数据划分为若干个图像作为输入，i表示一个区域中划分的图像个数；表示在某个探测区域中全局感知的结果，表示在某个探测区域中局部感知的结果。9.根据权利要求8所述的多源信息融合驱动的水下场景智能感知方法，其特征在于，如果与属于同一类别，那么的值为 1，则证明在全局感知到疑似目标，在前往感兴趣的区域进行局部感知后，同样感知到有目标物，则证明该感兴趣的区域具有目标物；若与不属于同一类别，此时的值为 0，则说明全局感知到疑似目标后进行局部细致感知，并未感知到感兴趣目标；当0.5≤z<1时，证明该感兴趣的区域具有高度感兴趣的目标物，具有探测价值；当0≤z<0.5时，证明该感兴趣的区域干扰物多，探测价值低。

技术总结
本发明涉及多源信息融合驱动技术领域，特别是一种多源信息融合驱动的水下场景智能感知方法。包括以下步骤，S1，全局感知：使用侧扫声呐采集远距离的声学图像，采用基于深度学习的RMS模块提取侧扫声呐图像更深层的纹理信息，划定感兴趣的目标区域；S2，局部感知：使用摄像机采集近距离的光学图像，采用基于深度学习的LA模块对光学图像进行感知，进一步精准确定目标种类；S3，置信度筛查：将S1和S2的输出结果进行融合，来确定声学和光学多源信息最终感知结果，实现水下场景的智能感知。对声呐在远距离采集的声学数据和摄像机在近程采集的光学数据进行感知并融合结果，更适合水下移动设备的工作应用。备的工作应用。备的工作应用。


技术研发人员：于菲 杜立彬
受保护的技术使用者：山东科技大学
技术研发日：2023.09.05
技术公布日：2023/10/15