一种船舶复杂环境目标特征增强方法、系统及设备

1.本发明涉及目标特征增强领域，特别是涉及一种船舶复杂环境目标特征增强方法、系统及设备。


背景技术：

2.目标检测技术是计算机视觉领域的基础研究之一，为图像分割、物体识别、关键点检测等提供基础支持。随着卷积神经网络提取图像特征的能力不断提升，目标检测的性能也在不断提高。目标检测方法按照检测流程通常可分为两类：单阶段检测方法和两阶段检测方法。单阶段检测法以yolo、ssd、retinanet模型为代表；两阶段检测法以fasterr-cnn、maskr-cnn模型为代表。现有的目标检测技术针对简单图像的检测性能优秀，但对于实际中复杂多变的应用场景，实时采集的图像往往由于外界因素导致检测效果不能达到理论效果。因此，如何使目标检测技术更有效地应用到实际生活中，并且依然能保持高精度的检测效果，是目前人们正在研究的热门课题。近年来，为了提高目标检测的精度，研究者们提出了许多方法。这些方法主要包括anchor-free目标检测器、更深的神经网络结构、多尺度特征融合技术和注意力机制等，以增强目标特征并提高检测性能。在这些研究中，将注意力机制应用于增强图像中目标特征的研究被证实为有效且开发潜力巨大。
3.在面对大型油轮复杂环境的船员实时监测过程中，当前的注意力机制在处理图像时往往只关注通道或空间信息，无法全面捕捉图像的特征。。


技术实现要素：

4.本发明的目的是提供一种船舶复杂环境目标特征增强方法、系统及设备，以解决无法全面捕捉图像特征的问题。
5.为实现上述目的，本发明提供了如下方案：
6.一种船舶复杂环境目标特征增强方法，包括：
7.在通道维度上，采用深度可分离卷积提取船舶图像的特征图；
8.采用通道注意力机制确定所述特征图内通道之间的整体信息以及各通道之间的信息权重；
9.在空间维度上，通过全局最大池化和全局平均池化确定所述船舶图像各像素所包含的目标位置，并采用空间注意力机制构建各像素之间的信息关联；
10.融合所述通道注意力机制以及所述空间注意力机制，根据所述整体信息、各通道之间的信息权重以及各像素之间的信息关联，生成目标增强后的船舶图像。
11.可选的，在通道维度上，采用深度可分离卷积提取船舶图像的特征图，具体包括：
12.采用深度卷积对所述船舶图像中每个通道进行单独卷积操作，提取空间特征；
13.并采用逐点卷积对提取空间特征后的船舶图像的通道进行特征组合，生成所述船舶图像的特征图。
14.可选的，采用通道注意力机制确定所述特征图内通道之间的整体信息以及各通道
之间的信息权重，具体包括：
15.基于所述通道注意力机制，对所述特征图进行降维处理，结合两种全局池化操作确定两个1
×1×
c的特征向量；所述特征向量为所述特征图中的各通道之间的整体信息；c为卷积核数量；所述全局池化操作包括全局最大池化和全局平均池化；
16.将两个所述特征向量分别输入至两个全连接层中，对每个通道的整体信息进行加权学习，确定各通道之间的信息权重。
17.可选的，在空间维度上，通过全局最大池化和全局平均池化确定所述船舶图像各像素所包含的目标位置，并采用空间注意力机制构建各像素之间的信息关联，具体包括：
18.通过全局最大池化和全局平均池化对所述船舶图像进行处理，确定两个通道特征图；
19.采用一个1
×
1卷积核的卷积层对所述通道特征图中每个通道的信息进行加权学习，扩大所述通道特征图的通道维度，确定第一输出特征图；
20.采用两个3
×
3卷积核串联卷积对所述第一输出特征图进行处理，扩大所述第一输出特征图的通道维度，确定第二输出特征图；
21.采用一个3
×
3卷积核的卷积层对所述第二输出特征图进行通道降维，同时增加感受野，增强空间维度上下文依赖关系，确定第三输出特征图；
22.通过sigmoid激活函数处理所述第三输出特征图，确定二维空间注意力权重矩阵；所述二维空间注意力权重矩阵包含每个目标位置的重要性以及各像素之间的信息关联。
23.一种船舶复杂环境目标特征增强系统，包括：
24.特征图提取模块，用于在通道维度上，采用深度可分离卷积提取船舶图像的特征图；
25.通道注意力机制模块，用于采用通道注意力机制确定所述特征图内通道之间的整体信息以及各通道之间的信息权重；
26.空间注意力机制模块，用于在空间维度上，通过全局最大池化和全局平均池化确定所述船舶图像各像素所包含的目标位置，并采用空间注意力机制构建各像素之间的信息关联；
27.船舶图像增强模块，用于融合所述通道注意力机制以及所述空间注意力机制，根据所述整体信息、各通道之间的信息权重以及各像素之间的信息关联，生成目标增强后的船舶图像。
28.可选的，特征图提取模块，具体包括：
29.空间特征提取单元，用于采用深度卷积对所述船舶图像中每个通道进行单独卷积操作，提取空间特征；
30.特征图生成单元，用于并采用逐点卷积对提取空间特征后的船舶图像的通道进行特征组合，生成所述船舶图像的特征图。
31.可选的，通道注意力机制模块，具体包括：
32.整体信息确定单元，用于基于所述通道注意力机制，对所述特征图进行降维处理，结合两种全局池化操作确定两个1
×1×
c的特征向量；所述特征向量为所述特征图中的各通道之间的整体信息；c为卷积核数量；所述全局池化操作包括全局最大池化和全局平均池化；
33.信息权重确定单元，用于将两个所述特征向量分别输入至两个全连接层中，对每个通道的整体信息进行加权学习，确定各通道之间的信息权重。
34.可选的，空间注意力机制模块，具体包括：
35.通道特征图确定单元，用于通过全局最大池化和全局平均池化对所述船舶图像进行处理，确定两个通道特征图；
36.第一输出特征图确定单元，用于采用一个1
×
1卷积核的卷积层对所述通道特征图中每个通道的信息进行加权学习，扩大所述通道特征图的通道维度，确定第一输出特征图；
37.第二输出特征图确定单元，用于采用两个3
×
3卷积核串联卷积对所述第一输出特征图进行处理，扩大所述第一输出特征图的通道维度，确定第二输出特征图；
38.第三输出特征图确定单元，用于采用一个3
×
3卷积核的卷积层对所述第二输出特征图进行通道降维，同时增加感受野，增强空间维度上下文依赖关系，确定第三输出特征图；
39.二维空间注意力权重矩阵确定单元，用于通过sigmoid激活函数处理所述第三输出特征图，确定二维空间注意力权重矩阵；所述二维空间注意力权重矩阵包含每个目标位置的重要性以及各像素之间的信息关联。
40.一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述船舶复杂环境目标特征增强方法。
41.一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述船舶复杂环境目标特征增强方法。
42.根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明提供了一种船舶复杂环境目标特征增强方法、系统及设备，基于通道注意力机制以及空间注意力机制分别对船舶图像的特征图进行处理，得到处理后的信息，该处理后的信息包括整体信息、各通道之间的信息权重以及各像素之间的信息关联，最后融合通道注意力机制以及空间注意力机制，根据处理后的信息生成目标增强后的船舶图像。本发明从通道维度以及空间维度两个方面处理船舶图像，进而全面捕捉图像特征。
附图说明
43.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
44.图1为本发明所提供的船舶复杂环境目标特征增强方法流程图；
45.图2为本发明所提供的深度可分离卷积dwsconv示意图；
46.图3为本发明所提供的常规卷积过程示意图；
47.图4为本发明所提供的深度卷积过程示意图；
48.图5为本发明所提供的高效通道注意力机制示意图；
49.图6为本发明所提供的空间注意力机制示意图；
50.图7为本发明所提供的三个3*3卷积代替一个7*7卷积结构示意图；
51.图8为本发明所提供的先通道再空间注意力示意图；
68.相较于常规卷积方式，深度卷积的计算量与常规卷积的比值为：
[0069][0070]
逐点卷积的输入来自深度卷积的输出，由于逐点卷积的卷积核大小为1*1，所以逐点卷积的计算量为：
[0071]
h2×
w2×
c1×
c2[0072]
其中，h2、w2、c1为深度卷积的输出特征图大小，c2为卷积核数量。以深度卷积中输入特征图每个像素点都会进行卷积计算为例，即深度卷积中输入特征图大小与输出特征图大小一致，结合深度卷积和逐点卷积得知深度可分离卷积的计算量相较于常规卷积而言相对较少，两者比值约为：
[0073][0074]
步骤102：采用通道注意力机制确定所述特征图内通道之间的整体信息以及各通道之间的信息权重。
[0075]
在实际应用中，所述步骤102具体包括：基于所述通道注意力机制，对所述特征图进行降维处理，结合两种全局池化操作确定两个1
×1×
c的特征向量；所述特征向量为所述特征图中的各通道之间的整体信息；c为卷积核数量；所述全局池化操作包括全局最大池化和全局平均池化；将两个所述特征向量分别输入至两个全连接层中，对每个通道的整体信息进行加权学习，确定各通道之间的信息权重。
[0076]
在实际应用中，如图5所示，通道注意力机制中，首先对输入特征图进行降维，通过将两种全局池化操作结合使用，分别从输入特征图中得到两个1
×1×
c的特征向量，此向量代表输入特征图中各通道信息，这些通道信息彼此独立无关。接着，将这两个特征向量分别输入到两个全连接层中，以此来学习每个通道的权重。最终将两个全连接层的输出相加，并通过激活函数sigmoid后得到特征图的每个通道的权重。
[0077]
输入特征图与经过通道注意力得到的各通道权重向量相乘，最终得到在通道维度上存在信息权重的特征图。
[0078]
步骤103：在空间维度上，通过全局最大池化和全局平均池化确定所述船舶图像各像素所包含的目标位置，并采用空间注意力机制构建各像素之间的信息关联。
[0079]
在实际应用中，所述步骤103具体包括：通过全局最大池化和全局平均池化对所述船舶图像进行处理，确定两个通道特征图；采用一个1
×
1卷积核的卷积层对所述通道特征图中每个通道的信息进行加权学习，扩大所述通道特征图的通道维度，确定第一输出特征图；采用两个3
×
3卷积核串联卷积对所述第一输出特征图进行处理，扩大所述第一输出特征图的通道维度，确定第二输出特征图；采用一个3
×
3卷积核的卷积层对所述第二输出特征图进行通道降维，同时增加感受野，增强空间维度上下文依赖关系，确定第三输出特征图；通过sigmoid激活函数处理所述第三输出特征图，确定二维空间注意力权重矩阵；所述二维空间注意力权重矩阵包含每个目标位置的重要性以及各像素之间的信息关联。
[0080]
在实际应用中，如图6所示，首先使用全局池化操作获得两通道特征图，然后通过一个1*1卷积核的卷积层对每个通道的信息进行加权学习，同时扩大输出特征图的通道维
度，增加特征丰富度，以突出重要信息并抑制噪声。然后使用两个3*3卷积核串联卷积，进而扩大输出特征图的通道维度，并且增加不同通道之间的组合模式。接着再经过一个3*3卷积核的卷积层进行通道降维，同时增加感受野大小，增强空间维度上下文依赖关系。经过降维后，特征图通道数变为1，通过sigmoid激活函数处理，得到一个二维空间注意力权重矩阵。这个权重矩阵代表了每个空间位置的重要性，整合了输入特征的不同特征通道信息，增强了特征通道之间的非线性关系，提升了特征表达的学习能力。
[0081]
在实际应用中，全局池化包含两种常见类型：全局平均池化和全局最大池化。全局平均池化对输入特征图的每个通道取平均值，每个通道经过计算得到单个值。全局平均池化可以很好地保留输入特征图的整体特征，将特征图中每个位置的信息都参与到全局特征的生成中，使得模型对整张图片都有了一个全局的理解。但是对于较大且复杂的输入特征图，全局平均池化可能会丢失一些局部特征信息。全局最大池化对输入特征图的每个通道取最大值，将这些最大值组合成一个向量作为全局特征。相较于全局平均池化，全局最大池化更加注重局部特征的提取，因为全局最大池化只取每个通道的最大值，所以可以很好的保留输入特征图中的显著特征，能够更好的区分图像中的不同区域。
[0082]
如图7所示，为了扩大卷积层的感受野，通常使用较大的卷积核，以便覆盖更大的特征区域。但是，较大的卷积核会导致参数数量增多，从而使模型变得更加复杂，同时也更容易过拟合。另一种方法是增加卷积层的步幅，这可以跳过一些像素，从而使卷积层的输出特征图尺寸变小，但感受野变大，但同时也会损失一些关键信息。vggnet提出了串联卷积的概念，使用多个连续的卷积层，这些卷积层的卷积核大小相同，这些串联起来的卷积层在一起相当于一个拥有更大卷积核的卷积层。串联卷积在减少了卷积层的参数量的同时增加了感受野，使用多个小卷积核代替一个大卷积核可以增加网络的非线性性，从而提高特征学习能力。
[0083]
步骤104：融合所述通道注意力机制以及所述空间注意力机制，根据所述整体信息、各通道之间的信息权重以及各像素之间的信息关联，生成目标增强后的船舶图像。
[0084]
在实际应用中，融合注意力机制是一种结合了通道注意力和空间注意力的方法，可以从不同角度对输入特征图进行信息权重编码，从而提高特征表达的能力。通道注意力和空间注意力分别从通道维度和空间维度对特征图进行编码。通道注意力聚焦于提取输入特征图中的有用信息，而空间注意力聚焦于提取输入特征图中有用信息的位置。在融合注意力机制的应用中，通道注意力机制和空间注意力机制可以采取不同的应用顺序。先使用通道注意力机制对输入特征进行全局性的关键信息提取，然后再通过空间注意力机制提取更加详细的局部特征，是应用融合注意力机制的可行方式。另外一种实现方式是首先使用空间注意力机制来提取高响应的局部特征，接着使用通道注意力机制将全局信息加入进来，以进一步优化特征表示。除此之外，也可以同时使用通道注意力和空间注意力并行操作，以提高特征表达的非线性能力和准确性。
[0085]
融合注意力机制主要包括串联设计以及并联设计。
[0086]
串联设计：
[0087]
先经过通道注意力再经过空间注意力。首先，通道注意力机制处理特征图，会对每个通道的特征进行加权处理，以此来强化或减弱每个通道在特征图中的重要程度，并将每个通道的特征与对应的权重进行乘法运算，得到加权后的通道特征，从而得到加权后的特
征图。然后，空间注意力机制处理特征图，会对每个像素点的特征进行加权处理，以此来强化或减弱该像素点在特征图中的重要程度，并将权重与该像素点的特征进行乘法运算，然后将加权后的结果进行汇总，得到加权后的特征图。其过程如图8所示，其中，cam为通道注意力机制(channel attention mechanism)、sam为空间注意力机制(spatial attention mechanism)cbs为模块简称，即卷积操作convolution、批量归一化batchnorm、激活函数silu。
[0088]
先经过空间注意力再经过通道注意力。与上述方法不同，此方法的空间注意力在通道注意力之前，其过程如图9所示。
[0089]
并联设计：上述两种串联方法是将通道注意力与空间注意力串行连接，先后处理输入特征图，一个是先聚焦全局特征再关注每个独立像素单位信息，另一个是先聚焦局部高响应位置再完善全局重要特征。这两种方法都可以互换顺序的先后执行，但可能在某一注意力机制提取输入特征图特征时损失信息。针对这个问题提出了注意力机制的并联设计，将两种注意力机制同时执行，其过程如图10所示。
[0090]
同时输入大小为h*w*c的特征图进入通道注意和空间注意力中，分别获得大小为1*1*c和h*w*1的特征向量，将这两个特征向量与输入特征图相乘得到带有特征权重的特征图，并进行拼接(concat)操作，组合为大小为h*w*2c的特征图。接下来将其输入cbs模块中，其中包含一个卷积核大小为3*3的卷积操作，然后批量归一化(batchnorm)处理和通过激活函数(silu)处理，最终得到注意加权信息的输出特征图。
[0091]
实施例二
[0092]
为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种船舶复杂环境目标特征增强系统。
[0093]
一种船舶复杂环境目标特征增强系统，包括：
[0094]
特征图提取模块，用于在通道维度上，采用深度可分离卷积提取船舶图像的特征图。
[0095]
在实际应用中，特征图提取模块，具体包括：空间特征提取单元，用于采用深度卷积对所述船舶图像中每个通道进行单独卷积操作，提取空间特征；特征图生成单元，用于并采用逐点卷积对提取空间特征后的船舶图像的通道进行特征组合，生成所述船舶图像的特征图。
[0096]
通道注意力机制模块，用于采用通道注意力机制确定所述特征图内通道之间的整体信息以及各通道之间的信息权重。
[0097]
在实际应用中，通道注意力机制模块，具体包括：整体信息确定单元，用于基于所述通道注意力机制，对所述特征图进行降维处理，结合两种全局池化操作确定两个1
×1×
c的特征向量；所述特征向量为所述特征图中的各通道之间的整体信息；c为卷积核数量；所述全局池化操作包括全局最大池化和全局平均池化；信息权重确定单元，用于将两个所述特征向量分别输入至两个全连接层中，对每个通道的整体信息进行加权学习，确定各通道之间的信息权重。
[0098]
空间注意力机制模块，用于在空间维度上，通过全局最大池化和全局平均池化确定所述船舶图像各像素所包含的目标位置，并采用空间注意力机制构建各像素之间的信息关联。
[0099]
在实际应用中，空间注意力机制模块，具体包括：通道特征图确定单元，用于通过全局最大池化和全局平均池化对所述船舶图像进行处理，确定两个通道特征图；第一输出特征图确定单元，用于采用一个1
×
1卷积核的卷积层对所述通道特征图中每个通道的信息进行加权学习，扩大所述通道特征图的通道维度，确定第一输出特征图；第二输出特征图确定单元，用于采用两个3
×
3卷积核串联卷积对所述第一输出特征图进行处理，扩大所述第一输出特征图的通道维度，确定第二输出特征图；第三输出特征图确定单元，用于采用一个3
×
3卷积核的卷积层对所述第二输出特征图进行通道降维，同时增加感受野，增强空间维度上下文依赖关系，确定第三输出特征图；二维空间注意力权重矩阵确定单元，用于通过sigmoid激活函数处理所述第三输出特征图，确定二维空间注意力权重矩阵；所述二维空间注意力权重矩阵包含每个目标位置的重要性以及各像素之间的信息关联。
[0100]
船舶图像增强模块，用于融合所述通道注意力机制以及所述空间注意力机制，根据所述整体信息、各通道之间的信息权重以及各像素之间的信息关联，生成目标增强后的船舶图像。
[0101]
结合通道和空间两个维度，旨在解决图像特征提取阶段中目标特征信息不足的问题，提出了图像特征提取阶段的融合注意力机制，用于增强目标特征信息，通过长距离上下文依赖和目标特征之间的相互关系来实现特征图的有效表示。在通道维度上，采用深度可分离卷积提取图像特征，并使用通道注意力机制得到特征图通道间的相关信息及权重，以此区分通道间的重要性。在空间维度上，通过全局最大池化和全局平均池化获得输入图像各像素所包含的目标所在位置，并采用串联卷积构建各像素之间的信息关联。最后，对不同注意力机制的组合形式进行了实验，并与经典注意力机制进行对比，结果表明本文所提出的方法的有效性。
[0102]
实施例三
[0103]
本发明实施例提供一种电子设备包括存储器及处理器，该存储器用于存储计算机程序，该处理器运行计算机程序以使电子设备执行实施例一提供的船舶复杂环境目标特征增强方法。
[0104]
在实际应用中，上述电子设备可以是服务器。
[0105]
在实际应用中，电子设备包括：至少一个处理器(processor)、存储器(memory)、总线及通信接口(communications interface)。
[0106]
其中：处理器、通信接口、以及存储器通过通信总线完成相互间的通信。
[0107]
通信接口，用于与其它设备进行通信。
[0108]
处理器，用于执行程序，具体可以执行上述实施例所述的方法。
[0109]
具体地，程序可以包括程序代码，该程序代码包括计算机操作指令。
[0110]
处理器可能是中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。电子设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
[0111]
存储器，用于存放程序。存储器可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
[0112]
基于以上实施例的描述，本技术实施例提供一种存储介质，其上存储有计算机程
序指令，计算机程序指令可被处理器执行以实现任意实施例所述的方法
[0113]
本技术实施例提供的船舶复杂环境目标特征增强系统以多种形式存在，包括但不限于：
[0114]
(1)移动通信设备：这类设备的特点是具备移动通信功能，并且以提供语音、数据通信为主要目标。这类终端包括：智能手机(例如iphone)、多媒体手机、功能性手机，以及低端手机等。
[0115]
(2)超移动个人计算机设备：这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网性能。这类终端包括：pda、mid和umpc设备等，例如ipad。
[0116]
(3)便携式娱乐设备：这类设备可以显示和播放多媒体内容。该类设备包括：音频、视频播放器(例如ipod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。
[0117]
(4)其他具有数据交互功能的电子设备。
[0118]
至此，已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。
[0119]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0120]
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本技术时可以把各单元的功能在同一个或多个软件和/或硬件中实现。本领域内的技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0121]
本技术是参照根据本技术实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0122]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0123]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。
[0124]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0125]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0126]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、
[0127]
数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带、磁盘存储或其他磁性存储设备
[0128]
或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0129]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0130]
本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定事务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行事务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0131]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0132]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种船舶复杂环境目标特征增强方法，其特征在于，包括：在通道维度上，采用深度可分离卷积提取船舶图像的特征图；采用通道注意力机制确定所述特征图内通道之间的整体信息以及各通道之间的信息权重；在空间维度上，通过全局最大池化和全局平均池化确定所述船舶图像各像素所包含的目标位置，并采用空间注意力机制构建各像素之间的信息关联；融合所述通道注意力机制以及所述空间注意力机制，根据所述整体信息、各通道之间的信息权重以及各像素之间的信息关联，生成目标增强后的船舶图像。2.根据权利要求1所述的船舶复杂环境目标特征增强方法，其特征在于，在通道维度上，采用深度可分离卷积提取船舶图像的特征图，具体包括：采用深度卷积对所述船舶图像中每个通道进行单独卷积操作，提取空间特征；并采用逐点卷积对提取空间特征后的船舶图像的通道进行特征组合，生成所述船舶图像的特征图。3.根据权利要求1所述的船舶复杂环境目标特征增强方法，其特征在于，采用通道注意力机制确定所述特征图内通道之间的整体信息以及各通道之间的信息权重，具体包括：基于所述通道注意力机制，对所述特征图进行降维处理，结合两种全局池化操作确定两个1
×1×
c的特征向量；所述特征向量为所述特征图中的各通道之间的整体信息；c为卷积核数量；所述全局池化操作包括全局最大池化和全局平均池化；将两个所述特征向量分别输入至两个全连接层中，对每个通道的整体信息进行加权学习，确定各通道之间的信息权重。4.根据权利要求1所述的船舶复杂环境目标特征增强方法，其特征在于，在空间维度上，通过全局最大池化和全局平均池化确定所述船舶图像各像素所包含的目标位置，并采用空间注意力机制构建各像素之间的信息关联，具体包括：通过全局最大池化和全局平均池化对所述船舶图像进行处理，确定两个通道特征图；采用一个1
×
1卷积核的卷积层对所述通道特征图中每个通道的信息进行加权学习，扩大所述通道特征图的通道维度，确定第一输出特征图；采用两个3
×
3卷积核串联卷积对所述第一输出特征图进行处理，扩大所述第一输出特征图的通道维度，确定第二输出特征图；采用一个3
×
3卷积核的卷积层对所述第二输出特征图进行通道降维，同时增加感受野，增强空间维度上下文依赖关系，确定第三输出特征图；通过sigmoid激活函数处理所述第三输出特征图，确定二维空间注意力权重矩阵；所述二维空间注意力权重矩阵包含每个目标位置的重要性以及各像素之间的信息关联。5.一种船舶复杂环境目标特征增强系统，其特征在于，包括：特征图提取模块，用于在通道维度上，采用深度可分离卷积提取船舶图像的特征图；通道注意力机制模块，用于采用通道注意力机制确定所述特征图内通道之间的整体信息以及各通道之间的信息权重；空间注意力机制模块，用于在空间维度上，通过全局最大池化和全局平均池化确定所述船舶图像各像素所包含的目标位置，并采用空间注意力机制构建各像素之间的信息关联；
船舶图像增强模块，用于融合所述通道注意力机制以及所述空间注意力机制，根据所述整体信息、各通道之间的信息权重以及各像素之间的信息关联，生成目标增强后的船舶图像。6.根据权利要求5所述的船舶复杂环境目标特征增强系统，其特征在于，特征图提取模块，具体包括：空间特征提取单元，用于采用深度卷积对所述船舶图像中每个通道进行单独卷积操作，提取空间特征；特征图生成单元，用于并采用逐点卷积对提取空间特征后的船舶图像的通道进行特征组合，生成所述船舶图像的特征图。7.根据权利要求5所述的船舶复杂环境目标特征增强系统，其特征在于，通道注意力机制模块，具体包括：整体信息确定单元，用于基于所述通道注意力机制，对所述特征图进行降维处理，结合两种全局池化操作确定两个1
×1×
c的特征向量；所述特征向量为所述特征图中的各通道之间的整体信息；c为卷积核数量；所述全局池化操作包括全局最大池化和全局平均池化；信息权重确定单元，用于将两个所述特征向量分别输入至两个全连接层中，对每个通道的整体信息进行加权学习，确定各通道之间的信息权重。8.根据权利要求5所述的船舶复杂环境目标特征增强系统，其特征在于，空间注意力机制模块，具体包括：通道特征图确定单元，用于通过全局最大池化和全局平均池化对所述船舶图像进行处理，确定两个通道特征图；第一输出特征图确定单元，用于采用一个1
×
1卷积核的卷积层对所述通道特征图中每个通道的信息进行加权学习，扩大所述通道特征图的通道维度，确定第一输出特征图；第二输出特征图确定单元，用于采用两个3
×
3卷积核串联卷积对所述第一输出特征图进行处理，扩大所述第一输出特征图的通道维度，确定第二输出特征图；第三输出特征图确定单元，用于采用一个3
×
3卷积核的卷积层对所述第二输出特征图进行通道降维，同时增加感受野，增强空间维度上下文依赖关系，确定第三输出特征图；二维空间注意力权重矩阵确定单元，用于通过sigmoid激活函数处理所述第三输出特征图，确定二维空间注意力权重矩阵；所述二维空间注意力权重矩阵包含每个目标位置的重要性以及各像素之间的信息关联。9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行如权利要求1-4中任一项所述的船舶复杂环境目标特征增强方法。10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-4中任一项所述的船舶复杂环境目标特征增强方法。

技术总结
本发明提供了一种船舶复杂环境目标特征增强方法、系统及设备，涉及目标特征增强领域，该方法包括：在通道维度上，采用深度可分离卷积提取船舶图像的特征图；采用通道注意力机制确定所述特征图内通道之间的整体信息以及各通道之间的信息权重；在空间维度上，通过全局最大池化和全局平均池化确定所述船舶图像各像素所包含的目标位置，并采用空间注意力机制构建各像素之间的信息关联；融合所述通道注意力机制以及所述空间注意力机制，根据所述整体信息、各通道之间的信息权重以及各像素之间的信息关联，生成目标增强后的船舶图像。本发明能够全面捕捉图像特征。能够全面捕捉图像特征。能够全面捕捉图像特征。


技术研发人员：蔡东升 黄琦 孙敏 井实 李坚 黄鑫
受保护的技术使用者：成都理工大学
技术研发日：2023.06.29
技术公布日：2023/9/25