一种基于巡逻机器人的目标检测方法、装置及设备与流程

1.本发明涉及人工智能技术领域，具体涉及一种基于巡逻机器人的目标检测方法、装置及设备。


背景技术：

2.室内飞行巡逻机器人凭借其全天候、灵活性的优势，可适用于各类室内巡逻、安防任务。然而，在室内场景中常常伴随着昏暗的环境、镜头画面的快速转换以及物体被遮挡等问题，这些问题给室内飞行巡逻机器人的操作员带来了诸多不便。如果给飞行巡逻机器人设置固定的巡检路线，用飞行巡逻机器人的摄像头代替巡检人员的眼睛，将有效降低工作强度，提高工作效率，保障公众生命财产安全。综上所述，在室内部署飞行巡逻机器人替代人工巡检具有重要意义。然而，飞行巡逻机器人的大多数应用都可以由操作员远程驾驶，从而通过网络从地面基站发出控制命令，并将图像传输到地面站。但信号的不稳定性，会影响飞行巡逻机器人的正常运行，甚至会对飞行巡逻机器人造成损坏。
3.近年来，基于卷积神经网络(cnn)的目标检测技术研究使得飞行巡逻机器人的自动检测成为可能。巡逻巡检时，飞行巡逻机器人使用自带处理器进行自动检测，发现危险时报警附近工作人员，以缓解对网络过度依赖。大多数目标检测方法都是针对自然场景图像设计的，而室内飞行巡逻机器人图像的检测存在以下问题：(1)图像中的小目标数量多，难以检测：飞行巡逻机器人巡检时受距离、室内光线等因素，目标在其视野中的体积较小，视觉特征稀缺。在深度神经网络中，缺少采样操作可能会导致特征消失的风险。(2)室内飞行巡逻机器人图像中的目标存在严重遮挡：室内地面目标容易受到其他物体遮挡，且视觉特征不连续，会导致检测网络无法正确识别被遮挡目标的类别。(3)对实时性要求高：室内飞行巡逻机器人的工作空间较小，视野内的目标变化较快，这就要求检测网络能够实时准确地检测到目标。


技术实现要素：

4.本发明的目的在于解决上述飞行巡逻机器人采集到的图像中存在小目标数量多，难以检测，或者存在目标被遮挡的情况下能够实时准确地检测到目标。
5.根据第一方面，一种实施例中提供一种基于巡逻机器人的目标检测方法，包括：
6.获取巡逻机器人采集的待检测图像，利用预构建的注意力预测头识别所述待检测图像对应的注意力地图，将所述注意力地图和所述输入特征图进行相乘计算，得到注意力区域；
7.将所述注意力区域输入至一训练好的目标检测模型中进行目标检测，得到目标检测结果；其中，所述训练好的目标检测模型通过多模块训练方式被训练得到。
8.一实施例中，所述训练好的目标检测模型通过多模块训练方式被训练得到，包括：
9.利用巡逻机器人对目标区域进行图像采集，得到输入特征图，并利用特征提取模块对所述输入特征图的通道信息进行特征提取，得到输出特征图；根据改进卷积
transformer模块对所述输入特征图进行卷积投影处理，得到多个线性特征，所述改进卷积transformer模块中包括卷积多头自关注机制；
10.对预设路径聚合网络进行网络优化处理，得到特征融合网络，利用所述特征融合网络对所述输入特征图进行特征融合处理，得到融合特征集；
11.利用所述输出特征图、所述多个线性特征和所述融合特征集对预构建的目标检测模型进行模型训练处理，得到训练好的目标检测模型，所述目标检测模型包括特征提取模块、卷积transformer模块和特征融合网络。
12.一实施例中，所述根据改进卷积transformer模块对所述输入特征图进行卷积投影处理，得到多个线性特征，包括：
13.利用卷积神经网络从所述输入特征图中提取得到特征信息集；
14.对所述特征信息集中的特征信息进行卷积处理，得到卷积特征集；
15.对所述输入特征图进行二维重构，得到二维令牌图，根据所述卷积多头自关注机制中的卷积投影对所述二维令牌图进行映射投影，并对映射投影后的令牌图进行平展处理，得到平展特征；
16.将所述平展特征和所述卷积特征集进行连接处理，并对连接后的特征进行卷积处理，得到多个线性特征。
17.一实施例中，所述对预设路径聚合网络进行网络优化处理，得到特征融合网络，包括：
18.删除预设路径聚合网络中的单个输入节点，并在符合预设条件的输入节点与输出节点之间添加跳跃连接；
19.在所述路径聚合网络中的每个输入节点上添加加权融合模块，得到特征融合网络。
20.一实施例中，所述利用所述特征融合网络对所述输入特征图进行特征融合处理，得到融合特征集，包括：
21.获取所述输入特征图对应的第一邻近特征图和第二邻近特征图，所述第一邻近特征图是所述输入特征图的上一层输入图，所述第二邻近特征图是所述输入特征图的下一层输出图；
22.根据所述输入特征图、所述第一邻近特征图和预设加权融合公式计算得到中间特征；
23.将所述中间特征、所述第二邻近特征图和所述输入特征图输入至所述加权融合公式中，得到融合特征集。
24.一实施例中，所述利用注意力预测头识别所述待检测图像对应的注意力地图，包括：
25.分别利用所述注意力预测头中的通道注意力子模块和空间注意力子模块对所述待检测图像进行注意力预测，得到通道输出特征和空间输出特征；
26.根据所述通道输出特征和所述空间输出特征生成注意力地图。
27.一实施例中，所述利用特征提取模块对所述输入特征图的通道信息进行特征提取，得到输出特征图，包括：
28.分别利用预设个数的卷积模块对所述输入特征图的通道信息进行特征映射，得到
映射特征集；
29.对所述映射特征集中的多个映射特征进行聚合处理，得到聚合特征集；
30.利用预设大小的卷积核对所述输入特征图的通道信息进行卷积处理，得到卷积信息；
31.对所述聚合特征集和所述卷积信息进行汇总，得到汇总后的数据，将汇总后的数据进行卷积处理并将卷积处理后的数据输入至批归一化层中，得到输出特征图。
32.根据第二方面，一种实施例中提供一种基于巡逻机器人的目标检测系统，包括：
33.注意力区域生成模块，用于获取巡逻机器人采集的待检测图像，利用预构建的注意力预测头识别所述待检测图像对应的注意力地图，将所述注意力地图和所述输入特征图进行相乘计算，得到注意力区域；
34.目标检测模块，用于将所述注意力区域输入至一训练好的目标检测模型中进行目标检测，得到目标检测结果；其中，所述训练好的目标检测模型通过多模块训练方式被训练得到。
35.根据第三方面，本发明实施例提供一种设备，包括：
36.存储器，用于存储程序；
37.处理器，用于通过执行所述存储器存储的程序以实现如上任一项所述的基于巡逻机器人的目标检测方法。
38.依据上述实施例的基于巡逻机器人的目标检测方法、装置及介质，包括获取巡逻机器人采集的待检测图像，利用预构建的注意力预测头识别所述待检测图像对应的注意力地图，将所述注意力地图和所述输入特征图进行相乘计算，得到注意力区域，将所述注意力区域输入至一训练好的目标检测模型中进行目标检测，得到目标检测结果，其中，所述训练好的目标检测模型通过多模块训练方式被训练得到。根据注意力预测头识别出巡逻机器人采集的待检测图像对应的注意力区域，能够使得后续模型处理时专注于有效的目标区域，并将注意力区域输入至一训练好的目标检测模型中进行目标检测，得到目标检测结果。训练好的目标检测模型可以实时准确地检测到目标。
附图说明
39.图1为本技术实施例的基于巡逻机器人的目标检测流程图；
40.图2为一种实施例的识别注意力地图流程示意图；
41.图3为一种实施例的目标检测模型训练流程示意图；
42.图4为另一种实施例的目标检测模型训练流程示意图；
43.图5为另一种实施例的目标检测模型训练流程示意图；
44.图6为另一种实施例的目标检测模型训练流程示意图；
45.图7为另一种实施例的目标检测模型训练流程示意图；
46.图8为本技术实施例的基于巡逻机器人的目标检测装置结构框图。
具体实施方式
47.下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了
表示待检测图像。
63.一些实施例中，利用预构建的注意力预测头识别待检测图像对应的注意力地图之前，还包括：
64.利用归一化注意力机制在巡逻机器人中的检测头前构建注意力预测头。
65.一些实施例中，归一化注意力机制(nam注意力机制，normalization based attention module)，其中，归一化注意力机制是一种轻量级高效的注意力机制，采用了cbam的模块集成方法，重新设计了通道和空间注意力子模块。
66.一些实施例中，将注意力地图和待检测图像进行相乘计算，得到注意力区域，注意力区域可以用于进一步处理目标物体的位置和类别的识别。
67.步骤s20：将注意力区域输入至一训练好的目标检测模型中进行目标检测，得到目标检测结果；其中，训练好的目标检测模型通过多模块训练方式被训练得到。
68.参见图3，一实施例中，步骤s20中训练好的目标检测模型通过多模块训练方式被训练得到包括步骤s21至步骤s24，下面具体说明。
69.步骤s21：利用巡逻机器人对目标区域进行图像采集，得到输入特征图，并利用特征提取模块对输入特征图的通道信息进行特征提取，得到输出特征图。
70.参见图4，一实施例中，步骤s21利用特征提取模块对输入特征图的通道信息进行特征提取，得到输出特征图包括步骤s211至步骤s214，下面具体说明。
71.步骤s211：分别利用预设个数的卷积模块对输入特征图的通道信息进行特征映射，得到映射特征集。
72.步骤s212：对映射特征集中的多个映射特征进行聚合处理，得到聚合特征集。
73.步骤s213：利用预设大小的卷积核对输入特征图的通道信息进行卷积处理，得到卷积信息。
74.步骤s214：对聚合特征集和卷积信息进行汇总，得到汇总后的数据，将汇总后的数据进行卷积处理并将卷积处理后的数据输入至批归一化层中，得到输出特征图。
75.一些实施例中，卷积模块由一个1
×
1的卷积核和一个3
×
3的卷积核构成，其中，利用卷积模块中的1
×
1的卷积核对输入特征图的通道信息进行整合，将输入特征图的特征映射为以通道数为输入特征的低维特征图，使用一个3
×
3的卷积核对低维特征图进行特征提取，其通道数为输入特征图的1/32。由于分别采用预设个数的卷积模块进行特征映射，预设个数的卷积模块可以视作多个分支结构，因此，需要合并分支结构的输出数据即对多个映射特征进行聚合处理，得到聚合特征集。
76.例如，可以表示为：
[0077][0078]
其中，y为输出特征图，x为输入特征图，conv1和conv2为1
×
1的卷积核，c为聚合特征集的大小，γi(x)为映射特征集，bn为批归一化层。
[0079]
步骤s22：根据改进卷积transformer模块对输入特征图进行卷积投影处理，得到多个线性特征，改进卷积transformer模块中包括卷积多头自关注机制。
[0080]
参见图5，一实施例中，步骤s22根据改进卷积transformer模块对输入特征图进行卷积投影处理，得到多个线性特征包括步骤s221至步骤s224，下面具体说明。
[0081]
步骤s221：利用卷积神经网络从输入特征图中提取得到特征信息集。
[0082]
步骤s222：对特征信息集中的特征信息进行卷积处理，得到卷积特征集。
[0083]
步骤s223：对输入特征图进行二维重构，得到二维令牌图，根据卷积多头自关注机制中的卷积投影对二维令牌图进行映射投影，并对映射投影后的令牌图进行平展处理，得到平展特征。
[0084]
步骤s224：将平展特征和卷积特征集进行连接处理，并对连接后的特征进行卷积处理，得到多个线性特征。
[0085]
一些实施例中，利用卷积神经网络从输入特征图中提取得到特征信息集，并利用改进卷积transformer模块中的卷积多头自注意力机制对特征信息集中的特征信息进行卷积处理，得到卷积特征集，从而减少超参数的自由选择，提高后续模型在不同场景下的稳定性。
[0086]
其中，改进卷积transformer模块中的卷积多头自注意力机制使用了卷积投影代替了原始自注意力机制中的位置线性投影，具体体现在使用卷积投影层对二维令牌图映射进行投影，并将投影后的令牌图平展为一维以供后续进行处理。
[0087]
例如，上述操作为：
[0088][0089]
其中，是第i层q/k/v矩阵的token输入，xi是进行卷积投影之前的非扰动token，conv是标准卷积，s是卷积核的大小，flatten为平展处理。
[0090]
一些实施例中，关于q、k、v之间的关系函数定义如下:
[0091][0092]
其中，c是输入token的通道数，k是cmhsa的头部数量，conv是标准卷积，q,k,v为注意力机制中的矩阵，softmax为激活函数，t表示矩阵的转置，in表示标准归一化层。
[0093]
一些实施例中，k的取值可以为4。标准卷积即为标准的1
×
1卷积操作。
[0094]
步骤s23：对预设路径聚合网络进行网络优化处理，得到特征融合网络，利用特征融合网络对输入特征图进行特征融合处理，得到融合特征集。
[0095]
参见图6，一实施例中，步骤s23对预设路径聚合网络进行网络优化处理，得到特征融合网络包括步骤s231至步骤s232，下面具体说明。
[0096]
步骤s231：删除预设路径聚合网络中的单个输入节点，并在符合预设条件的输入节点与输出节点之间添加跳跃连接。
[0097]
步骤s232：在路径聚合网络中的每个输入节点上添加加权融合模块，得到特征融合网络。
[0098]
一些实施例中，预设路径聚合网络(panet，path aggregation network)，删除预设路径聚合网络中的单个输入节点，以简化网络结构，并在符合预设条件的输入节点与输出节点之间添加跳跃连接，预设条件可以是指位置上邻近的输入节点和输出节点。通过添加跳跃连接可以融合更多的特征，而不会显著增加计算成本。在路径聚合网络中的每个输入节点上添加加权融合模块，得到特征融合网络。
[0099]
例如，加权融合模块的公式化表达如下：
[0100][0101]
其中，表示输入特征，wi是学习权重，wi≥0，x
output
为加权融合后的特征，ε表示预设稳定性参数。
[0102]
为了提高训练的稳定性，在训练过程中将权重归一化到[0,1]之间，ε是一个很小的值，其目的是提高计算的稳定性。
[0103]
其中，特征融合网络可以通过融合不同层次的特征来提高特征的表达能力，从而可以提高对多尺度目标的检测能力，关于多尺度目标主要是指小目标。
[0104]
参见图7，一实施例中，步骤s23利用特征融合网络对输入特征图进行特征融合处理，得到融合特征集包括步骤s233至步骤s235，下面具体说明。
[0105]
步骤s233：获取输入特征图对应的第一邻近特征图和第二邻近特征图，第一邻近特征图是输入特征图的上一层输入图，第二邻近特征图是输入特征图的下一层输出图。
[0106]
步骤s234：根据输入特征图、第一邻近特征图和预设加权融合公式计算得到中间特征。
[0107]
步骤s235：将中间特征、第二邻近特征图和输入特征图输入至加权融合公式中，得到融合特征集。
[0108]
例如，以第三层为例，其特征融合描述为：
[0109][0110][0111]
其中，是自上而下路径中第三层的中间特征，是自下而上路径中第三层的输出特征，conv是标准卷积，relu是修正线性单元，w0和w1为自上而下路径中第三层中的学习权重，w'0、w'1和w'2为自下而上路径中第三层中的学习权重，表示第三层输入特征图，表示第四层输入特征图，表示第二层输出特征图，resize是下采样或上采样操作，ε表示预设稳定性参数。
[0112]
resize用于匹配不同融合特征的分辨率，conv是标准卷积，同时，类似的特征融合方法也适用于其他位置的特征。
[0113]
步骤s24：利用输出特征图、多个线性特征和融合特征集对预构建的目标检测模型进行模型训练处理，得到训练好的目标检测模型，目标检测模型包括特征提取模块、卷积transformer模块和特征融合网络。
[0114]
其中，巡逻机器人是应用在室内飞行场景下的巡逻机器人，目标区域是指根据各类室内巡逻或者安防任务所指定的需要进行巡逻的区域。因此可以利用巡逻机器人对目标区域进行图像采集，得到输入特征图。
[0115]
一些实施例中，特征提取模块采用同构的多分支架构，减少了网络的计算和参数，从而提高了模型的检测速度。改进卷积transformer模块引入卷积多头自注意力机制
(cmhsa，convolutional multihead self-attention)来提取图像的全局特征，通过目标的上下文信息缓解由于特征不连续导致的模型对遮挡目标检测效果差的问题。同时利用卷积投影代替卷积多头自注意力中的位置线性投影，可以有效地提取图像的全局特征，同时降低了计算量。特征融合网络(ffm，feature fusion network)通过在主干网络中聚合不同层次的特征来增强小目标的特征表达能力，从而提高小目标的检测精度。
[0116]
请参考图8，一些实施例中提供一种基于巡逻机器人的目标检测装置，包括注意力区域生成模块10和目标检测模块20，下面具体说明。
[0117]
注意力区域生成模块10用于获取巡逻机器人采集的待检测图像，利用预构建的注意力预测头识别所述待检测图像对应的注意力地图，将所述注意力地图和所述输入特征图进行相乘计算，得到注意力区域。
[0118]
一些实施例中，由于在巡逻机器人采集的待检测图像中，在其广阔的视野里面往往包含着大量令人困惑的环境因素，为了提高在后续进行目标检测的过程中目标检测模型对混淆的环境信息的抵抗能力，需要利用注意力预测头识别出注意力区域，使得目标检测模型可以专注于有效目标。
[0119]
一些实施例中，注意力区域生成模块10利用注意力预测头识别待检测图像对应的注意力地图可以这样来实现：
[0120]
注意力区域生成模块10分别利用注意力预测头中的通道注意力子模块和空间注意力子模块对待检测图像进行注意力预测，得到通道输出特征和空间输出特征。
[0121]
注意力区域生成模块10根据通道输出特征和空间输出特征生成注意力地图。
[0122]
一些实施例中，利用注意力预测头中的通道注意力子模块对待检测图像进行注意力预测，得到通道输出特征，包括：
[0123]
mc＝sigmoid(w
γ
(bn(f1)))
[0124]
其中，mc为通道输出特征，sigmoid为激活函数，w
γ
为通道注意力子模块的权值，γ为通道注意力子模块中每个通道的缩放因子，bn表示批归一化层，f1表示待检测图像。
[0125]
一些实施例中，利用注意力预测头中的空间注意力子模块对待检测图像进行注意力预测，得到空间输出特征，包括：
[0126]ms
＝sigmoid(w
λ
(bns(f1)))
[0127]
其中，ms表示空间输出特征，sigmoid为激活函数，w
λ
为空间注意力子模块的权值，λ为空间注意力子模块中每个通道的缩放因子，bns表示空间注意力子模块的批归一化层，f1表示待检测图像。
[0128]
一些实施例中，注意力区域生成模块10利用预构建的注意力预测头识别待检测图像对应的注意力地图之前，还
[0129]
利用归一化注意力机制在巡逻机器人中的检测头前构建注意力预测头。
[0130]
一些实施例中，归一化注意力机制(nam注意力机制，normalization based attention module)，其中，归一化注意力机制是一种轻量级高效的注意力机制，采用了cbam的模块集成方法，重新设计了通道和空间注意力子模块。
[0131]
一些实施例中，将注意力地图和待检测图像进行相乘计算，得到注意力区域，注意力区域可以用于进一步处理目标物体的位置和类别的识别。
[0132]
目标检测模块20用于将所述注意力区域输入至一训练好的目标检测模型中进行
目标检测，得到目标检测结果；其中，所述训练好的目标检测模型通过多模块训练方式被训练得到。
[0133]
一实施例中，目标检测模块20所涉及的目标检测模型通过多模块训练方式被训练得，可以通过以下方式来实现。请返回参照上图3，目标检测模块20所涉及的目标检测模型的训练方式包括步骤s21至步骤s24，下面具体说明。
[0134]
步骤s21：利用巡逻机器人对目标区域进行图像采集，得到输入特征图，并利用特征提取模块对输入特征图的通道信息进行特征提取，得到输出特征图。
[0135]
请返回参见图4，一实施例中，步骤s21利用特征提取模块对输入特征图的通道信息进行特征提取，得到输出特征图包括步骤s211至步骤s214，下面具体说明。
[0136]
步骤s211：分别利用预设个数的卷积模块对输入特征图的通道信息进行特征映射，得到映射特征集。
[0137]
步骤s212：对映射特征集中的多个映射特征进行聚合处理，得到聚合特征集。
[0138]
步骤s213：利用预设大小的卷积核对输入特征图的通道信息进行卷积处理，得到卷积信息。
[0139]
步骤s214：对聚合特征集和卷积信息进行汇总，得到汇总后的数据，将汇总后的数据进行卷积处理并将卷积处理后的数据输入至批归一化层中，得到输出特征图。
[0140]
一些实施例中，卷积模块由一个1
×
1的卷积核和一个3
×
3的卷积核构成，其中，利用卷积模块中的1
×
1的卷积核对输入特征图的通道信息进行整合，将输入特征图的特征映射为以通道数为输入特征的低维特征图，使用一个3
×
3的卷积核对低维特征图进行特征提取，其通道数为输入特征图的1/32。由于分别采用预设个数的卷积模块进行特征映射，预设个数的卷积模块可以视作多个分支结构，因此，需要合并分支结构的输出数据即对多个映射特征进行聚合处理，得到聚合特征集。
[0141]
例如，可以表示为：
[0142][0143]
其中，y为输出特征图，x为输入特征图，conv1和conv2为1
×
1的卷积核，c为聚合特征集的大小，γi(x)为映射特征集，bn为批归一化层。
[0144]
步骤s22：根据改进卷积transformer模块对输入特征图进行卷积投影处理，得到多个线性特征，改进卷积transformer模块中包括卷积多头自关注机制。
[0145]
请返回参见图5，一实施例中，步骤s22根据改进卷积transformer模块对输入特征图进行卷积投影处理，得到多个线性特征包括步骤s221至步骤s224，下面具体说明。
[0146]
步骤s221：利用卷积神经网络从输入特征图中提取得到特征信息集。
[0147]
步骤s222：对特征信息集中的特征信息进行卷积处理，得到卷积特征集。
[0148]
步骤s223：对输入特征图进行二维重构，得到二维令牌图，根据卷积多头自关注机制中的卷积投影对二维令牌图进行映射投影，并对映射投影后的令牌图进行平展处理，得到平展特征。
[0149]
步骤s224：将平展特征和卷积特征集进行连接处理，并对连接后的特征进行卷积处理，得到多个线性特征。
[0150]
一些实施例中，利用卷积神经网络从输入特征图中提取得到特征信息集，并利用
改进卷积transformer模块中的卷积多头自注意力机制对特征信息集中的特征信息进行卷积处理，得到卷积特征集，从而减少超参数的自由选择，提高后续模型在不同场景下的稳定性。
[0151]
其中，改进卷积transformer模块中的卷积多头自注意力机制使用了卷积投影代替了原始自注意力机制中的位置线性投影，具体体现在使用卷积投影层对二维令牌图映射进行投影，并将投影后的令牌图平展为一维以供后续进行处理。
[0152]
例如，上述操作为：
[0153][0154]
其中，是第i层q/k/v矩阵的token输入，xi是进行卷积投影之前的非扰动token，conv是标准卷积，s是卷积核的大小，flatten为平展处理。
[0155]
一些实施例中，关于q、k、v之间的关系函数定义如下:
[0156][0157]
其中，c是输入token的通道数，k是cmhsa的头部数量，conv是标准卷积，q,k,v为注意力机制中的矩阵，softmax为激活函数，t表示矩阵的转置，in表示标准归一化层。
[0158]
一些实施例中，k的取值可以为4。标准卷积即为标准的1
×
1卷积操作。
[0159]
步骤s23：对预设路径聚合网络进行网络优化处理，得到特征融合网络，利用特征融合网络对输入特征图进行特征融合处理，得到融合特征集。
[0160]
请返回参见图6，一实施例中，步骤s23对预设路径聚合网络进行网络优化处理，得到特征融合网络包括步骤s231至步骤s232，下面具体说明。
[0161]
步骤s231：删除预设路径聚合网络中的单个输入节点，并在符合预设条件的输入节点与输出节点之间添加跳跃连接。
[0162]
步骤s232：在路径聚合网络中的每个输入节点上添加加权融合模块，得到特征融合网络。
[0163]
一些实施例中，预设路径聚合网络(panet，path aggregation network)，删除预设路径聚合网络中的单个输入节点，以简化网络结构，并在符合预设条件的输入节点与输出节点之间添加跳跃连接，预设条件可以是指位置上邻近的输入节点和输出节点。通过添加跳跃连接可以融合更多的特征，而不会显著增加计算成本。在路径聚合网络中的每个输入节点上添加加权融合模块，得到特征融合网络。
[0164]
例如，加权融合模块的公式化表达如下：
[0165][0166]
其中，表示输入特征，wi是学习权重，wi≥0，x
output
为加权融合后的特征，ε表示预设稳定性参数。
[0167]
为了提高训练的稳定性，在训练过程中将权重归一化到[0,1]之间，ε是一个很小的值，其目的是提高计算的稳定性。
[0168]
其中，特征融合网络可以通过融合不同层次的特征来提高特征的表达能力，从而
可以提高对多尺度目标的检测能力，关于多尺度目标主要是指小目标。
[0169]
请返回参见图7，一实施例中，步骤s23利用特征融合网络对输入特征图进行特征融合处理，得到融合特征集包括步骤s233至步骤s235，下面具体说明。
[0170]
步骤s233：获取输入特征图对应的第一邻近特征图和第二邻近特征图，第一邻近特征图是输入特征图的上一层输入图，第二邻近特征图是输入特征图的下一层输出图。
[0171]
步骤s234：根据输入特征图、第一邻近特征图和预设加权融合公式计算得到中间特征。
[0172]
步骤s235：将中间特征、第二邻近特征图和输入特征图输入至加权融合公式中，得到融合特征集。
[0173]
例如，以第三层为例，其特征融合描述为：
[0174][0175][0176]
其中，是自上而下路径中第三层的中间特征，是自下而上路径中第三层的输出特征，conv是标准卷积，relu是修正线性单元，w0和w1为自上而下路径中第三层中的学习权重，w'0、w'1和w'2为自下而上路径中第三层中的学习权重，表示第三层输入特征图，表示第四层输入特征图，表示第二层输出特征图，resize是下采样或上采样操作，ε表示预设稳定性参数。
[0177]
resize用于匹配不同融合特征的分辨率，conv是标准卷积，同时，类似的特征融合方法也适用于其他位置的特征。
[0178]
步骤s24：利用输出特征图、多个线性特征和融合特征集对预构建的目标检测模型进行模型训练处理，得到训练好的目标检测模型，目标检测模型包括特征提取模块、卷积transformer模块和特征融合网络。
[0179]
其中，巡逻机器人是应用在室内飞行场景下的巡逻机器人，目标区域是指根据各类室内巡逻或者安防任务所指定的需要进行巡逻的区域。因此可以利用巡逻机器人对目标区域进行图像采集，得到输入特征图。
[0180]
一些实施例中，特征提取模块采用同构的多分支架构，减少了网络的计算和参数，从而提高了模型的检测速度。改进卷积transformer模块引入卷积多头自注意力机制(cmhsa，convolutional multihead self-attention)来提取图像的全局特征，通过目标的上下文信息缓解由于特征不连续导致的模型对遮挡目标检测效果差的问题。同时利用卷积投影代替卷积多头自注意力中的位置线性投影，可以有效地提取图像的全局特征，同时降低了计算量。特征融合网络(ffm，feature fusion network)通过在主干网络中聚合不同层次的特征来增强小目标的特征表达能力，从而提高小目标的检测精度。
[0181]
实施例的基于巡逻机器人的目标检测方法、装置及介质，包括获取巡逻机器人采集的待检测图像，利用预构建的注意力预测头识别所述待检测图像对应的注意力地图，将所述注意力地图和所述输入特征图进行相乘计算，得到注意力区域，将所述注意力区域输
入至一训练好的目标检测模型中进行目标检测，得到目标检测结果，其中，所述训练好的目标检测模型通过多模块训练方式被训练得到。根据注意力预测头识别出巡逻机器人采集的待检测图像对应的注意力区域，能够使得后续模型处理时专注于有效的目标区域，并将注意力区域输入至一训练好的目标检测模型中进行目标检测，得到目标检测结果。训练好的目标检测模型可以实时准确地检测到目标。
[0182]
本领域技术人员可以理解，上述实施方式中各种方法的全部或部分功能可以通过硬件的方式实现，也可以通过计算机程序的方式实现。当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘、光盘、硬盘等，通过计算机执行该程序以实现上述功能。例如，将程序存储在设备的存储器中，当通过处理器执行存储器中程序，即可实现上述全部或部分功能。另外，当上述实施方式中全部或部分功能通过计算机程序的方式实现时，该程序也可以存储在服务器、另一计算机、磁盘、光盘、闪存盘或移动硬盘等存储介质中，通过下载或复制保存到本地设备的存储器中，或对本地设备的系统进行版本更新，当通过处理器执行存储器中的程序时，即可实现上述实施方式中全部或部分功能。
[0183]
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

技术特征：
1.一种基于巡逻机器人的目标检测方法,其特征在于，包括：获取巡逻机器人采集的待检测图像，利用预构建的注意力预测头识别所述待检测图像对应的注意力地图，将所述注意力地图和所述输入特征图进行相乘计算，得到注意力区域；将所述注意力区域输入至一训练好的目标检测模型中进行目标检测，得到目标检测结果；其中，所述训练好的目标检测模型通过多模块训练方式被训练得到。2.如权利要求1所述的方法，其特征在于，所述训练好的目标检测模型通过多模块训练方式被训练得到，包括：利用巡逻机器人对目标区域进行图像采集，得到输入特征图，并利用特征提取模块对所述输入特征图的通道信息进行特征提取，得到输出特征图；根据改进卷积transformer模块对所述输入特征图进行卷积投影处理，得到多个线性特征，所述改进卷积transformer模块中包括卷积多头自关注机制；对预设路径聚合网络进行网络优化处理，得到特征融合网络，利用所述特征融合网络对所述输入特征图进行特征融合处理，得到融合特征集；利用所述输出特征图、所述多个线性特征和所述融合特征集对预构建的目标检测模型进行模型训练处理，得到训练好的目标检测模型，所述目标检测模型包括特征提取模块、卷积transformer模块和特征融合网络。3.如权利要求1所述的方法，其特征在于，所述根据改进卷积transformer模块对所述输入特征图进行卷积投影处理，得到多个线性特征，包括：利用卷积神经网络从所述输入特征图中提取得到特征信息集；对所述特征信息集中的特征信息进行卷积处理，得到卷积特征集；对所述输入特征图进行二维重构，得到二维令牌图，根据所述卷积多头自关注机制中的卷积投影对所述二维令牌图进行映射投影，并对映射投影后的令牌图进行平展处理，得到平展特征；将所述平展特征和所述卷积特征集进行连接处理，并对连接后的特征进行卷积处理，得到多个线性特征。4.如权利要求1所述的方法，其特征在于，所述对预设路径聚合网络进行网络优化处理，得到特征融合网络，包括：删除预设路径聚合网络中的单个输入节点，并在符合预设条件的输入节点与输出节点之间添加跳跃连接；在所述路径聚合网络中的每个输入节点上添加加权融合模块，得到特征融合网络。5.如权利要求1所述的方法，其特征在于，所述利用所述特征融合网络对所述输入特征图进行特征融合处理，得到融合特征集，包括：获取所述输入特征图对应的第一邻近特征图和第二邻近特征图，所述第一邻近特征图是所述输入特征图的上一层输入图，所述第二邻近特征图是所述输入特征图的下一层输出图；根据所述输入特征图、所述第一邻近特征图和预设加权融合公式计算得到中间特征；将所述中间特征、所述第二邻近特征图和所述输入特征图输入至所述加权融合公式中，得到融合特征集。6.如权利要求1所述的方法，其特征在于，所述利用注意力预测头识别所述待检测图像
对应的注意力地图，包括:分别利用所述注意力预测头中的通道注意力子模块和空间注意力子模块对所述待检测图像进行注意力预测，得到通道输出特征和空间输出特征；根据所述通道输出特征和所述空间输出特征生成注意力地图。7.如权利要求1所述的方法，其特征在于，所述利用特征提取模块对所述输入特征图的通道信息进行特征提取，得到输出特征图，包括：分别利用预设个数的卷积模块对所述输入特征图的通道信息进行特征映射，得到映射特征集；对所述映射特征集中的多个映射特征进行聚合处理，得到聚合特征集；利用预设大小的卷积核对所述输入特征图的通道信息进行卷积处理，得到卷积信息；对所述聚合特征集和所述卷积信息进行汇总，得到汇总后的数据，将汇总后的数据进行卷积处理并将卷积处理后的数据输入至批归一化层中，得到输出特征图。8.一种基于巡逻机器人的目标检测装置,其特征在于包括：注意力区域生成模块，用于获取巡逻机器人采集的待检测图像，利用预构建的注意力预测头识别所述待检测图像对应的注意力地图，将所述注意力地图和所述输入特征图进行相乘计算，得到注意力区域；目标检测模块，用于将所述注意力区域输入至一训练好的目标检测模型中进行目标检测，得到目标检测结果；其中，所述训练好的目标检测模型通过多模块训练方式被训练得到。9.一种基于巡逻机器人的目标检测设备，其特征在于包括：存储器，用于存储程序；处理器，用于通过执行所述存储器存储的程序以实现如权利要求1-7中任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述介质上存储有程序，所述程序能够被处理器执行以实现如权利要求1-7中任一项所述的方法。

技术总结
一种基于巡逻机器人的目标检测方法、装置及介质，包括获取巡逻机器人采集的待检测图像，利用预构建的注意力预测头识别待检测图像对应的注意力地图，将注意力地图和输入特征图进行相乘计算，得到注意力区域，将注意力区域输入至一训练好的目标检测模型中进行目标检测，得到目标检测结果，其中，训练好的目标检测模型通过多模块训练方式被训练得到。在飞行巡逻机器人采集到的图像中存在小目标数量多，难以检测，或者存在目标被遮挡的情况下能够实时准确地检测到目标。准确地检测到目标。准确地检测到目标。


技术研发人员：林必毅 孙凯 林昶荣
受保护的技术使用者：深圳市华赛睿飞智能科技有限公司
技术研发日：2023.06.21
技术公布日：2023/10/5