基于细粒度特征提取的目标检测方法及装置

1.本发明涉及计算机视觉和目标检测技术领域，尤其涉及一种基于细粒度特征提取的目标检测方法及装置。


背景技术：

2.计算机视觉一直是计算机科学中研究的热点和难点，目标检测已经成为计算机视觉领域中非常重要的研究问题。
3.现有的目标检测技术通常采用卷积神经网络模型对目标图像进行检测，然而小目标和被严重遮挡的目标的特征信息难以被卷积神经网络模型提取，从而导致漏检和误检。
4.为此，现急需提供一种目标检测方法。


技术实现要素：

5.本发明提供一种基于细粒度特征提取的目标检测方法及装置，用以解决现有技术中存在的缺陷。
6.本发明提供一种基于细粒度特征提取的目标检测方法，包括：获取目标的待检测图像；将所述待检测图像输入至检测模型，得到所述检测模型输出的所述目标的检测结果；其中，所述检测模型包括顺次连接的特征提取模块、细粒度特征提取和融合模块和检测器；所述检测模型基于携带有样本标签的样本图像训练得到；所述特征提取模块用于提取所述待检测图像的多个不同分辨率的图像特征；所述细粒度特征提取和融合模块用于基于注意力机制，将所述多个不同分辨率的图像特征中的第一图像特征与其他图像特征进行关联，并基于所得的关联结果提取目标细粒度特征，将所述目标细粒度特征和所述第一图像特征进行融合，并将所得的融和结果与所述多个不同分辨率的图像特征中的第二图像特征在通道维度进行拼接，得到拼接结果；所述检测器用于基于所述拼接结果，得到所述检测结果。
7.根据本发明提供的一种基于细粒度特征提取的目标检测方法，所述细粒度特征提取和融合模块具体用于：将所述多个不同分辨率的图像特征均投影至编码空间，并在所述编码空间中，计算用于表征所述第一图像特征与所述其他图像特征之间的相关性的注意力图；计算所述其他图像特征中所有位置的特征表示，并将所述特征表示与所述注意力图进行加权求和，得到所述目标细粒度特征。
8.根据本发明提供的一种基于细粒度特征提取的目标检测方法，所述第一图像特征为所述多个不同分辨率的图像特征中分辨率最低的图像特征；和/或，所述第二图像特征为所述多个不同分辨率的图像特征中分辨率最高的图像特征。
9.根据本发明提供的一种基于细粒度特征提取的目标检测方法，图像特征的个数为
4个；所述特征提取模块为包括4个特征提取阶段的hrnet；所述待检测图像依次经所述4个特征提取阶段后由第四个特征提取阶段输出所述图像特征。
10.根据本发明提供的一种基于细粒度特征提取的目标检测方法，所述检测模型基于所述样本图像，对初始模型进行分布式训练得到。
11.根据本发明提供的一种基于细粒度特征提取的目标检测方法，所述检测器包括降维模块、目标中心点预测模块、目标尺度预测模块、目标中心点偏移量预测模块，所述降维模块分别与所述目标中心点预测模块、所述目标尺度预测模块和所述目标中心点偏移量预测模块连接；所述降维模块用于对所述拼接结果进行降维处理，得到降维结果；所述目标中心点预测模块用于基于所述降维结果确定所述目标中心点；所述目标尺度预测模块用于基于所述降维结果确定所述目标尺度；所述目标中心点偏移量预测模块用于基于所述降维结果确定所述目标中心点偏移量。
12.根据本发明提供的一种基于细粒度特征提取的目标检测方法，检测结果包括目标边界框；相应的，所述检测器还用于：基于所述目标中心点和所述目标尺度，生成目标候选框；基于所述目标中心点偏移量，对所述目标候选框进行微调，得到所述目标边界框。
13.本发明还提供一种基于细粒度特征提取的目标检测装置，包括：图像获取模块，用于获取目标的待检测图像；目标检测模块，用于将所述待检测图像输入至检测模型，得到所述检测模型输出的所述目标的检测结果；其中，所述检测模型包括顺次连接的特征提取模块、细粒度特征提取和融合模块和检测器；所述检测模型基于携带有样本标签的样本图像训练得到；所述特征提取模块用于提取所述待检测图像的多个不同分辨率的图像特征；所述细粒度特征提取和融合模块用于基于注意力机制，将所述多个不同分辨率的图像特征中的第一图像特征与其他图像特征进行关联，并基于所得的关联结果提取目标细粒度特征，将所述目标细粒度特征和所述第一图像特征进行融合，并将所得的融和结果与所述多个不同分辨率的图像特征中的第二图像特征在通道维度进行拼接，得到拼接结果；所述检测器用于基于所述拼接结果，得到所述检测结果。
14.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的基于细粒度特征提取的目标检测方法。
15.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的基于细粒度特征提取的目标检测方法。
16.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的基于细粒度特征提取的目标检测方法。
17.与现有技术相比，本发明具有如下有益效果：
本发明提供的基于细粒度特征提取的目标检测方法及装置，该方法首先获取目标的待检测图像；然后将待检测图像输入至检测模型，得到检测模型输出的目标的检测结果。该检测模型可以包括顺次连接的特征提取模块、细粒度特征提取和融合模块和检测器，通过特征提取模块提取待检测图像的多个不同分辨率的图像特征，可以在不损失空间分辨率的情况下获取到更高层次的语义信息，大大提升检测模型对目标的描述能力；通过细粒度特征提取和融合模块基于注意力机制，将多个不同分辨率的图像特征中的第一图像特征与其他图像特征进行关联，并基于所得的关联结果提取目标细粒度特征，可以实现跨特征域地在全局上建立长距离依赖，将目标细粒度特征和第一图像特征进行融合，并将所得的融和结果与第二图像特征在通道维度进行拼接，可以防止在提取细粒度特征的过程中目标位置信息的丢失，可以提高检测模型的性能，提升检测模型对遮挡目标的检测精度，进而使检测器利用拼接结果得到的检测结果更加准确，可以提升检测模型对遮挡目标的检测精度，降低了漏检和误检情况发生的可能性。
附图说明
18.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1是本发明提供的基于细粒度特征提取的目标检测方法的流程示意图之一；图2是本发明提供的基于细粒度特征提取的目标检测方法中检测模型的结构示意图；图3是本发明提供的基于细粒度特征提取的目标检测方法中检测模型的细粒度特征提取和融合模块的结构示意图；图4是本发明提供的基于细粒度特征提取的目标检测方法中检测模型的特征提取模块的结构示意图；图5是本发明提供的基于细粒度特征提取的目标检测装置的结构示意图；图6是本发明提供的电子设备的结构示意图。
具体实施方式
20.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.现有的目标检测技术通常采用卷积神经网络模型对目标图像进行检测，并不会提取目标的细粒度特征，而且卷积神经模型只能对局部区域的信息进行学习，这对于小目标和被严重遮挡的目标来说难以准确提取其特征信息，从而导致漏检和误检。为此，本发明实施例中提供了一种基于细粒度特征提取的目标检测方法，用以解决现有的目标检测技术存在的缺陷。
22.图1为本发明实施例中提供的一种基于细粒度特征提取的目标检测方法的流程示意图，如图1所示，该方法包括：
s1，获取目标的待检测图像；s2，将所述待检测图像输入至检测模型，得到所述检测模型输出的所述目标的检测结果；其中，所述检测模型包括顺次连接的特征提取模块、细粒度特征提取和融合模块和检测器；所述检测模型基于携带有样本标签的样本图像训练得到；所述特征提取模块用于提取所述待检测图像的多个不同分辨率的图像特征；所述细粒度特征提取和融合模块用于基于注意力机制，将所述多个不同分辨率的图像特征中的第一图像特征与其他图像特征进行关联，并基于所得的关联结果提取目标细粒度特征，将所述目标细粒度特征和所述第一图像特征进行融合，并将所得的融和结果与所述多个不同分辨率的图像特征中的第二图像特征在通道维度进行拼接，得到拼接结果；所述检测器用于基于所述拼接结果，得到所述检测结果。
23.具体地，本发明实施例中提供的基于细粒度特征提取的目标检测方法，其执行主体为基于细粒度特征提取的目标检测装置，该装置可以配置于计算机内，该计算机可以为本地计算机或云计算机，本地计算机可以是电脑、平板等，此处不作具体限定。
24.首先执行步骤s1，获取目标的待检测图像，该目标可以是行人，也可以是生产的产品和设备、日常的物品等。待检测图像可以通过图像采集设备进行拍摄得到，图像采集设备可以是普通相机、工业相机等，此处不作具体限定。待检测图像的高度可以为h，宽度可以为w，通道数可以为3。
25.然后执行步骤s2，引入检测模型，将待检测图像输入至检测模型，得到检测模型输出的目标的检测结果。
26.如图2所示，检测模型可以包括顺次连接的特征提取模块、细粒度特征提取和融合模块和检测器。待检测图像依次经特征提取模块进行特征提取、细粒度特征提取和融合模块进行目标细粒度特征提取和融合以及检测器进行目标检测，最终可以得到并输出检测结果。
27.该检测结果既可以包括待检测图像中的目标中心点、目标尺度以及目标中心点偏移量，还可以仅包括待检测图像中的目标边界框。可以理解的是，目标中心点为目标在待检测图像中的中心点位置，目标中心点偏移量用于表征目标中心点与实际中心点之间的偏移程度。目标尺度可以包括目标在待检测图像中的宽度和高度等信息。目标边界框可以利用目标中心点、目标尺度以及目标中心点偏移量生成。
28.其中，特征提取模块可以是骨干网络，包括多个分支，分别用于提取待检测图像的多个不同分辨率的图像特征。不同分辨率即不同尺度，图像特征可以采用特征图的形式进行表示。图像特征与特征提取模型的分支一一对应，其个数可以根据需要进行设定，例如可以设定为4个或其他数量，此处不作具体限定。
29.该特征提取模块由于可以提取到多个不同分辨率的图像特征，可以在不损失空间分辨率的情况下获取到更高层次的语义信息，大大提升检测模型对目标的描述能力。
30.细粒度特征提取和融合模块可以借助于注意力机制，将多个不同分辨率的图像特征中的第一图像特征与其他图像特征进行关联，得到关联结果。其中，第一图像特征并非特指第一个图像特征，可以是任意图像特征，此处仅用于与其他图像特征进行区分。其他图像特征的个数可以为一个或多个，当其他图像特征为多个时，第一图像特征与每个其他图像
特征均进行关联，得到多个关联结果。例如，若图像特征的个数为4个，则其他图像特征的个数为3个，进而可以得到3个关联结果。
31.可以理解的是，关联的方式可以通过函数计算第一图像特征与其他图像特征之间的相关性实现，进而得到关联结果。该关联结果可以是注意力图，注意力图中包含了第一图像特征与其他图像特征中所有目标的细粒度信息之间的相关性。
32.此后，可以利用关联结果，确定目标细粒度特征。每个关联结果对应的目标细粒度特征可以通过将关联结果与对应的其他图像特征进行加权求和得到。每个关联结果对应的目标细粒度特征中均包含了所有目标的细粒度信息。
33.此后，可以将目标细粒度特征和第一图像特征进行融合，得到融和结果。此处由于每个关联结果对应的目标细粒度特征中包含不同的细粒度信息，因此采用的融合方式可以是先将每个关联结果对应的目标细粒度特征进行叠加，得到叠加结果，该融合结果为更丰富的目标细粒度特征。进而，将叠加结果与第一图像特征进行融合，也可以利用其他融合方式实现，此处不作具体限定。
34.进一步地，可以将所得的融和结果与第二图像特征在通道维度进行拼接，得到拼接结果。其中，第二图像特征可以是与第一图像特征不同的、其他图像特征中的任意一个。由于第一图像特征与第二图像特征的分辨率不同，因此得到的融和结果与第二图像特征的分辨率也不相同，进而可以先对融和结果进行采样，得到采样结果，使该采样结果与第二图像特征的分辨率相同。此后，可以利用该采样结果与第二图像特征在通道维度进行拼接。
35.该细粒度特征提取和融合模块通过注意力机制，将多个不同分辨率的图像特征中的第一图像特征与其他图像特征进行关联，得到关联结果，并基于所得的关联结果提取目标细粒度特征，可以实现跨特征域地在全局上建立长距离依赖，同时将目标细粒度特征和第一图像特征进行融合，将融和结果与第二图像特征在通道维度进行拼接，可以防止在提取细粒度特征的过程中目标位置信息的丢失，可以提升检测模型对遮挡目标的检测精度。
36.最后，检测器则用于借助于拼接结果，得到待检测图像中目标的检测结果。检测器的结构可以根据所需的检测结果的内容进行设置，此处不作具体限定。
37.该检测模型可以利用携带有样本标签的样本图像对初始模型进行训练得到，样本标签可以是在样本图像中标注的样本边界框，细粒度特征提取和融合模块并不需要额外的细粒度信息的标注。
38.在对初始模型进行训练时，可以先将样本图像输入至初始模型，得到初始模型输出的检测结果，然后根据检测结果与样本标签，计算损失函数值，最后根据损失函数值，更新初始模型的模型参数；迭代执行上述的输入过程以及计算过程，直至损失函数收敛或达到预设迭代次数，得到检测模型。
39.本发明实施例中提供的基于细粒度特征提取的目标检测方法，首先获取目标的待检测图像；然后将待检测图像输入至检测模型，得到检测模型输出的目标的检测结果。该检测模型可以包括顺次连接的特征提取模块、细粒度特征提取和融合模块和检测器，通过特征提取模块提取待检测图像的多个不同分辨率的图像特征，可以在不损失空间分辨率的情况下获取到更高层次的语义信息，大大提升检测模型对目标的描述能力；通过细粒度特征提取和融合模块基于注意力机制，将多个不同分辨率的图像特征中的第一图像特征与其他图像特征进行关联，并基于所得的关联结果提取目标细粒度特征，可以实现跨特征域地在
全局上建立长距离依赖，将目标细粒度特征和第一图像特征进行融合，将融和结果与第二图像特征在通道维度进行拼接，可以防止在提取细粒度特征的过程中目标位置信息的丢失，可以提高检测模型的性能，提升检测模型对遮挡目标的检测精度，进而使检测器利用拼接结果得到的检测结果更加准确，可以提升检测模型对遮挡目标的检测精度，降低了漏检和误检情况发生的可能性。
40.在上述实施例的基础上，本发明实施例中提供的基于细粒度特征提取的目标检测方法，所述细粒度特征提取和融合模块具体用于：将所述多个不同分辨率的图像特征均投影至编码空间，并在所述编码空间中，计算用于表征所述第一图像特征与所述其他图像特征之间的相关性的注意力图；计算所述其他图像特征中所有位置的特征表示，并将所述特征表示与所述注意力图进行加权求和，得到所述目标细粒度特征。
41.具体地，本发明实施例中，细粒度特征提取和融合模块可以先将多个不同分辨率的图像特征均投影至编码空间，可以采用1
×
1卷积核实现。此处，第一图像特征可以作为查询特征，其他图像特征可以作为响应特征，通过查询特征关联响应特征可以学习到目标的更具判别力的细粒度特征。第一图像特征与其他图像特征可以采用不同的1
×
1卷积核，例如第一图像特征采用的1
×
1卷积核可以通过线性变换表征，其他图像特征采用的1
×
1卷积核可以通过线性变换表征。
42.此后，在编码空间，可以利用成对函数计算注意力图，a和b均表示成对函数的输入。该成对函数可以通过点积实现。在得到成对函数的取值之后，可以通过归一化指数函数（即softmax函数）将成对函数的取值映射到[0,1]，并确保所有成对函数的取值的总和为1。经映射之后的成对函数的取值即可作为注意力图，如此可以提高注意力图的准确性，以突出所需的信息。
[0043]
该注意力图即为关联结果，该注意力图中每个像素值表示注意力权重，用于表征第一图像特征与其他图像特征之间的相关性。
[0044]
同步地，可以计算其他图像特征中所有位置的特征表示，所有位置的特征表示均可以采用1
×
1卷积核计算得到，该1
×
1卷积核可以通过可学习的线性变换g进行表征。
[0045]
此后，可以将其他图像特征中所有位置的特征表示与注意力图进行加权求和，得到目标细粒度特征，该目标细粒度特征可以通过包含有目标细粒度信息的特征图进行表示。此处，可以将目标细粒度特征通过一个1
×
1卷积核进行通道维度变换，使目标细粒度特征与第一图像特征的通道维度相同，以便二者可以顺利进行融合。
[0046]
最后，可以将目标细粒度特征和第一图像特征通过相加的方式进行融合，得到融和结果。此处，可以理解为在目标细粒度特征和第一图像特征之间增加残差分支，如此可以提高检测模型的性能和稳定性。
[0047]
若图像特征共有2个，则其他图像特征为1个，此时第一图像特征可以表示为，其他图像特征可以表示为，融和结果可以表示为，且有： （1）
ꢀꢀꢀꢀꢀꢀꢀ
（2）
其中，是保持目标细粒度特征与第一图像特征的通道维度相同的1
×
1卷积核，为第一图像特征在编码空间中的投影结果，为其他图像特征在编码空间中的投影结果，为其他图像特征对应的注意力图，为其他图像特征中所有位置的特征表示，、和分别表示第一图像特征的高度、宽度和通道维度，、和分别表示其他图像特征的高度、宽度和通道维度。
[0048]
若图像特征共有4个，则其他图像特征为3个，此时如图3所示，第i个其他图像特征可以表示为，且有：
ꢀꢀ
（3）融和结果可以表示为，且有：
ꢀꢀꢀꢀꢀꢀꢀꢀ
（4）其中，是保持目标细粒度特征与第一图像特征的通道维度相同的1
×
1卷积核，为第i个其他图像特征对应的、与第一图像特征的通道维度相同的目标细粒度特征，为第一图像特征在编码空间中的投影结果，为第i个其他图像特征在编码空间中的投影结果，为第i个其他图像特征对应的注意力图，为第i个其他图像特征其他图像特征中所有位置的特征表示，、和分别表示第一图像特征的高度、宽度和通道维度，、和分别表示第i个其他图像特征的高度、宽度和通道维度。
[0049]
可以理解的是，图3中，以作为第一图像特征，以、和作为其他图像特征，且以作为第二图像特征，
“×”
表示相乘，“+”表示相加，为第1个其他图像特征对应的、与第一图像特征的通道维度相同的目标细粒度特征，为第2个其他图像特征对应的、与第一图像特征的通道维度相同的目标细粒度特征，为第3个其他图像特征对应的、与第一图像特征的通道维度相同的目标细粒度特征。
[0050]
本发明实施例中，通过在编码空间计算注意力图，并借助于将其他图像特征中所有位置的特征表示与注意力图进行加权求和，将所得的目标细粒度特征和第一图像特征进行融合，可以实现跨特征域地在全局上建立长距离依赖，使得到的融和结果为提高检测模型对遮挡目标的检测精度提供理论依据。
[0051]
在上述实施例的基础上，本发明实施例中提供的基于细粒度特征提取的目标检测方法，所述第一图像特征为所述多个不同分辨率的图像特征中分辨率最低的图像特征；和/或，所述第二图像特征为所述多个不同分辨率的图像特征中分辨率最高的图像特征。
[0052]
具体地，本发明实施例中，为减小检测模型的计算开销，可以将多个不同分辨率的图像特征中分辨率最低的图像特征作为第一图像特征，也可以将多个不同分辨率的图像特征中分辨率最高的图像特征作为第二图像特征。此时，对融和结果需要进行上采样，得到的采样结果才与第二图像特征的分辨率相同。即图3中的采样为上采样。
[0053]
在上述实施例的基础上，本发明实施例中提供的基于细粒度特征提取的目标检测
方法，所述图像特征的个数为4个；所述特征提取模块为包括4个特征提取阶段的hrnet；所述待检测图像依次经所述4个特征提取阶段后由第四个特征提取阶段输出所述图像特征。
[0054]
具体地，本发明实施例中，图像特征的个数可以为4个，进而用于提取图像特征的特征提取模块可以是包括4个特征提取阶段的hrnet。如图4所示，4个特征提取阶段分别为阶段1、阶段2、阶段3和阶段4。hrnet为并联结构，包括四个不同分辨率的提取分支，各提取分支按分辨率由高到低可以分别为提取分支1、提取分支2、提取分支3和提取分支4。各提取分支在各特征提取阶段均有对应的子分支。图4中每一行为一个提取分支，最上面一行对应于提取分支1，其特征图的高度均为h/4，宽度均为w/4；第二行对应于提取分支2，其特征图的高度均为h/8，宽度均为w/8；第三行对应于提取分支3，其特征图的高度均为h/16，宽度均为w/16；最下面一行对应于提取分支4，其特征图的高度均为h/32，宽度均为w/32。
[0055]
从阶段1开始，利用提取分支1对待检测图像进行特征提取，并逐步增加并行连接的高分辨率到低分辨率的提取分支。具体而言，阶段1只包含一个最高分辨率分支，即提取分支1，从阶段2开始到阶段4，每个阶段依次增加一个并行分支，将前一阶段的各分支的输出分别作为后一阶段的各分支的输入。每个阶段中新增分支的分辨率为前一阶段中的最低分辨率分支的一半，通道数则提升两倍。
[0056]
每个阶段中并行分支间不同分辨率的特征图有不同的细粒度，关注待检测图像不同尺度的区域。通过对不同分辨率的特征图进行上采样或下采样，将不同分支间的特征图进行融合，从而实现不同分辨率表征之间进行信息交换，来提升高分辨率特征图和低分辨率特征图的表达能力，让多分辨率表征之间更好的相互促进。
[0057]
最终输出四个不同分辨率的特征图，即四个不同分辨率的图像特征，分别表示为，其分辨率分别为待检测图像的，通道维度分别为32、64、128、256。hrnet可以在高效提取目标的高级语义特征（即图像特征）的同时保留目标的位置信息。
[0058]
图4中，水平的箭头用于表示卷积特征提取，向下的箭头用于表示下采样，向上的箭头用于表示上采样。
[0059]
本发明实施例中，采用包括4个特征提取阶段的hrnet作为特征提取模块，可以在提取图像特征信息的同时始终保留高分辨率特征，从而在不损失空间分辨率的情况下获取更高层次的语义信息，大大提升检测模型对目标的描述能力。
[0060]
在上述实施例的基础上，本发明实施例中提供的基于细粒度特征提取的目标检测方法，所述检测模型基于所述样本图像，对初始模型进行分布式训练得到。
[0061]
具体地，本发明实施例中，由于检测模型可以包括特征提取模块、细粒度特征提取和融合模块和检测器，因此可以采用分布式训练方法对初始模型进行训练，得到检测模型，以提高训练效率。
[0062]
此处，分布式训练方法是指并行训练方法，可以包括基于pytorch实现的训练方法，也可以是基于其他深度学习框架的并行训练方法，此处不作具体限定。
[0063]
在上述实施例的基础上，本发明实施例中提供的基于细粒度特征提取的目标检测方法，所述检测器包括降维模块、目标中心点预测模块、目标尺度预测模块、目标中心点偏
移量预测模块，降维模块分别与目标中心点预测模块、目标尺度预测模块和目标中心点偏移量预测模块连接；降维模块用于对拼接结果进行降维处理，得到降维结果；目标中心点预测模块用于基于降维结果确定目标中心点（center）；目标尺度预测模块用于基于降维结果确定所述目标尺度（scale）；目标中心点偏移量预测模块用于基于降维结果确定目标中心点偏移量（offset）。
[0064]
具体地，该检测器可以是基于中心点的检测器，降维模块可以通过3
×
3卷积核实现，得到的降维结果可以是通道维度为256。
[0065]
目标中心点预测模块、目标尺度预测模块以及目标中心点偏移量预测模块是三个并行的模块，可以分别通过一个1
×
1卷积核实现。
[0066]
在对初始模型进行分布式训练时，需要为检测器中每个模块构造真实标签。对于目标中心点的真实标签，由于确定一个目标准确的中心点位置是很难的，为了减少正样本周围大量负样本的不确定性，在每个正样本所在的位置应用一个二维高斯掩模，公式表述如下：
ꢀꢀꢀꢀꢀꢀ
（5）
ꢀꢀꢀꢀꢀ
（6）其中，代表检测器输出的中心点位置，表示样本图像中的目标数量，是样本图像中第个目标的中心点坐标、宽度和高度，二维高斯分布的方差和分别与目标的宽度和高度对应成比例。
[0067]
目标的尺度可以定义为目标的宽度和高度，对于其真实标签，第个正样本的位置被分配为第个目标的。
[0068]
为了减少点预测带来的误差，也被分配给正样本点半径为２范围内的所有负样本点，其他位置均被分配为０。
[0069]
样本图像的中心点位置被映射到输出图像的位置，因此，目标中心点偏移真实标签可以定义为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（7）其中，是下采样因子，本发明实施例中取值为4。
[0070]
进一步地，检测模型在训练过程中采用的损失函数包括目标中心点损失、目标尺度损失和目标中心校偏移量损失；目标中心点损失基于focal loss损失函数计算得到；目标尺度损失和目标中心校偏移量损失均基于smooth l1损失函数计算得到。
[0071]
本发明实施例中，由于样本图像中目标中心点相对于非目标中心点较少，从而造成正负样本不均衡，不利于初始模型的训练。因此，本发明实施例中使用focal loss损失函数来解决正负样本不平衡问题。为此，目标中心点损失通过如下公式计算：
ꢀꢀꢀꢀ
（8）
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（9）
ꢀꢀꢀꢀꢀꢀꢀꢀ
（10）其中，表示样本图像中目标的数量，分别表示样本图像的宽和高，表示预测坐标点属于目标中心点的概率，是两个超参数，本发明实施例中分别设置为、，表示坐标点的高斯热图。
[0072]
使用损失函数计算目标尺度损失和目标中心点偏移量损失，其公式为：
ꢀꢀꢀꢀꢀꢀꢀ
（11）
ꢀꢀꢀꢀꢀꢀ
（12）其中，分别表示样本图像中第个目标尺度的预测值和真实值，分别表示样本图像中第个目标中心点偏移量的预测值和真实值。
[0073]
综上所述，总的损失函数定义为：
ꢀꢀꢀꢀꢀꢀ
（13）其中，、、分别表示目标中心点损失、尺度损失和中心点偏移量损失的权重，本发明实施例中将其分别设置为0.01、1和0.1。
[0074]
本发明实施例中提供的检测模型可以定义为fgdf-net，fgdf-net是基于pytorch训练得到，并在四个a100 pcie-40gb-gpu设备上运行。fgdf-net的骨干网络（hrnet）使用在imagenet数据集上预先训练的模型权重，另外，对于本发明实施例中所提及的目标检测任务，采用了adam优化算法。在目标检测中的行人检测citypersons数据集上，样本图像的大小设置为640
×
1280，训练阶段迭代次数设置为150，批处理大小设置为16，初始学习率设置为，每迭代50次学习率乘0.1。本发明实施例在citypersons数据集上使用平均漏检率（）作为评价指标。
[0075]
citypersons数据集依据行人高度和被遮挡比例被划分为严重遮挡子集（heavy）、部分遮挡子集（parital）、合理遮挡子集（reasonable）和轻微遮挡子集（bare），各子集的划分标准如表1所示。
[0076]
表1 citypersons数据集中部分子集的划分标准
[0077]
表2给出了本发明实施例中提供的fgdf-net在citypersons数据集上的实验结果，并与现有的目标检测算法在遮挡方面的平均漏检率做比较。fgdf-net在所有不同遮挡程度
上的平均漏检率低于其他算法，尤其是在严重遮挡子集（heavy）上的平均漏检率为43.4%，对比使用相同骨干网络（hrnet）的csp算法获得4.7%的提升。该实验结果充分证明了fgdf-net中基于注意力机制的细粒度特征提取和融合模块在遮挡目标检测上的有效性。
[0078]
表2 各目标检测算法在遮挡方面的平均漏检率的比较表
[0079]
如图5所示，在上述实施例的基础上，本发明实施例中提供了一种基于细粒度特征提取的目标检测装置，包括：图像获取模块51，用于获取目标的待检测图像；目标检测模块52，用于将所述待检测图像输入至检测模型，得到所述检测模型输出的所述目标的检测结果；其中，所述检测模型包括顺次连接的特征提取模块、细粒度特征提取和融合模块和检测器；所述检测模型基于携带有样本标签的样本图像训练得到；所述特征提取模块用于提取所述待检测图像的多个不同分辨率的图像特征；所述细粒度特征提取和融合模块用于基于注意力机制，将所述多个不同分辨率的图像特征中的第一图像特征与其他图像特征进行关联，并基于所得的关联结果提取目标细粒度特征，将所述目标细粒度特征和所述第一图像特征进行融合，并将所得的融和结果与所述多个不同分辨率的图像特征中的第二图像特征在通道维度进行拼接，得到拼接结果；所述检测器用于基于所述拼接结果，得到所述检测结果。
[0080]
在上述实施例的基础上，本发明实施例中提供的基于细粒度特征提取的目标检测装置，所述细粒度特征提取和融合模块具体用于：将所述多个不同分辨率的图像特征均投影至编码空间，并在所述编码空间中，计算用于表征所述第一图像特征与所述其他图像特征之间的相关性的注意力图；计算所述其他图像特征所有位置的特征表示，并将所述特征表示与所述注意力图进行加权求和，得到所述目标细粒度特征。
[0081]
在上述实施例的基础上，本发明实施例中提供的基于细粒度特征提取的目标检测装置，所述第一图像特征为所述多个不同分辨率的图像特征中分辨率最低的图像特征；和/或，
所述第二图像特征为所述多个不同分辨率的图像特征中分辨率最高的图像特征。
[0082]
在上述实施例的基础上，本发明实施例中提供的基于细粒度特征提取的目标检测装置，所述图像特征的个数为4个；所述特征提取模块为包括4个特征提取阶段的hrnet；所述待检测图像依次经所述4个特征提取阶段后由第四个特征提取阶段输出所述图像特征。
[0083]
在上述实施例的基础上，本发明实施例中提供的基于细粒度特征提取的目标检测装置，所述检测模型基于所述样本图像，对初始模型进行分布式训练得到。
[0084]
在上述实施例的基础上，本发明实施例中提供的基于细粒度特征提取的目标检测装置，所述检测器包括降维模块、目标中心点预测模块、目标尺度预测模块、目标中心点偏移量预测模块，所述降维模块分别与所述目标中心点预测模块、所述目标尺度预测模块和所述目标中心点偏移量预测模块连接；所述降维模块用于对所述拼接结果进行降维处理，得到降维结果；所述目标中心点预测模块用于基于所述降维结果确定所述目标中心点；所述目标尺度预测模块用于基于所述降维结果确定所述目标尺度；所述目标中心点偏移量预测模块用于基于所述降维结果确定所述目标中心点偏移量。
[0085]
在上述实施例的基础上，本发明实施例中提供的基于细粒度特征提取的目标检测装置，所述检测结果包括目标边界框；相应的，所述检测器还用于：基于所述目标中心点和所述目标尺度，生成目标候选框；基于所述目标中心点偏移量，对所述目标候选框进行微调，得到所述目标边界框。
[0086]
具体地，本发明实施例中提供的基于细粒度特征提取的目标检测装置中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的，实现的效果也是一致的，具体参见上述实施例，本发明实施例中对此不再赘述。
[0087]
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器（processor）610、通信接口（communications interface）620、存储器（memory）630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行上述各实施例中提供的基于细粒度特征提取的目标检测方法，该方法包括：获取目标的待检测图像；将所述待检测图像输入至检测模型，得到所述检测模型输出的所述目标的检测结果；其中，所述检测模型包括顺次连接的特征提取模块、细粒度特征提取和融合模块和检测器；所述检测模型基于携带有样本标签的样本图像训练得到；所述特征提取模块用于提取所述待检测图像的多个不同分辨率的图像特征；所述细粒度特征提取和融合模块用于基于注意力机制，将所述多个不同分辨率的图像特征中的第一图像特征与其他图像特征进行关联，并基于所得的关联结果提取目标细粒度特征，将所述目标细粒度特征和所述第一图像特征进行融合，并将所得的融和结果与所述多个不同分辨率的图像特征中的第二图像特征在通道维度进行拼接，得到拼接结果；所述检测器用于基于所述拼接结果，得到所述检测结果。
[0088]
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本
发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（read-only memory，rom）、随机存取存储器（random access memory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。
[0089]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例中提供的基于细粒度特征提取的目标检测方法，该方法包括：获取目标的待检测图像；将所述待检测图像输入至检测模型，得到所述检测模型输出的所述目标的检测结果；其中，所述检测模型包括顺次连接的特征提取模块、细粒度特征提取和融合模块和检测器；所述检测模型基于携带有样本标签的样本图像训练得到；所述特征提取模块用于提取所述待检测图像的多个不同分辨率的图像特征；所述细粒度特征提取和融合模块用于基于注意力机制，将所述多个不同分辨率的图像特征中的第一图像特征与其他图像特征进行关联，并基于所得的关联结果提取目标细粒度特征，将所述目标细粒度特征和所述第一图像特征进行融合，并将所得的融和结果与所述多个不同分辨率的图像特征中的第二图像特征在通道维度进行拼接，得到拼接结果；所述检测器用于基于所述拼接结果，得到所述检测结果。
[0090]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例中提供的基于细粒度特征提取的目标检测方法，该方法包括：获取目标的待检测图像；将所述待检测图像输入至检测模型，得到所述检测模型输出的所述目标的检测结果；其中，所述检测模型包括顺次连接的特征提取模块、细粒度特征提取和融合模块和检测器；所述检测模型基于携带有样本标签的样本图像训练得到；所述特征提取模块用于提取所述待检测图像的多个不同分辨率的图像特征；所述细粒度特征提取和融合模块用于基于注意力机制，将所述多个不同分辨率的图像特征中的第一图像特征与其他图像特征进行关联，并基于所得的关联结果提取目标细粒度特征，将所述目标细粒度特征和所述第一图像特征进行融合，并将所得的融和结果与所述多个不同分辨率的图像特征中的第二图像特征在通道维度进行拼接，得到拼接结果；所述检测器用于基于所述拼接结果，得到所述检测结果。
[0091]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0092]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施
例或者实施例的某些部分所述的方法。
[0093]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种基于细粒度特征提取的目标检测方法，其特征在于，包括：获取目标的待检测图像；将所述待检测图像输入至检测模型，得到所述检测模型输出的所述目标的检测结果；其中，所述检测模型包括顺次连接的特征提取模块、细粒度特征提取和融合模块和检测器；所述检测模型基于携带有样本标签的样本图像训练得到；所述特征提取模块用于提取所述待检测图像的多个不同分辨率的图像特征；所述细粒度特征提取和融合模块用于基于注意力机制，将所述多个不同分辨率的图像特征中的第一图像特征与其他图像特征进行关联，并基于所得的关联结果提取目标细粒度特征，将所述目标细粒度特征和所述第一图像特征进行融合，并将所得的融和结果与所述多个不同分辨率的图像特征中的第二图像特征在通道维度进行拼接，得到拼接结果；所述检测器用于基于所述拼接结果，得到所述检测结果。2.根据权利要求1所述的基于细粒度特征提取的目标检测方法，其特征在于，所述细粒度特征提取和融合模块具体用于：将所述多个不同分辨率的图像特征均投影至编码空间，并在所述编码空间中，计算用于表征所述第一图像特征与所述其他图像特征之间的相关性的注意力图；计算所述其他图像特征中所有位置的特征表示，并将所述特征表示与所述注意力图进行加权求和，得到所述目标细粒度特征。3.根据权利要求1所述的基于细粒度特征提取的目标检测方法，其特征在于，所述第一图像特征为所述多个不同分辨率的图像特征中分辨率最低的图像特征；和/或，所述第二图像特征为所述多个不同分辨率的图像特征中分辨率最高的图像特征。4.根据权利要求1所述的基于细粒度特征提取的目标检测方法，其特征在于，所述图像特征的个数为4个；所述特征提取模块为包括4个特征提取阶段的hrnet；所述待检测图像依次经所述4个特征提取阶段后由第四个特征提取阶段输出所述图像特征。5.根据权利要求1所述的基于细粒度特征提取的目标检测方法，其特征在于，所述检测模型基于所述样本图像，对初始模型进行分布式训练得到。6.根据权利要求1-5中任一项所述的基于细粒度特征提取的目标检测方法，其特征在于，所述检测器包括降维模块、目标中心点预测模块、目标尺度预测模块、目标中心点偏移量预测模块，所述降维模块分别与所述目标中心点预测模块、所述目标尺度预测模块和所述目标中心点偏移量预测模块连接；所述降维模块用于对所述拼接结果进行降维处理，得到降维结果；所述目标中心点预测模块用于基于所述降维结果确定所述目标中心点；所述目标尺度预测模块用于基于所述降维结果确定所述目标尺度；所述目标中心点偏移量预测模块用于基于所述降维结果确定所述目标中心点偏移量。7.根据权利要求6所述的基于细粒度特征提取的目标检测方法，其特征在于，所述检测结果包括目标边界框；相应的，所述检测器还用于：基于所述目标中心点和所述目标尺度，生成目标候选框；
基于所述目标中心点偏移量，对所述目标候选框进行微调，得到所述目标边界框。8.一种基于细粒度特征提取的目标检测装置，其特征在于，包括：图像获取模块，用于获取目标的待检测图像；目标检测模块，用于将所述待检测图像输入至检测模型，得到所述检测模型输出的所述目标的检测结果；其中，所述检测模型包括顺次连接的特征提取模块、细粒度特征提取和融合模块和检测器；所述检测模型基于携带有样本标签的样本图像训练得到；所述特征提取模块用于提取所述待检测图像的多个不同分辨率的图像特征；所述细粒度特征提取和融合模块用于基于注意力机制，将所述多个不同分辨率的图像特征中的第一图像特征与其他图像特征进行关联，并基于所得的关联结果提取目标细粒度特征，将所述目标细粒度特征和所述第一图像特征进行融合，并将所得的融和结果与所述多个不同分辨率的图像特征中的第二图像特征在通道维度进行拼接，得到拼接结果；所述检测器用于基于所述拼接结果，得到所述检测结果。9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于细粒度特征提取的目标检测方法。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的基于细粒度特征提取的目标检测方法。

技术总结
本发明涉及计算机视觉和目标检测技术领域，提供一种基于细粒度特征提取的目标检测方法及装置，该方法将待检测图像输入至检测模型，得到检测模型输出的目标的检测结果。该检测模型包括顺次连接的特征提取模块、细粒度特征提取和融合模块和检测器，通过特征提取模块提取待检测图像的多个不同分辨率的图像特征，通过细粒度特征提取和融合模块基于注意力机制，将多个不同分辨率的图像特征中的第一图像特征与其他图像特征进行关联，并基于关联结果提取目标细粒度特征，并将目标细粒度特征和第一图像特征进行融合，将所得的融和结果与第二图像特征在通道维度进行拼接，进而使检测器利用拼接结果得到检测结果，该检测结果更加准确，检测精度高。检测精度高。检测精度高。


技术研发人员：李琦铭 李俊
受保护的技术使用者：中国科学院福建物质结构研究所
技术研发日：2023.07.17
技术公布日：2023/10/5