基于深度学习的动物性别识别方法、系统、设备及介质

1.本发明涉及图像分类技术领域，特别是涉及基于深度学习的动物性别识别方法、系统、设备及介质。


背景技术：

2.本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
3.图像分类的相关研究一直受到广泛的研究关注。图像分类包含的种类丰富，例如不同动物、植物的分类，不同物体分类，人类、动物的性别识别。动物的性别识别技术可以应用在野生动物保护方面可以更好的预测和把握重要濒危动物的数量。性别识别同样也可以应用大型的养殖场中，可以更快的计算性别比例，预测羊场的羊的数量变化趋势。
4.性别分类的主要任务是识别出图像中的羊的性别。根据图像分类的发展脉络可以将图像分类划分为两个周期：传统的图像分类算法和基于深度学习的分类算法。
5.传统的分类算法主要是基于手工提取特征。但随着数据量的不断增大、识别效果、运行速度的不断提升以及实际应用所需精度的不断提高。近年来，基于传统的目标检测算法已逐渐被新兴的基于深度学习的分类算法所替代。
6.目前出现了大量的基于深度学习的分类算法，例如，resnet、vgg、transform网络都取得很好的分类效果，不过在训练的过程中会存在训练时间较长，收敛速度慢的缺点。因此，注意模块产生帮助网络更好的关注前景信息，放大包含更多有用信息的位置，抑制包含无关信息或较少信息的位置。se模块使用两个fc层和激活函数来生成通道之间的关系矩阵。senet优点是模块很小便于集成，可以一个网络中多次使用，缺点是对网络的提升能力有限。cbam和sge将空间注意力与渠道注意力相结合。cbam分别关注了特征图的通道信息和位置信息，通道注意模块将特征图进行平均池化和最大池化然后经过两个连续的卷积层，优点是计算速度比较快，缺点是不过并不能很好的提取一个通道的信息；空间注意模块基于通道维度计算均值和最大值，然后拼接经过连续的全连接层，优点是计算速度比较快，缺点是没有充分利用均值和最大值。网络在训练过程中会存在底层特征丢失、利用率低、底层特征无法影响高层特征问题，并且在利用不同大小的卷积核进行卷积操作时，感受野的大小和提取的特征是不同的，因此对特征图只用一个尺寸的卷积核计算会丢失一些信息，但是利用多个不同大小的卷积核进行卷积又会提高计算量。
7.在实现本发明的过程中，发明人发现现有技术中存在以下技术问题：对动物性别识别过程中存在分类准确率低的缺陷。


技术实现要素：

8.为了解决现有技术的不足，本发明提供了基于深度学习的动物性别识别方法、系统、设备及介质；通过可视化算法证明了通过羊的图像中可以区分性别，图像中包含有性别信息。
9.第一方面，本发明提供了基于深度学习的动物性别识别方法；
10.基于深度学习的动物性别识别方法，包括：
11.获取待识别的动物脸部图像；
12.将待识别的动物脸部图像，输入到训练后的动物性别识别模型中，输出动物性别识别结果；
13.其中，所述训练后的动物性别识别模型，用于：对待识别的动物脸部图像进行基础特征提取，得到基础特征图；对基础特征图进行深层特征提取，得到不同阶段的深层特征图；对不同阶段的深层特征图进行特征增强，得到不同阶段的增强后特征图；将不同阶段的增强后特征图进行逐个元素相加得到优化后的特征图；将优化后的特征图进行两轮多尺度聚合和池化操作，得到最终特征图；对最终特征图进行分类处理，得到动物性别分类结果。
14.第二方面，本发明提供了基于深度学习的动物性别识别系统；
15.基于深度学习的动物性别识别系统，包括：
16.获取模块，其被配置为：获取待识别的动物脸部图像；
17.识别模块，其被配置为：将待识别的动物脸部图像，输入到训练后的动物性别识别模型中，输出动物性别识别结果；
18.其中，所述训练后的动物性别识别模型，用于：对待识别的动物脸部图像进行基础特征提取，得到基础特征图；对基础特征图进行深层特征提取，得到不同阶段的深层特征图；对不同阶段的深层特征图进行特征增强，得到不同阶段的增强后特征图；将不同阶段的增强后特征图进行逐个元素相加得到优化后的特征图；将优化后的特征图进行两轮多尺度聚合和池化操作，得到最终特征图；对最终特征图进行分类处理，得到动物性别分类结果。
19.第三方面，本发明还提供了一种电子设备，包括：
20.存储器，用于非暂时性存储计算机可读指令；以及
21.处理器，用于运行所述计算机可读指令，
22.其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。
23.第四方面，本发明还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。
24.第五方面，本发明还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。
25.与现有技术相比，本发明的有益效果是：
26.本发明通过设计新的注意力模块，考虑到网络训练时间长，收敛速度慢的不足，通过利用空间和通道注意模块来加速网路关注前景信息，抑制背景信息，找到对性别分类更重要的特征。
27.本发明通过构建多尺度聚合和多尺度特征融合网络，可以帮助网络将输入数据在不同尺度下进行处理，以获取更全面、更有信息量的特征表示。低级别的特征表示可能包含边缘和纹理信息，而高级别的特征表示可能包含更抽象的语义信息。通过将这些特征表示进行融合，可以获得更丰富的特征表示，从而提高模型的性能。
28.本发明最后通过可视化算法证明了通过羊的图像中可以区分性别，图像中包含有性别信息。
附图说明
29.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
30.图1为网络整体的流程图；
31.图2为网路整体结构图；
32.图3为注意力模块结构图；
33.图4(a)-图4(f)为羊原始图像和数据增强后的图像；
34.图5(a)-图5(g)为网络训练过程图片、结果图以及可视化图；
35.图6为第一多尺度聚合模块内部结构示意图；
36.图7为se模块内部结构示意图。
具体实施方式
37.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
38.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
39.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
40.实施例一
41.本实施例提供了基于深度学习的动物性别识别方法；
42.如图1所示，基于深度学习的动物性别识别方法，包括：
43.s101：获取待识别的动物脸部图像；
44.s102：将待识别的动物脸部图像，输入到训练后的动物性别识别模型中，输出动物性别识别结果；
45.其中，所述训练后的动物性别识别模型，用于：
46.对待识别的动物脸部图像进行基础特征提取，得到基础特征图；
47.对基础特征图进行深层特征提取，得到不同阶段的深层特征图；
48.对不同阶段的深层特征图进行特征增强，得到不同阶段的增强后特征图；
49.将不同阶段的增强后特征图进行逐个元素相加得到优化后的特征图；
50.将优化后的特征图进行两轮多尺度聚合和池化操作，得到最终特征图；
51.对最终特征图进行分类处理，得到动物性别分类结果。
52.进一步地，如图2所示，所述训练后的动物性别识别模型，包括：
53.依次连接的第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块和第五特征提取模块；
54.第三特征提取模块的输出端与第一注意力模块的输入端连接；
55.第四特征提取模块的输出端与第一转置卷积层的输入端连接，第一转置卷积层的输出端与第二转置卷积层的输入端连接，第二转置卷积层的输出端与第二注意力模块的输入端连接；
56.第五特征提取模块的输出端与第三转置卷积层的输入端连接，第三转置卷积层的输出端与第四转置卷积层的输入端连接，第四转置卷积层的输出端与第三注意力模块的输入端连接；
57.第一注意力模块的输出端、第二注意力模块的输出端和第三注意力模块的输出端，均与拼接单元的输入端连接；拼接单元对三个注意力模块输出的特征图进行逐元素相加；
58.拼接单元的输出端与卷积层c1的输入端连接；卷积层的输出端与第一多尺度聚合模块的输入端连接，第一多尺度聚合模块的输出端与第一池化层的输入端连接，第一池化层的输出端与卷积层c2的输入端连接，卷积层c2的输出端与第二多尺度聚合模块的输入端连接，第二多尺度聚合模块的输出端与第二池化层的输入端连接，第二池化层的输出端与卷积层c3的输入端连接，卷积层c3的输出端与第一全连接层的输入端连接，第一全连接层的输出端与第二全连接层的输出端连接，第二全连接层的输出端与激活函数层j1的输入端连接。
59.进一步地，所述第一特征提取模块，采用resnet34网络的conv1层来实现；所述第二特征提取模块，采用resnet34网络的conv2_x层的前两个残差模块串联来实现；所述第三特征提取模块，采用resnet34网络的conv3_x层的前两个残差模块串联来实现；所述第四特征提取模块，采用resnet34网络的conv4_x层的前两个残差模块串联来实现；所述第五特征提取模块，采用resnet34网络的conv5_x层的前两个残差模块串联来实现。
60.进一步地，所述resnet34网络的conv1层为7*7的卷积层；resnet34网络的conv2_x层的第一个残差模块和第二个残差模块的内部结构是一致的，所述conv2_x层的第一个残差模块，包括：依次串联的第一个残差模块的输入端、3*3的卷积层、3*3的卷积层、第一个残差模块的输出端，其中，第一个残差模块的输出端还与第一个残差模块的输入端连接。
61.resnet34网络的conv3_x层的第一个残差模块和第二个残差模块的内部结构是一致的，所述conv3_x层的第一个残差模块，包括：依次串联的第一个残差模块的输入端、3*3的卷积层、3*3的卷积层、第一个残差模块的输出端，其中，第一个残差模块的输出端还与第一个残差模块的输入端连接。
62.resnet34网络的conv4_x层的第一个残差模块和第二个残差模块的内部结构是一致的，所述conv4_x层的第一个残差模块，包括：依次串联的第一个残差模块的输入端、3*3的卷积层、3*3的卷积层、第一个残差模块的输出端，其中，第一个残差模块的输出端还与第一个残差模块的输入端连接。
63.resnet34网络的conv5_x层的第一个残差模块和第二个残差模块的内部结构是一致的，所述conv5_x层的第一个残差模块，包括：依次串联的第一个残差模块的输入端、3*3的卷积层、3*3的卷积层、第一个残差模块的输出端，其中，第一个残差模块的输出端还与第一个残差模块的输入端连接。
64.进一步地，所述conv3_x层与conv4_x层之间设置了se模块；
65.进一步地，所述conv4_x层与conv5_x层之间设置了se模块；
66.进一步地，所述conv5_x层与第三转置卷积层之间设置了se模块；
67.所述se(squeeze excitation)模块，是一个通道注意力模块，对输入特征图进行通道加强，最终se模块输出，不改变输入特征图的大小。
68.se模块的结构如图7所示，se模块，包括：
69.依次连接的se模块的输入端、全局池化层、第三全连接层、激活函数层relu、第四全连接层、激活函数层sigmoid、乘法器q1和se模块的输出端；其中，se模块的输入端与乘法器q1的输入端连接。
70.se模块，对输入特征经过全局自适应池化操作，特称图的的h和w变为1，然后将特征图经过两个连续的全连接层，第一个全连接层后有relu激活函数，第二个全连接层有sigmoid激活函数，最后将得到的空间注意力矩阵与输入原始特征图做矩阵乘法。
71.应理解地，每个卷积层输出的特征图都是输入的四分之一大小，通道数变为之前的二倍。并且在每一层的第二个残差模块的1*1卷积之后增加一个se模块，作用是加速对于重要通道的关注度，加速收敛。
72.应理解地，将conv3_x、conv4_x、conv5_x的输出作为网络提取的特征图，记为c3、c4、c5，对得到的特征图c4、c5利用转置卷积增大尺寸，使得其与c3的尺寸相同，为之后的特征融合做准备。
73.进一步地，如图3所示，所述第一注意力模块、第二注意力模块和第三注意力模块的内部结构是一样的。
74.进一步地，所述第一注意力模块，包括：依次连接的通道注意力单元和空间注意力单元；
75.所述通道注意力单元，包括：通道注意力单元输入端、第一分支、第二分支和通道注意力单元输出端；
76.所述通道注意力单元的输入端通过第一分支与第一乘法器的输入端连接；
77.所述通道注意力单元的输入端通过第二分支与第一乘法器的输入端连接；
78.第二分支，包括：依次连接的膨胀卷积层p1、膨胀卷积层p2、膨胀卷积层p3、膨胀卷积层p4和卷积层；膨胀卷积层p1与通道注意力单元的输入端连接，卷积层与第一乘法器的输入端连接；
79.第一乘法器的输出端与通道注意力单元输出端连接；
80.所述空间注意力单元，包括：空间注意力单元输入端、第三分支、第四分支和空间注意力单元输出端；
81.所述第三分支包括：依次串联的最大池化层、第二乘法器、全连接层、激活函数层j2和第三乘法器；
82.所述第四分支，包括：依次串联的平均池化层和激活函数层j3；
83.所述最大池化层的输入端和平均池化层的输入端均与空间注意力单元的输入端连接；所述第三乘法器的输出端与空间注意力单元的输出端连接；所述激活函数层j3的输出端与第二乘法器的输入端连接；空间注意力单元输入端与第三乘法器的输入端连接。
84.应理解地，注意力模块，包含通道注意模块和空间注意模块，通道注意模块中利用连续的膨胀卷积操作将特征图尺寸变为1*1，空间注意力模块通过在特征图通道维度计算均值和最大值，然后对最大值进行softmax处理，之后作为权重系数与均值逐元素相乘。
85.利用膨胀卷积的优势是可以具有更大的感受野，相对于卷积来说计算量更小，计算速度更快，更好的获取通道的重要性。将最大值作为权重系数与均值相乘，可以对均值进行适当的调整，更好的体现整体特性。
86.之后，将c3、c4、c5特征图利用注意力模块进行特征增强，将增强之后得到的特征图逐元素相加。
87.由于conv3_x、conv4_x、conv5_x输出的特征图尺寸相同，那么它们在注意力模块中的尺寸变化是相同的，以其中一个为例。
88.以conv3_x的输出为例，输入的特征图尺寸为r
32*128*28*28
。
89.首先，特征图进入通道注意模块实现在通道维度的特征增强，通道注意模块中包括四个连续的膨胀卷积，膨胀卷积的卷积核均为3*3，膨胀系数分别为1、2、4、8，输入输出通道保持不变，最后与一个卷积核为2*2的卷积计算，输出特征图的大小为r
32*128*1*1
，然后输入特征图与输出的增强系数相乘，实现在通道维度的特征增强，将乘积作为通道注意模块的输出；
90.利用膨胀卷积，将特征图的h,w快速降低为1，并且保证了最后的一个像素具有大的感受野，相比于普通卷积来说计算量更小，计算速度更快。
91.将通道注意模块的输出作为空间注意模块的输入，输入特征图的尺寸为r
32*128*28*28
，首先，在通道维度对输入特征图进行平均池化、最大池化，之后特征图的尺寸变为r
32*128*1*1
；将平均池化后的特征图展平，然后进行softmax处理再乘以特征图的h,w值，保证数值不会过小；然后，将其折叠回之前的尺寸，之后与最大池化后的特征图逐元素相乘，对最大池化后的特征图进行重要性调整；最后将其进行卷积操作，sigmoid激活处理。将得到的空间增强系数与输入空间模块时的特征图逐元素相乘，将结果输出。
92.因为最大值和均值都包含特征图中不同的重要信息，利用均值对最大值进行进一步调整，可以获取到更细节的信息。
93.进一步地，所述第一多尺度聚合模块与第二多尺度聚合模块的内部结构是一致的。
94.进一步地，如图6所示，所述第一多尺度聚合模块，包括：
95.将得到的特征图进行三个并列多尺度卷积操作：
96.(1)将特征图与卷积层q1和膨胀卷积层p5依次进行膨胀卷积运算，在特征图的边缘填充0元素，得到第一输出值；所述卷积层q1的卷积核为3*3；所述膨胀卷积层的卷积核为3*3，膨胀系数为(1，2)；
97.(2)将特征图与卷积层q2和膨胀卷积层p6依次进行膨胀卷积运算，在特征图的边缘填充0元素，得到第二输出值；所述卷积层q2的卷积核为3*3；所述膨胀卷积层的卷积核为5*5，膨胀系数为(1，2)；
98.(3)将特征图与卷积层q3和膨胀卷积层p7依次进行膨胀卷积运算，在特征图的边缘填充0元素，得到第三输出值；所述卷积层q3的卷积核为3*3；所述膨胀卷积层p7的卷积核为7*7，膨胀系数为(1，2)；
99.将得到的第一输出值、第二输出值和第三输出值，逐元素相加在一起。
100.将3组卷积输出的特征图逐元素相加后，然后进行最大池化，之后将得到的特征图利用1*1的卷积核将通道数翻倍，输出的特征图尺寸为r
32*256*14*14
。
101.多尺度卷积和池化操作可以将特征图变为四分之一。
102.进一步地，所述对待识别的动物脸部图像进行基础特征提取，得到基础特征图，通过第一特征提取模块和第二特征提取模块来实现。
103.应理解地，保留resnet34网络最开始卷积核大小为7的卷积层和最大池化层以及conv_2的前两个残差模块一起作为基础特征提取阶段。
104.示例性地，首先将输入图像的尺寸裁剪为224*224，然后与步长为2，尺寸为7的卷积核进行卷积计算，输出特征图尺寸为r
32*64*112*112
。特征图进行最大池化操作，然后经过resnet34网络中conv_2层的前两个残差模块输出的特征图尺寸为r
32*64*56*56
。
105.进一步地，所述对基础特征图进行深层特征提取，得到不同阶段的深层特征图，通过第三特征提取模块、第四特征提取模块和第五特征提取模块来实现。
106.应理解地，保留resnet34网络中conv3_x、conv4_x、conv5_x层的前两个残差模块作为深层特征提取阶段。利用转置卷积将conv4_x、conv5_x高层的输出增大到与conv3_x输出的特征图尺寸相同。
107.conv3_x、conv4_x、conv5_x层，其分别为resnet34网络中对应层中的前两个模块，其实每个层输出的特征图尺寸分别为：r
32*128*28*28
、r
32*256*14*14
、r
32*256*7*7
。
108.conv3_x、conv4_x、conv5_x层三个层输出的特征图的尺寸是不相同，因此，本发明将尺寸较小的特征图进行上采样增大特征图尺寸：
109.对于conv4_x的输出，首先进行两次连续的转置卷积，卷积核为分别为3*3和4*4；步长分别为(2，1)，填充系数均为1，最后利用卷积调整通道数由256变为128；
110.对于conv5_x的输出，首先进行两次连续的转置卷积，卷积核均为4*4，步长均为2，填充系数均为1；
111.最后利用卷积计算调整通道数由512变为256，再有256变为128。保证三个层输出特征图的大小和通道数相同。
112.进一步地，所述对不同阶段的深层特征图进行特征增强，得到不同阶段的增强后特征图，通过第一注意力模块、第二注意力模块和第三注意力模块来实现。利用通道注意和空间注意模块来增加局部特征。
113.进一步地，所述将不同阶段的增强后特征图进行逐个元素相加得到优化后的特征图，通过拼接单元来实现。
114.进一步地，所述将优化后的特征图进行两轮多尺度聚合和池化操作，得到最终特征图，通过第一多尺度聚合模块、第一池化层、卷积层c2、第二多尺度聚合模块、第二池化层和卷积层c3来实现。卷积层c2卷积核是3
×
3，输入通道128输出通道256，卷积层c3卷积核是3
×
3，输入通道是256，输出通道是512。
115.进一步地，所述对最终特征图进行分类处理，得到动物性别分类结果，通过通过第一全连接层、第二全连接层和激活函数层j1来实现。最后经过两个连续的全连接层和softmax处理，得到最后图像对应每一个类别的概率。
116.对最后提取的特征进行分类时，输入的特征尺寸为r
32*256*7*7
，首先进行平均池化，特征图尺寸变为r
32*256*1*1
，然后将特征图展平成线。然后，紧跟两个全连接层，第一个全连接层输入512个神经元，输出1000个神经元，第二个全连接层输入1000个神经元，输出两个神经元，最后经过softmax处理，获取不同性别的概率。
117.进一步地，所述训练后的动物性别识别模型，训练过程包括：
118.构建训练集，所述训练集，包括：已知动物性别的动物脸部图像；
119.将训练集输入到动物性别识别模型中，对模型进行训练，训练使用的优化器为adam优化器；
120.当模型的损失函数值不再下降时，停止训练，得到训练后的动物性别识别模型；
121.利用非线性降维算法(t-sne，t-distribute stochastic neighbor embedding)降维，将不同性别的羊图像降到二维图像，以发现公羊和母羊在图像上的区分性，将图像作为性别分类的依据；
122.利用梯度加权类激活映射(grad-cam，gradient-weighted class activation mapping)可视化算法，可视化网络区分羊性别时关注的重点区域，以发现公羊和母羊的识别区域不同。
123.利用t-sne的方法，同时将不同性别的图像降到二维，观察不同性别图像的分布情况；网络中加载训练好的参数，输入图像识别羊的性别，利用grad-cam可视化关键区域。
124.如图5(a)-图5(g)所示，选用两张公羊和两张母羊的照片，将图片一块输入到网络中，学习提取特征，最后输出特征图尺寸为r
4*512*7*7
。然后将特征图展成一条直线特征图尺寸变为r
4*128*49
。最后将特征图在二维空间分成两个类别。
125.如图5(a)-图5(g)所示，利用t-sne算法证明了羊图像的性别可分性，然后，利用grad-cam寻找性别区分的关键特征。将训练好的权重导入网络中，在resnet34网络的最后一个卷积层上使用grad-cam来定位和突出区分区域，网络输出图像羊的性别的同时，可视化分类的关键区域。
126.进一步地，所述构建训练集，包括：获取已知动物性别的动物脸部图像；对图像裁剪和数据增强处理，得到训练集。
127.进一步地，所述模型的损失函数，包括：
128.交叉熵损失函数crossentropy loss的计算公式：
[0129][0130]
对于每个类被预测到的概率分别为p和1-p，其中：
[0131]
yi表示样本i的标签，正类为1，负类为0；
[0132]
pi表示样本i预测为正类的概率。
[0133]
通过使用crossentropy loss可以去衡量真实分类值与预测分类值的差异，crossentropy loss的值越小表示真实值与预测值越接近，进而模型预测的效果也越好。最开始的学习率是0.0001，每经过10轮，学习率变为之前的十分之一。
[0134]
本发明提出了一种基于注意力模块、多尺度特征融合和膨胀卷积的尺度聚合的网络实现羊性别分类的方法。该方法利用利用转置卷积将小尺寸的特征图增大，利用注意力模块来促进不同尺寸的特征图融合更加充分。同时，利用多个不同尺度的膨胀卷积块进行卷积操作使的特征图包含不同尺度的重要信息。该方法不仅提高了检测的精度和检测速度而且具有更强的鲁棒性。
[0135]
如图4(a)-图4(f)所示，展示了本发明利用的数据集中的部分图片，其中包括没有
进行处理的原始图片，以及经过数据增强处理之后的图片。
[0136]
本发明提出了基于注意力模块、多尺度特征融合和膨胀卷积的尺度聚合的网络的羊性别分类方法。利用网络中多个阶段的输出，进行特征融合，保存了不同阶段的重要语义信息。添加了新的注意力模块，通过膨胀卷积块降低图像尺寸，并且具有更大的感受野，更小的计算量；下一步利用均值来来对最大池化的结果进行进一步调整，更好的利用均值和最大值。在第二次对特征图进行减少尺寸时，利用不同尺度的卷积核计算会有不同的感受野，可以同时兼顾图像中的细节边缘和形状纹理。
[0137]
本发明提出了基于注意力模块、多尺度特征融合和膨胀卷积的尺度聚合的网络的羊性别分类方法，包括：利用resnet34网络最开始的卷积层，以及conv2_x的前两个残差块作为基础特征提取阶段；获取conv3_x、conv4_x、conv5_x的输出，然后通过卷积增大特征图的尺寸，下一步注意力模块进行特征增强，最后进行多尺度特征融合；输入特征图与不同大小的卷积核计算。通过在特征的周围填充0元素，可以使卷积后的特征图的大小不变，然后将特征图逐元素相加；获取对应不同性别的概率，总结本发明的损失函数和训练策略；利用t-sne算法和grad-cam可视化算法，证明羊图像具有性别可分性，图像中包含有一定的性别信息。本发明不仅多样化了性别分类的方式而且提供了一种高效的方法并有效提高了图像分类的准确率。
[0138]
实施例二
[0139]
本实施例提供了基于深度学习的动物性别识别系统；
[0140]
基于深度学习的动物性别识别系统，包括：
[0141]
获取模块，其被配置为：获取待识别的动物脸部图像；
[0142]
识别模块，其被配置为：将待识别的动物脸部图像，输入到训练后的动物性别识别模型中，输出动物性别识别结果；
[0143]
其中，所述训练后的动物性别识别模型，用于：对待识别的动物脸部图像进行基础特征提取，得到基础特征图；对基础特征图进行深层特征提取，得到不同阶段的深层特征图；对不同阶段的深层特征图进行特征增强，得到不同阶段的增强后特征图；将不同阶段的增强后特征图进行逐个元素相加得到优化后的特征图；将优化后的特征图进行两轮多尺度聚合和池化操作，得到最终特征图；对最终特征图进行分类处理，得到动物性别分类结果。
[0144]
此处需要说明的是，上述获取模块和识别模块对应于实施例一中的步骤s101至s102，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
[0145]
上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。
[0146]
所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。
[0147]
实施例三
[0148]
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、
以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。
[0149]
应理解，本实施例中，处理器可以是中央处理单元cpu，处理器还可以是其他通用处理器、数字信号处理器dsp、专用集成电路asic，现成可编程门阵列fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0150]
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
[0151]
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
[0152]
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
[0153]
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0154]
实施例四
[0155]
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。
[0156]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.基于深度学习的动物性别识别方法，其特征是，包括：获取待识别的动物脸部图像；将待识别的动物脸部图像，输入到训练后的动物性别识别模型中，输出动物性别识别结果；其中，所述训练后的动物性别识别模型，用于：对待识别的动物脸部图像进行基础特征提取，得到基础特征图；对基础特征图进行深层特征提取，得到不同阶段的深层特征图；对不同阶段的深层特征图进行特征增强，得到不同阶段的增强后特征图；将不同阶段的增强后特征图进行逐个元素相加得到优化后的特征图；将优化后的特征图进行两轮多尺度聚合和池化操作，得到最终特征图；对最终特征图进行分类处理，得到动物性别分类结果。2.如权利要求1所述的基于深度学习的动物性别识别方法，其特征是，所述训练后的动物性别识别模型，包括：依次连接的第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块和第五特征提取模块；第三特征提取模块的输出端与第一注意力模块的输入端连接；第四特征提取模块的输出端与第一转置卷积层的输入端连接，第一转置卷积层的输出端与第二转置卷积层的输入端连接，第二转置卷积层的输出端与第二注意力模块的输入端连接；第五特征提取模块的输出端与第三转置卷积层的输入端连接，第三转置卷积层的输出端与第四转置卷积层的输入端连接，第四转置卷积层的输出端与第三注意力模块的输入端连接；第一注意力模块的输出端、第二注意力模块的输出端和第三注意力模块的输出端，均与拼接单元的输入端连接；拼接单元对三个注意力模块输出的特征图进行逐元素相加；拼接单元的输出端与卷积层c1的输入端连接；卷积层的输出端与第一多尺度聚合模块的输入端连接，第一多尺度聚合模块的输出端与第一池化层的输入端连接，第一池化层的输出端与卷积层c2的输入端连接，卷积层c2的输出端与第二多尺度聚合模块的输入端连接，第二多尺度聚合模块的输出端与第二池化层的输入端连接，第二池化层的输出端与卷积层c3的输入端连接，卷积层c3的输出端与第一全连接层的输入端连接，第一全连接层的输出端与第二全连接层的输出端连接，第二全连接层的输出端与激活函数层j1的输入端连接。3.如权利要求2所述的基于深度学习的动物性别识别方法，其特征是，所述第一特征提取模块，采用resnet34网络的conv1层来实现；所述第二特征提取模块，采用resnet34网络的conv2_x层的前两个残差模块串联来实现；所述第三特征提取模块，采用resnet34网络的conv3_x层的前两个残差模块串联来实现；所述第四特征提取模块，采用resnet34网络的conv4_x层的前两个残差模块串联来实现；所述第五特征提取模块，采用resnet34网络的conv5_x层的前两个残差模块串联来实现；所述conv3_x层与conv4_x层之间设置了se模块；所述conv4_x层与conv5_x层之间设置了se模块；se模块，包括：依次连接的se模块的输入端、全局池化层、第三全连接层、激活函数层relu、第四全连接层、激活函数层sigmoid、乘法器q1和se模块的输出端；其中，se模块的输入端与乘法器q1的输入端连接。
4.如权利要求2所述的基于深度学习的动物性别识别方法，其特征是，所述第一注意力模块，包括：依次连接的通道注意力单元和空间注意力单元；所述通道注意力单元，包括：通道注意力单元输入端、第一分支、第二分支和通道注意力单元输出端；所述通道注意力单元的输入端通过第一分支与第一乘法器的输入端连接；所述通道注意力单元的输入端通过第二分支与第一乘法器的输入端连接；第二分支，包括：依次连接的膨胀卷积层p1、膨胀卷积层p2、膨胀卷积层p3、膨胀卷积层p4和卷积层；膨胀卷积层p1与通道注意力单元的输入端连接，卷积层与第一乘法器的输入端连接；第一乘法器的输出端与通道注意力单元输出端连接；所述空间注意力单元，包括：空间注意力单元输入端、第三分支、第四分支和空间注意力单元输出端；所述第三分支包括：依次串联的最大池化层、第二乘法器、全连接层、激活函数层j2和第三乘法器；所述第四分支，包括：依次串联的平均池化层和激活函数层j3；所述最大池化层的输入端和平均池化层的输入端均与空间注意力单元的输入端连接；所述第三乘法器的输出端与空间注意力单元的输出端连接；所述激活函数层j3的输出端与第二乘法器的输入端连接；空间注意力单元输入端与第三乘法器的输入端连接。5.如权利要求2所述的基于深度学习的动物性别识别方法，其特征是，所述第一多尺度聚合模块，包括：将得到的特征图进行三个并列多尺度卷积操作：(1)将特征图与卷积层q1和膨胀卷积层p5依次进行膨胀卷积运算，在特征图的边缘填充0元素，得到第一输出值；所述卷积层q1的卷积核为3*3；所述膨胀卷积层的卷积核为3*3，膨胀系数为(1，2)；(2)将特征图与卷积层q2和膨胀卷积层p6依次进行膨胀卷积运算，在特征图的边缘填充0元素，得到第二输出值；所述卷积层q2的卷积核为3*3；所述膨胀卷积层的卷积核为5*5，膨胀系数为(1，2)；(3)将特征图与卷积层q3和膨胀卷积层p7依次进行膨胀卷积运算，在特征图的边缘填充0元素，得到第三输出值；所述卷积层q3的卷积核为3*3；所述膨胀卷积层p7的卷积核为7*7，膨胀系数为(1，2)；将得到的第一输出值、第二输出值和第三输出值，逐元素相加在一起。6.如权利要求2所述的基于深度学习的动物性别识别方法，其特征是，所述对待识别的动物脸部图像进行基础特征提取，得到基础特征图，通过第一特征提取模块和第二特征提取模块来实现；所述对基础特征图进行深层特征提取，得到不同阶段的深层特征图，通过第三特征提取模块、第四特征提取模块和第五特征提取模块来实现；所述对不同阶段的深层特征图进行特征增强，得到不同阶段的增强后特征图，通过第一注意力模块、第二注意力模块和第三注意力模块来实现；所述将优化后的特征图进行两轮多尺度聚合和池化操作，得到最终特征图，通过第一
多尺度聚合模块、第一池化层、卷积层c2、第二多尺度聚合模块、第二池化层和卷积层c3来实现；所述对最终特征图进行分类处理，得到动物性别分类结果，通过通过第一全连接层、第二全连接层和激活函数层j1来实现。7.如权利要求1所述的基于深度学习的动物性别识别方法，其特征是，所述训练后的动物性别识别模型，训练过程包括：构建训练集，所述训练集，包括：已知动物性别的动物脸部图像；将训练集输入到动物性别识别模型中，对模型进行训练，训练使用的优化器为adam优化器；当模型的损失函数值不再下降时，停止训练，得到训练后的动物性别识别模型；利用非线性降维算法降维，将不同性别的羊图像降到二维图像，以发现公羊和母羊在图像上的区分性，将图像作为性别分类的依据；利用梯度加权类激活映射可视化算法，可视化网络区分羊性别时关注的重点区域，以发现公羊和母羊的识别区域不同；所述模型的损失函数，包括：交叉熵损失函数crossentropy loss的计算公式：对于每个类被预测到的概率分别为p和1-p，其中，y
i
表示样本i的标签，正类为1，负类为0；p
i
表示样本i预测为正类的概率。8.基于深度学习的动物性别识别系统，其特征是，包括：获取模块，其被配置为：获取待识别的动物脸部图像；识别模块，其被配置为：将待识别的动物脸部图像，输入到训练后的动物性别识别模型中，输出动物性别识别结果；其中，所述训练后的动物性别识别模型，用于：对待识别的动物脸部图像进行基础特征提取，得到基础特征图；对基础特征图进行深层特征提取，得到不同阶段的深层特征图；对不同阶段的深层特征图进行特征增强，得到不同阶段的增强后特征图；将不同阶段的增强后特征图进行逐个元素相加得到优化后的特征图；将优化后的特征图进行两轮多尺度聚合和池化操作，得到最终特征图；对最终特征图进行分类处理，得到动物性别分类结果。9.一种电子设备，其特征是，包括：存储器，用于非暂时性存储计算机可读指令；以及处理器，用于运行所述计算机可读指令，其中，所述计算机可读指令被所述处理器运行时，执行上述权利要求1-7任一项所述的方法。10.一种存储介质，其特征是，非暂时性地存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行权利要求1-7任一项所述方法的指令。

技术总结
本发明公开了基于深度学习的动物性别识别方法、系统、设备及介质，方法包括：获取待识别的动物脸部图像；将待识别的动物脸部图像，输入到训练后的动物性别识别模型中，输出动物性别识别结果；其中，所述训练后的动物性别识别模型，用于：对待识别的动物脸部图像进行基础特征提取，得到基础特征图；对基础特征图进行深层特征提取，得到不同阶段的深层特征图；对不同阶段的深层特征图进行特征增强，得到不同阶段的增强后特征图；将不同阶段的增强后特征图进行逐个元素相加得到优化后的特征图；将优化后的特征图进行两轮多尺度聚合和池化操作，得到最终特征图；对最终特征图进行分类处理，得到动物性别分类结果。得到动物性别分类结果。得到动物性别分类结果。


技术研发人员：王吉华 张新宇
受保护的技术使用者：山东师范大学
技术研发日：2023.04.26
技术公布日：2023/8/1