基于大卷积核和多尺度感受野模块的WISE红外图像分类网络
未命名
09-24
阅读：110
评论：0
基于大卷积核和多尺度感受野模块的wise红外图像分类网络
技术领域
1.本发明属于天文红外图像分类领域，特别涉及了一种基于大卷积核和多尺度感受野模块的wise红外图像分类网络。
背景技术：
2.wise(wide-field infrared survey explorer)是nasa发射的一颗红外线空间望远镜，于2009年12月启动，进行了为期10个月的全天候红外巡天观测任务。wise望远镜利用其高灵敏度的红外探测器，捕捉了广阔的天空区域的红外图像，并为天文学家们提供了宝贵的数据。wise红外图像的应用非常广泛。它们被用于研究恒星的形成和演化、行星系的结构、银河系中的尘埃分布、彗星和小行星的轨道等。此外，wise的数据还被用于搜寻新的恒星、星系、棕矮星和行星等天体，为天文学家提供了丰富的研究资源。对于恒星、星系和类星体的研究一直比较广泛，在可见光波段，星系具有明显的形态特征，相对来说能够更准确地进行分类，恒星和类星体从图像上看均为点源，特征非常相似，所以在分类时存在困难。在红外波段，三类图像均表现出点源的形态，对于自动化分类带来了更大的困难。通过传统的机器学习方法无法提取更深层和细致的特征进行分类，随着深度学习的发展，对于图像特征提取方面有了极大的改进，但是对于特征更相似的三类图像来说，仅仅依靠普通卷积层远远达不到天文学中想要的精度，在特征提取过程中会损失较多的信息。
技术实现要素：
3.本发明的目的是为了将上述背景技术中出现的不足进行改进，所以专门提供了一种基于大卷积核和多尺度感受野模块的wise红外图像分类网络，针对红外图像独特的特征，在特征提取方面更适合其更细致的特征的提取。wise的红外图像中，中心源是最需要关注的区域，但是中心源周围的环境对于图像分类也会有所影响，所以本发明使用了特殊的多尺度感受野对全局特征和局部细节进行处理，图像分类的准确率能够得到进一步的提高。为了实现以上技术目的，本发明的技术方案为：
4.一种基于大卷积核和多尺度感受野模块的wise红外图像分类网络，包括注意力机制和特征提取网络；
5.为了在进行简单的特征提取时损失更少的信息，主干网络使用了5
×
5的大卷积核对图片进行特征提取，由于wise红外图像原尺寸较小，所以使用大卷积核的卷积能够更好的提取全局信息。
6.所述的注意力机制包括通道注意力和空间注意力，通道注意力模块通过对不同通道的特征图进行自适应的通道权重分配，来提取最相关的特征，空间注意力模块通过对特征图在空间维度上进行自适应的重要性加权，来提取最具区分性的空间位置，红外图像的中心源是最需要分类模型关注的部分，通过使用两种注意力模块能够将中心源及其周围最具区分性的星际尘埃环境进行关注，通道注意力和空间注意力公式表示如下：
[0007][0008][0009]
σ表示sigmoid，f7×7表示7
×
7大小的卷积核，sigmoid函数可由下列公式定义：
[0010][0011]
所述的特征提取网络中使用了多尺度的感受野模块，可以通过扩大感受野来获取更广阔的上下文信息，从而提高分类器对图像内容的理解能力。通过逐渐增加卷积核的扩张率，多尺度特征提取模块可以捕捉到不同尺度的特征，包括局部细节和全局结构，该模块包括1
×
1、3
×
3和5
×
5的卷积核，能够在不同尺度上提取图像特征。其中还使用了空洞卷积，由于在神经网络中为了减少计算量会使用下采样层，但是使用下采样层会对空间分辨率和输入的信息有一些损失，使用了空洞卷积后能够增大感受野还可以精确定位目标。
[0012]
对整体网络进行梳理，首先将图片输入分类模型，经过第一个卷积层，将处理后的特征图输入到第一个多尺度感受野模块中，对于图像的特征提取起到了重要作用，随后输入到一个通道注意力和空间注意力机制中对特征继续进行处理，再经过四个5
×
5卷积核的卷积和两个下采样层对图像进行更细致的处理，并通过下采样层减少计算量，再通过一个通道注意力和空间注意力模块对更细致的特征进行处理，确定最需要关注的区域的空间，最后通过两个全连接层和softmax层对分类类别进行输出，softmax用下面式子可以表示：
[0013][0014]
zi表示z中的第i个元素。通过以上模型，能够得到最终的星系、恒星和类星体类别。
[0015]
在天文图像中也存在星等信息，与亮度相关，但是在进行特征提取时有所损失，考虑到有效信息的损失情况，我们将星等信息进行单独处理，保存为一个一维向量，并将其作为单独的输入，以此来弥补在对图像进行特征提取时造成的损失。经过对星等信息和红外图像信息的处理，又形成了一个星等信息和wise红外图像作为输入的双输入模型，通过pytorch中的torch.cat函数将其进行特征融合，对融合后的特征进行分类，分类精度又有所提高，该模型能够同时处理一维和二维数据，对红外天文学具有研究意义。
[0016]
本发明还公开了一种基于大卷积核和多尺度感受野模块的wise红外图像分类网络，包括以下步骤：
[0017]
s1：使用公开数据集进行训练，数据来源是irsa网站的wise红外望远镜拍摄的图像的fits文件。对红外图像分类网络进行训练：使用制作好的恒星、星系和类星体数据集进行训练，得到训练好的模型权重；
[0018]
s2：将训练好的模型进行加载，加载后将测试集输入，能够得到测试集中每个红外图像的分类概率，并且每张图片都有其对应的三个分类概率。还可以通过加载模型将混淆矩阵和受试者工作曲线绘制出来。
[0019]
s3：通过混淆矩阵可以和受试者工作曲线可以大致看出分类效果，在每张图片的
分类概率中可以更加细致的看出分类结果。
[0020]
有益效果：本发明与现有技术相比，在特征提取过程中首次同时加入了通道注意力、空间注意力机制和多尺度感受野模块。本发明与传统的卷积网络相比能够达到更高的分类精度，并且能够得到更好的鲁棒性，极大的节约了人工成本，能够自动化的对恒星、星系和类星体进行高精度分类。
附图说明
[0021]
图1是本中使用大卷积核和多尺度感受野模块进行红外图像分类的结构示意图；
[0022]
图2是本发明的基本流程图；
[0023]
图3是本发明中大卷积核卷积主干网络图；
[0024]
图4是本发明中星等信息和红外图像双输入分类模型。
具体实施方式
[0025]
下面结合附图进一步对本发明的内容进一步阐述。
[0026]
如图1所示的是使用大卷积核和多尺度感受野模块进行红外图像分类的结构示意图，首先经过一个5
×
5的卷积核的卷积，初步提取红外图像的特征，再经过多尺度感受野模块进行更加细致的特征提取，能够对全局特征和局部细节更加关注。随后经过第一个通道注意力和空间注意力机制，能够对图像中的最能够区分类别的特征进行关注，通道注意力能够将中心源及其周围的相关特征提取出来，空间注意力负责对中心源及其周围的特征进行空间定位。再经过多个5
×
5的卷积核的卷积和下采样层，对特征继续进行处理，并且能够减少计算量，最后经过全连接层将三种类别区分出来，分为星系、恒星和类星体。
[0027]
如图2所示的本发明的基本流程图，包括如下步骤：
[0028]
s1：初步的数据预处理：根据需要在wise网站中查询各波段的原始红外数据，需要的是星系、恒星和类星体的有标签的红外训练数据，将红外图像的三个波段的信息合成三通道的rgb图像进行数据集的构建，整个数据集的训练集、测试集和验证集的比例为8∶1∶1，如表1所示；
[0029]
类型训练集测试集验证集星系5838730730类星体5772722721恒星5778723722
[0030]
s2：大卷积核和多尺度感受野模块进行红外图像分类的训练：利用分类模型中的通道注意力、空间注意力和多尺度感受野模块进行特征提取，通道注意力能通过对不同通道的特征图进行自适应的通道权重分配，来提取最相关的特征，空间注意力模块通过对特征图在空间维度上进行自适应的重要性加权，来提取最具区分性的空间位置。多尺度的感受野模块可以通过扩大感受野来获取更广阔的上下文信息，从而提高分类器对图像内容的理解能力。经过训练能够得到分类权重；
[0031]
s3：将测试集图片输入到训练好的分类网络中，经过测试，可以绘制出混淆矩阵和受试者曲线，并且得到测试集中每个图片对应的三种类别的概率。可以根据混淆矩阵和受试者曲线了解到分类效果的好坏，得到的红外图像概率能够用来分析单张图片的特征。
[0032]
大卷积核卷积主干网络图如图3所示，由于红外图像原始尺寸较小，所以通过大卷积核的卷积能够更加关注全局特征，再通过使用下采样层减小计算量，最后再经过两个全连接层以及sigmoid和softmax函数。
[0033]
sigmoid和softmax函数可用下式表示：
[0034][0035][0036]
其中，zi和zj分别是i类和j类的特征值。
[0037]
图4所示的是星等信息和红外图像双输入分类模型，经过研究发现加入星等信息后能够提高分类准确率，由于红外图像在进行特征提取时会损失部分图像中的亮度信息，亮度信息中包含了天体的星等信息，所以将星等信息作为单独的一维信息进行输入，形成一个星等信息和红外图像双输入分类模型，将这两种信息输入到图1的大卷积核和多尺度感受野模块的分类网络中，达到了更高的分类准确率。
[0038]
本实施案例通过大卷积核和多尺度感受野模块进行红外图像分类，提高了分类准确率，将红外图像中的有效信息充分提取了出来，通过使用星等信息(一维)和红外图像(二维)两种信息达到了更高的精度。本发明不需要人工进行复杂的特征工程，只需要将红外图像输入进训练好的分类模型就能得到分类结果，具有良好的鲁棒性。实验结果表明，本发明相比经典的图像分类模型，更有利于对红外图像的研究。
[0039]
表2为本发明中恒星、星系和类星体的各种分类指标，包括精确率、召回率、特异性、f1-score和准确率：
[0040]
表2本发明中恒星、星系和类星体的各种分类指标
[0041]
类型精确率召回率特异性f1-score准确率星系95.4％93.2％97.7％94.3％96.2％类星体96.6％97.1％98.3％96.8％97.9％恒星93.7％95.4％96.8％94.5％96.4％
[0042]
表3为本发明与其它基于卷积神经网络算法的实验结果对比，分类网络包括vgg16、googlenet、resnet34、mobilenet、efficientnetv2和repvgg，进行对比的指标包括分类准确率、计算量和参数量：
[0043]
表3本发明与其它基于卷积神经网络算法的实验结果对比
[0044]
分类网络准确率计算量参数量vgg1694.74％15.5g134.27mgooglenet91.52％1.59g5.98mresnet3492.71％12.25g46.99mmobilenet93.66％587.94m3.22mefficientnetv293.84％2.97g24.18mrepvgg93.89％3.83g30.07m本发明的红外分类网络95.69％218.66m1.75m
[0045]
综上，本发明相比于基于卷积神经网络的红外图像分类网络具有更高的分类精
度，并且经过加入星等信息后，形成星等信息和红外图像双输入的分类网络，更有利于红外图像分类的后续分析。
技术特征：
1.一种基于大卷积核和多尺度感受野模块的wise红外图像分类网络，其特征在于：大卷积核和多尺度感受野模块；所述的大卷积核主干网络是针对原始的尺寸较小的红外图像进行特征提取，包括卷积层、下采样层和全连接层；多尺度感受野模块使用了1
×
1、3
×
3和5
×
5的卷积核的卷积和空洞卷积，能够在不同尺度上提取图像特征，对于全局特征和局部细节特征均能够进行提取，使用了空洞卷积后能够增大感受野还可以精确定位目标。2.根据权利要求1所述，一种基于大卷积核和多尺度感受野模块的wise红外图像分类网络，主干网络中使用了通道注意力模块；所述的通道注意力模块通过对不同通道的特征图进行自适应的通道权重分配，来提取最相关的特征，可用下式表示：其中σ表示sigmoid函数，w0和w1是mlp的权重，和分别代表的是平均采样特征和最大采样特征。3.根据权利要求1所述，一种基于大卷积核和多尺度感受野模块的wise红外图像分类网络，主干网络中使用了空间注意力模块；所述的空间注意力模块通过对特征图在空间维度上进行自适应的重要性加权，来提取最具区分性的空间位置，可用下式表示：其中σ表示sigmoid函数，f7×7代表的是7
×
7的卷积核的滤波器。4.根据权利要求1所述，一种基于大卷积核和多尺度感受野模块的wise红外图像分类网络，将通道注意力和空间注意力模块进行结合，通过使用两种注意力模块能够将中心源及其周围最具区分性的星际尘埃环境进行关注。5.根据权利要求1所述，一种基于大卷积核和多尺度感受野模块的wise红外图像分类网络，大卷积核主干网络中使用了5
×
5的卷积核的卷积，与多个下采样层进行结合，进行特征提取，并且最后使用全连接层并使用softmax函数进了归一化，可用下式表示：其中z
i
表示z中的第i个元素，最终输出分类后三类的类别。6.根据权利要求1所述，一种基于大卷积核和多尺度感受野模块的wise红外图像分类网络，其特征在于：使用了星等信息和红外图像作为输入，形成了一个双输入的分类网络，星等信息作为一维信息，红外图像作为二维信息，两种信息均通过特征提取融合在一起，最终能够得到更精确的分类准确率。7.根据权利要求6所述，一种基于大卷积核和多尺度感受野模块的wise红外图像分类网络，其特征在于：在对红外图像进行特征提取过程中会损失相关的亮度信息，其中就包括
星等信息，所以对于星等信息的加入，红外图像分类结果能够得到提升。
技术总结
本发明公开了一种基于大卷积核和多尺度感受野模块的WISE红外图像分类网络，如图1所示，在特征提取过程中使用了通道注意力、空间注意力机制和多尺度感受野模块，利用通道注意力模块通过对不同通道的特征图进行自适应的通道权重分配，来提取最相关的特征，利用空间注意力模块通过对特征图在空间维度上进行自适应的重要性加权，来提取最具区分性的空间位置，红外图像的中心源是最需要分类模型关注的部分，通过使用两种注意力模块能够将中心源及其周围最具区分性的星际尘埃环境进行关注。利用多尺度的感受野模块，可以通过扩大感受野来获取更广阔的上下文信息，从而提高分类器对图像内容的理解能力。本发明还在红外图像之外加入了星等信息，并且与经典的卷积神经网络进行了对比，能够得到更高的分类准确率，对于红外图像特征研究具有重要意义。图像特征研究具有重要意义。图像特征研究具有重要意义。
技术研发人员：邱波 赵贵禹 王坤
受保护的技术使用者：河北工业大学
技术研发日：2023.07.05
技术公布日：2023/9/22
技术领域
1.本发明属于天文红外图像分类领域，特别涉及了一种基于大卷积核和多尺度感受野模块的wise红外图像分类网络。
背景技术：
2.wise(wide-field infrared survey explorer)是nasa发射的一颗红外线空间望远镜，于2009年12月启动，进行了为期10个月的全天候红外巡天观测任务。wise望远镜利用其高灵敏度的红外探测器，捕捉了广阔的天空区域的红外图像，并为天文学家们提供了宝贵的数据。wise红外图像的应用非常广泛。它们被用于研究恒星的形成和演化、行星系的结构、银河系中的尘埃分布、彗星和小行星的轨道等。此外，wise的数据还被用于搜寻新的恒星、星系、棕矮星和行星等天体，为天文学家提供了丰富的研究资源。对于恒星、星系和类星体的研究一直比较广泛，在可见光波段，星系具有明显的形态特征，相对来说能够更准确地进行分类，恒星和类星体从图像上看均为点源，特征非常相似，所以在分类时存在困难。在红外波段，三类图像均表现出点源的形态，对于自动化分类带来了更大的困难。通过传统的机器学习方法无法提取更深层和细致的特征进行分类，随着深度学习的发展，对于图像特征提取方面有了极大的改进，但是对于特征更相似的三类图像来说，仅仅依靠普通卷积层远远达不到天文学中想要的精度，在特征提取过程中会损失较多的信息。
技术实现要素：
3.本发明的目的是为了将上述背景技术中出现的不足进行改进，所以专门提供了一种基于大卷积核和多尺度感受野模块的wise红外图像分类网络，针对红外图像独特的特征，在特征提取方面更适合其更细致的特征的提取。wise的红外图像中，中心源是最需要关注的区域，但是中心源周围的环境对于图像分类也会有所影响，所以本发明使用了特殊的多尺度感受野对全局特征和局部细节进行处理，图像分类的准确率能够得到进一步的提高。为了实现以上技术目的，本发明的技术方案为：
4.一种基于大卷积核和多尺度感受野模块的wise红外图像分类网络，包括注意力机制和特征提取网络；
5.为了在进行简单的特征提取时损失更少的信息，主干网络使用了5
×
5的大卷积核对图片进行特征提取，由于wise红外图像原尺寸较小，所以使用大卷积核的卷积能够更好的提取全局信息。
6.所述的注意力机制包括通道注意力和空间注意力，通道注意力模块通过对不同通道的特征图进行自适应的通道权重分配，来提取最相关的特征，空间注意力模块通过对特征图在空间维度上进行自适应的重要性加权，来提取最具区分性的空间位置，红外图像的中心源是最需要分类模型关注的部分，通过使用两种注意力模块能够将中心源及其周围最具区分性的星际尘埃环境进行关注，通道注意力和空间注意力公式表示如下：
[0007][0008][0009]
σ表示sigmoid，f7×7表示7
×
7大小的卷积核，sigmoid函数可由下列公式定义：
[0010][0011]
所述的特征提取网络中使用了多尺度的感受野模块，可以通过扩大感受野来获取更广阔的上下文信息，从而提高分类器对图像内容的理解能力。通过逐渐增加卷积核的扩张率，多尺度特征提取模块可以捕捉到不同尺度的特征，包括局部细节和全局结构，该模块包括1
×
1、3
×
3和5
×
5的卷积核，能够在不同尺度上提取图像特征。其中还使用了空洞卷积，由于在神经网络中为了减少计算量会使用下采样层，但是使用下采样层会对空间分辨率和输入的信息有一些损失，使用了空洞卷积后能够增大感受野还可以精确定位目标。
[0012]
对整体网络进行梳理，首先将图片输入分类模型，经过第一个卷积层，将处理后的特征图输入到第一个多尺度感受野模块中，对于图像的特征提取起到了重要作用，随后输入到一个通道注意力和空间注意力机制中对特征继续进行处理，再经过四个5
×
5卷积核的卷积和两个下采样层对图像进行更细致的处理，并通过下采样层减少计算量，再通过一个通道注意力和空间注意力模块对更细致的特征进行处理，确定最需要关注的区域的空间，最后通过两个全连接层和softmax层对分类类别进行输出，softmax用下面式子可以表示：
[0013][0014]
zi表示z中的第i个元素。通过以上模型，能够得到最终的星系、恒星和类星体类别。
[0015]
在天文图像中也存在星等信息，与亮度相关，但是在进行特征提取时有所损失，考虑到有效信息的损失情况，我们将星等信息进行单独处理，保存为一个一维向量，并将其作为单独的输入，以此来弥补在对图像进行特征提取时造成的损失。经过对星等信息和红外图像信息的处理，又形成了一个星等信息和wise红外图像作为输入的双输入模型，通过pytorch中的torch.cat函数将其进行特征融合，对融合后的特征进行分类，分类精度又有所提高，该模型能够同时处理一维和二维数据，对红外天文学具有研究意义。
[0016]
本发明还公开了一种基于大卷积核和多尺度感受野模块的wise红外图像分类网络，包括以下步骤：
[0017]
s1：使用公开数据集进行训练，数据来源是irsa网站的wise红外望远镜拍摄的图像的fits文件。对红外图像分类网络进行训练：使用制作好的恒星、星系和类星体数据集进行训练，得到训练好的模型权重；
[0018]
s2：将训练好的模型进行加载，加载后将测试集输入，能够得到测试集中每个红外图像的分类概率，并且每张图片都有其对应的三个分类概率。还可以通过加载模型将混淆矩阵和受试者工作曲线绘制出来。
[0019]
s3：通过混淆矩阵可以和受试者工作曲线可以大致看出分类效果，在每张图片的
分类概率中可以更加细致的看出分类结果。
[0020]
有益效果：本发明与现有技术相比，在特征提取过程中首次同时加入了通道注意力、空间注意力机制和多尺度感受野模块。本发明与传统的卷积网络相比能够达到更高的分类精度，并且能够得到更好的鲁棒性，极大的节约了人工成本，能够自动化的对恒星、星系和类星体进行高精度分类。
附图说明
[0021]
图1是本中使用大卷积核和多尺度感受野模块进行红外图像分类的结构示意图；
[0022]
图2是本发明的基本流程图；
[0023]
图3是本发明中大卷积核卷积主干网络图；
[0024]
图4是本发明中星等信息和红外图像双输入分类模型。
具体实施方式
[0025]
下面结合附图进一步对本发明的内容进一步阐述。
[0026]
如图1所示的是使用大卷积核和多尺度感受野模块进行红外图像分类的结构示意图，首先经过一个5
×
5的卷积核的卷积，初步提取红外图像的特征，再经过多尺度感受野模块进行更加细致的特征提取，能够对全局特征和局部细节更加关注。随后经过第一个通道注意力和空间注意力机制，能够对图像中的最能够区分类别的特征进行关注，通道注意力能够将中心源及其周围的相关特征提取出来，空间注意力负责对中心源及其周围的特征进行空间定位。再经过多个5
×
5的卷积核的卷积和下采样层，对特征继续进行处理，并且能够减少计算量，最后经过全连接层将三种类别区分出来，分为星系、恒星和类星体。
[0027]
如图2所示的本发明的基本流程图，包括如下步骤：
[0028]
s1：初步的数据预处理：根据需要在wise网站中查询各波段的原始红外数据，需要的是星系、恒星和类星体的有标签的红外训练数据，将红外图像的三个波段的信息合成三通道的rgb图像进行数据集的构建，整个数据集的训练集、测试集和验证集的比例为8∶1∶1，如表1所示；
[0029]
类型训练集测试集验证集星系5838730730类星体5772722721恒星5778723722
[0030]
s2：大卷积核和多尺度感受野模块进行红外图像分类的训练：利用分类模型中的通道注意力、空间注意力和多尺度感受野模块进行特征提取，通道注意力能通过对不同通道的特征图进行自适应的通道权重分配，来提取最相关的特征，空间注意力模块通过对特征图在空间维度上进行自适应的重要性加权，来提取最具区分性的空间位置。多尺度的感受野模块可以通过扩大感受野来获取更广阔的上下文信息，从而提高分类器对图像内容的理解能力。经过训练能够得到分类权重；
[0031]
s3：将测试集图片输入到训练好的分类网络中，经过测试，可以绘制出混淆矩阵和受试者曲线，并且得到测试集中每个图片对应的三种类别的概率。可以根据混淆矩阵和受试者曲线了解到分类效果的好坏，得到的红外图像概率能够用来分析单张图片的特征。
[0032]
大卷积核卷积主干网络图如图3所示，由于红外图像原始尺寸较小，所以通过大卷积核的卷积能够更加关注全局特征，再通过使用下采样层减小计算量，最后再经过两个全连接层以及sigmoid和softmax函数。
[0033]
sigmoid和softmax函数可用下式表示：
[0034][0035][0036]
其中，zi和zj分别是i类和j类的特征值。
[0037]
图4所示的是星等信息和红外图像双输入分类模型，经过研究发现加入星等信息后能够提高分类准确率，由于红外图像在进行特征提取时会损失部分图像中的亮度信息，亮度信息中包含了天体的星等信息，所以将星等信息作为单独的一维信息进行输入，形成一个星等信息和红外图像双输入分类模型，将这两种信息输入到图1的大卷积核和多尺度感受野模块的分类网络中，达到了更高的分类准确率。
[0038]
本实施案例通过大卷积核和多尺度感受野模块进行红外图像分类，提高了分类准确率，将红外图像中的有效信息充分提取了出来，通过使用星等信息(一维)和红外图像(二维)两种信息达到了更高的精度。本发明不需要人工进行复杂的特征工程，只需要将红外图像输入进训练好的分类模型就能得到分类结果，具有良好的鲁棒性。实验结果表明，本发明相比经典的图像分类模型，更有利于对红外图像的研究。
[0039]
表2为本发明中恒星、星系和类星体的各种分类指标，包括精确率、召回率、特异性、f1-score和准确率：
[0040]
表2本发明中恒星、星系和类星体的各种分类指标
[0041]
类型精确率召回率特异性f1-score准确率星系95.4％93.2％97.7％94.3％96.2％类星体96.6％97.1％98.3％96.8％97.9％恒星93.7％95.4％96.8％94.5％96.4％
[0042]
表3为本发明与其它基于卷积神经网络算法的实验结果对比，分类网络包括vgg16、googlenet、resnet34、mobilenet、efficientnetv2和repvgg，进行对比的指标包括分类准确率、计算量和参数量：
[0043]
表3本发明与其它基于卷积神经网络算法的实验结果对比
[0044]
分类网络准确率计算量参数量vgg1694.74％15.5g134.27mgooglenet91.52％1.59g5.98mresnet3492.71％12.25g46.99mmobilenet93.66％587.94m3.22mefficientnetv293.84％2.97g24.18mrepvgg93.89％3.83g30.07m本发明的红外分类网络95.69％218.66m1.75m
[0045]
综上，本发明相比于基于卷积神经网络的红外图像分类网络具有更高的分类精
度，并且经过加入星等信息后，形成星等信息和红外图像双输入的分类网络，更有利于红外图像分类的后续分析。
技术特征：
1.一种基于大卷积核和多尺度感受野模块的wise红外图像分类网络，其特征在于：大卷积核和多尺度感受野模块；所述的大卷积核主干网络是针对原始的尺寸较小的红外图像进行特征提取，包括卷积层、下采样层和全连接层；多尺度感受野模块使用了1
×
1、3
×
3和5
×
5的卷积核的卷积和空洞卷积，能够在不同尺度上提取图像特征，对于全局特征和局部细节特征均能够进行提取，使用了空洞卷积后能够增大感受野还可以精确定位目标。2.根据权利要求1所述，一种基于大卷积核和多尺度感受野模块的wise红外图像分类网络，主干网络中使用了通道注意力模块；所述的通道注意力模块通过对不同通道的特征图进行自适应的通道权重分配，来提取最相关的特征，可用下式表示：其中σ表示sigmoid函数，w0和w1是mlp的权重，和分别代表的是平均采样特征和最大采样特征。3.根据权利要求1所述，一种基于大卷积核和多尺度感受野模块的wise红外图像分类网络，主干网络中使用了空间注意力模块；所述的空间注意力模块通过对特征图在空间维度上进行自适应的重要性加权，来提取最具区分性的空间位置，可用下式表示：其中σ表示sigmoid函数，f7×7代表的是7
×
7的卷积核的滤波器。4.根据权利要求1所述，一种基于大卷积核和多尺度感受野模块的wise红外图像分类网络，将通道注意力和空间注意力模块进行结合，通过使用两种注意力模块能够将中心源及其周围最具区分性的星际尘埃环境进行关注。5.根据权利要求1所述，一种基于大卷积核和多尺度感受野模块的wise红外图像分类网络，大卷积核主干网络中使用了5
×
5的卷积核的卷积，与多个下采样层进行结合，进行特征提取，并且最后使用全连接层并使用softmax函数进了归一化，可用下式表示：其中z
i
表示z中的第i个元素，最终输出分类后三类的类别。6.根据权利要求1所述，一种基于大卷积核和多尺度感受野模块的wise红外图像分类网络，其特征在于：使用了星等信息和红外图像作为输入，形成了一个双输入的分类网络，星等信息作为一维信息，红外图像作为二维信息，两种信息均通过特征提取融合在一起，最终能够得到更精确的分类准确率。7.根据权利要求6所述，一种基于大卷积核和多尺度感受野模块的wise红外图像分类网络，其特征在于：在对红外图像进行特征提取过程中会损失相关的亮度信息，其中就包括
星等信息，所以对于星等信息的加入，红外图像分类结果能够得到提升。
技术总结
本发明公开了一种基于大卷积核和多尺度感受野模块的WISE红外图像分类网络，如图1所示，在特征提取过程中使用了通道注意力、空间注意力机制和多尺度感受野模块，利用通道注意力模块通过对不同通道的特征图进行自适应的通道权重分配，来提取最相关的特征，利用空间注意力模块通过对特征图在空间维度上进行自适应的重要性加权，来提取最具区分性的空间位置，红外图像的中心源是最需要分类模型关注的部分，通过使用两种注意力模块能够将中心源及其周围最具区分性的星际尘埃环境进行关注。利用多尺度的感受野模块，可以通过扩大感受野来获取更广阔的上下文信息，从而提高分类器对图像内容的理解能力。本发明还在红外图像之外加入了星等信息，并且与经典的卷积神经网络进行了对比，能够得到更高的分类准确率，对于红外图像特征研究具有重要意义。图像特征研究具有重要意义。图像特征研究具有重要意义。
技术研发人员：邱波 赵贵禹 王坤
受保护的技术使用者：河北工业大学
技术研发日：2023.07.05
技术公布日：2023/9/22
版权声明
本文仅代表作者观点，不代表航家之家立场。
本文系作者授权航家号发表，未经原创作者书面授权，任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时，须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的，航空之家将依法追究其法律责任。（航空之家官方QQ：2926969996）
航空之家 https://www.aerohome.com.cn/
航空商城 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/
