一种基于融合注意力机制的LCD屏幕缺陷分类方法及存储介质

一种基于融合注意力机制的lcd屏幕缺陷分类方法及存储介质
技术领域
1.本发明涉及表面缺陷分类技术领域，更具体地，涉及一种基于融合注意力机制的lcd屏幕缺陷分类方法及存储介质。


背景技术：

2.lcd屏幕在生产过程中由于工艺问题会产生不同类型的少量缺陷，对于不同的缺陷处理方法不同，所以需要对缺陷进行分类。随着生产自动化程度的提高，使用算法分类逐渐代替了人工分类。
3.传统的缺陷分类算法通常根据缺陷面积、形状等典型特征来判断缺陷类型，依赖于研究人员的手动设计，且专用性强，往往一种缺陷对应一种算法，开发成本高、参数量大；此外，同一种类型缺陷可能图像特征差别也很大，这导致仅使用传统图像处理技术来识别缺陷类型存在很大的困难。
4.近年来，深度学习的方法在缺陷分类上的应用越来越多，以cnn和transformer为代表的模型大量用于图像识别领域。而这些模型依靠大量数据的驱动。但由于lcd屏幕产品缺陷的特殊性，其缺陷种类多，缺陷样本少，上述模型在缺陷识别上的表现并不好，预训练后的模型在小样本的缺陷分类任务上存在泛化能力低、严重过拟合等问题，对于区别不大的缺陷种类易误分类。
5.现有技术提出了基于度量的小样本图像分类方法，旨在通过距离度量减小同类样本距离，增大异类样本之间的距离，从而使类别之间更具有可分性。如对原型网络采用元学习方式进行训练，采用类别平均值作为类别表征，但由于类别样本少，少量样本的均值并不能很好的表征整个类别，导致类别间边界模糊、稳定性不强，容易受到极端样本干扰。


技术实现要素：

6.本发明为克服上述现有技术所述分类精度低、稳定性弱的缺陷，提供一种基于融合注意力机制的lcd屏幕缺陷分类方法及存储介质。
7.为解决上述技术问题，本发明的技术方案如下：
8.第一方面，一种基于融合通道注意力机制的lcd屏幕缺陷分类方法，包括：
9.获取待分类的lcd屏幕图像并对其进行预处理，将预处理后的lcd屏幕图像作为查询集图像；
10.获取标注有缺陷信息的样本图像并对其进行预处理，将预处理后的样本图像作为支持集图像进行小样本学习；所述缺陷信息包括样本图像的归属类别；
11.将查询集图像和支持集图像输入预训练的原型网络，得到查询集图像和支持集图像间的距离度量结果；其中，所述原型网络中设有注意力生成模块，包括串联的类内注意力单元和全局注意力单元；
12.根据距离度量结果进行分类，生成lcd屏幕缺陷分类结果。
13.第二方面，一种计算机可读存储介质，所述存储介质上存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行，以实现如第一方面所述方法。
14.与现有技术相比，本发明技术方案的有益效果是：
15.本发明通过在原型网络中设置注意力生成模块，利用融合注意力机制关注重点区域的特点：通过类内注意力增强对类别的代表性特征的关注度，通过全局注意力减少对于类间可分性弱的特征通道的关注度，使得不同类别样本的可区分度更大。相较于现有技术，本发明通过注意力生成模块提高距离度量结果的准确性，进而提高lcd屏幕缺陷分类结果的精度和稳定性。
附图说明
16.图1为本发明实施例1的lcd屏幕缺陷分类方法流程示意图；
17.图2为本发明实施例1的lcd屏幕缺陷类别示例图；
18.图3为本发明实施例1的原型网络结构示意图；
19.图4为本发明实施例1通道度量注意力生成过程示例图；
20.图5为本发明实施例1第二嵌入特征图处理过程示例图；
21.图6为本发明是示例1重构特征图处理过程示例图。
具体实施方式
22.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本技术的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
23.附图仅用于示例性说明，不能理解为对本专利的限制；
24.为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
25.对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
26.下面结合附图和实施例对本发明的技术方案做进一步的说明。
27.实施例1
28.本实施例提出一种基于融合通道注意力机制的lcd屏幕缺陷分类方法，参阅图1，包括：
29.获取待分类的lcd屏幕图像并对其进行预处理，将预处理后的lcd屏幕图像作为查询集图像；
30.获取标注有缺陷信息的样本图像并对其进行预处理，将预处理后的样本图像作为支持集图像进行小样本学习；所述缺陷信息包括样本图像的归属类别；
31.将查询集图像和支持集图像输入预训练的原型网络，得到查询集图像和支持集图
像间的距离度量结果；其中，所述原型网络中设有注意力生成模块，包括串联的类内注意力单元和全局注意力单元；
32.根据距离度量结果进行分类，生成lcd屏幕缺陷分类结果。
33.在一些示例中，所述样本图像的归属类别包括正常(即无缺陷)、点缺陷、线缺陷、mura缺陷。
34.本领域技术人员应当理解，点缺陷即lcd屏幕点亮后出现异常点，线缺陷即lcd屏幕上有明显亮线或者暗线，mura缺陷即lcd屏幕点亮后出现不规则的团状缺陷，参阅图2。
35.在一优选实施例中，所述预处理包括滑动窗口裁剪、随机裁剪、旋转、拉伸、掩膜中的至少一种；
36.所述预处理还包括对样本图像中的有缺陷样本进行缺陷区域裁剪和随机采样后混合至无缺陷样本中；
37.所述预处理还包括将图像转化为tensor张量并对其进行标准化处理(即归一化)。
38.需要说明的是，滑动窗口裁剪、随机裁剪、旋转、拉伸、掩膜等方式均可以实现数据增强，增加样本多样性；上述方式可由本领域技术人员根据实际情况自行设定；
39.此外，通过对样本图像中的有缺陷样本进行缺陷区域裁剪和随机采样后混合至无缺陷样本，在正常样本中增加缺陷特征(即添加噪声)一定程度上可缓解小样本学习中的过拟合问题；
40.在一些示例中，采用了滑动窗口裁剪、随机裁剪、拉伸、tensor张量转化、添加噪声作为预处理的方式；
41.在一些示例中，采用了随机裁剪、旋转、掩膜、tensor张量转化、添加噪声作为预处理的方式；
42.在另一些示例中，待分类的lcd屏幕图像尺寸为9216
×
7000，以512
×
512的窗口对其进行滑动窗口裁剪，随后将其转化为tensor张量并对其进行标准化处理。
43.在一优选实施例中，参阅图3，所述原型网络还包括嵌入模块、原型生成模块和度量模块，所述注意力生成模块设置在嵌入模块与原型生成模块之间；
44.所述将查询集图像和支持集图像输入预训练的原型网络，得到查询集图像和支持集图像间的距离度量结果，包括：
45.将查询集图像和支持集图像输入嵌入模块，分别提取关于查询集图像的第一嵌入特征图和关于支持集图像的第二嵌入特征图；其中，所述嵌入模块基于conv4(四层卷积网络)或resnet(residual network，残差神经网络)构建；
46.将所述第二嵌入特征图输入注意力生成模块，得到重构特征图，以及融合有类内注意力和全局注意力的通道度量注意力；
47.将所述重构特征图和所述通道度量注意力输入原型生成模块，得到重构原型；
48.将所述第一嵌入特征图、重构原型与通道度量注意力作为度量模块的输入，得到距离度量结果。
49.该优选实施例以传统的原型网络为基础，通过嵌入模块提取对应的嵌入特征图；通过注意力生成模块得到关于支持集图像的重构特征图，以及基于融合注意力机制的通道度量注意力；通过原型生成模块对提取到的嵌入特征图进行重构，得到每个类别的重构原型；通过度量模块得到每个查询集图像与支持集图像中每个类别的相似度(即距离度量结
果)。
50.在一些示例中，所述嵌入模块基于conv4构建；
51.在一些示例中，所述嵌入模块基于浅层网络resnet12构建；
52.在另一些示例中，所述嵌入模块基于resnet18构建。
53.在一可选实施例中，参阅图4，所述将第二嵌入特征图输入注意力生成模块，得到重构特征图，以及融合有类内注意力和全局注意力的通道度量注意力，包括：
54.将第二嵌入特征图作为类内注意力单元的输入，得到类内注意力权值；
55.基于广播机制，根据所述类内注意力权值重构对应的所述第二嵌入特征图，得到重构特征图；
56.将重构特征图输入全局注意力单元，得到通道度量注意力。
57.本领域技术人员应当理解，lcd屏幕缺陷分类中，每个类别应该具有其独有的可分特性，即“类内共性”，类内注意力单元提取类内共性而生成类内注意力权值，它能够更好的表征对应类别的特征通道(即第二嵌入特征图)的重要性；全局注意力单元提取的是类间共性；两种注意力单元作用相反，类内注意力单元增强有用特征，全局注意力单元减弱无用特征，两种注意力单元的串联形成了通道度量注意力。
58.进一步地，所述类内注意力单元基于se-net(squeeze-and-excitation networks，压缩和激励网络)构建；所述将第二嵌入特征图作为类内注意力单元的输入，得到类内注意力权值，包括：
59.将归属于同类的所述第二嵌入特征图输入所述类内注意力单元，进行空间维度上的平均池化操作，得到每个所述第二嵌入特征图的第一表征；
60.计算每个第一表征的均值表示和方差表示，通过bottleneck(瓶颈)结构生成类内注意力权重；其中，所述bottleneck结构由全连接层构成；
61.将所有类内注意力权重进行叠加后经过sigmod函数得到类内注意力权值。
62.需要说明的是，类内注意力单元输入的是同类内的多个样本特征，其关注的是类内信息，相当于提取类内共性特征。本领域技术人员应当理解，所述第二嵌入特征图的类别指代样本图像的归属类别。
63.在一些示例中，所述bottleneck结构由两个全连接层构成。
64.在一些示例中，对于同属于类c1的两个第二嵌入特征图x1和x2，参阅图5，将x1和x2在空间维度进行平均池化操作，得到每个通道的表征(即第一表征)，计算每个样本在同一通道上的均值表示fm和方差表示fs，通过bottleneck结构建模通道间的相关性，使输出的特征权重数目与输入的第二嵌入特征图数目相同，生成两种类内注意力权重，将两种注意力权重叠加后经过sigmod函数得到值在[0，1]内的类内注意力权值wc。本领域技术人员应当理解，类内注意力权值越大，表示该类别的通道越重要，将该权值与每个第二嵌入特征图相乘即可得到重构特征图。
[0065]
进一步地，所述全局注意力单元基于se-net构建；所述将重构特征图输入全局注意力单元，得到通道度量注意力，包括：
[0066]
将所有重构特征图输入全局注意力单元，进行空间维度上的平均池化操作，得到每个所述重构特征图的第二表征；
[0067]
计算每个第二表征的均值表示和方差表示，通过bottleneck结构生成全局注意力
权重；其中，所述bottleneck结构由全连接层构成；
[0068]
将所有全局注意力权重进行叠加后经过sigmod函数得到通道度量注意力。
[0069]
需要说明的是，全局注意力单元输入的是不同类的多个样本特征，其关注的是全局信息，削弱不同类别之间的一些噪声或背景信息，增强对分类更有用的通道特征，减弱不同类别相似的通道特征，相当于遍历所有类别，提取类间共同特征，减弱了背景特征和类间难分特征对分类结果的影响。
[0070]
在一些示例中，对于属于不同类c1和c2的两个重构特征图x1和x2，参阅图6，将x1和x2在空间维度上进行平均池化操作，得到每个通道的表征(即第二表征)，计算均值表示fm和方差表示fs，通过bottleneck结构得到两种全局注意力权重，将两种全局注意力权重叠加后经过sigmod函数得到通道度量注意力1-wg。
[0071]
在一些示例中，类内注意力单元和全局注意力单元的网络结构相同，参数共享。
[0072]
在一可选实施例中，所述将第一嵌入特征图、重构原型与通道度量注意力作为度量模块的输入，得到距离度量结果，包括：
[0073]
将所述第一嵌入特征图展开并保留特征维度，得到第一展开特征向量q＝[q1，q2，...，qc]；其中，第c个通道的第一嵌入特征图qc＝(q
c1
，...，q
c(w
×
h)
)；
[0074]
将所述重构原型展开并保留特征维度，得到第二展开特征向量s＝[s1，s2，...，sc]；其中，第c个通道的重构原型sc＝(s
c1
，...，s
c(w
×
h)
)；
[0075]
采用通道度量注意力对第一展开特征向量和第二展开特征向量进行通道加权度量，基于欧式距离得到距离度量结果d(s，q)如下：
[0076][0077]
式中，wj表示第j个通道的通道度量注意力，c、w、h分别表示对应图像的通道数、宽度和高度，si表示重构原型的第i个特征点，qi表示第一嵌入特征图的第i个特征点。
[0078]
需要说明的是，上述公式中，表示两张大小为w*h的特征图的特征点，进行点对点相减后求平方。
[0079]
在一可选实施例中，所述原型网络的训练过程包括：
[0080]
采用指定通用训练数据集对所述嵌入模块和所述注意力生成模块进行预训练，完成所述嵌入模块和所述注意力生成模块的参数初始化；
[0081]
固定所述嵌入模块的参数，采用关于lcd屏幕图像的训练数据集对所述注意力生成模块的参数进行微调，采用交叉熵作为损失函数，通过反向传播更新注意力生成模块参数。
[0082]
该可选实施例采用预训练及微调的方式进行训练，可减少原型网络的训练时间，提高原型网络的性能，并且仅通过少量轮次的注意力生成模块的微调就能够适应lcd屏幕缺陷分类任务。
[0083]
在一些示例中，采用miniimagenet数据集作为指定通用训练数据集，使原型网络在训练时更快收敛，提高其泛化能力。
[0084]
在一优选实施例中，所述根据距离度量结果进行分类，生成lcd屏幕缺陷分类结果，包括：
[0085]
采用softmax分类器根据距离度量结果进行预测，将预测概率最高的类别作为对应查询集图像的分类结果。
[0086]
本领域技术人员应当理解，支持集图像对应了不同的缺陷类别，基于查询集图像到支持集图像的距离度量结果，与查询集图像距离最近的类别，其预测概率最高，即为查询集样本的对应缺陷类别。
[0087]
实施例2
[0088]
本实施例剔除一种基于融合通道注意力机制的lcd屏幕缺陷分类系统，包括；
[0089]
图像导入模块，用于获取待分类的lcd屏幕图像并对其进行预处理，将预处理后的lcd屏幕图像作为查询集图像；还用于获取标注有缺陷信息的样本图像并对其进行预处理，将预处理后的样本图像作为支持集图像进行小样本学习；所述缺陷信息包括样本图像的归属类别；
[0090]
图像处理模块，用于搭载预训练的原型网络；还用于对查询集图像和支持集图像进行处理得到查询集图像和支持集图像间的距离度量结果；其中，所述原型网络中设有注意力生成模块，包括串联的类内注意力单元和全局注意力单元；
[0091]
分类模块，用于根据距离度量结果进行分类，生成lcd屏幕缺陷分类结果。
[0092]
可以理解，上述实施例1中的可选项同样适用于本实施例，故在此不再重复描述。
[0093]
实施例3
[0094]
本实施例提出了一种计算机可读存储介质，所述存储介质上存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行，以实现如实施例1所述方法。
[0095]
示范性地，所述存储介质包括但不限于u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0096]
示范性地，所述指令、程序、代码集或指令集可采用java、python、c++、r、或golang等编程语言实现。
[0097]
示范性地，所述处理器包括但不限于智能手机、个人计算机、服务器、网络设备等，用于执行实施例1所述方法的全部或部分步骤。
[0098]
可以理解，上述实施例1中的可选项同样适用于本实施例，故在此不再重复描述。
[0099]
可以理解，本实施例的装置对应于上述实施例1的方法，上述实施例1中的可选项同样适用于本实施例，故在此不再重复描述。
[0100]
相同或相似的标号对应相同或相似的部件；
[0101]
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
[0102]
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

技术特征：
1.一种基于融合通道注意力机制的lcd屏幕缺陷分类方法，其特征在于，包括：获取待分类的lcd屏幕图像并对其进行预处理，将预处理后的lcd屏幕图像作为查询集图像；获取标注有缺陷信息的样本图像并对其进行预处理，将预处理后的样本图像作为支持集图像进行小样本学习；所述缺陷信息包括样本图像的归属类别；将查询集图像和支持集图像输入预训练的原型网络，得到查询集图像和支持集图像间的距离度量结果；其中，所述原型网络中设有注意力生成模块，包括串联的类内注意力单元和全局注意力单元；根据距离度量结果进行分类，生成lcd屏幕缺陷分类结果。2.根据权利要求1所述的一种基于融合通道注意力机制的lcd屏幕缺陷分类方法，其特征在于，所述预处理包括滑动窗口裁剪、随机裁剪、旋转、拉伸、掩膜中的至少一种；所述预处理还包括对样本图像中的有缺陷样本进行缺陷区域裁剪和随机采样后混合至无缺陷样本中；所述预处理还包括将图像转化为tensor张量并对其进行标准化处理。3.根据权利要求1所述的一种基于融合通道注意力机制的lcd屏幕缺陷分类方法，其特征在于，所述原型网络还包括嵌入模块、原型生成模块和度量模块，所述注意力生成模块设置在嵌入模块与原型生成模块之间；所述将查询集图像和支持集图像输入预训练的原型网络，得到查询集图像和支持集图像间的距离度量结果，包括：将查询集图像和支持集图像输入嵌入模块，分别提取关于查询集图像的第一嵌入特征图和关于支持集图像的第二嵌入特征图；其中，所述嵌入模块基于conv4或resnet构建；将所述第二嵌入特征图输入注意力生成模块，得到重构特征图，以及融合有类内注意力和全局注意力的通道度量注意力；将所述重构特征图和所述通道度量注意力输入原型生成模块，得到重构原型；将所述第一嵌入特征图、重构原型与通道度量注意力作为度量模块的输入，得到距离度量结果。4.根据权利要求3所述的一种基于融合通道注意力机制的lcd屏幕缺陷分类方法，其特征在于，所述将第二嵌入特征图输入注意力生成模块，得到重构特征图，以及融合有类内注意力和全局注意力的通道度量注意力，包括：将第二嵌入特征图作为类内注意力单元的输入，得到类内注意力权值；基于广播机制，根据所述类内注意力权值重构对应的所述第二嵌入特征图，得到重构特征图；将重构特征图输入全局注意力单元，得到通道度量注意力。5.根据权利要求4所述的一种基于融合通道注意力机制的lcd屏幕缺陷分类方法，其特征在于，所述类内注意力单元基于se-net构建；所述将第二嵌入特征图作为类内注意力单元的输入，得到类内注意力权值，包括：将归属于同类的所述第二嵌入特征图输入所述类内注意力单元，进行空间维度上的平均池化操作，得到每个所述第二嵌入特征图的第一表征；计算每个第一表征的均值表示和方差表示，通过bottleneck结构生成类内注意力权
重；其中，所述bottleneck结构由全连接层构成；将所有类内注意力权重进行叠加后经过sigmod函数得到类内注意力权值。6.根据权利要求4所述的一种基于融合通道注意力机制的lcd屏幕缺陷分类方法，其特征在于，所述全局注意力单元基于se-net构建；所述将重构特征图输入全局注意力单元，得到通道度量注意力，包括：将所有重构特征图输入全局注意力单元，进行空间维度上的平均池化操作，得到每个所述重构特征图的第二表征；计算每个第二表征的均值表示和方差表示，通过bottleneck结构生成全局注意力权重；其中，所述bottleneck结构由全连接层构成；将所有全局注意力权重进行叠加后经过sigmod函数得到通道度量注意力。7.根据权利要求3所述的一种基于融合通道注意力机制的lcd屏幕缺陷分类方法，其特征在于，所述将第一嵌入特征图、重构原型与通道度量注意力作为度量模块的输入，得到距离度量结果，包括：将所述第一嵌入特征图展开并保留特征维度，得到第一展开特征向量q＝[q1，q2，...，q
c
]；其中，第c个通道的第一嵌入特征图q
c
＝(q
c1
，...，q
c(w
×
h)
)；将所述重构原型展开并保留特征维度，得到第二展开特征向量s＝[s1，s2，...，s
c
]；其中，第c个通道的重构原型s
c
＝(s
c1
，...，s
c(w
×
h)
)；采用通道度量注意力对第一展开特征向量和第二展开特征向量进行通道加权度量，基于欧式距离得到距离度量结果d(s，q)如下：式中，w
j
表示第j个通道的通道度量注意力，c、w、h分别表示对应图像的通道数、宽度和高度，s
i
表示重构原型的第i个特征点，q
i
表示第一嵌入特征图的第i个特征点。8.根据权利要求3所述的一种基于融合通道注意力机制的lcd屏幕缺陷分类方法，其特征在于，所述原型网络的训练过程包括：采用指定通用训练数据集对所述嵌入模块和所述注意力生成模块进行预训练，完成所述嵌入模块和所述注意力生成模块的参数初始化；固定所述嵌入模块的参数，采用关于lcd屏幕图像的训练数据集对所述注意力生成模块的参数进行微调，采用交叉熵作为损失函数，通过反向传播更新注意力生成模块参数。9.根据权利要求1～8任一项所述的一种基于融合通道注意力机制的lcd屏幕缺陷分类方法，其特征在于，所述根据距离度量结果进行分类，生成lcd屏幕缺陷分类结果，包括：采用softmax分类器根据距离度量结果进行预测，将预测概率最高的类别作为对应查询集图像的分类结果。10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行，以实现如权利要求1-9任一项所述方法。

技术总结
本发明公开了一种基于融合注意力机制的LCD屏幕缺陷分类方法及存储介质，涉及表面缺陷分类技术领域。所述方法包括：获取待分类的LCD屏幕图像并对其进行预处理，将预处理后的LCD屏幕图像作为查询集图像；获取标注有缺陷信息的样本图像并对其进行预处理，将预处理后的样本图像作为支持集图像进行小样本学习；将查询集图像和支持集图像输入预训练的原型网络，得到查询集图像和支持集图像间的距离度量结果；根据距离度量结果进行分类，生成LCD屏幕缺陷分类结果。相较于现有技术，本发明通过注意力生成模块提高距离度量结果的准确性，进而提高LCD屏幕缺陷分类结果的精度和稳定性。提高LCD屏幕缺陷分类结果的精度和稳定性。提高LCD屏幕缺陷分类结果的精度和稳定性。


技术研发人员：吴宗泽 陈浩 任志刚 黄梓豪 周游 钟振志 周坤 蒋优星
受保护的技术使用者：广东工业大学
技术研发日：2023.05.30
技术公布日：2023/8/28