基于像素单点结构和多元配对逻辑的无监督异常检测方法

1.本发明属于工业图像缺陷检测相关技术领域，更具体地，涉及一种基于像素单点及多元配对的无监督异常检测方法。


背景技术：

2.在实际工业生产制造过程中，常常存在各种不可知的状况如机器故障、运输破损、工人误操作等导致工业产品出现不合格问题。其中，工业产品的质量不合格情况除了产品表面质量缺陷外，还可能出现产品位置摆放错误、产品包装缺漏、货不对板等逻辑上异常的缺陷情况。为提高生产交付的效率，质检方法也由传统的人工检测转向基于视觉的自动化检测，其中异常检测为代表性任务。在生产包装到交付产品的生产过程中，不仅可能出现产品本身表面质量的结构异常问题，也可能存在产品摆放错误、包装与产品不对应等逻辑异常问题，如袋装螺丝数量缺少或种类搭配错误、玻璃瓶内果汁填充不一致或产品标签位置错误等。由于异常情况复杂且难以预料，仅仅通过产品表面质量作为检测合格的方法是不够的，目前研究较成熟的针对结构异常的缺陷检测方法难以应对产品逻辑异常检测的场景，故带有逻辑关系异常样本的检测问题是更为复杂的结构与逻辑联合异常检测问题，即：不仅要检测出样本中产品图像的表面结构异常，还要检测出样本图像中潜在的位置逻辑异常。
3.因此，结构与逻辑异常的联合检测模型可有效利用异常样本的图像结构和图像像素对逻辑关系信息，进一步提高异常检测模型的性能，对于工业生产质量检测至关重要。


技术实现要素：

4.针对现有技术的以上缺陷或改进需求，本发明提供了一种基于像素单点及多元配对的无监督异常检测方法，解决产品图像中表面结构和位置逻辑异常的问题。
5.为实现上述目的，按照本发明，提供了一种基于像素单点及多元配对的无监督异常检测方法，该方法包括下列步骤：
6.s1构建用于提取图像的像素特征的结构特征提取分支网络和用于逻辑特征提取的逻辑特征提取分支网络；
7.s2将用于训练的图像分别输入所述结构特征提取分支网络和逻辑特征提取分支网络中，以此提取获得每幅图像的像素特征和逻辑特征，所有图像的像素特征形成结构特征记忆库，所有图像的逻辑特征形成逻辑特征记忆库；
8.s3将待测试图像分别输入所述结构特征提取分支网络和辑特征提取分支网络中，以此获得该待测试图像对应的测试像素特征和测试逻辑特征，计算测试像素特征与所述结构特征记忆库中的像素特征之间距离的最大距离得分来获取待测试图像的异常得分，以此获得该待测图像的结构异常分值图；计算测试逻辑特征与所述逻辑特征记忆库中的逻辑特征之间的全局一致性来获取待测试图像的异常得分，以此获得该待测图像的逻辑异常分值图；
9.s4将所述结构异常分值图与所述逻辑异常分值图融合获得待测试图像总的异常分值图，该异常分值图中各处的异常分值与预设阈值相比较，大于预设阈值的位置为缺陷所在位置，否则为正常，以此确定待测试图像的缺陷所在位置。
10.进一步优选地，在步骤s1中，所述结构特征提取分支网络和所述逻辑特征提取分支网络均采用imagenet数据集上进行预训练的wide resnet50网络。
11.进一步优选地，在步骤s2中，所述逻辑特征提取分支网络按照下列步骤形成逻辑特征记忆库：
12.s21对于所述逻辑特征提取分支网络，抽取其中各个特征层中的一组或多组像素特征对；
13.s22在每个特征层中将所述像素特征对按照预设像素对的数量连接形成多元像素对，以此获得所有特征层中的多元像素对；
14.s23将不同特征层的所述多元像素进行对齐，所有对齐后的多元像素形成逻辑特征记忆库。
15.进一步优选地，在步骤s3中，所述对齐采用多尺度特征融合的方法。
16.进一步优选地，在步骤s3中，所述结构异常分值图中的异常得分按照下列关系式计算：
[0017][0018][0019]
其中，是结构异常分值，m
test，*
是测试像素特征，m
*
是与m
test，*
具有最大相似度的训练像素结构特征。
[0020]
进一步优选地，在步骤s3中，所述逻辑异常分值图中的异常得分按照下列关系式计算：
[0021][0022][0023]
其中，是逻辑异常分值，是测试逻辑特征，是与具有最大相似度的训练像素逻辑特征。进一步优选地，在步骤s4中，所述待测试图像总的异常分值图按照下列关系式进行计算：
[0024][0025]
其中，是结构异常分值，是逻辑异常分值。
[0026]
进一步优选地，在步骤s2中，所述结构特征记忆库和逻辑特征记忆库形成后，还需要对各个记忆库中的元素进行数据处理，以此剔除不合格的数据。
[0027]
进一步优选地，所述数据处理采用贪心策略的子采样的方法。
[0028]
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具备下列有益效果：
[0029]
1.本方法同时考虑了图像像素单点以及图像像素对之间隐式的逻辑信息，以解决
工业产品的自动化流水线检测中的工件数量组合搭配是否符合要求、产品标签类型或位置是否符合规范等需要同时考虑结构和逻辑缺陷的实际应用问题；
[0030]
2.本发明提供的方法实现无监督的结构与逻辑异常/缺陷的联合检测，即训练阶段仅能利用正常样本信息以实现测试阶段待测样本中的局部结构和全局逻辑的异常联合检测问题。
附图说明
[0031]
图1是按照本发明的优选实施例所构建的训练阶段示意图；
[0032]
图2是按照本发明的优选实施例所构建的多元像素对构建示意图；
[0033]
图3是按照本发明的优选实施例所构建的测试阶段示意图。
具体实施方式
[0034]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0035]
针对现有异常检测方法仅能实现对于待测工件的结构性异常检测检出而不能对更高层次的逻辑异常进行检测的不足，提出一种基于像素对间逻辑关系信息的无监督异常检测方法，其目的在于同时利用单个像素信息以及成对像素关系信息，建模无异常样本中的潜在逻辑或几何关系，从而与待测样本进行对比和距离计算，从而识别待测样本中的结构和逻辑异常。
[0036]
进一步地，本发明所提基于像素对逻辑关系信息的无监督异常检测方法的模型网络结构主要由一个结构特征提取分支网络和一个逻辑特征提取分支网络构成。其中，结构特征提取分支网络是在大型自然图像数据集预训练好的网络模型，其提取出的特征具有高度判别性。本发明进一步对这些特征进行核心集降维采样，可以剔除冗余信息和减少推理时间。图像中不同位置的像素之间存在一定的逻辑关系，比如产品打包数量与格子(例如包装盒每个格子里是否有大头针)、产品标签和产品本身(例如果汁标签和果汁颜色)都存在对应的匹配关系。逻辑特征提取分支网络是对图像中多个像素特征之间的逻辑关系信息进行逻辑特征提取，其提取出的特征能够考虑图像像素间的长距离二元、多元逻辑关系，通过对逻辑关系特征的建模，可以判别出图像中逻辑异常(如：电缆终端位置错误、图标与果汁类型不匹配)。因此，本发明所提出的模型网络结构中的结构特征提取分支网络和逻辑特征提取分支网络可以使得模型对待测样本的结构和逻辑异常情况进行联合检测。总而言之，本发明同时考虑结构异常和逻辑异常。通过两个分支对正常数据特征分布进行拟合、学习，其中：结构特征提取网络针对结构异常具备更好的判断能力，而逻辑特征提取网络针对逻辑异常具备更好的判断能力。
[0037]
结构特征提取分支网络用于提取图像特征时，直接使用预训练模型进行提取即可。逻辑特征提取分支网络提取特征前，由于像素之间是各自独立分布的，即不同的像素之间没有固定的关系，需要人工对像素特征建立联系。因此，本发明采用将长短距离多尺度像素特征块结合的方式，将拼接后的像素对送入网络模型进行关系特征提取以建模图像中的
位置逻辑关系，并将提取后的逻辑特征送入特征记忆库中。
[0038]
使用结构特征提取分支和逻辑特征提取分支分别提取特征后，它们可分别用于联合检测结构异常与逻辑异常；为获得联合检测的最终结果，将两个分支网络输出的异常分值图进行相加融合，获得最终异常分值图。
[0039]
具体地：
[0040]
如图1所示，上述方法包括两个特征提取分支网络：结构特征提取分支网络n
con
、逻辑特征提取分支网络n
log
。其中，结构特征提取分支网络n
con
用于检测结构性异常，逻辑特征提取分支网络n
log
用于检测逻辑性异常。
[0041]
本发明包含训练阶段与测试阶段，其中训练阶段如图1，包括：
[0042]
(1)针对结构异常的子模块训练阶段：
[0043]
以正常的工业产品图像in为输入，利用结构特征提取分支网络n
con
提取正常数据的像素块结构特征信息，将正常像素特征f
con
聚合到一个记忆库m
con
中。然后使用基于贪心策略的子采样的方法，设定l个特征子集合，尽可能用这些特征子集合代表绝大多数的数据特征，每次选一个特征子集中的点，在该子集中找到一个最远的点抽样出来保存，也就是在局部找出一个最远的点，即最优解，实现剔除冗余特征的目的，最终得到用于检测结构异常的结构特征记忆库m
con
。
[0044]
(2)针对逻辑异常的子模块训练阶段：
[0045]
以正常的工业产品图像in为输入，利用结构特征提取分支网络n
con
提取正常数据在不同特征层的像素特征f
con
如下：
[0046]fcon
＝n
con
(in)
ꢀꢀꢀ(i)[0047]
进一步，1)我们利用逻辑特征提取分支网络n
log
在各个特征层抽取一组或多组不同位置的像素特征对，2)通过连接(cat，concatenation)形成多元像素对f
cat-k
，如式(2)所示
[0048]fcat
·k＝(f
log
·1，f
log
·2，
……
，f
log
·k)
ꢀꢀꢀ
(2)
[0049]
多元像素对f
cat
·k由多组像素对组成，k表示像素对数量。如图2所示，这里以4组像素对举例说明：顶端(top)和底端(bottom)附近位置的逻辑特征像素对f
log
·1，f
log
·2，具体定义如式(3)所示
[0050][0051]
还有中间(middle)和两端(顶端top、底端bottom)附近位置的逻辑特征像素对f
log
·3，f
log
·4，具体定义如式(4)所示
[0052][0053]
附近可为左右(left、right)或上下(up、down)位置相邻的局部结构像素特征，例如代表顶端中心位置像素特征，代表底端靠右位置像素特征。
[0054]
像素对的两个像素特征块与水平方向或垂直方向形成的最小夹角为θ，本发明中规定该夹角θ≤45
°
，像素特征块可在该夹角范围内随机选取配对。通过上述方式将不同长
短距离的多个正常像素块进行合并连接(cat)组成多元像素对(像素对中包含的像素块数量可以大于等于三，为方便表述本发明所提方法并简化标注符号，用k表示多元像素对总配对数目)，用于建模图像中的像素间关系。具体地，距离大于最远像素对距离一半的为长距离像素对，小于该距离的则为短距离像素对，以此构造形成不同尺度下的逻辑特征多尺度逻辑特征f
log
，
[0055]
3)通过多尺度特征融合mff(multi-scale feature fusion)模块，将不同特征层形成的逻辑特征经上下层采样特征对齐后进行融合，如式(5)所示f
cat
·k＝mff(f
log
·1，f
log
·2，
……
，f
log
·k)
ꢀꢀꢀ
(5)
[0056]
形成多元特征像素对f
cat
·k后，将其送入到正常图像逻辑特征聚合的记忆库m
log
中，然后同样采用上文结构异常检测中提到的基于贪心策略的子采样方法，剔除冗余的逻辑特征，最终得到用于检测逻辑异常的逻辑特征记忆库m
log
[0057]
结构特征记忆库m
con
和逻辑特征记忆库m
log
共同组成特征记忆库m
bank
，定义如下：
[0058]mbank
＝m
con
∪m
log
ꢀꢀꢀ
(6)
[0059]
测试阶段如图3，具体介绍如下：
[0060]
测试图像i
test
输入结构特征提取分支网络n
con
和逻辑特征提取分支网络n
log
，两个网络分别获得其对应的结构特征f
con
和逻辑特征f
log
。结构特征提取分支网络在训练阶段已经将正常图像像素级的结构特征存入结构特征记忆库m
con
，在测试时通过计算测试图像像素特征与m
con
中正常像素特征f
con
之间的最大距离得分来估计测试图像的异常得分，并通过计算每个像素的异常得分得到测试图像的结构异常分值图s
loc
。逻辑特征提取分支网络在训练阶段已经将正常图像像素对联系起来，并将其逻辑特征存入逻辑特征记忆库m
log
，在测试时通过计算图像像素对特征f
log
与m
log
中正常像素对间的全局一致性来估计测试图像的异常得分，并通过计算每个像素对的一致性得到测试图像的逻辑异常分值图s
log
。最后，将结构异常分值图s
con
和逻辑异常分值图s
log
融合，最终得到的异常分值s
map
作为测试图像的异常分值图。
[0061]
进一步地，在结构特征提取分支网络训练阶段，结构特征的获取过程如图3上方局部分支网络所示。首先正常样本被分解成一个像素级特征集合这里用
[0062][0063]
来表示正常训练样本xi∈xn在预训练好的网络φ第j层中c
*
维度位置h∈{1，...，h
*
}和w∈{1，...，w
*
}的特征，该位置被称为一个特征块m，即一个像素特征块。
[0064]
对于所有正常样本上的训练样本xi∈xn，结构特征记忆库m
con
简单定义为
[0065][0066]
为了保证推理速度，提高检测效率，在这里我们使用一个核心集子采样机制来减少特征记忆库m，从概念上讲，核心集选择的目的是找到一个子集使得m上的问题解决方案与mc上的解决方案接近。
[0067][0068]
的即为我们经过核心集子采样后得到的特征库，为方便示意，以下特征库仍用m
con
和m
log
表示，实际均为经核心集子采样后的特征库。
[0069]
通过计算测试特征块m
test，*
与m
con
中每个最近邻m
*
之间的最大距离得分来估计测试图像x
test
的结构异常分值图
[0070][0071][0072]mtest
为每个测试特征块，m为在结构特征库中寻找的特征块。
[0073]
在逻辑异常训练阶段，逻辑特征的获取过程如图3下方逻辑特征提取分支网络所示。
[0074]
正常样本分解成像素级特征集合预训练网络提取产品图像在不同位置正常像素特征，如f
top-left
、f
middle-down
结对，f
top-center
、f
bottom-left
结对，f
top-right
、f
bottom-center
结对，f
middle-up
、f
bottom-right
结对，在像素特征与水平或垂直角度夹角θ＜θ
min
的前提下，随机组成k组像素对，通过合并连接(cat)将像素对逻辑特征用m
cat-k
表示，从而得到不同尺度的长短距离像素对依赖关系的逻辑特征m
cat-1
……mcat-k
，经多尺度特征融合(mff)后的逻辑特征表示为m
cat-k
，定义如下
[0075]mcat
·k＝mff(m
cat
·1，m
cat
·2，
……
，m
cat
·k)
ꢀꢀꢀ
(12)
[0076]
然后将其存入逻辑特征记忆库m
log
。这里用x
i-pair
表示同层网络中的特征像素对，φ
j-multi
表示预训练好的网络φ多个不同的第j层，mff(φj·
multi
(xi·
pair
))表示经多尺度特征融合后的逻辑特征像素对。
[0077]
对于所有正常样本上的训练样本xi∈xn，逻辑特征记忆库m
log
简单定义为
[0078][0079]
有了逻辑描述的特征记忆库m
log
，我们通过计算测试特征块集合中特征m
test
结对形成的像素对逻辑特征与m
log
中每个最近邻像素逻辑特征像素m
cat
之间的最大距离得分来计算测试图像的逻辑异常分值图
[0080][0081][0082]
最终得到的异常分值图
[0083][0084]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于像素单点及多元配对的无监督异常检测方法，其特征在于，该方法包括下列步骤：s1构建用于提取图像的像素特征的结构特征提取分支网络和用于逻辑特征提取的逻辑特征提取分支网络；s2将用于训练的图像分别输入所述结构特征提取分支网络和逻辑特征提取分支网络中，以此提取获得每幅图像的像素特征和逻辑特征，所有图像的像素特征形成结构特征记忆库，所有图像的逻辑特征形成逻辑特征记忆库；s3将待测试图像分别输入所述结构特征提取分支网络和辑特征提取分支网络中，以此获得该待测试图像对应的测试像素特征和测试逻辑特征，计算测试像素特征与所述结构特征记忆库中的像素特征之间距离的最大距离得分来获取待测试图像的异常得分，以此获得该待测图像的结构异常分值图；计算测试逻辑特征与所述逻辑特征记忆库中的逻辑特征之间的全局一致性来获取待测试图像的异常得分，以此获得该待测图像的逻辑异常分值图；s4将所述结构异常分值图与所述逻辑异常分值图融合获得待测试图像总的异常分值图，该异常分值图中各处的异常分值与预设阈值相比较，大于预设阈值的位置为缺陷所在位置，否则为正常，以此确定待测试图像的缺陷所在位置。2.如权利要求1所述的一种基于像素单点及多元配对的无监督异常检测方法，其特征在于，在步骤s1中，所述结构特征提取分支网络和逻辑特征提取分支网络均采用在imagenet数据集上进行预训练的wide resnet50网络。3.如权利要求1或2所述的一种基于像素单点及多元配对的无监督异常检测方法，其特征在于，在步骤s2中，所述逻辑特征提取分支网络按照下列步骤形成逻辑特征记忆库：s21对于所述逻辑特征提取分支网络，抽取其中各个特征层中的一组或多组像素特征对；s22在每个特征层中将所述像素特征对按照预设像素对的数量连接形成多元像素对，以此获得所有特征层中的多元像素对；s23将不同特征层的所述多元像素进行对齐，所有对齐后的多元像素形成逻辑特征记忆库。4.如权利要求3所述的一种基于像素单点及多元配对的无监督异常检测方法，其特征在于，在步骤s3中，所述对齐采用多尺度特征融合的方法。5.如权利要求1或2所述的一种基于像素单点及多元配对的无监督异常检测方法，其特征在于，在步骤s3中，所述结构异常分值图中的异常得分按照下列关系式计算：征在于，在步骤s3中，所述结构异常分值图中的异常得分按照下列关系式计算：其中，是结构异常分值，m
test，*
是测试像素结构特征，m
*
是与m
test，*
具有最大相似度的训练像素结构特征。6.如权利要求1或2所述的一种基于像素单点及多元配对的无监督异常检测方法，其特征在于，在步骤s3中，所述逻辑异常分值图中的异常得分按照下列关系式计算：
其中，是逻辑异常分值，是测试像素逻辑特征，是与具有最大相似度的训练像素逻辑特征。7.如权利要求1或2所述的一种基于像素单点及多元配对的无监督异常检测方法，其特征在于，在步骤s4中，所述待测试图像总的异常分值图按照下列关系式进行计算：其中，是结构异常分值，是逻辑异常分值。8.如权利要求1或2所述的一种基于像素单点及多元配对的无监督异常检测方法，其特征在于，在步骤s2中，所述结构特征记忆库和逻辑特征记忆库形成后，还需要对各个记忆库中的元素进行数据处理，以此剔除不合格的数据。9.如权利要求7所述的一种基于像素单点及多元配对的无监督异常检测方法，其特征在于，所述数据处理采用贪心策略的子采样的方法。

技术总结
本发明属于工业图像缺陷检测相关技术领域，并公开了一种基于像素单点及多元配对的无监督异常检测方法。该方法包括下列步骤：S1构建结构特征提取分支网络和逻辑特征提取分支网络；S2将用于训练的图像分别输入所述结构特征提取分支网络和逻辑特征提取分支网络中，形成结构特征记忆库和逻辑特征记忆库；S3获取待测试图像对应的测试像素特征和测试逻辑特征，获取待测图像的结构异常分值图和逻辑异常分值图；S4将结构异常分值图与所述逻辑异常分值图融合获得待测试图像总的异常分值图，根据该异常分值图确定缺陷所在位置。通过本发明，解决产品图像中表面结构和位置逻辑异常的问题。决产品图像中表面结构和位置逻辑异常的问题。决产品图像中表面结构和位置逻辑异常的问题。


技术研发人员：沈卫明 刘照阁 徐晓豪 曹云康
受保护的技术使用者：华中科技大学
技术研发日：2023.05.19
技术公布日：2023/8/28