一种缺陷级别的确定方法、装置、电子设备以及存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种缺陷级别的确定方法、装置、电子设备以及存储介质。


背景技术：

2.在工业机器视觉检测领域，外观缺陷的检测结果通常是根据外观缺陷的程度，判断是ng还是ok。但是，由于产品的制程、生产阶段不同，外观缺陷检测结果的判定基准会进行不同程度的调整，需要明确检出外观缺陷的程度级别，并以外观缺陷的程度为基准来调整外观缺陷检测结果的判定基准。因此，如何准确、稳定的对外观缺陷的程度进行分级，是工业机器视觉检测领域的一个重要课题。


技术实现要素：

3.本发明提供了一种缺陷级别的确定方法、装置、电子设备以及存储介质，以实现对外观缺陷的分级评价。
4.第一方面，本发明实施例提供了一种缺陷级别的确定方法，该方法包括：
5.确定至少两个缺陷级别的样本数据，所述样本数据包括尺寸特征数据和图像灰度特征数据；
6.通过所述至少两个缺陷级别的样本数据，对预先设置的机器学习模型进行训练，得到缺陷级别确定模型；
7.将待处理图像输入至所述缺陷级别确定模型，得到所述缺陷级别确定模型输出的缺陷级别结果。
8.第二方面，本发明实施例还提供了一种缺陷级别的确定装置，该装置包括：
9.样本数据确定模块，用于确定至少两个缺陷级别的样本数据，所述样本数据包括尺寸特征数据和图像灰度特征数据；
10.缺陷级别确定模型确定模块，用于通过所述至少两个缺陷级别的样本数据，对预先设置的机器学习模型进行训练，得到缺陷级别确定模型；
11.缺陷级别结果确定模块，用于将待处理图像输入至所述缺陷级别确定模型，得到所述缺陷级别确定模型输出的缺陷级别结果。
12.第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明实施例中任一所述的缺陷级别的确定方法。
13.第四方面，本发明实施例还提供了一种存储计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明实施例中任一所述的缺陷级别的确定方法。
14.本发明实施例的技术方案，通过确定多个不同缺陷级别的样本数据，样本数据中包括尺寸特征数据和图像灰度特征数据，通过样本数据对预先设置的机器学习模型进行训
练，得到缺陷级别确定模型，通过缺陷级别确定模型对待处理图像进行缺陷级别确定。解决了现有技术中仅能做出ng或者ok两种外观缺陷检测结果，无法适应外观缺陷检测的不同现场，对外观缺陷检测结果的判定基准进行调整的问题，实现了对外观缺陷的分级评价。
15.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
16.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1是本发明实施例一提供的一种缺陷级别的确定方法的流程图；
18.图2是本发明实施例一提供的一种不同缺陷级别的示意图；
19.图3是本发明实施例二提供的一种缺陷级别的确定方法的流程图；
20.图4是本发明实施例三提供的一种缺陷级别的确定装置的结构示意图；
21.图5是本发明实施例四提供的一种电子设备的结构示意图。
具体实施方式
22.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
23.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
24.实施例一
25.图1为本发明实施例一提供了一种缺陷级别的确定方法的流程图，本实施例可适用于对待检测产品拍摄得到的待处理图像进行外观缺陷分级评价的情况，该方法可以由缺陷级别的确定装置来执行，该缺陷级别的确定装置可以采用硬件和/或软件的形式实现，该缺陷级别的确定装置可配置于电子设备中。
26.如图1所示，该方法包括：
27.s110、确定至少两个缺陷级别的样本数据，所述样本数据包括尺寸特征数据和图像灰度特征数据。
28.其中，缺陷级别是根据缺陷的不同程度对缺陷的分级描述，图2提供了一种不同缺
陷级别的示意图，其中，图2包括五个小图，图2(1)的缺陷程度最轻微，图2(2)的缺陷程度比较轻微，图2(3)的缺陷程度中等，图2(4)的缺陷程度比较严重，图2(5)的缺陷程度特别严重。具体的，缺陷级别可以用数字或者字母进行表示，缺陷级别的类型的数量为至少两个。示例性的，可以用1、2、3
……
表示不同的缺陷级别，数字越大表示缺陷程度越严重，还可以用a、b、c
……
表示不同的缺陷级别，字母排序越靠后表示缺陷程度越严重，但是，本实施例对缺陷级别的不同类型的数量、表现形式，以及不同表现形式对应的缺陷程度不进行限制。
29.其中，样本数据可以包括历史样本数据，和/或，根据缺陷图像确定得到的缺陷轮廓、缺陷级别以及特征数据等组成的样本数据。其中，历史样本数据是指已存储的样本数据，可以包括缺陷级别、缺陷数量、尺寸特征数据和图像灰度特征数据，历史样本数据对应的缺陷图像是已标注缺陷轮廓和缺陷级别的图像，为节省存储空间，历史样本数据也可以不保存缺陷图像，只保留缺陷级别、缺陷数量、尺寸特征数据和图像灰度特征数据等信息。当样本数据包括根据缺陷图像确定得到的缺陷轮廓、缺陷级别以及特征数据等组成的样本数据时，首先获取缺陷图像，对缺陷图像进行缺陷轮廓提取、缺陷级别标注，并根据缺陷图像计算尺寸特征数据和图像灰度特征数据。
30.其中，所述尺寸特征数据包括以下至少一项：缺陷长度、缺陷宽度以及根据缺陷长度和/或缺陷宽度计算得到的其他尺寸特征数据；所述图像灰度特征数据包括以下至少一项：缺陷图像对比度、缺陷图像灰度以及根据缺陷图像对比度和/或缺陷图像灰度计算得到的其他图像灰度特征数据。
31.示例性的，尺寸特征数据可以包括缺陷最大长度(缺陷在长度方向上的最大值)、缺陷最小长度(缺陷在长度方向上的最小值)、缺陷平均长度、缺陷最大宽度(缺陷在宽度方向上的最大值)、缺陷最小宽度(缺陷在宽度方向上的最小值)、缺陷平均宽度以及缺陷面积等。图像灰度特征数据可以包括缺陷图像对比度、缺陷图像灰度均值、缺陷图像灰度差值(缺陷图像中灰度最大值和灰度最小值的差值)以及缺陷图像灰度方差等。本实施例对尺寸特征数据和图像灰度特征数据的类型、具体数量以及计算方式不进行限制。
32.在本实施例中，确定多个缺陷级别的样本数据，从而使后续根据样本数据训练得到的缺陷级别确定模型，能够对外观缺陷进行分级评价。同时，样本数据中包含尺寸特征数据和图像灰度特征数据，通过缺陷的尺寸、灰度等特征进行模型训练，能够提高模型的缺陷级别确定结果的准确性。
33.进一步的，可以对样本数据进行归一化处理，以消除样本数据数值差异较大对模型训练效果的影响。
34.s120、通过所述至少两个缺陷级别的样本数据，对预先设置的机器学习模型进行训练，得到缺陷级别确定模型。
35.其中，机器学习模型可以是svm(support vector machines，支持向量机)模型，svm模型是一种二分类模型，svm模型可以融合缺陷的不同特征信息，实现缺陷的程度判定，但是，本实施例对机器学习模型的具体类型不进行限制。
36.在本实施例中，通过多个缺陷级别的样本数据进行模型训练，得到的缺陷级别确定模型能够对外观缺陷进行分级评价。同时，由于缺陷级别确定模型的缺陷级别结果是综合多个维度特征得到的结果，因此，可以针对不同外观缺陷检测的现场，进行缺陷级别确定模型的特征的调整，从而使缺陷级别确定模型更能适应不同的外观缺陷检测现场的实际情
况。
37.进一步的，s120又可以包括：根据与所述至少两个缺陷级别的样本数据匹配的尺寸特征和图像灰度特征，确定至少两个特征组合；通过与候选特征组合匹配的样本数据，对预先设置的机器学习模型进行训练，得到候选缺陷级别确定模型；在各候选缺陷级别确定模型中，确定目标缺陷级别确定模型，并确定与所述目标缺陷级别确定模型匹配的目标特征组合。
38.其中，不同的特征与缺陷级别的相关性不同，不同的特征对缺陷级别的影响度不同，因此，不同的特征组合对应的缺陷级别确定结果的准确性也不同。因此，本实施例对全部尺寸特征和图像灰度特征，确定不同的特征组合，对不同的特征组合，分别进行模型训练，选择模型训练结果最优的模型作为目标缺陷级别确定模型，模型训练结果最优的特征组合作为目标特征组合。其中，模型训练结果最优，可以是指模型准确度最高。
39.进一步的，对于不同特征数量，分别确定模型准确度最高的特征组合。根据各特征数量下的模型准确度最高的特征组合，确定各特征的使用频率，使用频率较高的是与缺陷级别确定结果相关性较强的关键特征，使用频率较低的是与缺陷级别确定结果相关性较弱的关键特征。因此，可以选择使用频率最高的预设数量个特征作为目标缺陷级别确定模型的目标特征组合。
40.示例性的，若尺寸特征和图像灰度特征共包括15个，模型训练所需的特征最低为5个，则对特征组合包括5-15个特征时，分别确定模型准确度最高的特征组合。再统计不同特征在模型准确度最高的特征组合中的使用频率，选择使用频率最高的6个特征作为目标缺陷级别确定模型的目标特征组合。示例性的，使用频率最高的6个特征可以分别是缺陷最小长度、缺陷最大长度、缺陷平均长度、缺陷平均宽度、缺陷图像对比度以及缺陷图像灰度方差。
41.在本实施例中，确定最优的特征组合，能够提高模型缺陷级别确定的准确性。
42.s130、将待处理图像输入至所述缺陷级别确定模型，得到所述缺陷级别确定模型输出的缺陷级别结果。
43.其中，待处理图像是对待检测外观缺陷的产品进行拍摄得到的图像，或者，对拍摄得到的图像进行进一步处理之后得到的图像，所述进一步处理可以是指旋转、裁剪、感兴趣区域的提取或者二值化处理等，本实施例此不进行限制。
44.在本实施例中，通过多个缺陷类别的样本数据进行模型训练得到的缺陷级别确定模型，对待处理图像进行外观缺陷的缺陷级别的判定，得到的缺陷级别结果是综合缺陷的多维度特征得到的判定结果，不仅可以更精确地检测缺陷程度，更能针对不同级别的缺陷，采取不同的处理方式对生产过程进行调整，降低了外观缺陷检测的人力成本和设备维护成本。
45.本发明实施例的技术方案，通过确定多个不同缺陷级别的样本数据，样本数据中包括尺寸特征数据和图像灰度特征数据，通过样本数据对预先设置的机器学习模型进行训练，得到缺陷级别确定模型，通过缺陷级别确定模型对待处理图像进行缺陷级别确定。解决了现有技术中仅能做出ng或者ok两种外观缺陷检测结果，无法适应外观缺陷检测的不同现场，对外观缺陷检测结果的判定基准进行调整的问题，实现了对外观缺陷的分级评价。
46.实施例二
47.图3为本发明实施例二提供的一种缺陷级别的确定方法的流程图，本发明实施例在上述实施例的基础上，对确定样本数据的过程和模型训练的过程进行了进一步的具体化，并加入了模型训练过程中偏差样本数据修复的过程。
48.如图3所示，该方法包括：
49.s210、确定至少两个缺陷图像的缺陷轮廓和缺陷级别标注结果。
50.在本实施例中，对各缺陷图像，分别进行缺陷轮廓提取，以及缺陷级别标注。进一步的，各缺陷图像至少包括两个缺陷类别，并且不同缺陷类别的缺陷图像的数量应分布均衡，以避免不同缺陷类别的缺陷图像数量分布不均对模型训练效果的影响。示例性的，若缺陷级别共包括5种，则可以确定缺陷图像的总数量大于3000，每种缺陷级别对应的缺陷图像的数量不少于500，但是，本实施例对缺陷图像的总数，以及不同缺陷级别对应的缺陷图像的数量不进行限制。
51.具体的，为保证缺陷级别标注的准确性和客观性，确定缺陷图像的缺陷级别标注结果，可以通过对各缺陷图像进行随机抽样，通过专家组分别对抽样缺陷图像进行缺陷级别标注，综合专家组中各专家对抽样缺陷图像的缺陷级别标注情况，确定抽样缺陷图像的缺陷级别标注结果。对于除抽样缺陷图像之外的其余缺陷图像，通过打分组参考专家组中各专家对抽样缺陷图像的缺陷级别标注情况，分别对其余缺陷图像进行缺陷级别标注，综合打分组中各打分人对其余缺陷图像的缺陷级别标注情况，确定其余缺陷图像的缺陷级别标注结果。将抽样缺陷图像的缺陷级别标注结果和其余缺陷图像的缺陷级别标注结果进行汇总，得到全部缺陷图像的缺陷级别标注结果。其中，综合专家组中各专家对抽样缺陷图像的缺陷级别标注情况，确定抽样缺陷图像的缺陷级别标注结果，示例性的，若缺陷级别共包括5种，分别通过数字1-5进行表示，数字越大表示缺陷程度越严重，专家组中各专家对抽样缺陷图像a的缺陷级别分别标注为2、3、2、2、2，则可以确定抽样缺陷图像a的缺陷级别标注结果为2。同理，综合打分组中各打分人对其余缺陷图像的缺陷级别标注情况，确定其余缺陷图像的缺陷级别标注结果，示例性的，若打分组中各打分人对其余缺陷图像c的缺陷级别分别标注为1、2、2、3、2，则可以确定其余缺陷图像c的缺陷级别标注结果为2。
52.进一步的，在确定缺陷图像的缺陷级别标注结果时，还可以剔除多个标注人中，明显存在标注异常的标注结果，示例性的，若缺陷图像m的缺陷级别分别标注为1、2、2、4、2，则可以将标注结果4剔除后，根据剩余的缺陷级别标注情况，确定缺陷图像的缺陷级别标注结果。
53.进一步的，在对缺陷图像进行缺陷级别标注时，为保证缺陷级别标注结果的准确性和统一性，需保证标注工具、标签格式等内容保持统一。
54.进一步的，在对缺陷图像进行缺陷轮廓提取以及缺陷级别标注之后，还可以对缺陷图像进行前景区域和背景区域的分离，以避免背景区域对缺陷图像的干扰。
55.s220、根据所述缺陷图像的缺陷轮廓，确定与所述缺陷图像匹配的尺寸特征数据，以及，根据所述缺陷图像，确定与所述缺陷图像匹配的图像灰度特征数据。
56.在本实施例中，根据缺陷图像中的缺陷轮廓，确定缺陷最大长度、缺陷最小长度、缺陷平均长度、缺陷最大宽度、缺陷最小宽度、缺陷平均宽度以及缺陷面积等尺寸特征数据。并对缺陷图像，确定缺陷图像对比度、缺陷图像灰度均值、缺陷图像灰度差值以及缺陷图像灰度方差等图像灰度特征数据。
57.当所述图像灰度特征数据包括缺陷图像对比度时，s220又可以包括：确定所述缺陷图像的背景区域；根据所述缺陷图像以及所述背景区域，确定亮灰度图的灰度均值以及暗灰度图的灰度均值；根据亮灰度图的灰度均值以及暗灰度图的灰度均值，确定绝对值图像的灰度均值，并将所述绝对值图像的灰度均值作为所述缺陷图像的缺陷图像对比度。
58.现有技术中，对比度的计算方式，通常是分别计算前景区域的灰度均值和背景区域的灰度均值，灰度均值通过区域内各像素点的灰度值之和与区域面积的比值进行计算。但是，这种对比度的计算方式，由于受到亮暗灰度相互抵消的影响，会导致对比度的计算结果不准确。为消除亮暗灰度相互抵消对对比度计算的影响，本实施例中通过绝对值图像就算对比度。
59.具体的，可以通过以下公式计算对比度：其中，g
light
表示亮灰度图，g
dark
表示暗灰度图，g1表示缺陷图像，g2表示背景区域，g表示绝对值图像，mult表示乘系数，add表示加系数，其中mult＝1，add＝0。g
1-g2表示若缺陷图像的灰度均值大于背景区域的灰度均值，则计算缺陷图像的灰度均值与背景区域的灰度均值的差值，否则将g
1-g2确定为0。同理，g
2-g1表示若背景区域的灰度均值大于缺陷图像的灰度均值，则计算背景区域的灰度均值与缺陷图像的灰度均值的差值，否则将g
2-g1确定为0。
60.进一步的，当所述图像灰度特征数据包括缺陷图像灰度差值时，根据所述缺陷图像，确定与所述缺陷图像匹配的图像灰度特征数据，包括：根据预设的异常比例，去除缺陷图像的各灰度值中的异常灰度值；将去除异常灰度值之后的各灰度值中的灰度值最大值与灰度值最小值之间的差值，作为缺陷图像的灰度差值。
61.示例性的，异常比例可以为5％，去除缺陷图像的各灰度值中较小的5％灰度值，以及较大的5％灰度值，根据剩余的灰度值中的灰度值最大值与灰度值最小值，计算灰度差值。在本实施例中，通过异常比例去除缺陷图像的各灰度值中的异常灰度值，提高了灰度差值的稳定性。
62.进一步的，当所述图像灰度特征数据包括缺陷图像灰度方差时，根据所述缺陷图像，确定与所述缺陷图像匹配的图像灰度特征数据，包括：
63.通过以下公式，计算缺陷图像灰度方差：其中，deviation表示灰度方差，mean表示灰度均值，r表示计算灰度均值的区域，在本实施例中r为缺陷图像，p表示r区域内的像素点，f表示r区域的面积，g(p)表示p点的灰度值。
64.s230、将所述至少两个缺陷级别的样本数据划分为训练数据和测试数据。
65.在本实施例中，训练数据与测试数据的比值可以为8:2，采用随机划分的方法划分训练数据和测试数据，但本实施例对训练数据与测试数据的比值不进行限制。
66.s240、通过所述训练数据，对预先设置的机器学习模型进行训练，并通过所述测试
数据，对训练之后的机器学习模型进行测试。
67.以机器学习模型为svm模型为例，在本实施例中，通过训练数据对svm模型进行训练，并将测试数据输入至训练之后的svm模型，判断训练之后的svm模型对测试数据的缺陷分级是否正确。
68.s250、判断训练之后的机器学习模型的准确度是否大于或等于预设准确度阈值，若是，则执行s2690，否则返回执行s240。
69.在本实施例中，将测试数据输入至训练之后的svm模型，统计训练之后的svm模型对各测试数据进行缺陷分级的准确度，具体的，若训练之后的svm模型对测试数据确定的缺陷级别与测试数据对应的缺陷级别相同，则认为svm模型对该测试数据的缺陷分级正确。否则，认为svm模型对该测试数据的缺陷分级不正确。统计svm模型对各个测试数据的缺陷分级结果的准确度，并记录缺陷分级不正确的测试数据。
70.需要进行说明的是，本实施例中以训练之后的机器学习模型的准确度为判断依据，判断模型训练是否完成，可选的，还可以以模型训练次数是否大于或等于预设次数阈值为依据，判断模型训练是否完成。或者，还可以将两个判断条件结合，共同作为模型训练是否完成的判断依据。在本实施例中，通过对模型训练次数的限制，可以避免模型过拟合。
71.其中，当所述缺陷级别的类型的数量大于或者等于预设数量阈值时，若确定目标测试数据对应的缺陷级别预测结果与目标测试数据对应的缺陷级别标注结果之间的级别差小于或等于预设偏差，则确定目标测试数据预测准确。
72.进一步的，本实施例中，当缺陷级别的类型的数量较多时，可以适当放宽对模型缺陷分级是否准确的条件的限制。例如，当缺陷级别共5种，分别用1-5进行表示时，将目标测试数据输入至训练之后的svm模型，得到缺陷级别预测结果，当缺陷级别预测结果与目标测试数据对应的缺陷级别标注结果的级别差在1以内(包括1)，即可以认为目标测试数据预测准确。
73.进一步的，可以确定缺陷级别预测结果与缺陷级别标注结果之间的级别差大于预设偏差的偏差样本数据，对所述偏差样本数据对应的缺陷图像，进行以下至少一项处理：重新确定缺陷轮廓、重新确定缺陷级别标注结果、重新确定尺寸特征数据，以及，重新确定图像灰度特征数据。
74.在本实施例中，对于缺陷级别预测结果与缺陷级别标注结果的级别差大于预设偏差的测试数据，将其作为偏差样本数据。记录各偏差样本数据，并分析各偏差样本数据分级异常的原因。示例性的，分级异常的原因可以包括提取的缺陷轮廓错误(偏大或偏小)、缺陷级别标注错误(偏高或偏低)、因拍摄环境亮度偏低等因素导致的对比度或者灰度计算异常等。相应的，当分级异常的原因为提取的缺陷轮廓错误时，重新确定缺陷轮廓，并重新确定缺陷级别标注结果、尺寸特征数据以及图像灰度特征数据；当分级异常的原因为缺陷级别标注错误时，重新确定缺陷级别标注结果，并重新确定尺寸特征数据和图像灰度特征数据；当分级异常的原因为对比度或者灰度计算异常时，则重新计算对比度或者灰度等图像灰度特征数据。
75.进一步的，在对偏差样本数据进行修正处理之后，可以对样本数据进行更新，并根据重新确定的样本数据，重新进行模型训练，以提高模型的准确度。
76.s260、得到缺陷级别确定模型。
77.进一步的，在得到缺陷级别确定模型之后，对模型训练利用的各样本数据进行存储，为节省存储空间，可以不保存缺陷图像，只保留缺陷级别、缺陷数量、尺寸特征数据和图像灰度特征数据等信息。每隔预设时间间隔，或者当确定累积的通过缺陷级别确定模型进行缺陷分级的图像数量大于或等于预设数量阈值时，或者接收到缺陷级别确定模型的特征组合调整指令之后，根据新的通过缺陷级别确定模型进行缺陷分级的图像，确定新的样本数据，并对模型进行重新训练，以使缺陷级别确定模型能够灵活适应外观检测的需求。
78.s270、将待处理图像输入至所述缺陷级别确定模型，得到所述缺陷级别确定模型输出的缺陷级别结果。
79.本发明实施例的技术方案，通过对缺陷图像分别进行缺陷轮廓提取，以及缺陷级别标注，并确定缺陷图像的尺寸特征数据和图像灰度特征数据，综合缺陷的尺寸、灰度、纹理等特征，能够实现对缺陷的分级分类评价，通过样本数据对预先设置的机器学习模型进行训练，在训练过程中，在缺陷级别的类型的数量较多时，对模型缺陷分级是否准确的条件进行放宽，只要缺陷级别预测结果与缺陷级别标注结果的级别差在预设偏差之内，则认定预测准确，并将预测不准确的测试数据进行记录，分析预测异常原因，对预测不准确的测试数据进行修复后重新进行模型训练，最终得到缺陷级别确定模型，提高了模型的准确度，通过缺陷级别确定模型对待处理图像进行缺陷级别确定。解决了现有技术中仅能做出ng或者ok两种外观缺陷检测结果，无法适应外观缺陷检测的不同现场，对外观缺陷检测结果的判定基准进行调整的问题，实现了综合多维特征对外观缺陷进行分级评价，可以针对不同外观缺陷检测的现场，进行缺陷级别确定模型的特征的调整，从而使缺陷级别确定模型更能适应不同的外观缺陷检测现场的实际情况。
80.实施例三
81.图4为本发明实施例三提供的一种缺陷级别的确定装置的结构示意图。如图4所示，该装置包括：样本数据确定模块310、缺陷级别确定模型确定模块320以及缺陷级别结果确定模块330。其中：
82.样本数据确定模块310，用于确定至少两个缺陷级别的样本数据，所述样本数据包括尺寸特征数据和图像灰度特征数据；
83.缺陷级别确定模型确定模块320，用于通过所述至少两个缺陷级别的样本数据，对预先设置的机器学习模型进行训练，得到缺陷级别确定模型；
84.缺陷级别结果确定模块330，用于将待处理图像输入至所述缺陷级别确定模型，得到所述缺陷级别确定模型输出的缺陷级别结果。
85.本发明实施例的技术方案，通过确定多个不同缺陷级别的样本数据，样本数据中包括尺寸特征数据和图像灰度特征数据，通过样本数据对预先设置的机器学习模型进行训练，得到缺陷级别确定模型，通过缺陷级别确定模型对待处理图像进行缺陷级别确定。解决了现有技术中仅能做出ng或者ok两种外观缺陷检测结果，无法适应外观缺陷检测的不同现场，对外观缺陷检测结果的判定基准进行调整的问题，实现了对外观缺陷的分级评价。
86.在上述实施例的基础上，所述尺寸特征数据包括以下至少一项：缺陷长度、缺陷宽度以及根据缺陷长度和/或缺陷宽度计算得到的其他尺寸特征数据；
87.所述图像灰度特征数据包括以下至少一项：缺陷图像对比度、缺陷图像灰度以及根据缺陷图像对比度和/或缺陷图像灰度计算得到的其他图像灰度特征数据。
88.在上述实施例的基础上，所述样本数据确定模块310，包括：
89.缺陷图像标注单元，用于确定至少两个缺陷图像的缺陷轮廓和缺陷级别标注结果；
90.缺陷图像特征确定单元，用于根据所述缺陷图像的缺陷轮廓，确定与所述缺陷图像匹配的尺寸特征数据，以及，根据所述缺陷图像，确定与所述缺陷图像匹配的图像灰度特征数据。
91.在上述实施例的基础上，当所述图像灰度特征数据包括缺陷图像对比度时，所述缺陷图像特征确定单元，具体用于：
92.确定所述缺陷图像的背景区域；
93.根据所述缺陷图像以及所述背景区域，确定亮灰度图的灰度均值以及暗灰度图的灰度均值；
94.根据亮灰度图的灰度均值以及暗灰度图的灰度均值，确定绝对值图像的灰度均值，并将所述绝对值图像的灰度均值作为所述缺陷图像的缺陷图像对比度。
95.在上述实施例的基础上，缺陷级别确定模型确定模块320，包括：
96.特征组合确定单元，用于根据与所述至少两个缺陷级别的样本数据匹配的尺寸特征和图像灰度特征，确定至少两个特征组合；
97.候选缺陷级别确定模型训练单元，用于通过与候选特征组合匹配的样本数据，对预先设置的机器学习模型进行训练，得到候选缺陷级别确定模型；
98.缺陷级别确定模型确定单元，用于在各候选缺陷级别确定模型中，确定目标缺陷级别确定模型，并确定与所述目标缺陷级别确定模型匹配的目标特征组合。
99.在上述实施例的基础上，缺陷级别确定模型确定模块320，包括：
100.样本数据划分单元，用于将所述至少两个缺陷级别的样本数据划分为训练数据和测试数据；
101.模型训练单元，用于通过所述训练数据，对预先设置的机器学习模型进行训练，并通过所述测试数据，对训练之后的机器学习模型进行测试；
102.模型训练完成条件判断单元，用于重复通过所述训练数据，对预先设置的机器学习模型进行训练，并通过所述测试数据，对训练之后的机器学习模型进行测试的操作，直至训练之后的机器学习模型的准确度大于或等于预设准确度阈值，和/或，模型训练次数大于或等于预设次数阈值，得到缺陷级别确定模型；
103.其中，当所述缺陷级别的类型的数量大于或者等于预设数量阈值时，若确定目标测试数据对应的缺陷级别预测结果与目标测试数据对应的缺陷级别标注结果之间的级别差小于或等于预设偏差，则确定目标测试数据预测准确。
104.在上述实施例的基础上，所述装置，还包括：
105.偏差样本数据确定单元，用于确定缺陷级别预测结果与缺陷级别标注结果之间的级别差大于预设偏差的偏差样本数据；
106.偏差样本数据处理单元，用于对所述偏差样本数据对应的缺陷图像，进行以下至少一项处理：重新确定缺陷轮廓、重新确定缺陷级别标注结果、重新确定尺寸特征数据，以及，重新确定图像灰度特征数据。
107.本发明实施例所提供的缺陷级别的确定装置可执行本发明任意实施例所提供的
缺陷级别的确定方法，具备执行方法相应的功能模块和有益效果。
108.实施例四
109.图5示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
110.如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(rom)12、随机访问存储器(ram)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
111.电子设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
112.处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(中央处理器)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如缺陷级别的确定方法。
113.在一些实施例中，缺陷级别的确定方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的缺陷级别的确定方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行缺陷级别的确定方法。
114.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
115.用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置
的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
116.在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
117.为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
118.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
119.计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
120.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
121.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

技术特征：
1.一种缺陷级别的确定方法，其特征在于，包括：确定至少两个缺陷级别的样本数据，所述样本数据包括尺寸特征数据和图像灰度特征数据；通过所述至少两个缺陷级别的样本数据，对预先设置的机器学习模型进行训练，得到缺陷级别确定模型；将待处理图像输入至所述缺陷级别确定模型，得到所述缺陷级别确定模型输出的缺陷级别结果。2.根据权利要求1所述的方法，其特征在于，所述尺寸特征数据包括以下至少一项：缺陷长度、缺陷宽度以及根据缺陷长度和/或缺陷宽度计算得到的其他尺寸特征数据；所述图像灰度特征数据包括以下至少一项：缺陷图像对比度、缺陷图像灰度以及根据缺陷图像对比度和/或缺陷图像灰度计算得到的其他图像灰度特征数据。3.根据权利要求2所述的方法，其特征在于，确定至少两个缺陷级别的样本数据，包括：确定至少两个缺陷图像的缺陷轮廓和缺陷级别标注结果；根据所述缺陷图像的缺陷轮廓，确定与所述缺陷图像匹配的尺寸特征数据，以及，根据所述缺陷图像，确定与所述缺陷图像匹配的图像灰度特征数据。4.根据权利要求3所述的方法，其特征在于，当所述图像灰度特征数据包括缺陷图像对比度时，所述根据所述缺陷图像，确定与所述缺陷图像匹配的图像灰度特征数据，包括：确定所述缺陷图像的背景区域；根据所述缺陷图像以及所述背景区域，确定亮灰度图的灰度均值以及暗灰度图的灰度均值；根据亮灰度图的灰度均值以及暗灰度图的灰度均值，确定绝对值图像的灰度均值，并将所述绝对值图像的灰度均值作为所述缺陷图像的缺陷图像对比度。5.根据权利要求1所述的方法，其特征在于，通过所述至少两个缺陷级别的样本数据，对预先设置的机器学习模型进行训练，得到缺陷级别确定模型，包括：根据与所述至少两个缺陷级别的样本数据匹配的尺寸特征和图像灰度特征，确定至少两个特征组合；通过与候选特征组合匹配的样本数据，对预先设置的机器学习模型进行训练，得到候选缺陷级别确定模型；在各候选缺陷级别确定模型中，确定目标缺陷级别确定模型，并确定与所述目标缺陷级别确定模型匹配的目标特征组合。6.根据权利要求1所述的方法，其特征在于，通过所述至少两个缺陷级别的样本数据，对预先设置的机器学习模型进行训练，得到缺陷级别确定模型，包括：将所述至少两个缺陷级别的样本数据划分为训练数据和测试数据；通过所述训练数据，对预先设置的机器学习模型进行训练，并通过所述测试数据，对训练之后的机器学习模型进行测试；重复通过所述训练数据，对预先设置的机器学习模型进行训练，并通过所述测试数据，对训练之后的机器学习模型进行测试的操作，直至训练之后的机器学习模型的准确度大于或等于预设准确度阈值，和/或，模型训练次数大于或等于预设次数阈值，得到缺陷级别确定模型；
其中，当所述缺陷级别的类型的数量大于或者等于预设数量阈值时，若确定目标测试数据对应的缺陷级别预测结果与目标测试数据对应的缺陷级别标注结果之间的级别差小于或等于预设偏差，则确定目标测试数据预测准确。7.根据权利要求6所述的方法，其特征在于，所述方法，还包括：确定缺陷级别预测结果与缺陷级别标注结果之间的级别差大于预设偏差的偏差样本数据；对所述偏差样本数据对应的缺陷图像，进行以下至少一项处理：重新确定缺陷轮廓、重新确定缺陷级别标注结果、重新确定尺寸特征数据，以及，重新确定图像灰度特征数据。8.一种缺陷级别的确定装置，其特征在于，包括：样本数据确定模块，用于确定至少两个缺陷级别的样本数据，所述样本数据包括尺寸特征数据和图像灰度特征数据；缺陷级别确定模型确定模块，用于通过所述至少两个缺陷级别的样本数据，对预先设置的机器学习模型进行训练，得到缺陷级别确定模型；缺陷级别结果确定模块，用于将待处理图像输入至所述缺陷级别确定模型，得到所述缺陷级别确定模型输出的缺陷级别结果。9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的缺陷级别的确定方法。10.一种存储计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的缺陷级别的确定方法。

技术总结
本发明公开了一种缺陷级别的确定方法、装置、电子设备以及存储介质。该方法包括：确定至少两个缺陷级别的样本数据，所述样本数据包括尺寸特征数据和图像灰度特征数据；通过所述至少两个缺陷级别的样本数据，对预先设置的机器学习模型进行训练，得到缺陷级别确定模型；将待处理图像输入至所述缺陷级别确定模型，得到所述缺陷级别确定模型输出的缺陷级别结果。本发明的技术方案，可以实现对外观缺陷的分级评价。价。价。


技术研发人员：康照川
受保护的技术使用者：苏州凌云光工业智能技术有限公司
技术研发日：2023.06.28
技术公布日：2023/9/22