基于计算机视觉的不规则五金件表面缺陷检测方法与流程

1.本发明涉及图像数据处理技术领域，具体涉及一种基于计算机视觉的不规则五金件表面缺陷检测方法。


背景技术：

2.五金件是制造或加工等方面用于组装或者连接其它部分的金属件，比如汽车门把手、紧固件、垫圈等，五金件被广泛应用于家具、建筑、汽车和电子器件等领域，是诸多制造领域的重要组成部分。很多五金件具有不规则形状，比如汽车门把手，汽车门把手作为一种最为常见的不规则五金件，其缺陷情况可以反映出汽车整体的质量情况，因此，对汽车门把手这种不规则五金件的缺陷检测尤为重要。
3.目前对不规则五金件表面缺陷检测主要采用机器视觉的方法，不仅加快了对不规则五金件表面缺陷检测的速度，而且对不规则五金件表面缺陷检测的准确度较高。一般采用图像匹配算法对不规则五金件表面缺陷进行检测，其中，图像匹配算法中存在滑动窗口划分不合理，进而导致匹配的精度降低，从而对不规则五金件表面缺陷检测的准确性降低，不能准确检测出不规则五金件表面缺陷。


技术实现要素：

4.为了解决图像匹配算法中存在滑动窗口划分不合理，导致不能准确检测出不规则五金件表面缺陷的技术问题，本发明的目的在于提供一种基于计算机视觉的不规则五金件表面缺陷检测方法，所采用的技术方案具体如下：本发明提出了一种基于计算机视觉的不规则五金件表面缺陷检测方法，该方法包括以下步骤：获取不规则五金件表面图像的灰度图像；将所述灰度图像的边界像素点划分为监测像素点和待连接像素点；对于任意一个监测像素点，获取该监测像素点与至少两个待连接像素点之间的线段，作为检测线段，根据检测线段上像素点的灰度值异常情况，获得异常检测线段，以及异常检测线段上的异常像素点；根据每个监测像素点的第一预设异常检测线段上的每个异常像素点和第二预设异常检测线段上的每个异常像素点之间的距离，以及第一预设异常检测线段和第二预设异常检测线段之间的夹角，获取每个监测像素点的缺陷影响值；根据监测像素点的所述缺陷影响值，以及第一预设异常检测线段和第二预设异常检测线段的角度，获取所述灰度图像的异常影响度；根据所述异常影响度对预设的初始滑动窗口的大小进行调整，获得目标滑动窗口；根据所述目标滑动窗口，采用模板匹配算法对不规则五金件表面进行缺陷检测。
5.进一步地，所述检测线段的获取方法为：以每个监测像素点为原点，沿着预设的方向，每间隔预设角度的大小，获取监测像
素点与待连接像素点之间的线段，作为检测线段。
6.进一步地，所述异常检测线段的获取方法为：任选一条检测线段作为目标线段，将目标线段上的所有像素点作为目标像素点；获取目标像素点的灰度值的方差，作为第一方差；将所述第一方差归一化的结果，作为目标线段的缺陷判定系数；当缺陷判定系数大于预设的缺陷判定系数阈值时，目标线段为异常检测线段。
7.进一步地，所述异常像素点的获取方法为：通过lof算法获取所述异常检测线段中每个像素点的局部离群因子；当局部离群因子大于预设的局部离群因子阈值时，对应的像素点为异常像素点。
8.进一步地，所述根据每个监测像素点的第一预设异常检测线段上的每个异常像素点和第二预设异常检测线段上的每个异常像素点之间的距离，以及第一预设异常检测线段和第二预设异常检测线段之间的夹角，获取每个监测像素点的缺陷影响值的方法为：任选一个监测像素点作为目标监测像素点，将目标监测像素点对应的异常检测线段，根据异常检测线段的角度的大小进行排序，获得目标监测像素点的异常检测线段序列；获取目标监测像素点的异常检测线段序列中的第一预设异常检测线段上的每个异常像素点和第二预设异常检测线段上的每个异常像素点之间的距离的均值，作为目标监测像素点的缺陷距离均值；将目标监测像素点的异常检测线段序列中的第一预设异常检测线段和第二预设异常检测线段之间的夹角的大小进行归一化的结果，作为目标监测像素点的缺陷范围标记值；计算所述缺陷距离均值与所述缺陷范围标记值的乘积，作为目标监测像素点的缺陷影响值。
9.进一步地，所述根据监测像素点的所述缺陷影响值，以及第一预设异常检测线段和第二预设异常检测线段的角度，获取所述灰度图像的异常影响度的方法为：当缺陷影响值大于预设的缺陷影响值阈值时，将对应的监测像素点作为参考监测像素点；根据参考监测像素点的缺陷影响值，以及每个参考监测像素点的第一预设异常检测线段和第二预设异常检测线段的角度的大小，获取所述灰度图像的异常影响度。
10.进一步地，所述异常影响度的获取方法为：根据异常影响度的公式获取所述异常影响度，所述异常影响度的公式为：；式中，为异常影响度；p为参考监测像素点的总数量；为第i个参考监测像素点的缺陷影响值；为第i个参考监测像素点的第一预设异常检测线段的角度的大小；为第i个参考监测像素点的第二预设异常检测线段的角度的大小；为参考角度；e为自然常数；exp为以自然常数e为底数的指数函数；为绝对值函数。
11.进一步地，所述根据所述异常影响度对预设的初始滑动窗口的大小进行调整，获
得目标滑动窗口；根据所述目标滑动窗口，采用模板匹配算法对不规则五金件表面进行缺陷检测的方法为：将所述异常影响度进行归一化的结果，作为第一结果；将所述第一结果与预设的初始滑动窗口的初始边长的乘积作为第二结果；其中，初始滑动窗口为边长相等的滑动窗口；将第二结果进行四舍五入，获得的整数结果作为第三结果；将预设的初始滑动窗口的初始边长与第三结果的差值，作为调整结果；将调整结果作为初始滑动窗口调整后的边长，获得目标滑动窗口；根据目标滑动窗口，通过图像模板匹配算法中的bbs算法，获取每个目标滑动窗口对应的不规则五金件表面区域的匹配相似度；将匹配相似度进行归一化处理，获得归一化后的匹配相似度；当归一化后的匹配相似度小于预设的匹配相似度阈值时，将对应的调整后的滑动窗口对应的不规则五金件表面区域作为不规则五金件表面的缺陷区域。
12.进一步地，所述将所述灰度图像的边界像素点划分为监测像素点和待连接像素点的方法为：将灰度图像中不规则五金件所在区域的边缘像素点，作为边界像素点；获取每个边界像素点与其他边界像素点之间的距离，作为目标距离；获取预设目标距离对应的两个边界像素点所在的直线，将边界像素点划分为两部分，分别为监测像素点和待连接像素点。
13.本发明具有如下有益效果：通过对不规则五金件表面缺陷进行分析，获取不规则五金件表面缺陷的特征数据，构建不规则五金件表面的异常影响度，根据异常影响度，自适应的调整不规则五金件表面进行匹配的滑动窗口的大小，提高匹配的精度，进而通过图像模板匹配算法，准确的检测出不规则五金件表面的缺陷。
14.将边界像素点划分为监测像素点和待连接像素点，便于对不规则五金件区域内的缺陷区域进行获取；进而获取每个监测像素点与待连接像素点之间的检测线段，根据检测线段经过的像素点的灰度值异常情况，获得异常检测线段，以及异常检测线段上的异常像素点，初步确定每个监测像素点的检测线段经过的缺陷区域的大小，为进一步获取缺陷区域的大小提供条件；进而根据每个监测像素点的第一预设异常检测线段上的每个异常像素点和第二预设异常检测线段上的每个异常像素点之间的距离，以及第一预设异常检测线段和第二预设异常检测线段之间的夹角，准确获取每个监测像素点的缺陷影响值，确定每个监测像素点的缺陷特征，进而准确获取灰度图像的异常影响度，自适应的调整匹配的滑动窗口大小，提高图像模板匹配算法中的匹配精度，使得不规则五金件表面缺陷检测的更准确。
附图说明
15.为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，
还可以根据这些附图获得其它附图。
16.图1为本发明一个实施例所提供的一种基于计算机视觉的不规则五金件表面缺陷检测方法的流程示意图；图2为本发明一个实施例所提供的一种基于计算机视觉的不规则五金件质量评价方法的流程示意图。
具体实施方式
17.一种基于计算机视觉的不规则五金件表面缺陷检测方法实施例：为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于计算机视觉的不规则五金件表面缺陷检测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
18.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
19.下面结合附图具体的说明本发明所提供的一种基于计算机视觉的不规则五金件表面缺陷检测方法的具体方案。
20.请参阅图1，其示出了本发明一个实施例提供的一种基于计算机视觉的不规则五金件表面缺陷检测方法的流程示意图，该方法包括以下步骤：步骤s1：获取不规则五金件表面图像的灰度图像。
21.具体的，本发明实施例以汽车门把手为例，对汽车门把手的表面缺陷进行检测。因为汽车门把手比较小，表面存在缺陷不容易观察，因此，本发明实施例采用高分辨的ccd工业相机对汽车门把手进行拍摄，采集汽车门把手表面图像。其中，汽车门把手表面图像为rgb图像。由于汽车门把手的生产车间环境复杂，因此，拍摄的汽车门把手表面图像中可能存在较多的干扰因素，例如光照不均匀等因素，本发明实施例采用非局部均值滤波算法对汽车门把手表面图像进行降噪处理，降低汽车门把手表面图像中的噪声。其中，非局部均值滤波算法为公知技术，在此不进行赘述。
22.汽车门把手表面图像中可能含有非汽车门把手的其他背景区域，为了避免汽车门把手表面图像中的背景区域对汽车门把手中的缺陷检测造成干扰，本发明实施例使用语义分割网络获取只有汽车门把手的表面图像。其中，本发明实施例的语义分割网络使用u-net神经网络，输入为去噪后的含有汽车门把手的表面图像；输出为只有汽车门把手的表面图像；u-net神经网络训练打标签的方式为：将汽车门把手区域标记为1，其他背景区域标记为0；u-net神经网络的损失函数为交叉熵损失函数。其中，u-net神经网络为公知技术，在此不做赘述。需要说明的是，后续出现的汽车门把手表面图像均为只含有汽车门把手区域的表面图像。
23.将汽车门把手表面图像进行灰度化处理，获得汽车门把手表面图像的灰度图像。其中，灰度化处理为现有技术，在此不进行赘述。
24.本发明实施例的目的是：汽车门把手在生产过程中由于生产环境、制造工艺等问题，使得汽车门把手的表面存在较多缺陷，例如边缘产生缺口、表面出现凹坑、划痕、氧化等
缺陷问题，本发明实施例采用图像模板匹配算法中的bbs(best-buddies-similarity)算法，对汽车门把手表面缺陷进行检测，根据汽车门把手表面缺陷的特征构建异常影响度，调整匹配时的滑动窗口的大小，即对汽车门把手表面图像进行模板匹配时，根据汽车门把手表面缺陷的特征自适应的调整匹配的滑动窗口大小，使得汽车门把手表面图像与模版图像的匹配度更准确，进而对汽车门把手表面缺陷检测更准确。其中bbs(best-buddies-similarity)算法为公知技术，在此不进行赘述。
25.步骤s2：将灰度图像的边界像素点划分为监测像素点和待连接像素点；对于任意一个监测像素点，获取该监测像素点与至少两个待连接像素点之间的线段，作为检测线段，根据检测线段上像素点的灰度值异常情况，获得异常检测线段，以及异常检测线段上的异常像素点。
26.具体的，存在缺陷的汽车门把手，若流入到市场中，不仅会导致汽车存在外观缺陷，而且在使用的过程中可能由于汽车门把手缺陷造成巨大的损失，因此，对汽车门把手的缺陷检测非常重要。汽车门把手表面较为光滑，且表面为较亮的车漆颜色。当汽车门把手表面存在缺陷时，汽车门把手表面粗糙程度明显增加，在灰度图像中表现出较为明显的亮度差异，即像素点的灰度值会有明显的差异，同时，不同种类缺陷的形状也各不相同。为了准确的获取汽车门把手表面缺陷，本发明实施例获取可能存在缺陷的像素点即异常像素点，进而预测缺陷范围，根据缺陷范围获取异常影响度，对匹配的滑动窗口进行调整。其中，获取异常像素点的方法如下：（1）获取监测像素点和待连接像素点。
27.为了更好的获取缺陷区域，本发生实施例先将汽车门把手尽可能均匀的划分为两部分，进而将两部分对应的最外界的边界像素点进行连接，获得对应的线段，根据线段上像素点的灰度值分布，获取可能存在异常像素点的线段，根据可能存在异常像素点的线段，判断汽车门把手表面的缺陷情况，进而调整匹配的滑动窗口的大小。本发生实施例将汽车门把手两部分对应的最外界的边界像素点分别作为监测像素点和待连接像素点。
28.优选地，获取监测像素点和待连接像素点的方法为：将灰度图像中不规则五金件所在区域的边缘像素点，作为边界像素点；获取每个边界像素点与其他边界像素点之间的距离，作为目标距离；获取预设目标距离对应的两个边界像素点所在的直线，将边界像素点划分为两部分，分别为监测像素点和待连接像素点。
29.作为一个示例，通过canny边缘检测算法，获取灰度图像中汽车门把手的边缘像素点，将汽车门把手所在区域的最外层的边缘像素点作为边界像素点，即边界像素点构成的区域即为汽车门把手区域，汽车门把手内部的边缘像素点不为边界像素点。获取每个边界像素点与其他每个边界像素点之间的欧式距离，即为目标距离，本发明实施例设定最大的目标距离为预设目标距离，实施者可根据实际情况设定预设目标距离，在此不进行限定。其中，最大的目标距离可能至少存在两个，此时选取任意一个最大的目标距离都可以。将最大的目标距离对应的两个边界像素点进行连接，获得一条直线，该条直线将汽车门把手划分为两部分，此时划分的两部分最为接近，即最大的目标距离对应的直线越可能把汽车门把手均分为两部分，将两部分对应的边界像素点分别作为监测像素点和待连接像素点。其中，这两部分中的哪一部分边界像素点作为监测像素点都可以，相对的另一部分边界像素点一定为待连接像素点。
30.其中，canny边缘检测算法和欧式距离均为公知技术，在此不进行赘述。
31.（2）获取异常检测线段。
32.以每个监测像素点为起点，每个待连接像素点为端点，获取每个监测像素点与每个待连接像素点之间的线段，作为检测线段，进而对检测线段经过的像素点进行分析，确定每个检测线段是否经过缺陷区域。获取的每个监测像素点与每个待连接像素点之间的检测线段会有很多条，对每条检测线段均进行分析，会影响计算效率，本发明实施例为了提高计算的效率，同时保证计算的准确性，设定间隔预设角度的大小为10
°
，实施者可根据实际情况，设定间隔预设角度的大小，在此不进行限定。以每个监测像素点为原点，沿着预设的方向，每间隔预设角度的大小，获取监测像素点与待连接像素点之间的线段，作为本发明实施例参与运算的检测线段，当监测像素点在对应的间隔预设角度上不存在待连接像素点时，则该间隔预设角度上不存在检测线段。
33.作为一个示例，汽车门把手为一个长的条状，本发明实施例将汽车门把手的下半部分的边界像素点作为监测像素点，将汽车门把手的上半部分的边界像素点作为待连接像素点，以第k个监测像素点为例，将第k个监测像素点作为原点，将开始的预设的方向设定为0
°
，即从0
°
开始，每间隔10
°
获取第k个监测像素点在对应的角度上，第k个监测像素点与待连接像素点之间的检测线段，即以第k个监测像素点为起点，对应的角度上的待连接像素点为端点，获取第k个监测像素点与对应的角度上的待连接像素点之间的线段，即为检测线段。因为待连接像素点均在第k个监测像素点的上方，因此，到180
°
停止。在0
°
方向上，若不存在待连接像素点，则第k个监测像素点的0
°
方向上的检测线段不存在；若存在待连接像素点，则第k个监测像素点的0
°
方向上的检测线段存在，获取间隔的预设角度对应的角度上第k个监测像素点对应的检测线段，并构成一个集合，作为第k个监测像素点的检测线段集合。根据获取第k个监测像素点的检测线段集合的方法，获取每个监测像素点的检测线段集合。进而根据每条检测线段经过的像素点的灰度值分布情况，获取异常检测线段。
34.优选地，获取异常检测线段的方法为：任选一条检测线段作为目标线段，将目标线段上的所有像素点作为目标像素点；获取目标像素点的灰度值的方差，作为第一方差；将第一方差归一化的结果，作为目标线段的缺陷判定系数；当缺陷判定系数大于预设的缺陷判定系数阈值时，目标线段为异常检测线段。
35.作为一个示例，以第x条检测线段作为目标线段为例，通过bresenham直线算法，获取第x条检测线段所经过的像素点，即获得第x条检测线段中的所有像素点即目标像素点，其中，bresenham直线算法为公知技术，在此不进行赘述。根据每个目标像素点的灰度值，获取目标像素点的灰度值的方差，即为第一方差，将第一方差归一化的结果，作为第x条检测线段的缺陷判定系数，因此，获取第x条检测线段的缺陷判定系数的公式为：；式中，为第x条检测线段的缺陷判定系数；为第x条检测线段上第y个像素点的灰度值；为第x条检测线段上所有像素点的灰度值的均值；b为第x条检测线段上所有
像素点的数量；norm为归一化函数；为第一方差。
36.需要说明的是，第一方差越大，说明第x条检测线段上的像素点的灰度值的差异越大，第x条检测线段越可能经过缺陷区域，越大；因此，越大，第x条检测线段上越可能存在缺陷像素点。通过norm函数对第一方差进行归一化处理，因此的取值范围为0到1。
37.根据获取第x条检测线段的缺陷判定系数的方法，获取每条检测线段的缺陷判定系数。进而根据缺陷判定系数确定异常检测线段，即当缺陷判定系数大于预设的缺陷判定系数阈值时，对应的检测线段为异常检测线段。本发明实施例将缺陷判定系数阈值设定为0.1，实施者可根据实际情况进行设定，在此不进行限定。至此，获取每个监测像素点对应的异常检测线段。
38.（3）获取异常像素点。
39.优选地，获取异常像素点的方法为：通过局部离群因子（local outlier factor,lof）异常检测算法获取异常检测线段中每个像素点的局部离群因子；当局部离群因子大于预设的局部离群因子阈值时，对应的像素点为异常像素点。其中，局部离群因子（local outlier factor,lof）异常检测算法为公知技术，在此不进行赘述。
40.本发明实施例通过局部离群因子（local outlier factor,lof）异常检测算法获取异常检测线段中每个像素点的局部离群因子，本发明实施例设定局部离群因子阈值为0.2，实施者可根据实际情况进行设定，在此不进行限定，当局部离群因子大于预设的局部离群因子阈值时，对应的像素点为异常像素点。至此，获取每条异常检测线段上的异常像素点。确定异常检测线段上的异常像素点即缺陷像素点，进而更准确的获取汽车门把手表面的缺陷。
41.作为一个示例，以第s条异常检测线段为例，通过局部离群因子（local outlier factor,lof）异常检测算法获取第s条异常检测线段上每个像素点的局部离群因子，当局部离群因子大于预设的局部离群因子阈值时，对应的像素点为异常像素，获得第s条异常检测线段上的异常像素点。根据获取第s条异常检测线段上的异常像素点的方法，获取每条异常检测线段的异常像素点。
42.步骤s3：根据每个监测像素点的第一预设异常检测线段上的每个异常像素点和第二预设异常检测线段上的每个异常像素点之间的距离，以及第一预设异常检测线段和第二预设异常检测线段之间的夹角，获取每个监测像素点的缺陷影响值。
43.具体的，根据每个监测像素点的异常检测线段，可以初步确定每个监测像素点对应的异常检测线段经过的缺陷区域，为了更准确的获取每个监测像素点对应的异常检测线段经过的缺陷区域，获取监测像素点对应的异常检测线段中的异常像素点，根据异常像素点准确的获取缺陷区域。同时，监测像素点的异常检测线段的之间的夹角的大小，也能反映出监测像素点的异常检测线段经过的缺陷区域。因此，根据监测像素点的异常检测线段上的异常像素点，以及异常检测线段之间的夹角的大小，获取监测像素点受到的缺陷影响程
度即缺陷影响值。
44.优选地，获取缺陷影响值的方法为：任选一个监测像素点作为目标监测像素点，将目标监测像素点对应的异常检测线段，根据异常检测线段的角度的大小进行排序，获得目标监测像素点的异常检测线段序列；获取目标监测像素点的异常检测线段序列中的第一预设异常检测线段上的每个异常像素点和第二预设异常检测线段上的每个异常像素点之间的距离的均值，作为目标监测像素点的缺陷距离均值；将目标监测像素点的异常检测线段序列中的第一预设异常检测线段和第二预设异常检测线段之间的夹角的大小进行归一化的结果，作为目标监测像素点的缺陷范围标记值；计算缺陷距离均值与缺陷范围标记值的乘积，作为目标监测像素点的缺陷影响值。
45.作为一个示例，以步骤s2中的第k个监测像素点为例，其中，第k个监测像素点至少对应两条异常检测线段，将第k个监测像素点作为目标监测像素点。将第k个监测像素点对应的异常检测线段，根据异常检测线段与0
°
方向之间的夹角的大小，由小到大的顺序进行排序，作为第k个监测像素点的异常检测线段序列，本发明实施例设定第k个监测像素点的异常检测线段序列中的第一条异常检测线段作为第一预设异常检测线段，设定第k个监测像素点的异常检测线段序列中的最后一条异常检测线段作为第二预设异常检测线段，实施者可根据实际情况设定第一预设异常检测线段和第二预设异常检测线段，在此不进行限定。第k个监测像素点的第一条异常检测线段和最后一条异常检测线段可以大致确定第k个监测像素点的异常检测线段所经过的缺陷区域的大小，为了更准确的获取第k个监测像素点的异常检测线段所经过的缺陷区域大小，本发明实施例获取第k个监测像素点的第一条异常检测线段上的每个异常像素点和最后一条异常检测线段上的每个异常像素点之间的欧式距离的均值，即为第k个监测像素点的缺陷距离均值；已知第k个监测像素点的第一条异常检测线段和最后一条异常检测线段，可以确定第k个监测像素点的异常检测线段所经过的缺陷区域的大小，因此，根据第k个监测像素点的第一条异常检测线段和最后一条异常检测线段之间的夹角，可以进一步确定第k个监测像素点的异常检测线段所经过的缺陷区域的范围，因此，将第k个监测像素点的第一条异常检测线段和最后一条异常检测线段之间的夹角的大小，进行归一化的结果，作为第k个监测像素点的缺陷范围标记值。将第k个监测像素点的缺陷距离均值与缺陷范围标记值的乘积，作为第k个监测像素点的缺陷影响值。因此，获取第k个监测像素点的缺陷影响值的公式为：；式中，为第k个监测像素点的缺陷影响值；为第k个监测像素点的第一条异常检测线段上的每个异常像素点和最后一条异常检测线段上的每个异常像素点之间的第t个欧式距离；w为第k个监测像素点的第一条异常检测线段上的每个异常像素点和最后一条异常检测线段上的每个异常像素点之间的欧式距离的总数量；为第k个监测像素点的第一条异常检测线段和最后一条异常检测线段之间的夹角的大小；为第k个监测像素点的缺陷距离均值；为第k个监测像素点的缺陷范围标记值。
46.需要说明的是， 缺陷距离均值越大，说明第k个监测像素点的第一条异常检测线段和最后一条异常检测线段之间的距离越大，第k个监测像素点的异常检测线段所经过的缺陷区域越大，越大；缺陷范围标记值 越大，越大，说明第k个监测像素点的第一条异常检测线段和最后一条异常检测线段之间的范围越大，第k个监测像素点的异常检测线段对应的缺陷区域越大，越大；因此，越大，第k个监测像素点受到的缺陷影响程度越大。本发明实施例通过对进行归一化处理，使得缺陷范围标记值的取值范围为0到1，在本发明另一个实施例中可以通过sigmoid函数、函数转化、最大最小规范化等归一化方法对进行归一化处理，在此不做限定。
47.根据获取第k个监测像素点的缺陷影响值的方法，获取每个监测像素点的缺陷影响值。
48.步骤s4：根据监测像素点的缺陷影响值，以及第一预设异常检测线段和第二预设异常检测线段的角度，获取灰度图像的异常影响度。
49.具体的，根据监测像素点的缺陷影响值，确定每个监测像素点受到的实际缺陷影响程度，进而获取灰度图像中整体的缺陷影响程度即异常影响度，进而根据异常影响度自适应调整匹配的滑动窗口的大小，准确的获取汽车门把手表面的缺陷。
50.优选地，获取异常影响度的方法为：当缺陷影响值大于预设的缺陷影响值阈值时，将对应的监测像素点作为参考监测像素点；根据参考监测像素点的缺陷影响值，以及每个参考监测像素点的第一预设异常检测线段和第二预设异常检测线段的角度的大小，获取灰度图像的异常影响度。
51.本发明实施例设定缺陷影响值阈值为0，当缺陷影响值等于缺陷影响值阈值时，说明对应的监测像素点的检测线段不经过缺陷区域，该检测像素点不受缺陷的影响。缺陷影响值不存在负值，因为夹角的大小和距离的大小都不存在负值。为了提高计算效率，同时保证计算的准确性，本发明实施例只对大于缺陷影响值阈值的缺陷影响值对应的监测像素点，即参考监测像素点进行分析。根据每个参考监测像素点的缺陷影响值，以及每个参考监测像素点的第一预设异常检测线段和第二预设异常检测线段的角度，获取灰度图像的异常影响度。需要说明的是，第一预设异常检测线段指的是第一条异常检测线段，第二预设异常检测线段指的是最后一条异常检测线段。
52.作为一个示例，以第i个参考监测像素点为例，第i个参考监测像素点的缺陷影响值越大，说明第i个参考监测像素点的异常检测线段经过的缺陷区域越大，第i个参考监测像素点受到的缺陷影响程度越大。缺陷区域的大小本质就是通过参考监测像素点的第一条异常检测线段和最后一条异常检测线段确定的，其中缺陷区域距离参考监测像素点越近，则缺陷区域获取的越准确。此时，设定第i个参考监测像素点为汽车门把手的下半部分的边界像素点，则待连接像素点为汽车门把手的上半部分的边界像素点，即待连接像素点在第i个参考监测像素点的上方。因此，当缺陷区域在第i个参考监测像素点的正上方时，缺陷区域的大小越符合实际情况，第i个参考监测像素点受到的缺陷影响程度越准确，即第i个参考监测像素点的缺陷影响值越真实。因此，本发明实施例获取第i个参考监测像素点的第一
条异常检测线段和最后一条异常检测线段的角度的大小，依次作为第一角度和第二角度。获取90
°
与第一角度的差值作为第一差值，获取第二角度与90
°
的差值作为第二差值，第一差值与第二差值越接近，第i个参考监测像素点的异常检测线段经过的缺陷区域越可能在第i个参考监测像素点的正上方。因此，本发明实施例根据第i个参考监测像素点的第一条异常检测线段和最后一条异常检测线段的角度的大小，确定第i个参考监测像素点实际的缺陷影响值，获取第i个参考监测像素点实际的缺陷影响值的公式为：；式中，为第i个参考监测像素点实际的缺陷影响值；为第i个参考监测像素点的缺陷影响值；为第i个参考监测像素点的第一条异常检测线段的角度的大小即第一角度；为第i个参考监测像素点的最后一条异常检测线段的角度的大小即第二角度；为参考角度，本发明实施例设定为90
°
；e为自然常数；exp为以自然常数e为底数的指数函数；为绝对值函数；为第一差值；为第二差值。
53.需要说明的是，越大，说明第i个参考监测像素点的异常检测线段经过的缺陷区域越大，第i个参考监测像素点受到的缺陷影响程度越大，越大；越趋于1，与越接近，第一差值与第二差值越接近，缺陷区域越可能在第i个参考监测像素点的正上方，获取的越符合实际情况，因此，越趋于0，越大，越真实，参与计算的占比越大，越大；因此，越大，第i个参考监测像素点受到的缺陷影响程度越大。
54.根据获取第i个参考监测像素点实际的缺陷影响值的方法，获取每个参考监测像素点实际的缺陷影响值。
55.根据每个参考监测像素点实际的缺陷影响值，获取异常影响度的公式为：；式中，为异常影响度；p为参考监测像素点的总数量；为第i个参考监测像素点的缺陷影响值；为第i个参考监测像素点的第一条异常检测线段的角度的大小；为第i个参考监测像素点的最后一条异常检测线段的角度的大小；为参考角度，本发明实施例设定为90
°
；e为自然常数；exp为以自然常数e为底数的指数函数；为绝对值函数；为第i个参考监测像素点实际的缺陷影响值。
56.需要说明的是，越大，说明第i个参考监测像素点的检测线段经过的缺陷区域越
大，第i个参考监测像素点受到的缺陷影响越大，第i个参考监测像素点实际的缺陷影响值越大，越大；越趋于1，与越接近，缺陷区域越可能在第i个参考监测像素点的正上方，获取的越符合实际情况，因此，越趋于0，越大，越真实，参与计算的占比越大，第i个参考监测像素点实际的缺陷影响值越大，越大；因此，越大，说明汽车门把手表面缺陷越大，参考监测像素点受到的缺陷影响程度越大。
57.步骤s5：根据异常影响度对预设的初始滑动窗口的大小进行调整，获得目标滑动窗口；根据目标滑动窗口，采用模板匹配算法对不规则五金件表面进行缺陷检测。
58.具体的，汽车门把手表面缺陷越大时，为了更准确的对缺陷区域进行检测，对应的匹配的滑动窗口应该越小。本发明实施例根据异常影响度，自适应调整匹配的滑动窗口的大小，根据调整后的滑动窗口，通过图像模板匹配算法中的bbs(best-buddies-similarity)算法，准确获取汽车门把手表面的缺陷。
59.优选地，对不规则五金件表面进行缺陷检测的方法为：将异常影响度进行归一化的结果，作为第一结果；将第一结果与预设的初始滑动窗口的初始边长的乘积作为第二结果；其中，初始滑动窗口为边长相等的滑动窗口；将第二结果进行四舍五入，获得的整数结果作为第三结果；将预设的初始滑动窗口的初始边长与第三结果的差值，作为调整结果；将调整结果作为初始滑动窗口调整后的边长，获得目标滑动窗口；根据目标滑动窗口，通过图像模板匹配算法中的bbs算法，获取每个目标滑动窗口对应的不规则五金件表面区域的匹配相似度；将匹配相似度进行归一化处理，获得归一化后的匹配相似度；当归一化后的匹配相似度小于预设的匹配相似度阈值时，将对应的调整后的滑动窗口对应的不规则五金件表面区域作为不规则五金件表面的缺陷区域。
60.本发明实施例设定预设的初始滑动窗口的大小为，因此，初始滑动窗口的初始边长为11，实施者可根据实际情况设定预设的初始滑动窗口的大小，在此不进行限定。但确保本发明实施例中的初始滑动窗口是长和宽均相等的矩形滑动窗口，即初始滑动窗口的边长均相等。根据初始滑动窗口的初始边长和异常影响度，获取调整结果的公式为：；式中，s为调整结果；为初始滑动窗口的初始边长；为异常影响度；round为四舍五入取整函数；norm为归一化函数；为第一结果；为第二结果，为第三结果。
61.需要说明的是，越大，说明汽车门把手表面缺陷区域越大，第一结果越大，第二结果越大，第三结果越大，越小，即调整后的滑动窗口的边长越小；因此，s越小，对汽车门把手表面缺陷检测的越准确。
62.根据调整结果s，确定调整后的滑动窗口即目标滑动窗口的大小为。本发明实施例将一个不存在任何缺陷的汽车门把手作为模板，根据目标滑动窗口，通过图像模板匹配算法中的bbs(best-buddies-similarity)算法，将汽车门把手中的每个目标滑动窗口的区域与模板对应的区域进行比较，获取汽车门把手中的每个目标滑动窗口区域的匹配相似度，将匹配相似度进行归一化处理，获得归一化后的匹配相似度，本发明实施例设定匹配相似度阈值为0.4，当归一化后的匹配相似度小于匹配相似度阈值时，该目标滑动窗口对应的汽车门把手区域为缺陷区域，当归一化后的匹配相似度大于或者等于匹配相似度阈值时，该目标滑动窗口对应的汽车门把手区域不存在缺陷，进而准确的检测出汽车门把手表面缺陷。其中，实施者可根据实际情况设定匹配相似度阈值的大小，在此不进行限定。
63.根据每个监测像素点对应的缺陷影响值，准确的获取异常影响度，进而自适应的调整匹配的滑动窗口大小，提高图像模板匹配算法中的匹配精度，使得汽车门把手表面缺陷检测的更准确。
64.本发明实施例以汽车门把手为例，其他的不规则五金件表面缺陷检测也适用于本发明实施例。
65.一种基于计算机视觉的不规则五金件质量评价方法实施例：不规则五金件是制造或加工等方面用于组装或者连接其它部分的金属件，通常包括汽车门把手、紧固件、垫圈等，不规则五金件被广泛应用于家具、建筑、汽车和电子器件等领域，是诸多制造领域的重要组成部分，不规则五金件的质量与产品的质量直接相关，因此，对不规则五金件的缺陷检测尤为重要。
66.目前对不规则五金件表面缺陷检测主要采用机器视觉的方法，不仅加快了对不规则五金件表面缺陷检测的速度，而且对不规则五金件表面缺陷检测的准确度较高。一般采用图像匹配算法对不规则五金件表面缺陷进行检测，其中，图像匹配算法中存在滑动窗口划分不合理，进而导致匹配的精度降低，从而对不规则五金件表面缺陷检测的准确性降低，不能准确检测出不规则五金件表面缺陷，进而导致对不规则五金件的质量评价不准确。
67.为了解决对不规则五金件的质量评价不准确的技术问题，本发明的目的在于提供一种基于计算机视觉的不规则五金件质量评价方法，所采用的技术方案具体如下：请参阅图2，其示出了本发明一个实施例提供的一种基于计算机视觉的不规则五金件质量评价方法的流程示意图，该方法包括以下步骤：步骤s1：获取不规则五金件表面图像的灰度图像。
68.步骤s2：将所述灰度图像的边界像素点划分为监测像素点和待连接像素点；对于任意一个监测像素点，获取该监测像素点与至少两个待连接像素点之间的线段，作为检测线段，根据检测线段上像素点的灰度值异常情况，获得异常检测线段，以及异常检测线段上的异常像素点。
69.步骤s3：根据每个监测像素点的第一预设异常检测线段上的每个异常像素点和第二预设异常检测线段上的每个异常像素点之间的距离，以及第一预设异常检测线段和第二预设异常检测线段之间的夹角，获取每个监测像素点的缺陷影响值。
70.步骤s4：根据监测像素点的所述缺陷影响值，以及第一预设异常检测线段和第二预设异常检测线段的角度，获取所述灰度图像的异常影响度。
71.步骤s5：根据所述异常影响度对预设的初始滑动窗口的大小进行调整，获得目标
滑动窗口；根据所述目标滑动窗口，采用模板匹配算法对不规则五金件表面进行缺陷检测。
72.步骤s6：根据不规则五金件表面的缺陷区域的匹配相似度，对不规则五金件进行质量评价。
73.其中，步骤s1～步骤s5在一种基于计算机视觉的不规则五金件表面缺陷检测方法实施例中已经给出了详细说明，不再赘述。以下对步骤s6进行具体描述。
74.步骤s6：根据不规则五金件表面的缺陷区域的匹配相似度，对不规则五金件进行质量评价。
75.具体的，本发明实施例以汽车门把手为例，根据图像模板匹配算法中的bbs(best-buddies-similarity)算法，获取汽车门把手中的缺陷区域对应的每个目标滑动窗口的匹配相似度，根据缺陷区域对应的匹配相似度对汽车门把手进行质量评价，将质量不合格的汽车门把手进行再次加工处理。
76.优选地，获取汽车门把手表面的缺陷区域对应的每个目标滑动窗口的匹配相似度，将匹配相似度进行归一化处理的结果，作为评价特征值；获取评价特征值的均值作为评价标准值，当评价标准值小于或者等于预设的评价标准值阈值时，汽车门把手的质量不合格；当评价标准值大于预设的评价标准值阈值时，汽车门把手的质量合格。
77.本发明实施例将评价标准值阈值设定为0.3，当评价标准值小于或者等于预设的评价标准值阈值时，说明汽车门把手的质量不合格，需要对汽车门把手进行再次加工处理；当评价标准值大于预设的评价标准值阈值时，汽车门把手的质量合格。实施者可根据实际情况设定评价标准值阈值的大小，在此不进行限定。至此，对汽车门把手的质量进行准确的评价。
78.本实施例提供的一种基于计算机视觉的不规则五金件质量评价方法具有如下技术效果：通过对不规则五金件表面缺陷进行分析，获取不规则五金件表面缺陷的特征数据，构建不规则五金件表面的异常影响度，根据异常影响度，自适应的调整不规则五金件表面进行匹配的滑动窗口的大小，提高匹配的精度，进而通过图像模板匹配算法，准确的检测出不规则五金件表面的缺陷，根据不规则五金件表面的缺陷准确的对不规则五金件的质量进行评价。
79.将边界像素点划分为监测像素点和待连接像素点，便于对不规则五金件区域内的缺陷区域进行获取；进而获取每个监测像素点与待连接像素点之间的检测线段，根据检测线段经过的像素点的灰度值异常情况，获得异常检测线段，以及异常检测线段上的异常像素点，初步确定每个监测像素点的检测线段经过的缺陷区域的大小，为进一步获取缺陷区域的大小提供条件；进而根据每个监测像素点的第一预设异常检测线段上的每个异常像素点和第二预设异常检测线段上的每个异常像素点之间的距离，以及第一预设异常检测线段和第二预设异常检测线段之间的夹角，准确获取每个监测像素点的缺陷影响值，确定每个监测像素点的缺陷特征，进而准确获取灰度图像的异常影响度，自适应的调整匹配的滑动窗口大小，提高图像模板匹配算法中的匹配精度，使得不规则五金件表面缺陷检测的更准确，进而对不规则五金件的质量评价更准确。
80.需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某
些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
81.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

技术特征：
1.一种基于计算机视觉的不规则五金件表面缺陷检测方法，其特征在于，该方法包括以下步骤：获取不规则五金件表面图像的灰度图像；将所述灰度图像的边界像素点划分为监测像素点和待连接像素点；对于任意一个监测像素点，获取该监测像素点与至少两个待连接像素点之间的线段，作为检测线段，根据检测线段上像素点的灰度值异常情况，获得异常检测线段，以及异常检测线段上的异常像素点；根据每个监测像素点的第一预设异常检测线段上的每个异常像素点和第二预设异常检测线段上的每个异常像素点之间的距离，以及第一预设异常检测线段和第二预设异常检测线段之间的夹角，获取每个监测像素点的缺陷影响值；根据监测像素点的所述缺陷影响值，以及第一预设异常检测线段和第二预设异常检测线段的角度，获取所述灰度图像的异常影响度；根据所述异常影响度对预设的初始滑动窗口的大小进行调整，获得目标滑动窗口；根据所述目标滑动窗口，采用模板匹配算法对不规则五金件表面进行缺陷检测。2.如权利要求1所述一种基于计算机视觉的不规则五金件表面缺陷检测方法，其特征在于，所述检测线段的获取方法为：以每个监测像素点为原点，沿着预设的方向，每间隔预设角度的大小，获取监测像素点与待连接像素点之间的线段，作为检测线段。3.如权利要求1所述一种基于计算机视觉的不规则五金件表面缺陷检测方法，其特征在于，所述异常检测线段的获取方法为：任选一条检测线段作为目标线段，将目标线段上的所有像素点作为目标像素点；获取目标像素点的灰度值的方差，作为第一方差；将所述第一方差归一化的结果，作为目标线段的缺陷判定系数；当缺陷判定系数大于预设的缺陷判定系数阈值时，目标线段为异常检测线段。4.如权利要求1所述一种基于计算机视觉的不规则五金件表面缺陷检测方法，其特征在于，所述异常像素点的获取方法为：通过lof算法获取所述异常检测线段中每个像素点的局部离群因子；当局部离群因子大于预设的局部离群因子阈值时，对应的像素点为异常像素点。5.如权利要求1所述一种基于计算机视觉的不规则五金件表面缺陷检测方法，其特征在于，所述根据每个监测像素点的第一预设异常检测线段上的每个异常像素点和第二预设异常检测线段上的每个异常像素点之间的距离，以及第一预设异常检测线段和第二预设异常检测线段之间的夹角，获取每个监测像素点的缺陷影响值的方法为：任选一个监测像素点作为目标监测像素点，将目标监测像素点对应的异常检测线段，根据异常检测线段的角度的大小进行排序，获得目标监测像素点的异常检测线段序列；获取目标监测像素点的异常检测线段序列中的第一预设异常检测线段上的每个异常像素点和第二预设异常检测线段上的每个异常像素点之间的距离的均值，作为目标监测像素点的缺陷距离均值；将目标监测像素点的异常检测线段序列中的第一预设异常检测线段和第二预设异常检测线段之间的夹角的大小进行归一化的结果，作为目标监测像素点的缺陷范围标记值；计算所述缺陷距离均值与所述缺陷范围标记值的乘积，作为目标监测像素点的缺陷影
响值。6.如权利要求1所述一种基于计算机视觉的不规则五金件表面缺陷检测方法，其特征在于，所述根据监测像素点的所述缺陷影响值，以及第一预设异常检测线段和第二预设异常检测线段的角度，获取所述灰度图像的异常影响度的方法为：当缺陷影响值大于预设的缺陷影响值阈值时，将对应的监测像素点作为参考监测像素点；根据参考监测像素点的缺陷影响值，以及每个参考监测像素点的第一预设异常检测线段和第二预设异常检测线段的角度的大小，获取所述灰度图像的异常影响度。7.如权利要求6所述一种基于计算机视觉的不规则五金件表面缺陷检测方法，其特征在于，所述异常影响度的获取方法为：根据异常影响度的公式获取所述异常影响度，所述异常影响度的公式为：；式中，为异常影响度；p为参考监测像素点的总数量；为第i个参考监测像素点的缺陷影响值；为第i个参考监测像素点的第一预设异常检测线段的角度的大小；为第i个参考监测像素点的第二预设异常检测线段的角度的大小；为参考角度；e为自然常数；exp为以自然常数e为底数的指数函数；为绝对值函数。8.如权利要求1所述一种基于计算机视觉的不规则五金件表面缺陷检测方法，其特征在于，所述根据所述异常影响度对预设的初始滑动窗口的大小进行调整，获得目标滑动窗口；根据所述目标滑动窗口，采用模板匹配算法对不规则五金件表面进行缺陷检测的方法为：将所述异常影响度进行归一化的结果，作为第一结果；将所述第一结果与预设的初始滑动窗口的初始边长的乘积作为第二结果；其中，初始滑动窗口为边长相等的滑动窗口；将第二结果进行四舍五入，获得的整数结果作为第三结果；将预设的初始滑动窗口的初始边长与第三结果的差值，作为调整结果；将调整结果作为初始滑动窗口调整后的边长，获得目标滑动窗口；根据目标滑动窗口，通过图像模板匹配算法中的bbs算法，获取每个目标滑动窗口对应的不规则五金件表面区域的匹配相似度；将匹配相似度进行归一化处理，获得归一化后的匹配相似度；当归一化后的匹配相似度小于预设的匹配相似度阈值时，将对应的调整后的滑动窗口对应的不规则五金件表面区域作为不规则五金件表面的缺陷区域。9.如权利要求1所述一种基于计算机视觉的不规则五金件表面缺陷检测方法，其特征在于，所述将所述灰度图像的边界像素点划分为监测像素点和待连接像素点的方法为：将灰度图像中不规则五金件所在区域的边缘像素点，作为边界像素点；获取每个边界像素点与其他边界像素点之间的距离，作为目标距离；获取预设目标距离对应的两个边界像素点所在的直线，将边界像素点划分为两部分，
分别为监测像素点和待连接像素点。

技术总结
本发明涉及图像数据处理技术领域，具体涉及一种基于计算机视觉的不规则五金件表面缺陷检测方法。该方法获取不规则五金件的灰度图像；将边界像素点划分为监测像素点和待连接像素点；获取监测像素点与待连接像素点之间的检测线段，根据灰度值分布，确定异常检测线段，以及异常像素点；根据异常像素点之间的距离，以及第一预设异常检测线段和第二预设异常检测线段之间的夹角，获取监测像素点的缺陷影响值；根据缺陷影响值，获取异常影响度，进而获取不规则五金件表面的缺陷区域。本发明获取异常影响度，自适应调整匹配的滑动窗口大小，提高匹配精度，使得不规则五金件表面缺陷检测的更准确，进而对不规则五金件质量进行准确的评价。价。价。


技术研发人员：唐兵伟 欧阳德斌
受保护的技术使用者：惠州市耀盈精密技术有限公司
技术研发日：2023.09.13
技术公布日：2023/10/20