一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法与流程

1.本发明涉及机械零部件缺陷检测技术领域，具体地，涉及一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法。


背景技术：

2.钢丝绳在机械、建筑、运输等领域广泛使用，具有高强度、高耐久、抗拉、抗磨损等优点，然而，由于长期使用和外界环境的影响，钢丝绳容易出现各种缺陷，如断丝、磨损等，这些缺陷会导致钢丝绳失去原有的力学性能和安全性能，甚至可能引发严重事故。因此，钢丝绳缺陷检测技术显得非常重要。
3.传统的钢丝绳缺陷检测方法主要依靠人工目测，存在着效率低、准确性差、易出错等缺点。随着计算机视觉技术的发展，基于机器视觉的钢丝绳缺陷检测方法逐渐成为研究热点，然而，目前的基于机器视觉的钢丝绳缺陷检测方法仍然存在一些问题：
4.1、获取的钢丝绳图像包含大量背景噪声，且钢丝绳在工作时的位姿实时变化，导致难以获取规范化图像；
5.2、无论是基于深度学习的诊断方法还是基于机器学习的诊断方法都难以充分提取钢丝绳表面的有效特征。


技术实现要素：

6.针对现有技术中存在的问题，本发明提供了一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，通过多特征融合技术提取并融合钢丝绳表面图像特征，以高效的规范化处理钢丝绳表面图像信息并检测其表面健康状态，提高了缺陷检测准确性和效率。
7.为实现上述目的，本发明采用如下技术方案：一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，具体包括以下步骤：
8.步骤s1、收集钢丝绳表面的bgr图像，并规范化处理钢丝绳表面图像数据，建立图像数据集；
9.步骤s2、将图像数据集进行纹理特征提取和深度学习特征提取，并将提取的纹理特征和深度学习特征进行拼接，得到拼接钢丝绳特征；所述纹理特征包括改进的lbp纹理特征和灰度共生矩阵glcm纹理特征；
10.步骤s3、建立机器学习分类器，再次将每张钢丝绳表面图像的拼接钢丝绳特征输入机器学习分类器中进行分类训练，直至达到最大迭代次数，完成对机器学习分类器的训练；
11.步骤s4、将待缺陷检测的钢丝绳表面图像进行规范化处理并提取纹理特征提取和深度学习特征后，将拼接的钢丝绳特征输入训练好的机器学习分类器中，得到钢丝绳表面缺陷检测结果。
12.进一步地，步骤s1包括如下子步骤：
13.步骤s1.1、将每一张钢丝绳表面的bgr图像转化为灰度图，对灰度图进行高斯滤波
处理，得到滤波图像，使用sobel算子计算滤波图像的梯度幅值和方向：
[0014][0015][0016]
其中，g
x
(x,y)和gy(x,y)分别为滤波图像在x和y方向上的梯度值，g(x,y)表示滤波图像的梯度幅值，θ表示滤波图像的梯度方向；
[0017]
步骤s1.2、使用非极大值抑制算法处理步骤s1.1所得到的滤波图像的梯度幅值，再通过双阈值算法确定真正的边缘像素，其中双边阈值高阈值tmax＝150、低阈值tmin＝50，得到二值化图像；
[0018]
步骤s1.3、将二值化图像通过形态学变化确定边界，采用闭运算，kenel大小为5*5；
[0019]
步骤s1.4、将边界内的像素点坐标(x,y)以旋转角度b旋转，得到旋转后的像素点坐标(x
′
,y
′
)：
[0020]
x
′
＝xcos(b)-ysin(b)
[0021]y′
＝xsin(b)+ycos(b)
[0022]
步骤s1.5、从旋转后的像素点坐标中寻找面积最小的矩形边界对应的四个顶点坐标(minx，miny)，(maxx，miny)，(minx，maxy)，(maxx，maxy)；
[0023]
步骤s1.6、将旋转后的像素点坐标继续旋转角度b，重复步骤s1.5，直至旋转角度达到180
°
，将面积最小的矩形边界对应的四个顶点坐标映射到bgr图像中；
[0024]
步骤s1.7、根据映射到bgr图像中的最小矩形边界的四个顶点进行透视变换，获取透视图像：
[0025]
u＝(h1x+h2y+h3)/(h7x+h8y+h9)
[0026]
v＝(h4x+h5y+h6)/(h7x+h8y+h9)
[0027]
其中，(x,y)为映射到bgr图像中的最小矩形边界的四个顶点坐标，(u,v)为透视变换后对应的点坐标,h
1-h9为由透视变换矩阵计算出来的九个参数；
[0028]
步骤s1.8、将透视图像的两端分别截掉长度得到规范化图像；其中，w表示钢丝绳在钢丝绳表面图像中的宽度，表示钢丝绳表面图像中钢丝绳与图像x坐标轴的倾斜角，(x1,y1)表示最小矩形的四个顶点中xi+yi值的最小点，(x2,y2)表示最小矩形的四个顶点中y
i-xi值的最小点；
[0029]
步骤s1.9、将规范化图像通过线性插值的方式缩放至228*228大小，并给每个规范化图像打上标签，标签种类为断丝、磨损和正常三类，得到图像数据集。
[0030]
进一步地，步骤s2中深度学习特征的提取过程为：将图像数据集输入训练好的resnet18端对端特征提取网络中，提取出深度学习特征。
[0031]
进一步地，所述resnet18端对端特征提取网络的训练过程为：采用迁移学习的方式初始化resnet18端对端特征提取网络的参数，并修改resnet18端对端特征提取网络中全连接层最后一层的神经元数量为10，将带有标签的钢丝绳表面图像作为resnet18端对端特征提取网络的输入，通过交叉熵损失函数训练resnet18端对端特征提取网络；
[0032]
所述交叉熵损失函数具体为：
[0033][0034]
其中，n为钢丝绳表面缺陷的类别数，n为n的索引，pn钢丝绳表面图像对应的第n个类别的真实概率，qn为钢丝绳表面图像对应的第n个类别的预测概率。
[0035]
进一步地，步骤s2中改进的lbp纹理特征sd-lbp的提取过程为：
[0036]
a、对图像数据集中的每一张规范化的钢丝绳表面图像采取区域分割的思想将原始的lbp窗口由3
×
3的变为9
×
9，再依次将9
×
9窗口划分为9个3
×
3的子窗口，获取邻域窗口的平均灰度值和不同条件下中心窗口值i
t
，
[0037]
所述中心窗口值i
t
的获取过程为：
[0038][0039]
其中，m是3
×
3子窗口中9个像素的中位数，f为经实验得到的最佳阈值，σ为9个3
×
3子窗口的平均灰度值标准差，为第i个3
×
3子窗口的平均灰度值，为9个3
×
3子窗口的平均灰度值；为中心窗口的平均灰度值，a和b是非中心子窗口中8个子窗口平均灰度值的最大值和最小值；
[0040]
b、根据获取的邻域窗口的平均灰度值和不同条件下中心窗口值i
t
计算改进的lbp纹理特征sd-lbp：
[0041][0042]
其中，p为邻域索引，s()为符号函数，
[0043]
c、通过步骤a-b遍历规范化的钢丝绳表面图像，得到规范化的钢丝绳表面图像的改进的lbp纹理特征sd-lbp；
[0044]
d、将改进的lbp纹理特征sd-lbp经过统计直方图得到sd-lbp特征向量，其维度为256*1，经过pca降维，降维后的特征维度为40*1。
[0045]
进一步地，步骤s2中灰度共生矩阵glcm纹理特征的提取过程为：对图像数据集中的每一张规范化的钢丝绳表面图像采用距离d＝(1，3，5)、方向θ＝(0，45，90，135)、灰度等级l＝16，选取对比度、角二阶矩阵、熵和均匀性四种灰度共生矩阵glcm纹理特征，且每张规范化的钢丝绳表面图像的灰度共生矩阵glcm纹理特征长度为48的特征向量。
[0046]
进一步地，所述拼接钢丝绳特征的拼接顺序为深度学习特征、改进的lbp纹理特征sd-lbp、灰度共生矩阵glcm纹理特征。
[0047]
进一步地，所述机器学习分类器采用svm，svm的核函数参数γ为0.01，惩罚系数c为10。
[0048]
与现有技术相比，本发明具有以下有益效果：
[0049]
1.本发明基于多特征融合的机器视觉钢丝绳表面缺陷检测方法通过对钢丝绳表面图像进行轮廓检测及最小矩形边界提取、透视变换、无效区域去除，快速捕捉钢丝绳在图像上的位置，并避免背景信息的干扰；
[0050]
2、本发明基于多特征融合的机器视觉钢丝绳表面缺陷检测方法改进了传统的lbp纹理特征提取方法，通过连接中心像素与邻域像素，增强了中心像素的鲁棒性，并采用区域分割的思想平滑了区域内像素值，抑制了噪声对纹理特征提取的影响；
[0051]
3.本发明基于多特征融合的机器视觉钢丝绳表面缺陷检测方法采用多特征融合技术，将深度学习特征与纹理特征拼接融合，提高了机器学习分类器的特征提取能力和特征表征能力，从而更好的检测钢丝绳表面的健康状态。
附图说明
[0052]
图1为本发明基于多特征融合的机器视觉钢丝绳表面缺陷检测方法的流程图；
[0053]
图2为本发明轮廓检测及最小矩形边界提取流程图；
[0054]
图3为本发明改进的lbp纹理特征提取中区域分割示意图。
具体实施方式
[0055]
下面将结合附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的具体实施方式仅仅是本发明一部分，而不是全部。基于本发明中的具体实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0056]
如图1为本发明基于多特征融合的机器视觉钢丝绳表面缺陷检测方法的流程图，该机器视觉钢丝绳表面缺陷检测方法具体包括以下步骤：
[0057]
步骤s1、收集钢丝绳表面的bgr图像，并规范化处理钢丝绳表面图像数据，建立图像数据集；由于钢丝绳在工作状态下位姿不断变化，通过规范化处理钢丝绳表面图像数据，调整钢丝绳的位姿并去除背景部分，达到图像去噪和减小计算量的目的；如图2，具体包括如下子步骤：
[0058]
步骤s1.1、将每一张钢丝绳表面的bgr图像转化为灰度图，对灰度图进行高斯滤波处理，得到滤波图像，使用sobel算子计算滤波图像的梯度幅值和方向：
[0059][0060][0061]
其中，g
x
(x,y)和gy(x,y)分别为滤波图像在x和y方向上的梯度值，g(x,y)表示滤波图像的梯度幅值，θ表示滤波图像的梯度方向；
[0062]
步骤s1.2、为了滤除噪声或颜色变化引起的小的梯度值，使用非极大值抑制算法处理步骤s1.1所得到的滤波图像的梯度幅值，再通过双阈值算法确定真正的边缘像素，其中双边阈值高阈值tmax＝150、低阈值tmin＝50，得到二值化图像；
[0063]
步骤s1.3、将二值化图像通过形态学变化确定边界，采用闭运算，kenel大小为5*5；
[0064]
步骤s1.4、将边界内的像素点坐标(x,y)以旋转角度b旋转，得到旋转后的像素点坐标(x
′
,y
′
)：
[0065]
x
′
＝xcos(b)-ysin(b)
[0066]y′
＝xsin(b)+ycos(b)
[0067]
步骤s1.5、从旋转后的像素点坐标中寻找面积最小的矩形边界对应的四个顶点坐标(minx，miny)，(maxx，miny)，(minx，maxy)，(maxx，maxy)；
[0068]
步骤s1.6、将旋转后的像素点坐标继续旋转角度b，重复步骤s1.5，直至旋转角度达到180
°
，将面积最小的矩形边界对应的四个顶点坐标映射到bgr图像中；通过钢丝绳的位姿调整，寻找最小的矩形边界，实现边界的精确筛选；
[0069]
步骤s1.7、根据映射到bgr图像中的最小矩形边界的四个顶点进行透视变换，获取透视图像：
[0070]
u＝(h1x+h2y+h3)/(h7x+h8y+h9)
[0071]
v＝(h4x+h5y+h6)/(h7x+h8y+h9)
[0072]
其中，(x,y)为映射到bgr图像中的最小矩形边界的四个顶点坐标，(u,v)为透视变换后对应的点坐标,h
1-h9为由透视变换矩阵计算出来的九个参数；
[0073]
步骤s1.8、由于透视变换会截取图像区域外的无效区域，将透视图像的两端分别截掉长度去除无效区域，得到规范化图像；其中，w表示钢丝绳在钢丝绳表面图像中的宽度，表示钢丝绳表面图像中钢丝绳与图像x坐标轴的倾斜角，(x1,y1)表示最小矩形的四个顶点中xi+yi值的最小点，(x2,y2)表示最小矩形的四个顶点中y
i-xi值的最小点；该方法去除了透视变换后产生的无效区域，提高了图像的质量的同时减小了后续机器学习分类器的数据处理量，且根据钢丝绳位姿动态裁剪无效区域，有效去除了无效区域的同时又最大程度的保留了钢丝绳的有效部分，从而保证机器学习分类器的识别精度。
[0074]
步骤s1.9、将规范化图像通过线性插值的方式缩放至228*228大小，并给每个规范化图像打上标签，标签种类为断丝、磨损和正常三类，得到图像数据集。
[0075]
步骤s2、将图像数据集进行纹理特征提取和深度学习特征提取，并将提取的纹理特征和深度学习特征进行拼接，得到拼接钢丝绳特征；本发明中纹理特征包括改进的lbp纹理特征和灰度共生矩阵glcm纹理特征，具有高泛化性，能对图像完整性和准确性的进行描述；拼接钢丝绳特征的拼接顺序为深度学习特征、改进的lbp纹理特征sd-lbp、灰度共生矩阵glcm纹理特征。
[0076]
本发明中深度学习特征的提取过程为：将图像数据集输入训练好的resnet18端对端特征提取网络中，提取出深度学习特征；resnet18端对端特征提取网络的训练过程为：采用迁移学习的方式初始化resnet18端对端特征提取网络的参数，并修改resnet18端对端特征提取网络中全连接层最后一层的神经元数量为10，将带有标签的钢丝绳表面图像作为resnet18端对端特征提取网络的输入，通过交叉熵损失函数训练resnet18端对端特征提取网络；若resnet18端对端特征提取网络中全连接层最后一层的神经元数量过多，会带来较多无关的信息，增大噪声；若resnet18端对端特征提取网络中全连接层最后一层的神经元数量过少，会影响深度学习特征的提取精度。
[0077]
本发明中交叉熵损失函数具体为：
[0078][0079]
其中，n为钢丝绳表面缺陷的类别数，n为n的索引，pn钢丝绳表面图像对应的第n个类别的真实概率，qn为钢丝绳表面图像对应的第n个类别的预测概率。
[0080]
本发明中改进的lbp纹理特征sd-lbp的提取过程为：
[0081]
a、如图3，对图像数据集中的每一张规范化的钢丝绳表面图像采取区域分割的思想将原始的lbp窗口由3
×
3的变为9
×
9，再依次将9
×
9窗口划分为9个3
×
3的子窗口，获取邻域窗口的平均灰度值和不同条件下中心窗口值i
t
，
[0082]
本发明中中心窗口值i
t
的获取过程为：
[0083][0084]
其中，m是3
×
3子窗口中9个像素的中位数，f为经实验得到的最佳阈值，σ为9个3
×
3子窗口的平均灰度值标准差，为第i个3
×
3子窗口的平均灰度值，为9个3
×
3子窗口的平均灰度值；为中心窗口的平均灰度值，a和b是非中心子窗口中8个子窗口平均灰度值的最大值和最小值；
[0085]
b、根据获取的邻域窗口的平均灰度值和不同条件下中心窗口值i
t
计算改进的lbp纹理特征sd-lbp：
[0086][0087]
其中，p为邻域索引，s()为符号函数，
[0088]
c、通过步骤a-b遍历规范化的钢丝绳表面图像，得到规范化的钢丝绳表面图像的改进的lbp纹理特征sd-lbp；
[0089]
d、将改进的lbp纹理特征sd-lbp经过统计直方图得到sd-lbp特征向量，相较于原始lbp纹理特征，sd-lbp具有抑制噪声敏感性和加强中心像素值的鲁棒性的优势。传统的lbp特征提取算法对噪声比较敏感，且仅限于3
×
3的小范围内进行纹理特征采样。然而，钢丝绳表面缺陷的纹理特征通常比较复杂，不是由单个3
×
3区域组成的，往往覆盖面积较大。因此sd-lbp算法采取区域分割的思想，扩展了sd-lbp纹理特征提取算法的感知范围，抑制了局部噪声点突变的影响，弥补了lbp采样范围小的缺点。此外，在选取中心像素值时，sd-lbp算法将中心点像素与领域点像素关联起来，提高了中心像素值的鲁棒性。sd-lbp特征向量的维度为256*1，经过pca降维，降维后的特征维度为40*1。
[0090]
本发明中灰度共生矩阵glcm纹理特征的提取过程为：对图像数据集中的每一张规范化的钢丝绳表面图像采用距离d＝(1，3，5)、方向θ＝(0，45，90，135)、灰度等级l＝16，选取对比度、角二阶矩阵、熵和均匀性四种灰度共生矩阵glcm纹理特征，且每张规范化的钢丝
绳表面图像的灰度共生矩阵glcm纹理特征长度为48的特征向量。
[0091]
步骤s3、建立机器学习分类器，再次将每张钢丝绳表面图像的拼接钢丝绳特征输入机器学习分类器中进行分类训练，直至达到最大迭代次数，完成对机器学习分类器的训练；机器学习分类器采用svm，svm的核函数参数γ为0.01，惩罚系数c为10。
[0092]
步骤s4、将待缺陷检测的钢丝绳表面图像进行规范化处理并提取纹理特征提取和深度学习特征后，将拼接的钢丝绳特征输入训练好的机器学习分类器中，得到钢丝绳表面缺陷检测结果。
[0093]
本发明对通过图像规范化处理去除了采集到的钢丝绳表面图像上存在的背景噪声，并建立了规范化钢丝绳表面缺陷数据集，通过去除背景噪声，可以使算法更加专注于钢丝绳表面的真实缺陷，提高后续缺陷检测算法的准确性；通过sd-lbp纹理特征提取算法抑制了噪声的敏感性且加强了中心像素值的鲁棒性，这种特征提取算法的选择有助于提高缺陷检测算法的准确性和鲁棒性；最后通过多特征融合方法提高特征向量对图像完整性和准确性的描述，通过融合多个特征来源，可以综合利用它们的优势，增强缺陷检测算法的性能。
[0094]
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施方式，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

技术特征：
1.一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，其特征在于，具体包括以下步骤：步骤s1、收集钢丝绳表面的bgr图像，并规范化处理钢丝绳表面图像数据，建立图像数据集；步骤s2、将图像数据集进行纹理特征提取和深度学习特征提取，并将提取的纹理特征和深度学习特征进行拼接，得到拼接钢丝绳特征；所述纹理特征包括改进的lbp纹理特征和灰度共生矩阵glcm纹理特征；步骤s3、建立机器学习分类器，将每张钢丝绳表面图像的拼接钢丝绳特征输入机器学习分类器中进行分类训练，直至达到最大迭代次数，完成对机器学习分类器的训练；步骤s4、将待缺陷检测的钢丝绳表面图像进行规范化处理并提取纹理特征提取和深度学习特征后，再次将拼接的钢丝绳特征输入训练好的机器学习分类器中，得到钢丝绳表面缺陷检测结果。2.根据权利要求1所述的一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，其特征在于，步骤s1包括如下子步骤：步骤s1.1、将每一张钢丝绳表面的bgr图像转化为灰度图，对灰度图进行高斯滤波处理，得到滤波图像，使用sobel算子计算滤波图像的梯度幅值和方向：理，得到滤波图像，使用sobel算子计算滤波图像的梯度幅值和方向：其中，g
x
(x,y)和g
y
(x,y)分别为滤波图像在x和y方向上的梯度值，g(x,y)表示滤波图像的梯度幅值，θ表示滤波图像的梯度方向；步骤s1.2、使用非极大值抑制算法处理步骤s1.1所得到的滤波图像的梯度幅值，再通过双阈值算法确定真正的边缘像素，其中双边阈值高阈值tmax＝150、低阈值tmin＝50，得到二值化图像；步骤s1.3、将二值化图像通过形态学变化确定边界，采用闭运算，kenel大小为5*5；步骤s1.4、将边界内的像素点坐标(x,y)以旋转角度b旋转，得到旋转后的像素点坐标(x
′
,y
′
)：x
′
＝xcos(b)-ysin(b)y
′
＝xsin(b)+ycos(b)步骤s1.5、从旋转后的像素点坐标中寻找面积最小的矩形边界对应的四个顶点坐标(minx，miny)，(maxx，miny)，(minx，maxy)，(maxx，maxy)；步骤s1.6、将旋转后的像素点坐标继续旋转角度b，重复步骤s1.5，直至旋转角度达到180
°
，将面积最小的矩形边界对应的四个顶点坐标映射到bgr图像中；步骤s1.7、根据映射到bgr图像中的最小矩形边界的四个顶点进行透视变换，获取透视图像：u＝(h1x+h2y+h3)/(h7x+h8y+h9)v＝(h4x+h5y+h6)/(h7x+h8y+h9)
其中，(x,y)为映射到bgr图像中的最小矩形边界的四个顶点坐标，(u,v)为透视变换后对应的点坐标,h
1-h9为由透视变换矩阵计算出来的九个参数；步骤s1.8、将透视图像的两端分别截掉长度得到规范化图像；其中，w表示钢丝绳在钢丝绳表面图像中的宽度，表示钢丝绳表面图像中钢丝绳与图像x坐标轴的倾斜角，(x1,y1)表示最小矩形的四个顶点中x
i
+y
i
值的最小点，(x2,y2)表示最小矩形的四个顶点中y
i-x
i
值的最小点；步骤s1.9、将规范化图像通过线性插值的方式缩放至228*228大小，并给每个规范化图像打上标签，标签种类为断丝、磨损和正常三类，得到图像数据集。3.根据权利要求1所述的一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，其特征在于，步骤s2中深度学习特征的提取过程为：将图像数据集输入训练好的resnet18端对端特征提取网络中，提取出深度学习特征。4.根据权利要求3所述的一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，其特征在于，所述resnet18端对端特征提取网络的训练过程为：采用迁移学习的方式初始化resnet18端对端特征提取网络的参数，并修改resnet18端对端特征提取网络中全连接层最后一层的神经元数量为10，将带有标签的钢丝绳表面图像作为resnet18端对端特征提取网络的输入，通过交叉熵损失函数训练resnet18端对端特征提取网络；所述交叉熵损失函数具体为：其中，n为钢丝绳表面缺陷的类别数，n为n的索引，p
n
钢丝绳表面图像对应的第n个类别的真实概率，q
n
为钢丝绳表面图像对应的第n个类别的预测概率。5.根据权利1所述的一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，其特征在于，步骤s2中改进的lbp纹理特征sd-lbp的提取过程为：a、对图像数据集中的每一张规范化的钢丝绳表面图像采取区域分割的思想将原始的lbp窗口由3
×
3的变为9
×
9，再依次将9
×
9窗口划分为9个3
×
3的子窗口，获取邻域窗口的平均灰度值和不同条件下中心窗口值i
t
，所述中心窗口值i
t
的获取过程为：其中，m是3
×
3子窗口中9个像素的中位数，f为经实验得到的最佳阈值，σ为9个3
×
3子窗口的平均灰度值标准差，为第i个3
×
3子窗口的平均灰度值，为9个3
×
3子窗口的平均灰度值；为中心窗口的平均灰度值，a和b是非中心子窗口中8个子窗口平均灰度值的最大值和最小值；b、根据获取的邻域窗口的平均灰度值和不同条件下中心窗口值i
t
计算改进的lbp纹理特征sd-lbp：
其中，p为邻域索引，s()为符号函数，c、通过步骤a-b遍历规范化的钢丝绳表面图像，得到规范化的钢丝绳表面图像的改进的lbp纹理特征sd-lbp；d、将改进的lbp纹理特征sd-lbp经过统计直方图得到sd-lbp特征向量，其维度为256*1，经过pca降维，降维后的特征维度为40*1。6.根据权利要求1所述的一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，其特征在于，步骤s2中灰度共生矩阵glcm纹理特征的提取过程为：对图像数据集中的每一张规范化的钢丝绳表面图像采用距离d＝(1，3，5)、方向θ＝(0，45，90，135)、灰度等级l＝16，选取对比度、角二阶矩阵、熵和均匀性四种灰度共生矩阵glcm纹理特征，且每张规范化的钢丝绳表面图像的灰度共生矩阵glcm纹理特征长度为48的特征向量。7.根据权利要求1所述的一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，其特征在于，所述拼接钢丝绳特征的拼接顺序为深度学习特征、改进的lbp纹理特征sd-lbp、灰度共生矩阵glcm纹理特征。8.根据权利要求1所述的一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，其特征在于，所述机器学习分类器采用svm，svm的核函数参数γ为0.01，惩罚系数c为10。

技术总结
本发明公开了一种基于多特征融合的机器视觉钢丝绳表面缺陷检测方法，包括收集钢丝绳表面的BGR图像，并规范化处理钢丝绳表面图像数据，建立图像数据集；将图像数据集进行纹理特征提取和深度学习特征提取，并将提取的纹理特征和深度学习特征进行拼接，得到拼接钢丝绳特征；建立机器学习分类器，将每张钢丝绳表面图像的拼接钢丝绳特征输入机器学习分类器中进行分类训练，直至达到最大迭代次数，完成对机器学习分类器的训练；将待缺陷检测的钢丝绳表面图像输入训练好的机器学习分类器中，得到钢丝绳表面缺陷检测结果。本发明机器视觉钢丝绳表面缺陷检测方法能够高效准确地识别钢丝绳表面的健康状态。绳表面的健康状态。绳表面的健康状态。


技术研发人员：佘中健 戴毅斌 张传平 曹小华 李招云 毛永宁 刘国方 杨恺 柳尧 李其全 梁世亮 张池耿
受保护的技术使用者：江苏苏港智能装备产业创新中心有限公司
技术研发日：2023.06.08
技术公布日：2023/10/6