一种基于计算机视觉技术的钢卷端部缺陷自动检测方法与流程

1.本发明涉及钢卷自动检测技术领域，更具体的公开了一种基于计算机视觉技术的钢卷端部缺陷自动检测方法。


背景技术：

2.常规热连轧工序中，在钢卷成卷后，钢卷在运行过程中，在钢卷两侧会安装摄像机，对钢卷两侧进行拍照，系统会将拍完照的图片传至电脑终端供现场质检人员查看确认，是否存在边损、毛刺、异物卷入、折叠等缺陷，质检人员需对每卷逐一进行确认，如发现钢卷出现缺陷进行相应的登记、封锁，防止流至下工序、用户。
3.由于热轧生产过程不间断，质检人员进行人工确认时会存在用眼疲劳，发生漏检，缺陷会流至下工序或用户。同时现场检测环境存在光线较暗、缺陷不易识别，这也会造成人工识别时产生漏检。此种方式需人工重复、大量劳动力去对缺陷识别、且存在缺陷漏检风险。


技术实现要素：

4.本发明主要解决的技术问题是提供一种基于计算机视觉技术的钢卷端部缺陷自动检测方法，能够解决人工识别存在用眼疲劳，发生漏检以及存在检测环境较暗，缺陷不易识别的问题。
5.为解决上述技术问题，根据本发明的一个方面，更具体的说是一种基于计算机视觉技术的钢卷端部缺陷自动检测方法，包括以下步骤：
6.s1、采用ocrnet语义分割算法，以采集筛选标注的端检缺陷图像为数据基础，实现端检缺陷鉴定，cornet算法显式地把像素分类问题转换成物体区域分类问题，并通过ocr方法显式地增强了物体信息，使得更细小的缺陷被识别出来；
7.s2、通过ocrnet语义分割算法对端部缺陷进行检测的时候，正常端部缺陷均被准确检出，同时太多细小缺陷被检出，造成缺陷“过杀”量太多，而现场实际只需将中等严重的缺陷识别出来即可，因此，对模型识别的缺陷加上“面积过滤”功能，将细小的轻微缺陷过滤掉，然后将面积大的中等严重缺陷进行结果传递；
8.s3、由于热轧端部检测由于光线原因会存在较暗无法检测的情况，在计算机机器识别技术上应用图像增强技术，使缺陷更易识别；针对性做缺陷对比度处理，通过调整亮度、增加缺陷对比度使缺陷更易显现，实践加入对比度代码createclahe进行调整，createclahe([cliplimi])代码中，通过提升cliplimit参数值，缺陷对比更明显，缺陷识别更准确。
[0009]
更进一步的，所述ocrnet语义分割算法主要包括三个阶段：
[0010]
第一阶段：骨干网络采用hrnet主杆模型，其可以在整个过程中保持高分辨率表达；从一个高分辨率子网络开始作为stagel，逐渐地增加子网络构成更多的节点，然后多分辨率子网并行连接，在整个过程中，一遍又一遍地在并行的多分辨率子网中交换信息，以此
来完成重复的多尺度融合过程；
[0011]
第二阶段：hrnet每个子网的分辨率和通道数保持不变，并行的子网之间分辨率是不同的，这样能在整个过程中保持图像的高分辨率特征，而不再是从低分辨率特征图上恢复；hrnet能够在并行的子网之间重复地交换信息，进行特征融合，使得高低分辨率特征都更丰富；从骨干网络得到特征表示，并估测一个简单粗略的语义分割结果作为ocrnet方法的一个输入，即软物体区域；根据软物体区域和网络最深层输入的特征表示计算出k组向量，即物体区域表示，其中每一个向量对应一个语义类别的特征表示；计算网络最深层输出的像素特征表示与计算得到的物体区域特征表示之间的关系矩阵，然后根据每个像素和物体区域特征表示在关系矩阵中的数值把物体区域特征加权求和，得到最后的物体上下文特征表示ocr；
[0012]
第三阶段：当把物体上下文特征表示与网络最深层输入的特征表示拼接之后作为上下文信息增强的特征表示，可以基于增强后的特征表示预测每个像素的语义类别，也可拼接上aspp特征，即ocr+特征+aspp特征；aspp对于给定的输入以不同采样率的空洞卷积并行采样，将得到的结果并联到一起，扩大通道数，然后再通过1*1的卷积将通道数降低到预期的数值，相当于以多个比例捕捉图像的上下文，其中的空洞卷积的作用是解决大感受野带来的大计算量与损失分辨率之间的矛盾。
[0013]
更进一步的，所述方法还包括：s4、通过ai识别技术对带钢端面圆形图像进行识别，通过像素折算实际长度比例，自动测算带钢端面内圈长径、短径之差；当普通钢种内圈长径、短径之差大于标准值判定为扁卷，当判定结果为扁卷时，自动封闭，进入热轧封锁库区进行封锁，防止异常卷出库，若钢卷扁卷判定结果判定正常，按正常流程进行出库。
[0014]
更进一步的，所述方法还包括：s5、通过摄像对钢卷两侧面e1、e2分开进行拍照，当e2面拍完照后即打包压缩传送给工业视觉平台进行识别，渲染出端部缺陷并传给智慧质量系统，即在e1拍照之前就展示了e2端部缺陷情况；当到达e1面时按上述流程执行，由于流程简化，e1识别过程大约在40秒左右完成识别展示，在钢卷出库前(tt1转盘)完成识别，替换原e2、e1面全部完成拍照展示所需2分钟时间，实现钢卷在出库前即完成识别并作出是否封锁拦截指令。
[0015]
本发明一种基于计算机视觉技术的钢卷端部缺陷自动检测方法的有益效果为：通过计算机视觉技术对端部缺陷自动识别，代替人工确认，同时在机器视觉上增加图像亮度增强技术手段，实现了端部缺陷更易识别，实现带钢端部缺陷识别自动化，代替人工识别；同时防止人工用眼疲劳、现场拍摄光线差导致缺陷漏检，给下工序和用户带来质量异议。
附图说明
[0016]
下面结合附图和具体实施方法对本发明做进一步详细的说明。
[0017]
图1为钢卷扁卷判定流程示意图；
[0018]
图2为钢卷识别流程示意图。
具体实施方式
[0019]
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
[0020]
根据本发明的一个方面，提供了一种基于计算机视觉技术的钢卷端部缺陷自动检测方法，包括以下步骤：
[0021]
第一步、采用ocrnet语义分割算法，以采集筛选标注的端检缺陷图像为数据基础，实现端检缺陷鉴定，cornet算法显式地把像素分类问题转换成物体区域分类问题，并通过ocr方法显式地增强了物体信息，使得更细小的缺陷被识别出来。
[0022]
第二步、通过ocrnet语义分割算法对端部缺陷进行检测的时候，正常端部缺陷均被准确检出，同时太多细小缺陷被检出，造成缺陷“过杀”量太多，而现场实际只需将中等严重的缺陷识别出来即可，因此，对模型识别的缺陷加上“面积过滤”功能，将细小的轻微缺陷过滤掉，然后将面积大的中等严重缺陷进行结果传递。
[0023]
第三步、由于热轧端部检测由于光线原因会存在较暗无法检测的情况，在计算机机器识别技术上应用图像增强技术，使缺陷更易识别；针对性做缺陷对比度处理，通过调整亮度、增加缺陷对比度使缺陷更易显现，实践加入对比度代码createclahe进行调整，createclahe([cliplimi])代码中，通过提升cliplimit参数值，缺陷对比更明显，缺陷识别更准确。
[0024]
第四步、通过ai识别技术对带钢端面圆形图像进行识别，通过像素折算实际长度比例，自动测算带钢端面内圈长径、短径之差；当普通钢种内圈长径、短径之差大于标准值判定为扁卷，当判定结果为扁卷时，自动封闭，进入热轧封锁库区进行封锁，防止异常卷出库，若钢卷扁卷判定结果判定正常，按正常流程进行出库，如图1所示。
[0025]
第五步、通过摄像对钢卷两侧面e1、e2分开进行拍照，当e2面拍完照后即打包压缩传送给工业视觉平台进行识别，渲染出端部缺陷并传给智慧质量系统，即在e1拍照之前就展示了e2端部缺陷情况；当到达e1面时按上述流程执行，由于流程简化，e1识别过程大约在40秒左右完成识别展示，在钢卷出库前(tt1转盘)完成识别，替换原e2、e1面全部完成拍照展示所需2分钟时间，实现钢卷在出库前即完成识别并作出是否封锁拦截指令，如图2所示。
[0026]
在本实施例中，ocrnet语义分割算法主要包括三个阶段：
[0027]
第一阶段：骨干网络采用hrnet主杆模型，其可以在整个过程中保持高分辨率表达；从一个高分辨率子网络开始作为stagel，逐渐地增加子网络构成更多的节点，然后多分辨率子网并行连接，在整个过程中，一遍又一遍地在并行的多分辨率子网中交换信息，以此来完成重复的多尺度融合过程；
[0028]
第二阶段：hrnet每个子网的分辨率和通道数保持不变，并行的子网之间分辨率是不同的，这样能在整个过程中保持图像的高分辨率特征，而不再是从低分辨率特征图上恢复；hrnet能够在并行的子网之间重复地交换信息，进行特征融合，使得高低分辨率特征都更丰富；从骨干网络得到特征表示，并估测一个简单粗略的语义分割结果作为ocrnet方法的一个输入，即软物体区域；根据软物体区域和网络最深层输入的特征表示计算出k组向量，即物体区域表示，其中每一个向量对应一个语义类别的特征表示；计算网络最深层输出的像素特征表示与计算得到的物体区域特征表示之间的关系矩阵，然后根据每个像素和物体区域特征表示在关系矩阵中的数值把物体区域特征加权求和，得到最后的物体上下文特征表示ocr；
[0029]
第三阶段：当把物体上下文特征表示与网络最深层输入的特征表示拼接之后作为上下文信息增强的特征表示，可以基于增强后的特征表示预测每个像素的语义类别，也可
拼接上aspp特征，即ocr+特征+aspp特征；aspp对于给定的输入以不同采样率的空洞卷积并行采样，将得到的结果并联到一起，扩大通道数，然后再通过1*1的卷积将通道数降低到预期的数值，相当于以多个比例捕捉图像的上下文，其中的空洞卷积的作用是解决大感受野带来的大计算量与损失分辨率之间的矛盾。
[0030]
其中本文中出现的电器元件均文现实中存在的电器元件。
[0031]
当然，上述说明并非对本发明的限制，本发明也不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也属于本发明的保护范围。

技术特征：
1.一种基于计算机视觉技术的钢卷端部缺陷自动检测方法，其特征在于，包括以下步骤：s1、采用ocrnet语义分割算法，以采集筛选标注的端检缺陷图像为数据基础，实现端检缺陷鉴定，cornet算法显式地把像素分类问题转换成物体区域分类问题，并通过ocr方法显式地增强了物体信息，使得更细小的缺陷被识别出来；s2、通过ocrnet语义分割算法对端部缺陷进行检测的时候，正常端部缺陷均被准确检出，同时太多细小缺陷被检出，造成缺陷“过杀”量太多，而现场实际只需将中等严重的缺陷识别出来即可，因此，对模型识别的缺陷加上“面积过滤”功能，将细小的轻微缺陷过滤掉，然后将面积大的中等严重缺陷进行结果传递；s3、由于热轧端部检测由于光线原因会存在较暗无法检测的情况，在计算机机器识别技术上应用图像增强技术，使缺陷更易识别；针对性做缺陷对比度处理，通过调整亮度、增加缺陷对比度使缺陷更易显现，实践加入对比度代码createclahe进行调整，createcl ahe([cliplimi])代码中，通过提升cliplimit参数值，缺陷对比更明显，缺陷识别更准确。2.根据权利要求1所述的一种基于计算机视觉技术的钢卷端部缺陷自动检测方法，其特征在于：所述ocrnet语义分割算法主要包括三个阶段：第一阶段：骨干网络采用hrnet主杆模型，其可以在整个过程中保持高分辨率表达；从一个高分辨率子网络开始作为stagel，逐渐地增加子网络构成更多的节点，然后多分辨率子网并行连接，在整个过程中，一遍又一遍地在并行的多分辨率子网中交换信息，以此来完成重复的多尺度融合过程；第二阶段：hrnet每个子网的分辨率和通道数保持不变，并行的子网之间分辨率是不同的，这样能在整个过程中保持图像的高分辨率特征，而不再是从低分辨率特征图上恢复；hrnet能够在并行的子网之间重复地交换信息，进行特征融合，使得高低分辨率特征都更丰富；从骨干网络得到特征表示，并估测一个简单粗略的语义分割结果作为ocrnet方法的一个输入，即软物体区域；根据软物体区域和网络最深层输入的特征表示计算出k组向量，即物体区域表示，其中每一个向量对应一个语义类别的特征表示；计算网络最深层输出的像素特征表示与计算得到的物体区域特征表示之间的关系矩阵，然后根据每个像素和物体区域特征表示在关系矩阵中的数值把物体区域特征加权求和，得到最后的物体上下文特征表示ocr；第三阶段：当把物体上下文特征表示与网络最深层输入的特征表示拼接之后作为上下文信息增强的特征表示，可以基于增强后的特征表示预测每个像素的语义类别，也可拼接上aspp特征，即ocr+特征+aspp特征；aspp对于给定的输入以不同采样率的空洞卷积并行采样，将得到的结果并联到一起，扩大通道数，然后再通过1*1的卷积将通道数降低到预期的数值，相当于以多个比例捕捉图像的上下文，其中的空洞卷积的作用是解决大感受野带来的大计算量与损失分辨率之间的矛盾。3.根据权利要求1所述的一种基于计算机视觉技术的钢卷端部缺陷自动检测方法，其特征在于：所述方法还包括：s4、通过ai识别技术对带钢端面圆形图像进行识别，通过像素折算实际长度比例，自动测算带钢端面内圈长径、短径之差；当普通钢种内圈长径、短径之差大于标准值判定为扁卷，当判定结果为扁卷时，自动封闭，进入热轧封锁库区进行封锁，防止异常卷出库，若钢卷扁卷判定结果判定正常，按正常流程进行出库。
4.根据权利要求1所述的一种基于计算机视觉技术的钢卷端部缺陷自动检测方法，其特征在于：所述方法还包括：s5、通过摄像对钢卷两侧面e1、e2分开进行拍照，当e2面拍完照后即打包压缩传送给工业视觉平台进行识别，渲染出端部缺陷并传给智慧质量系统，即在e1拍照之前就展示了e2端部缺陷情况；当到达e1面时按上述流程执行，由于流程简化，e1识别过程大约在40秒左右完成识别展示，在钢卷出库前(tt1转盘)完成识别，替换原e2、e1面全部完成拍照展示所需2分钟时间，实现钢卷在出库前即完成识别并作出是否封锁拦截指令。

技术总结
本发明涉及钢卷自动检测技术领域，且公开了一种基于计算机视觉技术的钢卷端部缺陷自动检测方法，包括以下步骤：S1、采用OCRNet语义分割算法，以采集筛选标注的端检缺陷图像为数据基础，实现端检缺陷鉴定，CORNet算法显式地把像素分类问题转换成物体区域分类问题，并通过OCR方法显式地增强了物体信息，使得更细小的缺陷被识别出来。通过计算机视觉技术对端部缺陷自动识别，代替人工确认，同时在机器视觉上增加图像亮度增强技术手段，实现了端部缺陷更易识别，实现带钢端部缺陷识别自动化，代替人工识别，同时防止人工用眼疲劳、现场拍摄光线差导致缺陷漏检，给下工序和用户带来质量异议。议。议。


技术研发人员：曾龙华 高佳瑞 覃毅 刘文胜
受保护的技术使用者：宝钢湛江钢铁有限公司
技术研发日：2023.06.28
技术公布日：2023/9/20