基于机器视觉识别系统智能控制新能源物流车组装方法

1.本发明涉及计算机视觉和智能装配技术领域，尤其涉及基于机器视觉识别系统智能控制新能源物流车组装方法。


背景技术：

2.汽车生产过程中有很多零件需要装配。传统的手工装配需要大量的人力、物力生产效率低下，已经不能满足当前的自动化生产。目前常见的自动化零件装配生产线大多是对机器人进行示教，然后在固定的位置对零件进行装配。但是零件传送到固定位置时难免会出现位置偏差，这时候根据固定的机器人示教位置装配零件会导致装配失败，甚至对零件造成损害。
3.为了解决这一问题本发明采用计算机视觉的方法多待装配零件的装配位置进行定位，然后根据定位位置引导机器人进行装配。目前常用的目标定位方法大致分为基于图像处理的检测方法、基于深度学习的目标检测方法。基于图像处理的目标检测方法如果对整幅图片的所有信息直接处理那么噪声很多，受环境噪声影响太大，在噪声过多的情况下容易检测失败。基于深度学习的目标检测方法鲁棒性好，常见的基于深度学习的目标检测方法有r-cnn系列,yolo,ssd等等。但是基于深度学习的目标检测方法虽然更能够适应光照条件恶劣的环境，但是由于卷积神经网络的位置不敏感的特性使得基于深度学习的目标检测方法相对于图像处理、边缘检测，其检测精度较为粗糙、不够精确。基于深度学习语义分割方法虽然定位精度高，但是语义分割所需要的计算机gpu资源要求高，而且检测速度更慢，很难满足车间生产的实时性。
4.因此，提出基于机器视觉识别系统智能控制新能源物流车组装方法，来解决现有技术特征提取不清晰、装配流程繁琐的问题，是本领域技术人员亟需解决的问题。


技术实现要素：

5.有鉴于此，本发明提供了一种基于机器视觉识别系统智能控制新能源物流车组装方法，可以达到高稳定性均衡的效果。
6.为了实现上述目的，本发明采用如下技术方案：
7.基于机器视觉识别系统智能控制新能源物流车组装方法，包括以下步骤：
8.s1、获取零件图片、物流车零件网络图片集和零件所在位置，对零件图片和网络图片集进行预处理；
9.s2、对预处理后的零件图片进行特征提取，建立图片识别模型；
10.s3、在图片识别模型中输入物流车零件网络图片集进行训练，得到训练好的图片识别模型；
11.s4、利用s1中零件所在位置建立三维坐标轴，将零件所在位置放置于三维坐标体系中；
12.s5、使用s3中训练好的图片识别模型识别物流车零件，结合s4中获取的零件坐标
将零件放置在对应位置自动组装。
13.上述的方法，可选的，s1中获取零件图片的方式包括但不限于使用工业相机拍摄，零件所在位置获取方式包括但不限于根据物流车中零件的相对位置进行拆解获取具体零件所在位置的位置图片。
14.上述的方法，可选的，s1中图片进行预处理的方法为：对零件图片进行降噪、增强处理，然后对增强后的图像进行边缘检测和二值化处理，将彩色图像转换成黑白图像，依次采用腐蚀和膨胀方法对二值化后的图像进行形态学处理。
15.上述的方法，可选的，s2中图片特征提取包括使用霍夫变换的方式提取图片特征，具体包括：
16.s2.1：使用sobel算子进行自相关运算，获得边缘提取后的图像；
17.s2.2：对图像应用非极大值抑制，消除边缘检测带来的杂散响应，初步得到边缘点；
18.s2.3：对初步得到的边缘点采用高低双阈值法确定边缘点；
19.s2.4：对边缘点进行霍夫变换投射到三维的参数空间。
20.上述的方法，可选的，s3中模型提取图片特征与工程师提取图片特征作对比，达到高相似度后停止训练。
21.上述的方法，可选的，s4中三维坐标轴包括以物流车中心为原点，建立三维直角坐标系，将各零件位置及连接点以三维坐标的形式表示。
22.上述的方法，可选的，s5中组装顺序按照距离原点由近到远的方式进行组装。
23.上述的方法，可选的，还包括组装完毕后通过三维激光扫描仪获取零件位置图片与s1中零件所在位置作比对，位置一致后结束流程。
24.经由上述的技术方案可知，与现有技术相比，本发明提供了一种基于机器视觉识别系统智能控制新能源物流车组装方法，具有以下有益效果：1)本发明采用自动化零件装配措施，减少了人力、物力的使用保证了零件装配的速度；2)采用了计算机视觉的方法对装配位置记性引导，采用计算机视觉的方法能够适应装配位置，即使零件的位置与之前设定的位置有一定偏差也能对偏差纠正以保证零件的装配；3)本发明采用了深度学习与传统数字图像处理相结合的方法，该方法不仅能够减少视觉定位的噪声而且提高了检测精度；4)对基于深度学习的目标检测方法进行了改进使得检测速度、检测精度有所提升、对车间硬件要求大大降低，降低了生产成本。
附图说明
25.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
26.图1为本发明公开的基于机器视觉识别系统智能控制新能源物流车组装方法流程图；
27.图2为本发明公开的图片特征提取方法流程图
具体实施方式
28.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.在本技术中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
30.参照图1所示，本发明公开了基于机器视觉识别系统智能控制新能源物流车组装方法，包括以下步骤：
31.s1、获取零件图片、物流车零件网络图片集和零件所在位置，对零件图片和网络图片集进行预处理；
32.s2、对预处理后的零件图片进行特征提取，建立图片识别模型；
33.s3、在图片识别模型中输入物流车零件网络图片集进行训练，得到训练好的图片识别模型；
34.s4、利用s1中零件所在位置建立三维坐标轴，将零件所在位置放置于三维坐标体系中；
35.s5、使用s3中训练好的图片识别模型识别物流车零件，结合s4中获取的零件坐标将零件放置在对应位置自动组装。
36.进一步的，s1中获取零件图片的方式包括但不限于使用工业相机拍摄，零件所在位置获取方式包括但不限于根据物流车中零件的相对位置进行拆解获取具体零件所在位置的位置图片。
37.具体的，工业相机拍摄后获得rgb图像；零件的相关分为直接相关和间接相关两类，多数零件都有两个或更多的直接相关零件，故每个零件大都具有两个或多个部位在结构上与其它零件有关，在进行位置确定时，两零件直接相关部位必须同时考虑，固定一个零件位置后，根据固定零件确定固定零件的相关零件，获得第一部分零件位置，再根据第一部分零件位置确定第一部分零件的相关零件，获得第二部分零件位置，以此类推获得全部零件位置。
38.进一步的，s1中图片进行预处理的方法为：对零件图片进行降噪、增强处理，然后对增强后的图像进行边缘检测和二值化处理，将彩色图像转换成黑白图像，依次采用腐蚀和膨胀方法对二值化后的图像进行形态学处理。
39.进一步的，参照图2所示，s2中图片特征提取包括使用霍夫变换的方式提取图片特征，具体包括：
40.s2.1：使用sobel算子进行自相关运算，获得边缘提取后的图像；
41.s2.2：对图像应用非极大值抑制，消除边缘检测带来的杂散响应，初步得到边缘
点；
42.s2.3：对初步得到的边缘点采用高低双阈值法确定边缘点；
43.s2.4：对边缘点进行霍夫变换投射到三维的参数空间。
44.具体的，索贝尔算子(sobel operator)主要用作边缘检测，在技术上，它是一离散性差分算子，用来运算图像亮度函数的灰度之近似值。在图像的任何一点使用此算子，将会产生对应的灰度矢量或是其法矢量，
45.该算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值。
46.非极大值抑制是一种边缘稀疏技术，非极大值抑制的作用在于“瘦”边。对图像进行梯度计算后，仅仅基于梯度值提取的边缘仍然很模糊。对边缘有且应当只有一个准确的响应。而非极大值抑制则可以帮助将局部最大值之外的所有梯度值抑制为0，对梯度图像中每个像素进行非极大值抑制的算法包括：
47.1.将当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较。
48.2.如果当前像素的梯度强度与另外两个像素相比最大，则该像素点保留为边缘点，否则该像素点将被抑制。
49.通常为了更加精确的计算，在跨越梯度方向的两个相邻像素之间使用线性插值来得到要比较的像素梯度。
50.施加非极大值抑制之后，剩余的像素可以更准确地表示图像中的实际边缘。然而，仍然存在由于噪声和颜色变化引起的一些边缘像素。为了解决这些杂散响应，必须用弱梯度值过滤边缘像素，并保留具有高梯度值的边缘像素，可以通过选择高低阈值来实现。如果边缘像素的梯度值高于高阈值，则将其标记为强边缘像素；如果边缘像素的梯度值小于高阈值并且大于低阈值，则将其标记为弱边缘像素；如果边缘像素的梯度值小于低阈值，则会被抑制。阈值的选择取决于给定输入图像的内容。
51.进一步的，s3中模型提取图片特征与工程师提取图片特征作对比，达到高相似度后停止训练。
52.具体的，资深工程师确定图片特征与模型对比，达到设定值后停止。
53.进一步的，s4中三维坐标轴包括以物流车中心为原点，建立三维直角坐标系，将各零件位置及连接点以三维坐标的形式表示。
54.具体的，以物流车发动机中心点为原点，建立三维直角坐标系，
55.进一步的，s5中组装顺序按照距离原点由近到远的方式进行组装。
56.进一步的，还包括组装完毕后通过三维激光扫描仪获取零件位置图片与s1中零件所在位置作比对，位置一致后结束流程。
57.在一具体实施例中，机械臂设置图像识别装置，抓握零件后根据识别结果判断零件是否为该物流车零件，若是，确定零件所在坐标系位置，根据位置进行组装。
58.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或
者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
59.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.基于机器视觉识别系统智能控制新能源物流车组装方法，其特征在于，包括以下步骤：s1、获取零件图片、物流车零件网络图片集和零件所在位置，对零件图片和网络图片集进行预处理；s2、对预处理后的零件图片进行特征提取，建立图片识别模型；s3、在图片识别模型中输入物流车零件网络图片集进行训练，得到训练好的图片识别模型；s4、利用s1中零件所在位置建立三维坐标轴，将零件所在位置放置于三维坐标体系中；s5、使用s3中训练好的图片识别模型识别物流车零件，结合s4中获取的零件坐标将零件放置在对应位置自动组装。2.根据权利要求1所述的基于机器视觉识别系统智能控制新能源物流车组装方法，其特征在于，s1中获取零件图片的方式包括但不限于使用工业相机拍摄，零件所在位置获取方式包括但不限于根据物流车中零件的相对位置进行拆解获取具体零件所在位置的位置图片。3.根据权利要求1所述的基于机器视觉识别系统智能控制新能源物流车组装方法，其特征在于，s1中图片进行预处理的方法为：对零件图片进行降噪、增强处理，然后对增强后的图像进行边缘检测和二值化处理，将彩色图像转换成黑白图像，依次采用腐蚀和膨胀方法对二值化后的图像进行形态学处理。4.根据权利要求1所述的基于机器视觉识别系统智能控制新能源物流车组装方法，其特征在于，s2中图片特征提取包括使用霍夫变换的方式提取图片特征，具体包括：s2.1：使用sobel算子进行自相关运算，获得边缘提取后的图像；s2.2：对图像应用非极大值抑制，消除边缘检测带来的杂散响应，初步得到边缘点；s2.3：对初步得到的边缘点采用高低双阈值法确定边缘点；s2.4：对边缘点进行霍夫变换投射到三维的参数空间。5.根据权利要求1所述的基于机器视觉识别系统智能控制新能源物流车组装方法，其特征在于，s3中模型提取图片特征与工程师提取图片特征作对比，达到高相似度后停止训练。6.根据权利要求1所述的基于机器视觉识别系统智能控制新能源物流车组装方法，其特征在于，s4中三维坐标轴包括以物流车中心为原点，建立三维直角坐标系，将各零件位置及连接点以三维坐标的形式表示。7.根据权利要求1所述的基于机器视觉识别系统智能控制新能源物流车组装方法，其特征在于，s5中组装顺序按照距离原点由近到远的方式进行组装。8.根据权利要求1所述的基于机器视觉识别系统智能控制新能源物流车组装方法，其特征在于，还包括组装完毕后通过三维激光扫描仪获取零件位置图片与s1中零件所在位置作比
对，位置一致后结束流程。

技术总结
本发明公开了基于机器视觉识别系统智能控制新能源物流车组装方法，涉及计算机视觉和智能装配技术领域。包括：获取零件图片、物流车零件网络图片集和零件所在位置，建立图片识别模型；在图片识别模型中输入物流车零件网络图片集进行训练，获取训练好的图片识别模型；获取零件所在位置，建立三维坐标轴，将零件所在位置放置于坐标体系中；训练好的图片识别模型识别物流车零件，结合获取的坐标将零件放置在对应位置自动组装。本发明有助于提高检测速度、检测精度，对车间硬件要求大大降低，更具有普遍性。普遍性。普遍性。


技术研发人员：胡朝辉
受保护的技术使用者：湖南大学
技术研发日：2023.08.04
技术公布日：2023/10/19