基于图像识别的物料在线识别方法及装置与流程

1.本发明涉及物料识别技术领域，具体涉及基于图像识别的物料在线识别方法及装置。


背景技术：

2.目前，主流的生产线上物料识别方法主要是在传送带上方安装相机和光源，但是由于产线的传送带运动速度快，一般为1.5~2m/s，在合适的物距上（一般为20~30cm），要想获取清晰的图像，需要将相机曝光时间设置足够短（一般为200~500μs），此时相机的进光量极小，需要将相机光圈调节至最大，并且配有高亮度光源，对相机性能和光源强度均要求较高，成本较大。光圈调大后，相机景深会变小，因此对于传送带上的高低不平的砂料无法稳定采集清晰的图像。可考虑在传送带上方设置刮平装置使料流高度一致，但由于传送带也被用来输送的物料粗细不一，如大石子和小石子等会对刮平装置造成刚性冲击，进而引发事故。这些都导致了基于相机在进行物料识别时存在不能精准采集识别的问题。


技术实现要素：

3.本发明要解决的技术问题是：克服现有技术的不足，提供一种基于图像识别的物料在线识别方法及装置，能够更为稳定的采集清晰图像，提高物料识别的准确性。
4.本发明为解决其技术问题所采用的技术方案为：一种基于图像识别的物料在线识别方法，包括以下步骤：s1：进行图像采集，建立识别模型；所述s1中包括以下子步骤：步骤一：接料机构接收物料，经过图像采集装置进行图像采集；步骤二：图像采集装置将采集的图像信息发送至工控机，工控机接收图像信息进行图像处理；步骤三：工控机进行识别模型训练，工控机内设置有品种数据集及级配数据集，将品种数据集及级配数据集中的数据分别拆分为训练集和测试集，基于残差神经网络建立深度学习网络模型，当输出类别数为物料品种数时，该模型为品种识别模型，当输出类别数为级配分类数时，该模型为级配识别模型，使用相应的数据集分别训练品种识别模型和级配识别模型，得到训练好的权重文件；s2：工控机识别物料信息。
5.所述步骤一包括以下子步骤：1-1：接料机构接收物料，将物料表面刮平；1-2：图像采集装置采集刮平后的物料图像，并将采集的图像发送至工控机。
6.所述步骤二中包括以下子步骤：2-1：工控机接收当前物料的图像信息；2-2：工控机接收用户输入的当前物料对应的品种与级配信息；
2-3：工控机建立数据库，所述数据库中包括品种数据集及级配数据集，将每幅图像的物料品种与级配信息进行自动标注，并存入品种数据集及级配数据集中；2-4：更换不同种类及级配的物料，返回步骤一，得到多种物料多个配级的图像数据。
7.所述s2中，待测物料投入料仓，每隔设定时间，图像采集装置采集当前物料的图像信息发送至工控机，工控机将图像信息分别输入训练好的品种识别模型和级配识别模型中，得到当前物料的品种和级配信息。
8.应用于上述基于图像识别的物料在线识别方法的装置，包括料仓，所述料仓的下方设置有出料口，所述料仓的出料口下方设置接料机构；所述接料机构上连接有图像采集装置，所述图像采集装置及接料机构连接支撑架；所述图像采集装置及接料机构电性连接有工控机，所述工控机、图像采集装置及接料机构均连接电源。
9.所述料仓为漏斗状设置，所述料仓的上方开口设置。
10.所述接料机构包括上刮料板及下刮料板，所述料仓的出料口位于所述上刮料板与下刮料板之间；所述上刮料板及下刮料板的下方设置有接料转盘，所述接料转盘连接有驱动接料转盘旋转的驱动装置，所述上刮料板的顶部、下刮料板的顶部以及驱动装置均与支撑架固定连接；所述图像采集装置位于所述接料转盘的上方，所述图像采集装置位于驱动装置远离所述下刮料板的一侧，图像采集装置与支撑架固定连接。
11.所述驱动装置包括驱动电机，所述驱动电机的驱动轴与所述接料转盘同轴固定连接，所述驱动电机的外壳与所述支撑架固定连接。物料自料仓中落入接料转盘内，驱动电机启动，接料转盘旋转，接料转盘上的物料经过上刮料板时被抹平； 抹平后的物料继续随接料转盘旋转至图像采集装置下方进行拍照，随后通过下刮料板将拍照后的物料自接料转盘上刮落；图像采集装置采集的图像发送至工控机。
12.所述接料转盘包括与所述驱动装置传动连接的转轴，所述转轴通过连接杆固定连接若干扇形接盘，所述扇形接盘以转轴为圆心圆周分布在转轴的周侧，所述扇形接盘的两端开口设置，所述上刮料板与所述扇形接盘上表面留有空隙，所述下刮料板的下端与所述扇形接盘上表面相贴。
13.与现有技术相比，本发明具有以下有益效果：本发明在料仓卸料口接料，通过接料转盘将物料运送至相机视野中，且保证物料顶部高度一致，相机工作距离稳定，进行使得采集的图像清晰，工控机在进行识别时也更为准确。电机转速可调，对相机性能和光源亮度要求低，降低硬件成本。
附图说明
14.图1是本发明立体结构示意图。
15.图2是本发明接料机构结构示意图。
16.图3是本发明模型建立时网络结构示意图。
17.图中：1、料仓；2、图像采集装置；3、上刮料板；4、下刮料板；5、接料转盘；6、驱动电机；7、支撑架。
具体实施方式
18.下面结合附图对本发明实施例做进一步描述：实施例1如图1至图2所示，基于图像识别的物料在线识别方法，包括以下步骤：s1：进行图像采集，建立识别模型；所述s1中包括以下子步骤：步骤一：接料机构接收物料，接料机构连接所述图像采集装置2，经过图像采集装置2进行图像采集；步骤二：所述图像采集装置2及接料机构电性连接有工控机，所述工控机、图像采集装置2及接料机构均连接有电源，图像采集装置2将采集的图像信息发送至工控机，工控机接收图像信息进行图像处理；步骤三：工控机进行识别模型训练；s2：工控机识别物料信息。
19.所述接料机构的上方设置有料仓1，所述料仓1的下方设置有出料口，所述料仓1的出料口下方对应接料机构设置。
20.所述料仓1为漏斗状设置，所述料仓1的上方开口设置。使用时，可以将该装置设置在物料生产线处，物料经过料仓1落在接料机构上，通过图像采集装置进行图像采集分析。
21.所述接料机构包括上刮料板3及下刮料板4，所述料仓1的出料口位于所述上刮料板3与下刮料板4之间；所述上刮料板3及下刮料板4的下方设置有接料转盘5，所述接料转盘5连接有驱动接料转盘5旋转的驱动装置，所述上刮料板3的顶部、下刮料板4的顶部以及驱动装置均与支撑架7固定连接；所述图像采集装置2位于所述接料转盘5的上方，所述图像采集装置2位于驱动装置远离所述下刮料板4的一侧，图像采集装置2与支撑架7固定连接。
22.所述驱动装置包括驱动电机6，所述驱动电机6的驱动轴与所述接料转盘5同轴固定连接，所述驱动电机6的外壳与所述支撑架7固定连接。
23.所述图像采集装置2包括与支撑架7固定连接的相机，所述相机的镜头穿过所述支撑架7朝向所述接料转盘5。所述相机的镜头外套设有遮光罩。图像采集装置2也可以是摄像机等，在进行图像采集时，将采集到的视频流解码为图像即可。
24.所述接料转盘5包括与所述驱动装置传动连接的转轴，所述转轴通过连接杆固定连接若干扇形接盘，所述扇形接盘以转轴为圆心圆周分布在转轴的周侧，所述扇形接盘的两端开口设置，所述上刮料板3与所述扇形接盘上表面留有空隙，所述下刮料板4的下端与所述扇形接盘上表面相贴。
25.本技术中可以通过工控机控制驱动电机的转速改变，以保证相机在获取图片时的清晰度。参照图1，支撑架7可以采用现有的可进行升降及水平长度调节的支撑架，具体地说，支撑架可以包括能够进行高度调节的竖直升降杆以及能够水平长度调节的水平升降
杆，竖直升降杆的下方连接支撑底座实现固定稳定，其结构可采用现有技术实现，因此不再对其结构进行赘述。
26.在使用时，应将接料转盘5的位于上刮料板3与下刮料板4之间的扇形接盘与料仓1的下料口对齐，确保物料落到上刮料板3与下刮料板4之间的的扇形接盘里。
27.实施例2在实施例1的基础上，所述步骤一包括以下子步骤：1-1：物料自料仓1中落入接料转盘5内，驱动电机6启动，接料转盘5旋转，接料转盘5上的物料经过上刮料板3时被抹平；1-2：抹平后的物料继续随接料转盘5旋转至图像采集装置下方进行拍照，随后通过下刮料板4将拍照后的物料自接料转盘5上刮落；1-3：图像采集装置采集的图像发送至工控机。
28.具体地说，料仓1的下料口位于上刮料板3及下刮料板4之间，使用时，物料落在上刮料板3及下刮料板4之间的扇形接盘上，驱动电机6启动，带动接料转盘5旋转，参照图1，本实施例中驱动电机6带动接料转盘5顺时针旋转，则上刮料板3将落在扇形接盘上的物料抹平后，移动到相机下方进行拍照，随着接料转盘5的继续移动，拍照后的物料再经过下刮料板4时被刮落。
29.所述步骤二中包括以下子步骤：2-1：工控机接收当前物料的图像信息；2-2：工控机接收用户输入的当前物料对应的品种与级配信息；级配信息中包括物料的细度模数及置信度等。
30.2-3：工控机建立数据库，所述数据库中包括品种数据集及级配数据集，将每幅图像的物料品种与级配信息进行自动标注，并存入品种数据集及级配数据集中；2-4：更换不同种类及级配的物料，返回步骤一，得到多种物料多个配级的图像数据。单种物料单个配级至少采集500张图片。
31.所述步骤三中将品种数据集及级配数据集中的数据分别拆分为训练集和测试集，基于残差神经网络建立深度学习网络模型进行训练生成品种识别模型和级配识别模型，得到训练好的权重文件。
32.卷积神经网络是由来自微软研究院的4位学者提出的，其特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。
33.具体地说，本技术基于残差神经网络建立深度学习网络模型，其网络结构如图3所示，框内数字表示卷积核尺寸和通道数。输入图像尺寸为3
×
512
×
512像素，经过64通道7
×
7卷积得到64
×
256
×
256像素的特征图，然后依次经过4个基于三层残差结构的网络块，得到2048
×
16
×
16像素的特征图，再经过平均池化层和2048
×
c的全连接层，输出分类类别的概率值。c的值由输出类别数决定。
34.所述s2中，待测物料投入料仓1，每隔设定时间，图像采集装置2采集当前物料的图像信息发送至工控机，工控机将图像信息分别输入训练好的品种识别模型和级配识别模型中，得到当前物料的品种和级配信息。
35.实施例3
以混凝土骨料为例。混凝土是由凝胶材料、骨料和水按适当比例配置，再经过一定时间硬化而成的复合材料。其中骨料是混凝土的主要材料之一，其在混凝土中占据了大概70%的体积，是混凝土工程的主要材料，其用量十分庞大。粒径大于4.75 mm的骨料称为粗骨料。粒径4.75 mm以下的骨料称为细骨料。根据国家标准gt/b 14684《建设用砂》，细骨料根据产源不同可分为天然砂和机制砂，两者在粒形、级配、表面质构以及0.075mm以下颗粒含量等方面存在显著差异。混凝土骨料的品种和级配直接关系到混凝土的密实度、和易性、强度等。
36.设备通电，驱动电机保持匀速旋转，转速为2.5r/min，接料转盘直径为300mm。相机连接至工控机数据接收软件，显示画面。
37.物料投入料仓1中自料仓1出料口落至接料转盘5中，接料转盘5旋转，经过上刮料板3，将物料顶部刮平。
38.本实施例设置相机与物料顶部距离为80mm，曝光时间设置为50ms，调节光源亮度，光圈大小设置为f/4，使砂料顶端处光照强度为2000lux，镜头焦距选用12mm。物料旋转至遮光罩下方，开始采集图像。
39.接料转盘5的下方可放置秤斗，接料转盘5继续旋转，物料流经下刮料板4，通过接料转盘5扇形接盘之间的间隙落至秤斗中，扇形接盘之间间隙距离为5cm。
40.用户向工控机中输入当前物料的品种与级配信息，如品种为河砂，级配为中砂，用于数据标注。
41.工控机接收采集的图像（若是摄像机采集的视频，则将视频发送至工控机，工控机先进行视频流解码为图像），自动标注每幅图像的物料品种和级配信息，分别录入品种数据集和级配数据集中。
42.单种物料单个级配，采集800张图像。
43.重复上述步骤，分别获取两个品种四个级配的图像数据集。品种为河砂与机制砂，级配为细度模数2.0、2.5、3.0、3.5。
44.依照实施例1及实施例2所述，基于残差神经网络建立深度学习网络模型。
45.将品种数据集和级配数据集两个数据集中的数据拆分为训练集和测试集，基于残差神经网络建立深度学习网络模型，本实施例在品种识别模型中，c的值等于砂料品种数，在级配识别模型中，c的值等于级配分类数。使用相应的数据集分别训练品种识别模型和级配识别模型，得到训练好的权重文件。具体地说，本技术在品种识别模型中，砂料品种数设置为2，在级配识别模型中，级配分类数设置为5，使用相应的数据集分别训练品种识别模型和级配识别模型，得到训练好的权重文件。
46.待识别物料投入料仓1中，经过接料转盘5带至相机处进行图像采集，图像采集发送至工控机，工控机将图像信息分别输入品种识别模型和级配识别模型中，得到当前物料的品种和级配信息。
47.总的来说，物料级配细度模数的离散推理结果，可通过置信度加权计算，得到连续的目标级配细度模数。
48.当待测物料的细度模数为相邻两个标注级配之间的某一数值时，根据置信度最高的两种级配进行加权计算输出级配细度模数值g0，其计算公式如下：
；式中，g0为输出级配细度模数值，g1为置信度最高的级配细度模数值，g2为置信度第二高的级配细度模数值，c1为最高的置信度，c2为第二高的置信度。
49.本技术中根据gb/t14684-2022中对物料级配信息的规定，计算物料的细度模数。
50.假设待测物料的细度模数为2.7，则理想情况下，置信度最高的两种级配分类结果应该为细度模数2.5和3.0。假设细度模数2.5的置信度为45%，细度模数3.0的置信度为30%，则通过加权计算可得，目标级配分类为细度模数2.7。

技术特征：
1.一种基于图像识别的物料在线识别方法，其特征在于，包括以下步骤：s1：进行图像采集，建立识别模型；所述s1中包括以下子步骤：步骤一：接料机构接收物料，经过图像采集装置（2）进行图像采集；步骤二：图像采集装置（2）将采集的图像信息发送至工控机，工控机接收图像信息进行图像处理；步骤三：工控机进行识别模型训练，工控机内设置有品种数据集及级配数据集，将品种数据集及级配数据集中的数据分别拆分为训练集和测试集，基于残差神经网络建立深度学习网络模型，当输出类别数为物料品种数时，该模型为品种识别模型，当输出类别数为级配分类数时，该模型为级配识别模型，使用相应的数据集分别训练品种识别模型和级配识别模型，得到训练好的权重文件；s2：工控机识别物料信息。2.根据权利要求1所述的基于图像识别的物料在线识别方法，其特征在于，所述步骤一包括以下子步骤：1-1：接料机构接收物料，将物料表面刮平；1-2：图像采集装置采集刮平后的物料图像，并将采集的图像发送至工控机。3.根据权利要求2所述的基于图像识别的物料在线识别方法，其特征在于，所述步骤二中包括以下子步骤：2-1：工控机接收当前物料的图像信息；2-2：工控机接收用户输入的当前物料对应的品种与级配信息；2-3：工控机建立数据库，所述数据库中包括品种数据集及级配数据集，将每幅图像的物料品种与级配信息进行自动标注，并存入品种数据集及级配数据集中；2-4：更换不同种类及级配的物料，返回步骤一，得到多种物料多个配级的图像数据。4.根据权利要求3所述的基于图像识别的物料在线识别方法，其特征在于，所述s2中，每隔设定时间，图像采集装置（2）采集当前物料的图像信息发送至工控机，工控机将图像信息分别输入训练好的品种识别模型和级配识别模型中，得到当前物料的品种和级配信息。5.应用于权利要求1-4任一所述基于图像识别的物料在线识别方法的装置，其特征在于，包括料仓（1），所述料仓（1）的下方设置有出料口，所述料仓（1）的出料口下方设置接料机构；所述接料机构上连接有图像采集装置（2），所述图像采集装置（2）及接料机构连接支撑架（7）；所述图像采集装置及接料机构电性连接有工控机，所述工控机、图像采集装置及接料机构均连接电源。6.根据权利要求5所述的装置，其特征在于，所述料仓（1）为漏斗状设置，所述料仓（1）的上方开口设置。7.根据权利要求5所述的装置，其特征在于，所述接料机构包括上刮料板（3）及下刮料板（4），所述料仓（1）的出料口位于所述上刮料板（3）与下刮料板（4）之间；所述上刮料板（3）及下刮料板（4）的下方设置有接料转盘（5），所述接料转盘（5）连接有驱动接料转盘（5）旋转的驱动装置，所述上刮料板（3）的顶部、下刮料板（4）的顶部以及驱动
装置均与支撑架（7）固定连接；所述图像采集装置（2）位于所述接料转盘（5）的上方，所述图像采集装置（2）位于驱动装置远离所述下刮料板（4）的一侧，图像采集装置（2）与支撑架（7）固定连接。8.根据权利要求7所述的装置，其特征在于，所述驱动装置包括驱动电机（6），所述驱动电机（6）的驱动轴与所述接料转盘（5）同轴固定连接，所述驱动电机（6）的外壳与所述支撑架（7）固定连接。9.根据权利要求8所述的装置，其特征在于，所述接料转盘（5）包括与所述驱动装置传动连接的转轴，所述转轴通过连接杆固定连接若干扇形接盘，所述扇形接盘以转轴为圆心圆周分布在转轴的周侧，所述扇形接盘的两端开口设置，所述上刮料板（3）与所述扇形接盘上表面留有空隙，所述下刮料板（4）的下端与所述扇形接盘上表面相贴。

技术总结
本发明涉及物料识别技术领域，具体涉及基于图像识别的物料在线识别方法及装置，其中识别方法包括以下步骤：S1：进行图像采集，建立识别模型；所述S1中包括以下子步骤：步骤一：接料机构接收物料，经过图像采集装置进行图像采集；步骤二：图像采集装置将采集的图像信息发送至工控机，工控机接收图像信息进行图像处理；步骤三：工控机进行识别模型训练；S2：工控机识别物料信息，能够更为稳定的采集清晰图像，提高物料识别的准确性。提高物料识别的准确性。提高物料识别的准确性。


技术研发人员：王祎超 曹书腾 刘伟业 徐维军 邱峰 李歧强
受保护的技术使用者：山东博硕电子有限公司
技术研发日：2023.03.21
技术公布日：2023/7/31