一种万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法

1.本发明涉及焊接检测技术领域，尤其涉及一种万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法。


背景技术：

2.激光焊接具有能量密度高、焊缝深宽比大、焊接速度快和易于实现自动化等优点，是轨道交通、海工装备、桥梁建筑等领域不锈钢构件高质高效制造的重要手段，不锈钢板万瓦级超高功率激光焊接过程稳定性受加工环境、拼装状态和工件变形等因素影响，极易产生飞溅缺陷。飞溅的大量形成会导致焊缝熔融金属减少，影响焊缝服役性能，造成安全隐患。此外，去除焊板上的凝固飞溅会增加额外的加工工序，影响构件生产效率。焊接过程实时监控技术成为学科前沿和研究热点，具有广阔的应用前景。该技术能够精准感知焊接过程状态，并根据感知信息实时反馈控制工艺参数抑制缺陷生成，是保障焊接过程稳定性、提高焊接质量的关键。因此，实现运动飞溅的精准、快速监测是解决飞溅缺陷，提高构件生产效率的基础。
3.目前，国内外对焊接过程运动飞溅监测方法研究匮乏，大多采用基于机器视觉的方法对焊后凝固飞溅进行检测，缺乏实时性，无法为焊接过程反馈控制提供依据，并且传统机器视觉需对检测图像进行多次的加工处理，飞溅检测延时长，公开号为cn114083168a的“一种焊接飞溅点识别方法及系统”，其提出了在焊接过程中对飞溅进行检测，以分析飞溅产生的原因。
4.然而，万瓦级超高功率激光焊接过程金属蒸汽喷发剧烈，飞溅易被金属蒸汽羽辉遮挡，且飞溅尺寸小、数量多、运动速度快，在高实时性要求下对飞溅监测方法提出了极高要求。


技术实现要素：

5.有鉴于此，本发明提出了一种万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法，解决大型复杂构件不锈钢板万瓦级超高功率激光焊接过程运动飞溅快速、精准监测的难题，为焊接过程反馈控制和焊后飞溅后处理提供数据支撑。
6.本发明的技术方案是这样实现的：本发明提供了一种万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法，包括以下步骤：s1、由相机采集焊接区域的飞溅监测图像；s2、对飞溅监测图像进行预处理，突出飞溅特征；s3、在预处理图像中对飞溅进行标注，形成飞溅标签，所述飞溅标签包含飞溅位置信息；s4、搭建飞溅检测模型，并采用具有飞溅标签的预处理图像进行预训练与调优；s5、采用训练好的飞溅检测模型处理相机采集的图像，通过目标跟踪算法实现运动飞溅实时跟踪；
s6、根据焊接过程运动飞溅跟踪结果，获得飞溅的尺寸、速度、受力、加速度、轨迹和总数量。
7.在以上技术方案的基础上，优选的，所述步骤s2中的预处理，包括裁剪roi区域与对roi图像进行线性点运算处理，所述线性点运算处理用于突出飞溅特征。
8.在以上技术方案的基础上，优选的，所述步骤s3的对飞溅进行标注，包括手动标注与自动标注，其中，自动标注由图像处理算法对预处理图像进行自动飞溅标注。
9.进一步优选的，所述步骤s4包括以下子步骤：s41、搭建飞溅检测模型；s42、将自动标注生成飞溅标签的图像与手动标注生成飞溅标签的图像分别进行数据增强，得到预训练数据与调优数据；s43、将预训练数据按比例分为第一训练集与第一验证集，并输入飞溅检测模型进行训练与验证，记录损失值；s44、将调优数据按比例分为第二训练集与第二验证集，并输入飞溅检测模型进行训练与验证，记录损失值；s45、保存损失值最小时飞溅检测模型的参数。
10.在以上技术方案的基础上，优选的，所述步骤s5包括以下子步骤：s51、将焊接过程中相机采集图像输入飞溅检测模型，获得不同飞溅的类别、位置和尺寸信息；s52、根据飞溅在相邻图像中的位置信息获得飞溅的速度和轨迹特征；s53、采用deepsort多目标跟踪算法建立不同图像中相同飞溅间的关联关系。
11.在以上技术方案的基础上，优选的，所述步骤s6的运动飞溅跟踪结果包括飞溅产生时建立的独立id、飞溅产生时相应图像的编号、飞溅的中心坐标与飞溅的尺寸信息。
12.进一步优选的，根据相机采样频率与相邻图像中飞溅的中心坐标变化得到飞溅速度，根据飞溅尺寸计算飞溅面积与体积特征并获得飞溅质量，通过飞溅速度变化计算飞溅加速度，进而获得飞溅所受推力，根据最后一个飞溅id确定飞溅总数量，根据飞溅中心坐标在图像中的位置获得飞溅运动轨迹。
13.进一步优选的，所述自动标注的图像处理算法包括多阈值分割、形状识别与图像融合。
14.在以上技术方案的基础上，优选的，所述飞溅检测模型以yolov5s为主框架，其包括输入端、主干特征提取网络、fpn+pan加强特征提取网络和d_head输出端，其中，所述输入端用于输入预处理后的飞溅监测图像，所述主干特征提取网络采用深度可分离卷积进行下采样，所述fpn+pan加强特征提取网络用于将从主干特征网络获取的有效特征层进行特征提取和融合，所述d_head输出端用于输出检测框位置和检测框置信度。
15.进一步优选的，所述deepsort多目标跟踪算法包括卡尔曼滤波算法、匈牙利算法和级联匹配算法。
16.本发明的万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法相对于现有技术具有以下有益效果：（1）能够在焊接过程中快速、精准监测运动飞溅，获得与焊接过程状态和焊接质量密切相关的飞溅特征，输出详细检测报告，为焊接过程参数反馈控制和焊接质量评估以及
凝固飞溅精准去除提供可靠依据；（2）可以将焊接现场实时采集的视觉信号（视频）输入飞溅检测模型，然后将检测结果输入多目标跟踪算法，进行飞溅监测。相比传统人工检测或机器视觉方法，减少了大量人力、缩减了监测时间、提高了监测精度；（3）提出的基于线性点运算的金属蒸汽干扰去除方法，有效去除了低亮度的光噪声干扰，增大了金属蒸汽与飞溅接触区域的亮度差异，突出了飞溅的形态和亮度特征，避免金属蒸汽对跟踪造成干扰；（4）提出的基于多阈值分割-形状识别-图像融合的飞溅标签自动生成方法，实现了大批量训练数据标签的快速、高效获取，解决了深度学习模型训练数据需求量大，而传统手动标签获取过程耗时长、效率低的难题。
附图说明
17.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明的万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法的步骤示意图；图2为本发明的万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法的飞溅检测模型整体框图；图3为本发明的万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法的基于飞溅检测模型和deepsort多目标跟踪算法的飞溅跟踪流程示意图；图4为本发明的万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法的对飞溅监测图像进行预处理前后对比图；图5-14为本发明的万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法的立体图；图15为本发明的万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法的预处理流程图。
具体实施方式
19.下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
20.飞溅缺陷对焊缝质量的影响主要有两个方面：一是大量飞溅会导致熔池内熔融金属减少，产生凹陷、咬边、焊缝未填满等缺陷；二是液态熔融飞溅落到焊板上凝固后会影响焊件外观和服役性能。高功率激光焊接过程中金属蒸汽高速喷发，导致熔融金属剧烈波动，飞溅缺陷难以被完全控制，尤其是小尺寸飞溅。飞溅监测结果表明，小尺寸飞溅带走的熔融金属少，且在飞行中凝固，对焊缝质量影响小；而大尺寸飞溅为熔融金属因克服表面张力从
液柱顶端断裂形成，带走的熔融金属更多，飞行距离短，落在焊板上之后才逐渐凝固，需要通过后处理方法去除；通过在焊接过程中实时获取飞溅产生位置、尺寸和数量特征，可以准确计算因飞溅缺陷导致的板材质量亏损情况，并评估大尺寸飞溅对焊件外观的影响。
21.为了获得焊接过程中飞溅的尺寸和数量特征，必须准确检测并区分监测图像中的每一颗飞溅，飞溅和金属蒸汽的形状、亮度具有明显差别，飞溅形状近似圆形，飞溅区域亮度均匀，亮度值大，因此飞溅的形状和亮度是识别飞溅的关键特征。由于所有飞溅的形状和亮度非常接近，且视觉信号中飞溅不断产生和离开，导致难以区分每一颗飞溅。焊接过程中不同飞溅的产生时间、速度和运动轨迹均不同，飞溅在从形成至离开高速相机视野连续变化，且在高帧率视觉信号中变化缓慢，因此飞溅的速度和运动轨迹是区分不同飞溅的关键特征。
22.如图1-15所示，本发明的万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法，在上述背景下，设置了步骤s1-s6。
23.步骤s1：由相机采集焊接区域的飞溅监测图像。
24.通过配备微距镜头的高速相机从旁轴原位获取焊接区域高分辨率飞溅监测图像，具体的，需在微距镜头最短成像距离下，通过高速相机原位拍摄焊接区域飞溅监测图像。
25.在一个具体的拍摄过程中，镜头前需安装滤光片和保护镜片，镜头最低处与焊板的距离设置为6mm，与激光光斑的距离设置为183mm，对于相机的参数，高速相机采样频率高于10000fps，图像分辨率高于640像素480像素，高速相机镜头前装有808nm滤光片，曝光时间为1μs，可以减少光噪声，采集的视觉信号保存为图像数据格式，图像编号根据拍摄时间逐渐递增，图像间隔小于1/10000s。
26.步骤s2：对飞溅监测图像进行预处理，突出飞溅特征。
27.对于飞溅监测图像预处理，首先对焊接区域飞溅监测图像裁剪roi区域，在本实施方式中roi区域的长和宽均为416像素，对监测图像中的金属蒸汽和飞溅进行灰度值统计，在某一具体统计过程中，飞溅灰度值普遍高于200，而金属蒸汽低于200，此时即可对roi图像进行线性点运算处理，将图像每个像素的灰度值减去190后乘以3.92，来突出飞溅特征，通过上述操作去除了图像中的低亮度金属蒸汽和光噪声干扰（＜190），增大了飞溅与金属蒸汽接触区域灰度区间，突出了飞溅形态和亮度特征。
28.如图4所示，为某一实施例中，对多个飞溅监测图像进行预处理的前后对比，其中，左侧为预处理前的飞溅监测图像，右侧为预处理后的飞溅监测图像，可以看出，预处理后的飞溅监测图像中金属蒸汽干扰明显减弱。
29.预处理后金属蒸汽干扰明显减弱，只在金属蒸汽强的区域残留部分干扰，而较低亮度值的光噪声干扰，被完全去除，飞溅更加突出，并且金属蒸汽和飞溅接触区域的亮度值差异增大了3.92倍，因此飞溅与残留金属蒸汽间边界更明显，对飞溅的干扰大幅降低。
30.步骤s3：在预处理图像中对飞溅进行标注，形成飞溅标签，所述飞溅标签包含飞溅位置信息。
31.对飞溅进行标注，包括手动标注与自动标注，其中，手动标注采用vott软件对预处理图像进行手动飞溅标注，使用矩形框将飞溅标出，获得飞溅标签信息，自动标注由图像处理算法对预处理图像进行自动飞溅标注。
32.需要注意的是，手动标注准确性更高，但是标注效率较低，可用于对模型进行调
优，自动标注可快速生成大量标签，但是准确性相较于手动标注更低，可用于对模型进行预训练。
33.飞溅标签包含了目标类别和飞溅的位置信息，此处所述目标类别，是指焊接缺陷中飞溅、咬边、焊瘤等缺陷种类中的一种，在本实施方式中，飞溅标签的目标类别即为飞溅类别，飞溅的位置信息包括飞溅的中心坐标以及其在图像中像素的高和宽。
34.在自动标注的过程中，图像处理算法对预处理图像进行自动标注，快速获得大量.txt格式飞溅标签。
35.通过图像处理方法获得图像中的所有飞溅后，将图像坐标化并对每颗飞溅进行编号，并依次计算每颗飞溅的中心坐标、宽和高特征，最后将特征按照类别、中心坐标、宽和高进行排列。
36.通过标注工具专家手动标记获得的标签精度高，每一张监测图像中的飞溅标签均经过标记专家分析进行标注。标签自动生成方法获取的标签有小部分标签存在干扰或未被标记，但标签获取速度快，能在短时间内获得大量标签。
37.在一个具体的标注过程中，采用标签自动生成方法处理数据集no.1~no.10000的图像以获得飞溅检测标签，共耗时约6分钟，fps约为27.7。从数据集中等间隔（50）提取600张图像通过vott标注工具进行手动标注，共标注飞溅3041颗，标注时间约8小时。
38.通过python算法将.txt格式的飞溅标签转换为.xml格式的飞溅标签，后续的模型训练时，预处理图像为输入，对应的.xml格式标签为输出。
39.在本实施方式中，所述自动标注的图像处理算法包括多阈值分割、形状识别与图像融合，具体的，首先采用0.1和0.9的阈值对图像进行阈值分割处理，然后根据飞溅形态特点（圆形）识别飞溅，形状识别方法为圆度判断，4π面积和周长平方比值，阈值设为0.95，最后采用图像相加，即图像对应位置像素亮度值相加的方法获得图像中的所有飞溅，使得飞溅被准确提取。
40.模型训练前需要通过标注软件提前对图像中的检测目标进行标注，然后转换成对应的标签数据，传统方式为手动标出视觉信号中的目标类别（飞溅）和目标所在框，并生成框的坐标信息（中心坐标、高和宽），手动标记方式获取标签的速度慢，不利于获取大量数据用于模型训练，因此，本实施方式基于飞溅的形态特点提出了基于多阈值分割-形状识别-图像融合-坐标获取的飞溅检测标签自动生成方法。
41.对图像处理后的飞溅从左到右进行编号，并根据编号分别提取每一颗飞溅的中心坐标、高和宽。
42.步骤s4：搭建飞溅检测模型，并采用具有飞溅标签的预处理图像进行预训练与调优。
43.对于搭建飞溅监测模型，通过步骤s41实现。
44.步骤s41：搭建飞溅检测模型，如图2所示，所述飞溅检测模型以yolov5s为主框架，其包括输入端、主干特征提取网络、fpn+pan加强特征提取网络和d_head输出端，图中nclass表示为类别，d_head表示为d_输出端，。
45.输入端：模型输入图像的尺寸为416像素
×
416像素。
46.主干特征提取网络：这部分主要用于输入图像特征提取。首先采用核尺寸为6
×
6、步长为2的cbs模块替换了原模型中的focus模块，可将输入通道数扩充四倍。然后进行5次
3x3卷积的下采样操作，下采样卷积操作均由dsc模块完成。同时网络中对应每层的卷积核数量降低4倍，即每层的卷积核数量分别为8/16/32/64和128。最后从主干特征提取网络中获得三个不同尺寸和通道数量的有效特征层作为加强特征提取网络的输入。附图2中，
⑤
、
⑥
、
⑦
和
⑧
为主特征提取网络的基础模块，
⑤
为cbs普通卷积模块，包括卷积层convk-s、批量归一化（batch normalization，bn）层和silu激活函数，k为卷积核的尺寸，s为卷积的步长；
⑥
为深度可分离卷积模块，由深度可分离卷积、1
×
1大小的卷积、bn层和silu激活函数组成，用于特征提取，其中silu激活函数的计算公式如（1）所示；sppf（spp fast）模块的结构如
⑦
所示，相同核尺寸的卷积层串联，然后将每层的池化结果和输入特征进行堆叠，最后采用1
×
1的卷积调整通道数量，采用sppf模块替换yolov5s中使用的spp模块，两个模块作用相同，sppf模块的运算速度快了2倍；
⑧
为基于cspnet和resnet的残差模块c3nx_n，主要有两种结构；其中x为结构名称，n为残差模块的使用的数量，残差网络的使用使模型更容易优化，增加残差模块的使用数量可以增加模型的深度以提高准确率，同时缓解深度增加带来的梯度消失问题。
47.（1）fpn+pan加强特征提取网络：从主干特征提取网络不同位置获得的3个不同尺寸和通道的有效特征层分别为层1=（52，52，32）、层2=（26，26，64）和层3=（13，13，128）。然后利用这三个有效特征层构建加强特征提取网络，对从主干网络提取的有效特征层进行特征提取和融合，有利于获得更好的特征。
48.d_head输出端：yolo的v3、v4和v5版本均是采用的相同的head输出端。本实施方式中，采用了基于深度可分离卷积模块的d_head输出端，其结构如
⑨
所示，输出端可以分别对检测的对象类别、检测框的位置和检测框中是否有目标进行预测，最后将结果进行整合（4+1+nclass）；由于只需要对监测图像中的飞溅进行检测，为单目标检测任务，nclass的值为1。
49.为了提高飞溅检测模型的精度和抗干扰能力，需要对模型进行充分训练，具体包括子步骤s42-s45。
50.步骤s42：将自动标注生成飞溅标签的图像与手动标注生成飞溅标签的图像分别进行数据增强，得到预训练数据与调优数据。
51.采用自动获取标签预训练飞溅检测模型，样本超过10000，手动获取标签调优模型，样本超过500，预训练数据与调优数据在输入模型进行训练前进行马赛克数据增强、自适应图像缩放和翻转等数据增强处理。
52.模型训练过程中，其初始学习率为0.01，采用随机梯度下降（stochastic gradient descent，sgd）优化器，权值衰减量为0.0005，学习率下降方式为余弦退火算法。模型预训练和调优数据均按照9:1的比例分为训练集和验证集，以评估模型是否被充分训练。
53.步骤s43：将预训练数据按比例分为第一训练集与第一验证集，并输入飞溅检测模型进行训练与验证，记录损失值。
54.本步骤采用自动标注形成的飞溅标签对模型进行预训练操作，自动标注形成的飞溅标签具有数量多等优点，但是标签精度稍低，模型可以从大量数据中学习飞溅特征，在本
实施方式中，按比例即为上述9:1的比例。
55.步骤s44：将调优数据按比例分为第二训练集与第二验证集，并输入飞溅检测模型进行训练与验证，记录损失值。
56.本步骤采用手动标注形成的飞溅标签对模型进行调优操作，手动标注的飞溅标签具有精度高的优点，通过少量高精度数据对模型的参数进行微调，提高模型性能，在本实施方式中，按比例即为上述9:1的比例。
57.步骤s45：保存损失值最小时飞溅检测模型的参数。
58.在本步骤中，绘制模型训练/验证损失值与训练代数变化曲线，保存损失值最小时的模型参数用于性能分析，模型损失值在逐代的预训练过程中，逐渐趋于稳定，表明模型此时已经在预训练数据集上被充分训练，调优过程中，找到损失值最稳定的模型参数，保存最优飞溅检测模型，最后根据保存的最优飞溅检测模型在超过1000新手动标签上的准确率、召回率、f值、平均准确率和热力图表现分析模型的飞溅检测能力，其中准确率为模型预测正确数量与预测总数量的比值，召回率为模型预测正确数量与真实的飞溅数量的比值，f值为准确率与召回率的调和平均。
59.在本实施方式中，步骤s1-s4是为了得到训练好的飞溅检测模型。
60.步骤s5：采用训练好的飞溅检测模型处理相机采集的图像，通过目标跟踪算法实现运动飞溅实时跟踪。
61.在本步骤中，图像采集的方式与步骤s1相同，且需要经过步骤s2的预处理操作，具体包括步骤s51-s53。
62.步骤s51：将焊接过程中相机采集图像输入飞溅检测模型，获得不同飞溅的类别、位置和尺寸信息。
63.在此过程中，模型输出飞溅类别和位置信息，位置信息包括中心坐标及其像素宽和高，同时也可得到同一飞溅在相邻图像的像素面积差值，为判断是否为同一飞溅做准备。
64.步骤s52：根据飞溅在相邻图像中的位置信息获得飞溅的速度和轨迹特征。
65.由于相机的采样频率是固定的，故而根据临近图像中同一飞溅的中心坐标变化可获得飞溅的速度，并得到其轨迹特征。
66.步骤s53：采用deepsort多目标跟踪算法建立不同图像中相同飞溅间的关联关系。
67.通过不同图像中相同飞溅间的关联关系，实现运动飞溅跟踪，deepsort算法的核心是卡尔曼滤波算法、匈牙利算法和级联匹配算法，卡尔曼滤波算法根据检测结果预测目标下一时刻的动态特征，生成目标在下一帧图像中的预测框，匈牙利算法能够在下一帧图像中为预测框分配最匹配的检测框，达到目标跟踪的目的，级联匹配算法同时评估目标的间距和特征相似度，采用新轨迹多次确认机制，去除错误的预测框，根据飞溅检测结果和deepsort算法实现运动飞溅跟踪，为每一颗独立飞溅分配独立id。
68.具体的处理流程为，首先通过模型获得当前图像中飞溅的特征和检测框，然后卡尔曼滤波算法根据该飞溅的历史轨迹预测该飞溅在当前图像中的特征和预测框，并对两种方式获得的框进行匹配度分析，确定当前图像中飞溅的id。按照时间顺序对视觉信号的每一帧进行飞溅检测和预测，为每一颗飞溅分配独立id，不同飞溅id不同，同一飞溅从产生到离开视野id均相同。根据飞溅跟踪结果输出飞溅尺寸，初速度和总数量特征，用于分析飞溅对焊接质量的影响情况。
69.deepsort算法在sort算法的基础上增加了级联匹配算法和新轨迹确认机制。跟踪目标分为确认态和不确认态，新产生的目标是不确认态的，不确认态的目标必须要和已识别的目标连续匹配一定的次数（默认是3）才可以转化成确认态。确认态的目标必须和已识别的目标连续失配一定次数（默认30次），才会被删除。
70.如图3所示，为deepsort多目标跟踪算法的飞溅跟踪流程，整个算法的具体工作流程包括步骤1）-步骤8）。
71.步骤1）：将监测视频当前帧检测到的结果创建其对应的跟踪目标，将卡尔曼滤波的运动变量初始化，通过卡尔曼滤波算法预测其对应的检测框。
72.步骤2）：将该帧目标检测的框和第上一帧通过跟踪目标预测的框进行iou（交并比）匹配，再通过iou匹配的结果计算其代价矩阵（代价矩阵计算方式是1-iou）。
73.步骤3）：将步骤2）中得到的所有的代价矩阵作为匈牙利算法的输入，得到线性匹配结果，可得到的结果有三种，第一种是跟踪目标失配，可直接将失配的跟踪目标删除；第二种是已检测目标失配，可将这样的已检测目标初始化为一个新的跟踪目标；第三种是检测框和预测的框框配对成功，表面前一帧和后一帧目标追踪成功，将其对应的已检测目标通过卡尔曼滤波更新其对应的变量。
74.步骤4）：反复循环步骤2）与步骤3），直到出现确认态的跟踪目标或者视频帧结束。
75.步骤5）：通过卡尔曼滤波预测其确认态的跟踪目标和不确认态的跟踪目标对应的框。将确认态的跟踪目标的框和是已检测目标进行级联匹配。
76.步骤6）：进行级联匹配后有三种可能的结果。第一种，跟踪目标匹配，这样的跟踪目标通过卡尔曼滤波更新其对应的变量。第二第三种是已检测目标和跟踪目标失配，这时将之前的不确认状态的跟踪目标和失配的跟踪目标一起和已检测失配目标进行iou匹配，再通过iou匹配的结果计算其代价矩阵。
77.步骤7）：将步骤6）中得到的所有的代价矩阵作为匈牙利算法的输入，得到线性匹配结果，这时候得到的结果有三种，第一种是跟踪目标失配，直接将失配的跟踪目标（确定态的跟踪目标需要连续达到30次才可以删除）删除；第二种是已检测目标失配，将这样的已检测目标初始化为一个新的跟踪目标；第三种是检测框和预测的框框配对成功，这说明前一帧和后一帧追踪成功，将其对应的已检测目标通过卡尔曼滤波更新其对应的变量。
78.步骤8）：反复循环步骤5）-步骤7），直到视频帧结束。
79.步骤s6：根据焊接过程运动飞溅跟踪结果，获得飞溅的尺寸、速度、受力、加速度、轨迹和总数量。
80.本步骤中的运动飞溅跟踪结果包括飞溅中心坐标、飞溅尺寸信息、飞溅产生时建立的独立id、飞溅产生时相应图像的编号、飞溅的中心坐标与飞溅的尺寸信息。
81.具体的，根据高速相机采样频率可以计算出相邻图像间的时间间隔t，根据飞溅中心坐标计算飞溅速度，飞溅因表明张力在运动时形态接近球体，根据飞溅高和宽可计算飞溅面积和体积特征，并根据焊接材料的密度计算出飞溅的质量，通过飞溅速度特征计算飞溅的加速度，并根据牛顿第二定律计算飞溅受到的推力，根据最后一个飞溅id确定飞溅总数量，根据飞溅中心坐标在图像中重构飞溅运动轨迹，根据轨迹分析飞溅在焊件上的落点。
82.根据每一颗飞溅的质量可以获得焊接过程产生飞溅的总质量，量化飞溅对焊接质量的影响情况。
83.需要说明的是，飞溅在金属蒸汽喷发区域内会受到金属蒸汽不断变化的推力，因此每颗飞溅的速度（大小和方向）和运动轨迹均不相同。
84.另外，在某一具体实施例中，如图5-14所示，为id47的飞溅监测结果，该飞溅在图no.27442中开始形成，20帧后在图no.27462中已经能够被准确检测和跟踪，此时该飞溅的面积为824.67像素；由于飞溅运动缓慢，飞溅在图no.27462~no.27562（100帧）内的平均速度定义为飞溅的初速度，根据该飞溅在这两帧图像中的中心坐标数据可以获得47号飞溅在x轴方向的初速度为0.82 像素/ms，在y轴方向的平均初速度为-6.59像素/ms；飞溅在图no.27862附近达到飞行的最高点，然后开始下落，飞溅从生成到离开监测视野，飞行的时间约900张监测图像（81 ms）；在图no.27000附近有多颗尺寸较大的飞溅产生，如40号、47号、48号和49号飞溅，表明该位置金属蒸汽喷发剧烈，熔融金属不断汇集形成液柱，液柱顶端熔融金属离开形成飞溅。
85.以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法，其特征在于，包括以下步骤：s1、由相机采集焊接区域的飞溅监测图像；s2、对飞溅监测图像进行预处理，突出飞溅特征；s3、在预处理图像中对飞溅进行标注，形成飞溅标签，所述飞溅标签包含飞溅位置信息；s4、搭建飞溅检测模型，并采用具有飞溅标签的预处理图像进行预训练与调优；s5、采用训练好的飞溅检测模型处理相机采集的图像，通过目标跟踪算法实现运动飞溅实时跟踪；s6、根据焊接过程运动飞溅跟踪结果，获得飞溅的尺寸、速度、受力、加速度、轨迹和总数量。2.如权利要求1所述的万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法，其特征在于，所述步骤s2中的预处理，包括裁剪roi区域与对roi图像进行线性点运算处理，所述线性点运算处理用于突出飞溅特征。3.如权利要求1所述的万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法，其特征在于，所述步骤s3的对飞溅进行标注，包括手动标注与自动标注，其中，自动标注由图像处理算法对预处理图像进行自动飞溅标注。4.如权利要求3所述的万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法，其特征在于，所述步骤s4包括以下子步骤：s41、搭建飞溅检测模型；s42、将自动标注生成飞溅标签的图像与手动标注生成飞溅标签的图像分别进行数据增强，得到预训练数据与调优数据；s43、将预训练数据按比例分为第一训练集与第一验证集，并输入飞溅检测模型进行训练与验证，记录损失值；s44、将调优数据按比例分为第二训练集与第二验证集，并输入飞溅检测模型进行训练与验证，记录损失值；s45、保存损失值最小时飞溅检测模型的参数。5.如权利要求1所述的万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法，其特征在于，所述步骤s5包括以下子步骤：s51、将焊接过程中相机采集图像输入飞溅检测模型，获得不同飞溅的类别、位置和尺寸信息；s52、根据飞溅在相邻图像中的位置信息获得飞溅的速度和轨迹特征；s53、采用deepsort多目标跟踪算法建立不同图像中相同飞溅间的关联关系。6.如权利要求1所述的万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法，其特征在于，所述步骤s6的运动飞溅跟踪结果包括飞溅产生时建立的独立id、飞溅产生时相应图像的编号、飞溅的中心坐标与飞溅的尺寸信息。7.如权利要求6所述的万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法，其特征在于，根据相机采样频率与相邻图像中飞溅的中心坐标变化得到飞溅速度，根据飞溅尺寸计算飞溅面积与体积特征并获得飞溅质量，通过飞溅速度变化计算飞溅加速度，进而获得
飞溅所受推力，根据最后一个飞溅id确定飞溅总数量，根据飞溅中心坐标在图像中的位置获得飞溅运动轨迹。8.如权利要求3所述的万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法，其特征在于，所述自动标注的图像处理算法包括多阈值分割、形状识别与图像融合。9.如权利要求1所述的万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法，其特征在于，所述飞溅检测模型以yolov5s为主框架，其包括输入端、主干特征提取网络、fpn+pan加强特征提取网络和d_head输出端，其中，所述输入端用于输入预处理后的飞溅监测图像，所述主干特征提取网络采用深度可分离卷积进行下采样，所述fpn+pan加强特征提取网络用于将从主干特征网络获取的有效特征层进行特征提取和融合，所述d_head输出端用于输出检测框位置和检测框置信度。10.如权利要求5所述的万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法，其特征在于，所述deepsort多目标跟踪算法包括卡尔曼滤波算法、匈牙利算法和级联匹配算法。

技术总结
本发明涉及焊接检测技术领域，且提出了一种万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法，包括以下步骤：S1、由相机采集焊接区域的飞溅监测图像；S2、对飞溅监测图像进行预处理，突出飞溅特征；S3、在预处理图像中对飞溅进行标注，形成飞溅标签，所述飞溅标签包含飞溅位置信息；S4、搭建飞溅检测模型，并采用具有飞溅标签的预处理图像进行预训练与调优；S5、采用训练好的飞溅检测模型处理相机采集的图像，通过目标跟踪算法实现运动飞溅实时跟踪；S6、根据焊接过程运动飞溅跟踪结果，获得飞溅的尺寸、速度、受力、加速度、轨迹和总数量。该万瓦级超高功率激光焊接过程运动飞溅实时跟踪方法，能够为焊接过程参数反馈控制提供可靠依据。据。据。


技术研发人员：蔡旺 曹龙超 周奇 舒乐时 耿韶宁 高飘 张丽彬
受保护的技术使用者：武汉纺织大学
技术研发日：2023.06.29
技术公布日：2023/8/1