一种视频识别水下护面块体脱落轨迹的方法及设备与流程

1.本发明涉及港口及海岸工程设备监测技术领域，尤其涉及一种视频识别水下护面块体脱落轨迹的方法及设备。


背景技术：

2.在港口及海岸工程领域，斜坡堤是一种传统的、广为采用的结构型式。在防波堤与波浪的相互作用中，波浪力可能会引起护面块体的运动，造成护面块体失稳。在防波堤设计中，对于参数超出规范适用的范围的情况，需依靠模型试验确定护面层设计。
3.目前，水下护面块体脱落在模型试验中主要通过目测法计量，需要花费大量的时间反复观看实验影像资料统计护面块体脱落的个数，而且准确率较低；一些纯机械测量方法能够比较容易地在水面上下进行测量，但是得到的结果少且精度低；一些视觉方法通过2d或3d重建剖面得到防波堤整体护面块体状态，如hofland等人提出了数字立体摄影dsp技术，通过两台相互之间有固定距离的数码相机、一台笔记本电脑和一组标记可以相对容易地测量抛石防波堤的破坏(bas hofland,marcel van gent,tim raaijmakers and freek liefhebber,2013.damage evaluation using the damage depth.in proceedings ofthe coastal structures)；m.stagnitti等人提出了一种基于sfm的立方体斜坡式防波堤破坏机理分析技术，通过匹配检测从不同位置拍摄并充分重叠的图像特征，然后通过表达相机校准和姿势的投影矩阵，再通过三角测量重建三维点云(m.stagnitti,r.e.musumeci,e.foti,2023.surface roughness measurement for the assessment of damage dynamics of existing and upgraded cube-armored breakwaters.coastal engineering)。需要注意的是，现有的视觉方法是在测量时需要保持水槽全干的状态，且是通过图片重建模型轮廓，给出的是较长时间间隔模型整体轮廓的变化，无法给出护面块体脱落轨迹。
4.鉴于目前的研究不够完善，而视频识别水下护面块体脱落的研究又十分重要。因此，迫切需要提出一种视频识别水下护面块体脱落的方法。


技术实现要素：

5.本发明的目的在于克服现有水下护面块体脱落计算方法准确率不高、无法给出脱落轨迹的问题，提供一种视频识别水下护面块体脱落轨迹的方法及设备，本发明基于机器视觉技术自动化实现水下护面块体脱落检测，成本较低，识别速度较快，能够给出水下护面块体脱落的完整轨迹，提高了物理模型实验识别水下护面块体脱落的效率和准确度。
6.为了实现上述发明目的，本发明提供了以下技术方案：
7.一种视频识别水下护面块体脱落轨迹的方法，包括：
8.获取待识别水下护面块体的多个图像数据，采用背景减法器减去多个所述图像数据的背景区域，形成多个目标图像数据；
9.对每个所述目标图像数据进行形态学去噪处理，按照时间顺序，将去噪后的目标
图像数据依次输入至预先建立的目标检测模型与deepsort轨迹跟踪模型，得到所述护面块体的脱落轨迹。
10.根据一种具体的实现方式，上述视频识别水下护面块体脱落轨迹的方法中，所述采用背景减法器减去多个所述图像数据的背景区域，包括：
11.s21、预先利用多个所述图像数据对应的历史图像数据集的像素分布信息生成背景模型；
12.s22、针对每个所述图像数据，将其所包含的像素点依次与所述背景模型进行比较，确定其对应的背景区域，减去所述背景区域，形成目标图像数据。
13.根据一种具体的实现方式，上述视频识别水下护面块体脱落轨迹的方法中，通过混合高斯分布算法建立所述背景模型，所述背景模型为：
14.其中，代表颜色空间中某一点像素在时间t时的像素值；bg为像素点为背景，χ为多个所述图像数据对应的历史图像数据集。
15.根据一种具体的实现方式，上述视频识别水下护面块体脱落轨迹的方法中，所述对每个所述目标图像数据进行形态学去噪处理，包括：
16.根据所述水下护面块体的结构特性设置结构元素，并选择合适的形态学操作，基于所述结构元素对每个所述目标图像数据进行形态学去噪处理。
17.所述对每个所述目标图像数据进行形态学去噪处理，包括：
18.基于所述目标图像区域的特性，确定合适的形态学操作，基于所确定的形态学操作对每个所述目标图像数据进行形态学去噪处理；以及，通过阈值处理，得到二值化的目标图像数据。
19.根据一种具体的实现方式，上述视频识别水下护面块体脱落轨迹的方法中，所述合适形态学操作为先进行开运算操作、再进行闭运算操作。
20.根据一种具体的实现方式，上述视频识别水下护面块体脱落轨迹的方法中，基于yolov5预先建立所述目标检测模型。
21.根据一种具体的实现方式，上述视频识别水下护面块体脱落轨迹的方法中，通过以下方法基于yolov5预先建立所述目标检测模型，包括：
22.利用opencv库将拍摄的视频分帧，使用标注工具对运动的护面块体所在的帧数照片中的脱落护面块体进行标注，形成第一训练数据集；
23.采用数据增广算法对所述第一训练数据集进行增广处理，得到第二训练数据集；
24.利用第二训练数据集对yolov5模型进行训练，当模型满足条件收敛时，得到所述目标检测模型。
25.根据一种具体的实现方式，上述视频识别水下护面块体脱落轨迹的方法中，所述利用第二训练数据集对yolov5模型进行训练，包括：
26.获取开源数据库对应的yolov5迁移模型，基于第二训练数据集对yolov5迁移模型进行训练，选择silu激活函数，选择ciou计算矩形框损失，选择二元交叉熵损失函数bcewithlogitsloss计算置信度损失与分类损失，选择hyp.scratch-high超参数对yolov5迁移模型进行训练。
27.根据一种具体的实现方式，上述视频识别水下护面块体脱落轨迹的方法中，通过
以下方法预先建立所述deepsort轨迹跟踪模型，包括：
28.根据视频或图像序列的上下文信息，对运动护面块体的外观和运动信息进行建模，从而对护面块体运动状态进行预测并标定位置；
29.使用训练好的yolov5网络权重进行推断，并保存检测目标锚定结果，为检测目标中每一个运动护面块体创建训练数据集，手动通过roboflow进行对不同帧同一块石进行标注，构成deepsort对应的第三训练数据集；
30.基于所述第三训练数据集对deepsort初始模型进行训练，得到训练好的deepsort轨迹跟踪模型。
31.本发明的另一方面，提供一种电子设备，包括处理器、网络接口和存储器，所述处理器、所述网络接口和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述视频识别水下护面块体脱落轨迹的方法。
32.与现有技术相比，本发明的有益效果：
33.本发明实施例所提供的方法，通过拍摄水下护面块体的视频影像数据，从视频数据提取多个图像数据，采用前后景区分、形态学处理获取水下护面块体对应的目标图像数据，基于预先建立的目标检测和deepsort目标跟踪算法，自动识别得到水下护面块体脱落的轨迹；本方法基于机器视觉技术自动化实现水下护面块体脱落检测，成本较低，识别速度较快，能够给出水下护面块体脱落的完整轨迹，提高了物理模型实验识别水下护面块体脱落的效率和准确度。
附图说明
34.图1为本发明示例性实施例的视频识别水下护面块体脱落轨迹的方法流程图；
35.图2为本发明示例性实施例的结构元素示意图；
36.图3为本发明示例性实施例的图片处理过程示意图；
37.图4为本发明示例性实施例基于yolo模型锚定得到的第三数据集示意图；
38.图5为本发明示例性实施例的背景减除后得到的前景图像数据示意图；
39.图6为本发明示例性实施例的是生态学操作和阈值处理后前景图像数据示意图；
40.图7为本发明示例性实施例的yolov5网络目标检测结果示意图；
41.图8为本发明示例性实施例的推断出的某一护面块体的脱落轨迹和护面块体状态示意图；
42.图9为本发明示例性实施例的电子设备结构框图。
具体实施方式
43.下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
44.实施例1
45.图1示出了本发明示例性实施例的视频识别水下护面块体脱落轨迹的方法，包括：
46.s1、获取待识别水下护面块体的多个图像数据，
47.s2、采用背景减法器减去多个所述图像数据的背景区域，形成多个目标图像数据；
48.s3、对每个所述目标图像数据进行形态学去噪处理；
49.s4、按照时间顺序，将去噪后的目标图像数据依次输入至预先建立的目标检测模型与deepsort轨迹跟踪模型，得到所述护面块体的脱落轨迹。
50.本实施例中，通过拍摄水下护面块体的视频影像数据，从视频数据提取多个图像数据，采用前后景区分、形态学处理获取水下护面块体对应的目标图像数据，基于预先建立的目标检测和deepsort目标跟踪算法，自动识别得到水下护面块体脱落的轨迹；本方法基于机器视觉技术自动化实现水下护面块体脱落检测，成本较低，识别速度较快，能够给出水下护面块体脱落的完整轨迹，提高了物理模型实验识别水下护面块体脱落的效率和准确度。
51.实施例2
52.在一种可能的实现方式中，上述s1具体包括：使用摄影设备水槽旁侧拍摄水下护面块体情况；将一个固定摄像机，放置于水槽侧边或水下，对需要判定的地方进行拍摄，获取水下护面块体的视频数据；从视频数据中获取多个图像数据。
53.在一种可能的实现方式中，上述s2具体包括：利用多个对应的图像数据历史帧图像的像素值估计出每个像素点的背景模型，通过背景模型去除多个图像数据中的背景数据，得到多个目标图像数据(即前景图像)。
54.具体的，背景模型即每个像素点对应一组高斯分布，代表着该像素点的背景。当新的帧图像进来时，与背景模型进行比较，如果该像素点的像素值与背景分布相差较大，则认为该像素点处于前景区域。
55.具体的，代表颜色空间中某一点像素在时间t时的像素值。假设某一点像素是背景(bg)或前景(fg)的概率相同，且前景物体具有均匀的分布,即：
56.p(fg)＝p(bg)
ꢀꢀ
(1)
[0057][0058]
则可通过下式确定此点是否属于背景区域：
[0059][0060]
其中c
thr
是阈值。
[0061]
确定像素属于背景或前景的贝叶斯决策因子r由下式确定：
[0062][0063]
从而得到
[0064][0065]
这里把称为背景模型。背景模型通过χ表示的训练集合进行估计，则模型表示为此模型依赖于集合χ的分布，而在水下摄像中，水面的变化导致水下护面块体表面会出现密集的不断运动的亮斑，所以需要增加新样本替换旧样本更新训练集。选择一个合适的时间窗t，则t时刻样本集χ
t
＝{x
(t)
,
…
,x
(t-t)
},对每个新样本更新样本
集重新估计模型但由于样本集中含有前景区域，所以实际估计的模型为我们使用m个分布的混合高斯分布模型，如下式：
[0066][0067]
模型更新方程如下：
[0068][0069][0070][0071]
其中，是高斯分布均值估计值，是高斯分布方差估计值，表示权重非负且和为1,α表示指数级下降的包络曲线。为马氏距离，用像素值的马氏距离小于三倍标准差来定义它符合某个分布。如果像素值不符合所有高斯分布，会建立一个新高斯分布，其中σ0是一个合适的初始值。
[0072]
在一种可能的实现方式中，上述s3具体包括：根据所述水下护面块体的结构特性设置结构元素，并选择合适的形态学操作，基于所述结构元素对每个所述目标图像数据(前景图像数据)进行形态学去噪处理。
[0073]
可以理解的是，形态学是由生物学衍生出的数学理论，20世纪80年代初，数学形态学开始被应用于图像处理和模式识别领域。它的基本思想是用一定形态的结构元素度量和提取图像中的有效信息。其中开运算可以去除图像中的噪声，消除较小的连通域，保留较大的连通域；闭运算可以去除连通域内的小型空洞，平滑物体轮廓，连接两个相邻的连通域；膨胀和腐蚀操作，用于连接周围像素以形成连通块、填补断裂的前景区域，并去掉边缘形状不规则的物体。
[0074]
具体的，水下天然块石的形状不一，但大多数天然块石的轮廓都呈现为椭圆形。因此，本发明实施例针对天然块石这一特性，设计了一种如图2所示的结构元素。
[0075]
本实施例中，根据水下天然块石的结构特性选择先开运算后闭运算的去噪处理方式，开运算可以去除图像中的噪声，消除较小的连通域，保留较大的连通域。并可以在两个物体连接纤细的连接处将它们分离。闭运算可以去除连通域内的空洞，平滑物体轮廓，连接两个邻近的连通域。
[0076]
开运算是指利用结构元素对目标图像先再膨胀，若a、b满足下式则称图像b对图像a做开运算：
[0077]
[0078]
闭运算是指利用结构元素对目标图像先膨胀再腐蚀,若a、b满足下式则称图像b对图像a做闭运算：
[0079][0080]
以及，通过阈值处理，得到二值化的目标图像数据。图3示出了本实施例的图片处理过程，图3中从左到右依次为，背景模型图片、开运算后的图片、闭运算后的图片；从图3可以看出，经过本实施例所提供的图像处理方法，能够得到清晰的目标图像数据(前景图像)，为后续模型的图像识别奠定基础。
[0081]
在一种可能的实现方式中，通过以下方法预先建立目标检测模型与deepsort轨迹跟踪模型，包括：
[0082]
步骤4：构建运动护面块体数据集
[0083]
对于提取出的运动物体的二值化图像，由于水下光影、水面波动等原因，导致图像亮度不断变化，仍存在大量噪声，且难以通过形态学处理去噪，需要更为先进的特征提取手段。本发明采用yolov5目标检测算法将水下护面块体运动轨迹从二值化前景图中提取出来。利用opencv库将拍摄的视频分帧，使用标注工具对运动的护面块体所在的帧数照片中的脱落护面块体进行标注。将此标注的标签与前景区域的二值化图对应起来，形成数据集，可采用翻转、旋转、剪切和马赛克等数据增强手段来扩大数据集，同时按照7:2:1的比例分为训练集、验证集和测试集。特别注意的是，需要保证训练集、验证集和测试集的正负样本比例一致。
[0084]
步骤5：使用构建的数据集和python实验平台进行yolov5网络训练
[0085]
使用python的pytorch库作为yolo模型训练工具。选用yolov5s网络在coco数据集上的权重参数进行微调，选择silu激活函数，选择ciou计算矩形框损失，选择二元交叉熵损失函数bcewithlogitsloss计算置信度损失与分类损失，选择hyp.scratch-high超参数进行训练。
[0086]
具体的，训练时主要包含三个方面的损失：矩形框损失(loss
rect
)、置信度损失(loss
obj
)、分类损失(loss
clc
)。损失函数定义如下式：
[0087]
loss＝λ1loss
obj
+λ2loss
rect
+λ3loss
clc
ꢀꢀ
(10)
[0088]
loss
rect
引入ciou来衡量，ciou考虑边界框回归的重叠面积、中心点距离、纵横比。ciou的惩罚项在diou的惩罚项基础上加了一个考虑到预测框纵横比拟合真实框的纵横比影响因子。ciou可按下式计算：
[0089][0090][0091][0092]
[0093]
其中，iou是两个方框的交并比，即两方框相交区域和相并区域面积比值。ρ是两方框中心点的距离，c为两方框的最小包围矩形的对角线长度，ν为两方框的宽高相似比，α为ν的影响因子。
[0094]
loss
obj
和loss
clc
使用二元交叉熵损失函数bcewithlogitsloss计算，bcewithlogitsloss是指经过sigmoid激活后再采用交叉熵损失函数计算损失，如下式：
[0095]
loss
bce
＝-(ylog(p(x))+(1-y)log(1-p(x)))
ꢀꢀ
(15)
[0096][0097]
其中，x表示预测的输出，p(x)为sigmoid激活后预测的输出，y为真实标签。
[0098]
步骤6：在验证集上验证yolov5网络
[0099]
使用训练结果的权重参数在验证集上进行推断。如果精确度达到要求，则采用此权重参数在测试集上测试；如果效果没有达到要求，扩大数据集或更改超参数重复步骤5。
[0100]
步骤7：在测试集上测试yolov5网络
[0101]
精确度达到要求，采用此权重参数进行推断；精确度达不到要求，可选择采用yolov5n、yolov5m等参数的网络数据集，重复步骤4、5、6。
[0102]
步骤8：构建deepsort网络目标跟踪数据集
[0103]
采用deepsort跟踪网络，根据视频或图像序列的上下文信息，对运动护面块体的外观和运动信息进行建模，从而对护面块体运动状态进行预测并标定位置。使用训练好的yolov5网络权重进行推断，并保存检测目标。为检测目标中每一个运动护面块体创建训练集、验证集，构成deepsort的数据集。
[0104]
具体的，使用训练好的yolov5网络权重进行推断，并保存检测目标锚定结果，如图4所示，为检测目标中每一个运动护面块体创建训练数据集，手动通过roboflow进行对不同帧同一块石进行标注，构成deepsort对应的第三训练数据集；基于第三训练数据集对deepsort初始模型进行训练，即可得到训练好的deepsort轨迹跟踪模型。
[0105]
步骤9：训练deepsort网络
[0106]
使用python的pytorch库作为deepsort模型训练工具。在训练集上训练deepsort网络，并选择ckpt1.t7作为初始权重。在模型训练时，需截取输入视频中有块石脱落的片段进行训练,大概2分钟；在使用训练好的模型进行轨迹识别时，需对全部输入视频分帧并进行减除背景、形态学处理图像，最后将其输入到训练好的模型识别水下护面块体脱落轨迹。
[0107]
具体的，deepsort的主要步骤是：deepsort算法定义了一个八维空间向量用于表示某一时刻的轨迹状态，该空间包含边界框中心位置(u,v)，纵横比γ，高度h,参数是u,v,γ,h相对于图像坐标的速度。利用卡尔曼滤波器来估计目标下一帧的状态,利用yolov5将检测的目标框中的表观特征和运动特征提取出来，计算目标检测框与预测框的diou，进行级联匹配，为每个追踪到的目标分配id。
[0108]
deepsort使用iou来作为目标匹配的关联指标，但是iou仅考虑两框的重合程度，并不能反映两框的距离。在护面块体脱落轨迹检测中对于检测框距离的要求比较严格，所以引入diou作为目标匹配的关联指标。diou对于能够直接最小化中心点间的距离。diou的损失函数公式如下：
[0109][0110]
式中，b,b
gt
分别代表了预测框和真实框的中心点，且ρ代表的是计算两个中心点间的欧式距离，c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离。
[0111]
跟踪目标时，deepsort计算检测框与滤波器预测框之间的马氏距离如下式所示：
[0112][0113]
式中，dj表示第j个检测结果，yi为第i个预测结果的状态向量，si表示检测结果和平均跟踪结果之间的协方差矩阵。
[0114]
外观特征度量采用最小余弦距离测量二者之间的特征距离，如下式所示：
[0115][0116]
式中，d
(2)
(i,j)为计算第i个跟踪器临近n个成功关联的轨迹与第j个被检测目标特征向量之间的最小余弦距离。
[0117]
运动与外观融合度量函数如下式:
[0118]ci,j
＝λd
(1)
(i,j)+(1-λ)d
(2)
(i,j)
ꢀꢀ
(20)
[0119]
式中，λ为不同关联度量比例系数，c
i,j
越小表示第i个跟踪轨迹与第j个检测目标越相似。
[0120]
最后根据关联度量结果利用匈牙利匹配算法得到最优跟踪轨迹。步骤10：在验证集上验证deepsort网络
[0121]
使用训练结果的权重参数在验证集上进行推断。如果精确度达到要求，则采用此权重参数进行推断；如果效果没有达到要求，扩大数据集或更改超参数重复步骤9。
[0122]
步骤11：识别水下护面块体脱落的轨迹
[0123]
使用opencv库将视频分帧，对全视频进行背景检测、形态学操作后，将连续帧图像按顺序输入到训练好的yolov5网络和deepsort网络的权重进行推断，即可得到水下护面块体脱落的轨迹。
[0124]
在本发明进一步的实施例中，以斜坡式防波堤断面实验水槽侧面拍摄的水下护面块体视频为例，说明本发明示例性实施例的视频识别水下护面块体脱落轨迹的方法的具体流程：
[0125]
步骤1：使用opencv库读取视频文件。
[0126]
步骤2：初始化背景减法器，选择历史500帧、方差阈值16进行前景检测，得到图片如图5。
[0127]
步骤3：对前景图像进行开运算和阈值处理，得到图片如图6。
[0128]
步骤4：使用roboflow标注图像，生成images和labels文件，并按照7:2:1的比例分为训练集，验证集和测试集。
[0129]
步骤5：选择yolov5s网络进行训练，选择hyp.scratch-high为初始超参数进行训练，选择epoch为300次，选择adam为优化器。
[0130]
步骤5：使用验证集进行验证，达到精度要求，进行步骤6。
[0131]
步骤6：在测试集上推断，得到图片7，达到精度要求。保存训练权重best.pt作为模型推断权重。
[0132]
步骤7：采用上述best.pt权重文件推断实验视频，得到检测目标，为每一个检测目标建立训练集和验证集。
[0133]
步骤8：在训练集上训练，选择权重ckpt1.t7作为初始权重。
[0134]
步骤9：在验证集上验证，精度达到要求，保存权重文件。
[0135]
步骤10：输入视频，推断完整视频，得到实验水下护面块体脱落的轨迹，如图8，生成轨迹文件和标记脱落护面块体的视频。
[0136]
实施例3
[0137]
本发明的另一方面，如图9所示，提供一种电子设备，包括：处理器、网络接口和存储器，所述处理器、所述网络接口和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述实施例1或实施例2所述的视频识别水下护面块体脱落轨迹的方法。
[0138]
本发明的另一方面，还提供一种计算机存储介质，所述计算机存储介质中存储有程序指令，所述程序指令被至少一个处理器执行时，用于实现上述视频识别水下护面块体脱落轨迹的方法。
[0139]
在本发明的实施例中，处理器可以是一种集成电路芯片，具有信号的处理能力。处理器可以是通用处理器、数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0140]
可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。处理器读取存储介质中的信息，结合其硬件完成上述方法的步骤。
[0141]
存储介质可以是存储器，例如可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。
[0142]
其中，非易失性存储器可以是只读存储器(read-only memory，简称rom)、可编程只读存储器(programmable rom，简称prom)、可擦除可编程只读存储器(erasable prom，简称eprom)、电可擦除可编程只读存储器(electrically eprom，简称eeprom)或闪存。
[0143]
易失性存储器可以是随机存取存储器(random access memory，简称ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，简称sram)、动态随机存取存储器(dynamic ram，简称dram)、同步动态随机存取存储器(synchronous dram，简称sdram)、双倍数据速率同步动态随机存取存储器(double data ratesdram，简称ddrsdram)、增强型同步动态随机存取存储器(enhancedsdram，简称esdram)、同步连接动态随机存取存储器(synchlink dram，简称sldram)和直接内存总线随机存取存储器(directrambus ram，简称drram)。
[0144]
本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
[0145]
应该理解到，本发明所揭露的系统，可通过其它的方式实现。例如所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，模块之间的通信连接可以是通过一些接口，服务器或单元的间接耦合或通信连接，可以是电性或其它的形式。
[0146]
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0147]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0148]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种视频识别水下护面块体脱落轨迹的方法，其特征在于，包括：获取待识别水下护面块体的多个图像数据，采用背景减法器减去多个所述图像数据的背景区域，形成多个目标图像数据；对每个所述目标图像数据进行形态学去噪处理，按照时间顺序，将去噪后的目标图像数据依次输入至预先建立的目标检测模型与deepsort轨迹跟踪模型，得到所述护面块体的脱落轨迹。2.根据权利要求1所述的视频识别水下护面块体脱落轨迹的方法，其特征在于，所述采用背景减法器减去多个所述图像数据的背景区域，包括：s21、预先利用多个所述图像数据对应的历史图像数据集的像素分布信息生成背景模型；s22、针对每个所述图像数据，将其所包含的像素点依次与所述背景模型进行比较，确定其对应的背景区域，减去所述背景区域，形成目标图像数据。3.根据权利要求2所述的视频识别水下护面块体脱落轨迹的方法，其特征在于，通过混合高斯分布算法建立所述背景模型，所述背景模型为：其中，代表颜色空间中某一点像素在时间t时的像素值；bg为像素点为背景，χ为多个所述图像数据对应的历史图像数据集。4.根据权利要求1所述的视频识别水下护面块体脱落轨迹的方法，其特征在于，所述对每个所述目标图像数据进行形态学去噪处理，包括：根据所述水下护面块体的结构特性设置结构元素，并选择合适的形态学操作，基于所述结构元素对每个所述目标图像数据进行形态学去噪处理。5.根据权利要求4所述的视频识别水下护面块体脱落轨迹的方法，其特征在于，所述合适形态学操作为先进行开运算操作、再进行闭运算操作。6.根据权利要求1～5任一所述的视频识别水下护面块体脱落轨迹的方法，其特征在于，基于yolov5预先建立所述目标检测模型。7.根据权利要求6所述的视频识别水下护面块体脱落轨迹的方法，其特征在于，通过以下方法基于yolov5预先建立所述目标检测模型，包括：利用opencv库将拍摄的视频分帧，使用标注工具对运动的护面块体所在的帧数照片中的脱落护面块体进行标注，形成第一训练数据集；采用数据增广算法对所述第一训练数据集进行增广处理，得到第二训练数据集；利用第二训练数据集对yolov5模型进行训练，当模型满足条件收敛时，得到所述目标检测模型。8.根据权利要求7所述的视频识别水下护面块体脱落轨迹的方法，其特征在于，所述利用第二训练数据集对yolov5模型进行训练，包括：获取开源数据库对应的yolov5迁移模型，基于第二训练数据集对yolov5迁移模型进行训练，选择silu激活函数，选择ciou计算矩形框损失，选择二元交叉熵损失函数bcewithlogitsloss计算置信度损失与分类损失，选择hyp.scratch-high超参数对yolov5迁移模型进行训练。9.根据权利要求7所述的视频识别水下护面块体脱落轨迹的方法，其特征在于，通过以
下方法预先建立所述deepsort轨迹跟踪模型，包括：根据视频或图像序列的上下文信息，对运动护面块体的外观和运动信息进行建模，从而对护面块体运动状态进行预测并标定位置；使用训练好的yolov5网络权重进行推断，并保存检测目标锚定结果，为检测目标中每一个运动护面块体创建训练数据集，手动通过roboflow进行对不同帧同一块石进行标注，构成deepsort对应的第三训练数据集；基于所述第三训练数据集对deepsort初始模型进行训练，得到训练好的deepsort轨迹跟踪模型。10.一种电子设备，其特征在于，包括处理器、网络接口和存储器，所述处理器、所述网络接口和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1～9任一项所述的视频识别水下护面块体脱落轨迹的方法。

技术总结
本发明公开了一种视频识别水下护面块体脱落轨迹的方法及设备，包括：获取待识别水下护面块体的多个图像数据，采用背景减法器减去多个所述图像数据的背景区域，形成多个目标图像数据；对每个所述目标图像数据进行形态学去噪处理，按照时间顺序，将去噪后的目标图像数据依次输入至预先建立的目标检测模型与DeepSort轨迹跟踪模型，得到所述护面块体的脱落轨迹。本方法基于机器视觉技术自动化实现水下护面块体脱落检测，成本较低，识别速度较快，能够给出水下护面块体脱落的完整轨迹，提高了物理模型实验识别水下护面块体脱落的效率和准确度。准确度。准确度。


技术研发人员：赵刘群 邹为明 魏远明 彭志盛 吴修昆 梁福源 吴浩 王文彬 高顺
受保护的技术使用者：中交第四航务工程局有限公司
技术研发日：2023.08.07
技术公布日：2023/10/15