斗齿脱落检测方法及系统、可读存储介质与流程

1.本技术涉及图像检测技术领域，具体而言，涉及一种斗齿脱落检测方法及系统、可读存储介质。


背景技术：

2.挖掘机斗齿为挖斗可拆卸部分，在实际作业过程中常出现斗齿脱落的情况。挖斗发生斗齿脱落后，一方面缺失斗齿的挖斗生产作业效率会受到极大的影响，同时，脱落的斗齿混入物料中，在后续对物料进行破碎等处理时，钢制斗齿进入破碎机等机械时，会造成设备的损坏，带来较大的经济损失。因此，为保障挖掘机开采及后续作业顺利进行，需对挖掘机斗齿进行监测，快速发现斗齿的脱落。
3.目前的斗齿监测方法主要基于视觉信息进行，在挖掘机大臂安装摄像头获取挖斗图像信息，之后使用传统方法或深度学习方法对挖斗图像进行分割，获取斗齿轮廓，基于斗齿高度、轮廓线长度等信息进行阈值判断，实现斗齿脱落检测。实际使用中，传统的图像分割方法分割精度较低，在检测过程中会出现大量的误检与漏检，实用价值低，而基于深度学习的图像分割方法，虽然精度较高，但是分割网络往往参数量较大，对设备算力的要求较高，难以实现广泛的部署应用。


技术实现要素：

4.本技术旨在解决或改善上述技术问题。
5.为此，本技术的第一目的在于提供一种斗齿脱落检测方法。
6.本技术的第二目的在于提供一种斗齿脱落检测系统。
7.本技术的第三目的在于提供一种斗齿脱落检测系统。
8.本技术的第四目的在于提供一种可读存储介质。
9.为实现本技术的第一目的，本技术第一方面的技术方案提供了一种斗齿脱落检测方法，包括：获取挖掘机作业视频数据和挖掘机作业视频流；对挖掘机作业视频数据进行标注，得到挖斗分类数据集与斗齿识别数据集；根据挖斗分类数据集训练深度学习分类网络，得到挖斗分类模型；根据斗齿识别数据集训练目标检测网络，得到斗齿目标检测模型；通过挖斗分类模型对挖掘机作业视频流进行二分类，得到含有完整空挖斗的图像帧；通过斗齿目标检测模型对图像帧进行斗齿目标检测，得到斗齿目标信息；根据斗齿目标信息确认挖掘机斗齿是否完整。
10.根据本技术提供的斗齿脱落检测方法，首先获取挖掘机作业视频数据和挖掘机作业视频流，对挖掘机作业视频数据进行标注，构建挖斗分类数据集与斗齿识别数据集。然后根据挖斗分类数据集训练深度学习分类网络，得到挖斗分类模型。根据斗齿识别数据集训练目标检测网络，得到斗齿目标检测模型。然后通过挖斗分类模型对挖掘机作业视频流进行二分类，得到含有完整空挖斗的图像帧。通过斗齿目标检测模型对图像帧进行斗齿目标检测，得到斗齿目标信息。最后根据斗齿目标信息确认挖掘机斗齿是否完整。通过采用图像
分类加目标检测的组合方法识别斗齿脱落，相较于现有的图像分割方法与目标检测加图像分割方法，需要参数量更少，对设备算力的要求更低，可适用于边缘计算等场景，拥有更高的实用价值。
11.另外，本技术提供的技术方案还可以具有如下附加技术特征：
12.在一些技术方案中，可选地，对挖掘机作业视频数据进行标注，得到挖斗分类数据集与斗齿识别数据集，具体包括：将挖掘机作业视频数据转换为图像帧数据；对图像帧数据进行标注，得到挖斗分类数据集与斗齿识别数据集。
13.在该技术方案中，对挖掘机作业视频数据进行标注，构建挖斗分类数据集与斗齿识别数据集，具体为首先将挖掘机作业视频数据转换为图像帧数据。然后对图像帧数据进行标注，得到挖斗分类数据集与斗齿识别数据集，从而得到模型训练数据。
14.在一些技术方案中，可选地，通过挖斗分类模型对挖掘机作业视频流进行二分类，得到含有完整空挖斗的图像帧，具体包括：基于深度学习图像分类网络构建初始挖斗分类模型；根据挖斗分类数据集对初始挖斗分类模型进行训练，得到挖斗分类模型。
15.在该技术方案中，通过挖斗分类模型对挖掘机作业视频流进行二分类，得到含有完整空挖斗的图像帧，具体为首先基于深度学习图像分类网络构建初始挖斗分类模型。然后根据挖斗分类数据集对初始挖斗分类模型进行训练，得到挖斗分类模型。具体地，对挖斗分类数据集进行类别标注，将包含完整、无物料、拍摄角度可观察到斗齿信息的图像帧标注为一类，以0作为标签。将挖斗部分被遮挡、挖斗内含含有物料、拍摄角度无法观察到斗齿的图像帧统一标注为一类，以1作为标签。之后使用标注数据对初始挖斗分类模型进行训练，得到挖斗分类模型。然后将挖掘机作业视频流输入挖斗分类模型对视频进行分类识别，视频中的图像帧将被分为0与1共两类，将识别为0类的数据作为输出，从而得到含有完整空挖斗的图像帧。
16.在一些技术方案中，可选地，通过斗齿目标检测模型对图像帧进行斗齿目标检测，得到斗齿目标信息，具体包括：基于目标检测网络构建初始斗齿目标检测模型；根据斗齿识别数据集对初始斗齿目标检测模型进行训练，得到斗齿目标检测模型。
17.在该技术方案中，通过斗齿目标检测模型对图像帧进行斗齿目标检测，得到斗齿目标信息，具体为首先基于目标检测网络构建初始斗齿目标检测模型。然后根据斗齿识别数据集对初始斗齿目标检测模型进行训练，得到斗齿目标检测模型。具体地，首先采用标注框对斗齿识别数据集的斗齿进行包围标注，构建斗齿目标检测数据集。之后使用标注数据对目标检测网络进行训练，获取斗齿目标检测模型。然后将含有完整空挖斗的图像帧输入斗齿目标检测模型对斗齿进行检测，得到斗齿目标信息并输出。
18.在一些技术方案中，可选地，根据斗齿目标信息确认挖掘机斗齿是否完整，具体包括：根据斗齿目标信息得到目标框数量；判断连续预设帧数的目标框数量是否小于预设值；若是，则挖掘机斗齿发生脱落；若否，则挖掘机斗齿完整。
19.在该技术方案中，根据斗齿目标信息确认挖掘机斗齿是否完整，具体为根据斗齿目标信息对目标框数量进行统计，若目标框数量低于设定的阈值，则输出斗齿脱落信息。具体地，对目标框数量进行判断，若连续5帧数据的斗齿目标框少于预设值，则认为挖掘机斗齿发生脱落，否则认为挖掘机斗齿完整。
20.在一些技术方案中，可选地，深度学习图像分类网络包括轻量级图像分类网络
mobilenet。
21.在该技术方案中，深度学习图像分类网络包括轻量级图像分类网络mobilenet。mobilenet是为移动和嵌入式设备提出的高效模型。mobilenet基于流线型架构，使用深度可分离卷积来构建轻量级深度神经网络。通过使用轻量级图像分类网络mobilenet基础模型进行训练，需要参数量少,计算量小,推理时间短。
22.在一些技术方案中，可选地，目标检测网络包括fcos网络。
23.在该技术方案中，目标检测网络包括fcos网络。
24.为实现本技术的第二目的，本技术第二方面的技术方案提供了一种斗齿脱落检测系统，包括：获取模块，用于获取挖掘机作业视频数据和挖掘机作业视频流；标注模块，用于对挖掘机作业视频数据进行标注，得到挖斗分类数据集与斗齿识别数据集；第一训练模块，用于根据挖斗分类数据集训练深度学习分类网络，得到挖斗分类模型；第二训练模块，用于根据斗齿识别数据集训练目标检测网络，得到斗齿目标检测模型；挖斗分类模块，用于通过挖斗分类模型对挖掘机作业视频流进行二分类，得到含有完整空挖斗的图像帧；目标检测模块，用于通过斗齿目标检测模型对图像帧进行斗齿目标检测，得到斗齿目标信息；缺齿判别模块，用于根据斗齿目标信息确认挖掘机斗齿是否完整。
25.根据本技术提供的斗齿脱落检测系统，包括获取模块、标注模块、第一训练模块、第二训练模块、挖斗分类模块、目标检测模块和缺齿判别模块。其中，获取模块用于获取挖掘机作业视频数据和挖掘机作业视频流。标注模块用于对挖掘机作业视频数据进行标注，得到挖斗分类数据集与斗齿识别数据集。第一训练模块用于根据挖斗分类数据集训练深度学习分类网络，得到挖斗分类模型。第二训练模块用于根据斗齿识别数据集训练目标检测网络，得到斗齿目标检测模型。挖斗分类模块用于通过挖斗分类模型对挖掘机作业视频流进行二分类，得到含有完整空挖斗的图像帧。目标检测模块用于通过斗齿目标检测模型对图像帧进行斗齿目标检测，得到斗齿目标信息。缺齿判别模块用于根据斗齿目标信息确认挖掘机斗齿是否完整。通过采用图像分类加目标检测的组合方法识别斗齿脱落，需要参数量更少，对设备算力的要求更低，可适用于边缘计算等场景，拥有更高的实用价值。
26.为实现本技术的第三目的，本技术第三方面的技术方案提供了一种斗齿脱落检测系统，包括：存储器和处理器，其中，存储器上存储有可在处理器上运行的程序或指令，处理器执行程序或指令时实现第一方面技术方案中任一项的斗齿脱落检测方法，故而具有上述第一方面任一技术方案的技术效果，在此不再赘述。
27.为实现本技术的第四目的，本技术第四方面的技术方案提供了一种可读存储介质，其上存储有程序或指令，程序或指令被处理器执行时实现第一方面技术方案中任一项的斗齿脱落检测方法的步骤，故而具有上述第一方面任一技术方案的技术效果，在此不再赘述。
28.本技术的附加方面和优点将在下面的描述部分中变得明显，或通过本技术的实践了解到。
附图说明
29.本技术的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
30.图1为本技术一个实施例的斗齿脱落检测方法的第一步骤流程示意图；
31.图2为本技术一个实施例的斗齿脱落检测方法的第二步骤流程示意图；
32.图3为本技术一个实施例的斗齿脱落检测方法的第三步骤流程示意图；
33.图4为本技术一个实施例的斗齿脱落检测方法的第四步骤流程示意图；
34.图5为本技术一个实施例的斗齿脱落检测方法的第五步骤流程示意图；
35.图6为本技术一个实施例的斗齿脱落检测方法的第六步骤流程示意图；
36.图7为本技术一个实施例的斗齿脱落检测方法的第七步骤流程示意图；
37.图8为本技术一个实施例的斗齿脱落检测系统的结构示意框图；
38.图9为本技术另一个实施例的斗齿脱落检测系统的结构示意框图；
39.图10为本技术一个实施例的斗齿脱落检测方法的挖斗分类标注示意图；
40.图11为本技术另一个实施例的斗齿脱落检测方法的挖斗分类标注示意图；
41.图12为本技术一个实施例的斗齿脱落检测方法的斗齿目标识别标注示意图；
42.图13为本技术另一个实施例的斗齿脱落检测方法的斗齿目标识别标注示意图。
43.其中，图8和图9中的附图标记与部件名称之间的对应关系为：
44.10：斗齿脱落检测系统；110：获取模块；120：标注模块；130：第一训练模块；140：第二训练模块；150：挖斗分类模块；160：目标检测模块；170：缺齿判别模块；20：斗齿脱落检测系统；300：存储器；400：处理器。
具体实施方式
45.为了能够更清楚地理解本技术的上述目的、特征和优点，下面结合附图和具体实施方式对本技术进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
46.在下面的描述中阐述了很多具体细节以便于充分理解本技术，但是，本技术还可以采用其他不同于在此描述的其他方式来实施，因此，本技术的保护范围并不受下面公开的具体实施例的限制。
47.下面参照图1至图13描述本技术一些实施例的斗齿脱落检测方法及系统、可读存储介质。
48.如图1所示，本技术第一方面的实施例提供了一种斗齿脱落检测方法，包括以下步骤：
49.步骤s102：获取挖掘机作业视频数据和挖掘机作业视频流；
50.步骤s104：对挖掘机作业视频数据进行标注，得到挖斗分类数据集与斗齿识别数据集；
51.步骤s106：根据挖斗分类数据集训练深度学习分类网络，得到挖斗分类模型；
52.步骤s108：根据斗齿识别数据集训练目标检测网络，得到斗齿目标检测模型；
53.步骤s110：通过挖斗分类模型对挖掘机作业视频流进行二分类，得到含有完整空挖斗的图像帧；
54.步骤s112：通过斗齿目标检测模型对图像帧进行斗齿目标检测，得到斗齿目标信息；
55.步骤s114：根据斗齿目标信息确认挖掘机斗齿是否完整。
56.根据本实施例提供的斗齿脱落检测方法，首先获取挖掘机作业视频数据和挖掘机作业视频流，对挖掘机作业视频数据进行标注，构建挖斗分类数据集与斗齿识别数据集。然后根据挖斗分类数据集训练深度学习分类网络，得到挖斗分类模型。根据斗齿识别数据集训练目标检测网络，得到斗齿目标检测模型。然后通过挖斗分类模型对挖掘机作业视频流进行二分类，得到含有完整空挖斗的图像帧。通过斗齿目标检测模型对图像帧进行斗齿目标检测，得到斗齿目标信息。最后根据斗齿目标信息确认挖掘机斗齿是否完整。通过采用图像分类加目标检测的组合方法识别斗齿脱落，相较于现有的图像分割方法与目标检测加图像分割方法，需要参数量更少，对设备算力的要求更低，可适用于边缘计算等场景，拥有更高的实用价值。
57.如图2所示，根据本技术提出的一个实施例的斗齿脱落检测方法，对挖掘机作业视频数据进行标注，得到挖斗分类数据集与斗齿识别数据集，具体包括以下步骤：
58.步骤s202：将挖掘机作业视频数据转换为图像帧数据；
59.步骤s204：对图像帧数据进行标注，得到挖斗分类数据集与斗齿识别数据集。
60.在该实施例中，对挖掘机作业视频数据进行标注，构建挖斗分类数据集与斗齿识别数据集，具体为首先将挖掘机作业视频数据转换为图像帧数据。然后对图像帧数据进行标注，得到挖斗分类数据集与斗齿识别数据集，从而得到模型训练数据。
61.如图3所示，根据本技术提出的一个实施例的斗齿脱落检测方法，通过挖斗分类模型对挖掘机作业视频流进行二分类，得到含有完整空挖斗的图像帧，具体包括以下步骤：
62.步骤s302：基于深度学习图像分类网络构建初始挖斗分类模型；
63.步骤s304：根据挖斗分类数据集对初始挖斗分类模型进行训练，得到挖斗分类模型。
64.在该实施例中，通过挖斗分类模型对挖掘机作业视频流进行二分类，得到含有完整空挖斗的图像帧，具体为首先基于深度学习图像分类网络构建初始挖斗分类模型。然后根据挖斗分类数据集对初始挖斗分类模型进行训练，得到挖斗分类模型。具体地，对挖斗分类数据集进行类别标注，将包含完整、无物料、拍摄角度可观察到斗齿信息的图像帧标注为一类，以0作为标签。将挖斗部分被遮挡、挖斗内含含有物料、拍摄角度无法观察到斗齿的图像帧统一标注为一类，以1作为标签。之后使用标注数据对初始挖斗分类模型进行训练，得到挖斗分类模型。然后将挖掘机作业视频流输入挖斗分类模型对视频进行分类识别，视频中的图像帧将被分为0与1共两类，将识别为0类的数据作为输出，从而得到含有完整空挖斗的图像帧。
65.如图4所示，根据本技术提出的一个实施例的斗齿脱落检测方法，通过斗齿目标检测模型对图像帧进行斗齿目标检测，得到斗齿目标信息，具体包括以下步骤：
66.步骤s402：基于目标检测网络构建初始斗齿目标检测模型；
67.步骤s404：根据斗齿识别数据集对初始斗齿目标检测模型进行训练，得到斗齿目标检测模型。
68.在该实施例中，通过斗齿目标检测模型对图像帧进行斗齿目标检测，得到斗齿目标信息，具体为首先基于目标检测网络构建初始斗齿目标检测模型。然后根据斗齿识别数据集对初始斗齿目标检测模型进行训练，得到斗齿目标检测模型。具体地，首先采用标注框对斗齿识别数据集的斗齿进行包围标注，构建斗齿目标检测数据集。之后使用标注数据对
目标检测网络进行训练，获取斗齿目标检测模型。然后将含有完整空挖斗的图像帧输入斗齿目标检测模型对斗齿进行检测，得到斗齿目标信息并输出。其中，目标检测网络包括fcos网络。fcos为全卷积one-stage目标检测算法，以逐像素预测的方式解决目标检测问题，类似于语义分割。
69.如图5所示，根据本技术提出的一个实施例的斗齿脱落检测方法，根据斗齿目标信息确认挖掘机斗齿是否完整，具体包括以下步骤：
70.步骤s502：根据斗齿目标信息得到目标框数量；
71.步骤s504：判断连续预设帧数的目标框数量是否小于预设值，若是，进入步骤s506，若否，进入步骤s508；
72.步骤s506：挖掘机斗齿发生脱落；
73.步骤s508：挖掘机斗齿完整。
74.在该实施例中，根根据斗齿目标信息确认挖掘机斗齿是否完整，具体为根据斗齿目标信息对目标框数量进行统计，若目标框数量低于设定的阈值，则输出斗齿脱落信息。具体地，对目标框数量进行判断，若连续5帧数据的斗齿目标框少于预设值，则认为挖掘机斗齿发生脱落，否则认为挖掘机斗齿完整。
75.在一些实施例中，可选地，深度学习图像分类网络包括轻量级图像分类网络mobilenet。mobilenet是为移动和嵌入式设备提出的高效模型。mobilenet基于流线型架构，使用深度可分离卷积来构建轻量级深度神经网络。通过使用轻量级图像分类网络mobilenet基础模型进行训练，需要参数量少,计算量小,推理时间短。
76.如图8所示，本技术第二方面的实施例提供了一种斗齿脱落检测系统10，包括：获取模块110，用于获取挖掘机作业视频数据和挖掘机作业视频流；标注模块120，用于对挖掘机作业视频数据进行标注，得到挖斗分类数据集与斗齿识别数据集；第一训练模块130，用于根据挖斗分类数据集训练深度学习分类网络，得到挖斗分类模型；第二训练模块140，用于根据斗齿识别数据集训练目标检测网络，得到斗齿目标检测模型；挖斗分类模块150，用于通过挖斗分类模型对挖掘机作业视频流进行二分类，得到含有完整空挖斗的图像帧；目标检测模块160，用于通过斗齿目标检测模型对图像帧进行斗齿目标检测，得到斗齿目标信息；缺齿判别模块170，用于根据斗齿目标信息确认挖掘机斗齿是否完整。
77.根据本实施例提供的斗齿脱落检测系统10，包括获取模块110、标注模块120、第一训练模块130、第二训练模块140、挖斗分类模块150、目标检测模块160和缺齿判别模块170。其中，获取模块110用于获取挖掘机作业视频数据和挖掘机作业视频流。标注模块120用于对挖掘机作业视频数据进行标注，得到挖斗分类数据集与斗齿识别数据集。第一训练模块130用于根据挖斗分类数据集训练深度学习分类网络，得到挖斗分类模型。第二训练模块140用于根据斗齿识别数据集训练目标检测网络，得到斗齿目标检测模型。挖斗分类模块150用于通过挖斗分类模型对挖掘机作业视频流进行二分类，得到含有完整空挖斗的图像帧。目标检测模块160用于通过斗齿目标检测模型对图像帧进行斗齿目标检测，得到斗齿目标信息。缺齿判别模块170用于根据斗齿目标信息确认挖掘机斗齿是否完整。通过采用图像分类加目标检测的组合方法识别斗齿脱落，需要参数量更少，对设备算力的要求更低，可适用于边缘计算等场景，拥有更高的实用价值。
78.如图9所示，本技术第三方面的实施例提供了一种斗齿脱落检测系统20，包括：存
储器300和处理器400，其中，存储器300上存储有可在处理器400上运行的程序或指令，处理器400执行程序或指令时实现第一方面的实施例中任一项的斗齿脱落检测方法的步骤，故而具有上述第一方面任一实施例的技术效果，在此不再赘述。
79.本技术第四方面的实施例提供了一种可读存储介质，其上存储有程序或指令，程序或指令被处理器执行时实现第一方面的实施例中任一项的斗齿脱落检测方法的步骤，故而具有上述第一方面任一实施例的技术效果，在此不再赘述。
80.如图6至图13所示，根据本技术提供的一个具体实施例的斗齿脱落检测方法，检测流程为：采集挖掘机作业视频数据，对数据进行标注，构建挖斗分类数据集与斗齿识别数据级；使用深度学习分类网络对传入网络的视频进行二分类，获取含有完整空挖斗的图像帧；使用目标检测网络对包含完成空挖斗的图像帧进行斗齿目标检测，获取斗齿目标框；对目标框数量进行判断，若连续5帧数据的斗齿目标框少于设定的阈值，则认为斗齿发生脱落，否则认为斗齿完整。
81.如图6和图7所示。具体地，斗齿脱落检测方法包含模型训练模块、挖斗分类模块、斗齿目标检测模块与缺齿判别模块四个模块。其中，模型训练模块对用于挖斗分类与斗齿目标检测的深度学习模型进行训练，之后以训练得到的分类与目标检测模型为基础，构建挖斗分类模块、斗齿目标检测模块，以上通过对挖掘机斗齿视频流信息进行识别、分析，将结果输入至缺齿判别模块进行斗齿脱落检测。各模块的接口及实施方式如下：
82.模型训练模块：此模块用于对挖斗分类模型与斗齿目标检测模型进行训练，数据流如表1所示：
[0083][0084]
表1
[0085]
模型训练前首先对数据进行采集，将数据采集摄像头安装于挖掘机操作间内，前挡风玻璃中部，保证录制的视频可完整清晰观察到挖斗作业。数据采集完成后，将视频数据转换为图像帧数据，作为模型训练数据。
[0086]
挖斗分类模型基于深度学习图像分类网络构建，本方案采用轻量级图像分类网络mobilenet作为基础模型进行训练。首先对挖斗数据进行类别标注，将包含完整、无物料、拍
摄角度可观察到斗齿信息的图像帧标注为一类，以0作为标签；将挖斗部分被遮挡、挖斗内含有物料、拍摄角度无法观察到斗齿的图像帧统一标注为一类，以1作为标签，标注示例如图10和图11所示。之后使用标注数据对mobilenet进行训练，得到挖斗分类模型。
[0087]
斗齿目标检测模型基于fcos网络进行构建。首先采用标注框对斗齿进行包围标注，构建斗齿目标检测数据集，标注方式如图12和图13所示。之后使用标注数据对fcos网络进行训练，获取斗齿目标检测模型。
[0088]
挖斗分类模块：本模块基于模型训练模块中得到的挖斗分类模型进行构建，将斗齿视频数据输入此模块中，通过挖斗分类模型对视频进行分类识别，视频中的图像帧将被分为0与1共两类，将识别为0类的数据作为输出，传递到斗齿目标检测模块，数据流如表2所示：
[0089][0090][0091]
表2
[0092]
斗齿目标检测模块：本模块基于模型训练模块中得到的斗齿目标检测模型进行构建，将挖斗分类模块中输出的图像帧作为本模块的输入，使用目标检测网络对斗齿进行检测，得到斗齿目标框信息并输出，数据流如表3所示：
[0093][0094]
表3
[0095]
缺齿判别模块：此模块用于对斗齿信息进行阈值判断，分析斗齿是否脱落。本模块获取斗齿目标检测模块输出的斗齿目标框信息，对目标框数量进行统计，若目标框数量低于设定的阈值，则输出斗齿脱落信息，数据流如表4所示：
[0096][0097]
表4
[0098]
综上，本技术实施例的有益效果为：相较于现有的深度学习方法，本方法采用图像分类加目标检测的组合方法进行识别，相较于现有的图像分割方法与目标检测加图像分割方法，本方法参数量更少，对设备算力的要求更低，可适用于边缘计算等场景，拥有更高的实用价值。
[0099]
在本技术中，术语“第一”、“第二”、“第三”仅用于描述的目的，而不能理解为指示或暗示相对重要性；术语“多个”则指两个或两个以上，除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；“相连”可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
[0100]
本技术的描述中，需要理解的是，术语“上”、“下”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或模块必须具有特定的方向、以特定的方位构造和操作，因此，不能理解为对本技术的限制。
[0101]
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0102]
以上仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种斗齿脱落检测方法，其特征在于，包括：获取挖掘机作业视频数据和挖掘机作业视频流；对所述挖掘机作业视频数据进行标注，得到挖斗分类数据集与斗齿识别数据集；根据所述挖斗分类数据集训练深度学习分类网络，得到挖斗分类模型；根据所述斗齿识别数据集训练目标检测网络，得到斗齿目标检测模型；通过所述挖斗分类模型对所述挖掘机作业视频流进行二分类，得到含有完整空挖斗的图像帧；通过所述斗齿目标检测模型对所述图像帧进行斗齿目标检测，得到斗齿目标信息；根据所述斗齿目标信息确认挖掘机斗齿是否完整。2.根据权利要求1所述的斗齿脱落检测方法，其特征在于，所述对所述挖掘机作业视频数据进行标注，得到挖斗分类数据集与斗齿识别数据集，具体包括：将所述挖掘机作业视频数据转换为图像帧数据；对所述图像帧数据进行标注，得到挖斗分类数据集与斗齿识别数据集。3.根据权利要求1所述的斗齿脱落检测方法，其特征在于，所述根据所述挖斗分类数据集训练深度学习分类网络，得到挖斗分类模型，具体包括：基于深度学习图像分类网络构建初始挖斗分类模型；根据所述挖斗分类数据集对所述初始挖斗分类模型进行训练，得到挖斗分类模型。4.根据权利要求1至3中任一项所述的斗齿脱落检测方法，其特征在于，所述根据所述斗齿识别数据集训练目标检测网络，得到斗齿目标检测模型，具体包括：基于目标检测网络构建初始斗齿目标检测模型；根据所述斗齿识别数据集对所述初始斗齿目标检测模型进行训练，得到斗齿目标检测模型。5.根据权利要求1至3中任一项所述的斗齿脱落检测方法，其特征在于，所述根据所述斗齿目标信息确认挖掘机斗齿是否完整，具体包括：根据所述斗齿目标信息得到目标框数量；判断连续预设帧数的所述目标框数量是否小于预设值；若是，则挖掘机斗齿发生脱落；若否，则挖掘机斗齿完整。6.根据权利要求3所述的斗齿脱落检测方法，其特征在于，所述深度学习图像分类网络包括轻量级图像分类网络mobilenet。7.根据权利要求4所述的斗齿脱落检测方法，其特征在于，所述目标检测网络包括fcos网络。8.一种斗齿脱落检测系统，其特征在于，包括：获取模块(110)，用于获取挖掘机作业视频数据和挖掘机作业视频流；标注模块(120)，用于对所述挖掘机作业视频数据进行标注，得到挖斗分类数据集与斗齿识别数据集；第一训练模块(130)，用于根据所述挖斗分类数据集训练深度学习分类网络，得到挖斗分类模型；第二训练模块(140)，用于根据所述斗齿识别数据集训练目标检测网络，得到斗齿目标
检测模型；挖斗分类模块(150)，用于通过挖斗分类模型对所述挖掘机作业视频流进行二分类，得到含有完整空挖斗的图像帧；目标检测模块(160)，用于通过斗齿目标检测模型对所述图像帧进行斗齿目标检测，得到斗齿目标信息；缺齿判别模块(170)，用于根据所述斗齿目标信息确认挖掘机斗齿是否完整。9.一种斗齿脱落检测系统，其特征在于，包括：存储器(300)和处理器(400)，其中，所述存储器(300)上存储有可在所述处理器(400)上运行的程序或指令，所述处理器(400)执行所述程序或所述指令时实现如权利要求1至7中任一项所述的斗齿脱落检测方法的步骤。10.一种可读存储介质，其上存储有程序或指令，其特征在于，所述程序或所述指令被处理器执行时实现如权利要求1至7中任一项所述的斗齿脱落检测方法的步骤。

技术总结
本申请提供了一种斗齿脱落检测方法及系统、可读存储介质，斗齿脱落检测方法包括：获取挖掘机作业视频数据和挖掘机作业视频流；对挖掘机作业视频数据进行标注，得到挖斗分类数据集与斗齿识别数据集；根据挖斗分类数据集训练深度学习分类网络；根据斗齿识别数据集训练目标检测网络；通过挖斗分类模型对挖掘机作业视频流进行二分类，得到含有完整空挖斗的图像帧；通过斗齿目标检测模型对图像帧进行斗齿目标检测，得到斗齿目标信息；根据斗齿目标信息确认挖掘机斗齿是否完整。通过本申请的技术方案，采用图像分类与目标检测的组合方法识别斗齿脱落，需要参数量更少，对设备算力的要求更低，可适用于边缘计算等场景，拥有更高的实用价值。价值。价值。


技术研发人员：李宇 曹扬 张慧 袁丽燕 张辉
受保护的技术使用者：三一智矿科技有限公司
技术研发日：2023.07.04
技术公布日：2023/10/19