一种智能清扫车作业效果自动评估方法

1.本发明涉及一种智能清扫车作洁净度自动评估发方法，属于智能驾驶领域。


背景技术：

2.随着中国经济的发展和城镇化的推进，环卫工作的任务量在逐年增加，人们对城市环境的要求也越来越高，而现在对城市环卫工作的评价主要采用人为打分的方式，主观因素较大，工作量也较大；与此同时，许多厂家为解决日益增长的城市环卫问题开始研发智能清扫车，但行业中对衡量清扫车的工作效果缺乏标准化的评价方式和方法。
3.有鉴于此，确有必要提出一种智能清扫车作业效果自动评估发方法以解决上述问题。


技术实现要素：

4.本发明的目的是在于提供一种智能清扫车作业效果自动评估方法，以客观评价环卫工作和智能清扫车工作效果。
5.为实现上述目的，本发明提供了一种智能清扫车作业效果自动评估方法，主要包括以下步骤：
6.步骤1：对前后摄像头获取图像进行垃圾识别和道路识别；
7.步骤2：选取参考帧并匹配清扫前后的参考帧；
8.步骤3：计算参考帧的垃圾覆盖率；
9.步骤4：计算整条路的垃圾覆盖率以及智能清扫车作业效果。
10.步骤1中垃圾识别通过目标检测方法识别出垃圾的类别，再通过边缘检测的图像处理方法确定属于垃圾类别的像素集；根据计算资源大小，可选择使用语义分割算法识别垃圾类别及垃圾像素集；车道识别采用深度学习识别出本车所在车道的车道范围，根据需求也可以在识别后计算出本车正在清扫的路面范围。
11.步骤2对识别到垃圾存在的路面进行分段，每一段路用拍摄图像的一帧作为参考帧进行后续计算，连续有垃圾存在的路段要求参考帧对有垃圾存在的路段进行全覆盖；参考帧的上20％的区域为上重叠区，参考帧的下20％的区域为下重叠区，剩余部分为中心区，参考帧之间在重叠区有重叠；通过前后摄像头视觉中心点在路面的投影点之间的预设距离和记录车速计算同一路段清扫前与清扫后的时间差以匹配参考帧。
12.步骤3将计算垃圾在参考帧中不用区域的垃圾覆盖率，即摄像头图像中垃圾像素集的像素数与所有属于该路段路面像素的总数的比值，再将三个区域的垃圾覆盖率加权求和作为该参考帧的垃圾覆盖率；根据计算资源大小，可选择将参考帧投影处理转化成bev图，将bev图按照汽车纵向距离进行分区，将三个区域的垃圾覆盖率加权求和作为该参考帧的垃圾覆盖率。
13.步骤4通过记录的一条路的无垃圾的路段和有垃圾的路段信息及其垃圾覆盖率计算整条路的垃圾覆盖率和清扫后的垃圾覆盖率，用两者的差值作为作业效果评估值。
附图说明
14.图1是本发明一种智能清扫车作业效果自动评估方法流程图。
15.图2是参考帧分区示意图。
具体实施方式
16.为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
17.为实现上述目的，本发明提供了一种智能清扫车作业效果自动评估方法，主要包括以下步骤：
18.步骤1：对前后摄像头获取图像进行垃圾识别和道路识别；
19.步骤2：选取参考帧并匹配清扫前后的参考帧；
20.步骤3：计算参考帧的垃圾覆盖率；
21.步骤4：计算整条路的垃圾覆盖率以及智能清扫车作业效果。
22.以下将对步骤1-步骤4做具体说明。
23.步骤1中垃圾识别通过目标检测方法识别出垃圾的类别，再通过边缘检测的图像处理方法确定属于垃圾类别的像素集；根据计算资源大小，可选择使用语义分割算法识别垃圾类别及垃圾像素集；车道识别采用深度学习识别出本车所在车道的车道范围，根据需求也可以在识别后计算出本车正在清扫的路面范围。
24.步骤2对识别到垃圾存在的路面进行分段，每一段路用拍摄图像的一帧作为参考帧进行后续计算，连续有垃圾存在的路段要求参考帧对有垃圾存在的路段进行全覆盖；参考帧的上20％的区域为上重叠区，参考帧的下20％的区域为下重叠区，剩余部分为中心区，参考帧之间在重叠区有重叠；通过前后摄像头视觉中心点在路面的投影点之间的预设距离和记录车速计算同一路段清扫前与清扫后的时间差以匹配参考帧。
25.步骤3将计算垃圾在参考帧中不用区域的垃圾覆盖率，即摄像头图像中垃圾像素集的像素数与所有属于该路段路面像素的总数的比值，再将三个区域的垃圾覆盖率加权求和作为该参考帧的垃圾覆盖率；根据计算资源大小，可选择将参考帧投影处理转化成bev图，将bev图按照汽车纵向距离进行分区，将三个区域的垃圾覆盖率加权求和作为该参考帧的垃圾覆盖率。
26.步骤4通过记录的一条路的无垃圾的路段和有垃圾的路段信息及其垃圾覆盖率计算整条路的垃圾覆盖率和清扫后的垃圾覆盖率，用两者的差值作为作业效果评估值。


技术特征：
1.一种智能清扫车作业效果自动评估方法，其特征在于，主要包括以下步骤：步骤1：对前后摄像头获取图像进行垃圾识别和道路识别；步骤2：选取参考帧并匹配清扫前后的参考帧；步骤3：计算参考帧的垃圾覆盖率；步骤4：计算整条路的垃圾覆盖率以及智能清扫车作业效果。2.根据权利要求1所述的智能清扫车作业效果自动评估方法，其特征在于：步骤1中垃圾识别通过目标检测方法识别出垃圾的类别，再通过边缘检测的图像处理方法确定属于垃圾类别的像素集；根据计算资源大小，可选择使用语义分割算法识别垃圾类别及垃圾像素集；车道识别采用深度学习识别出本车所在车道的车道范围，根据需求也可以在识别后计算出本车正在清扫的路面范围。3.根据权利要求1所述的智能清扫车作业效果自动评估方法，其特征在于：步骤2对识别到垃圾存在的路面进行分段，每一段路用拍摄图像的一帧作为参考帧进行后续计算，连续有垃圾存在的路段要求参考帧对有垃圾存在的路段进行全覆盖；参考帧的上20％的区域为上重叠区，参考帧的下20％的区域为下重叠区，剩余部分为中心区，参考帧之间在重叠区有重叠；通过前后摄像头视觉中心点在路面的投影点之间的预设距离和记录车速计算同一路段清扫前与清扫后的时间差以匹配参考帧。4.根据权利要求1所述的智能清扫车作业效果自动评估方法，其特征在于：步骤3将计算垃圾在参考帧中不用区域的垃圾覆盖率，即摄像头图像中垃圾像素集的像素数与所有属于该路段路面像素的总数的比值，再将三个区域的垃圾覆盖率加权求和作为该参考帧的垃圾覆盖率；根据计算资源大小，可选择将参考帧投影处理转化成bev图，将bev图按照汽车纵向距离进行分区，将三个区域的垃圾覆盖率加权求和作为该参考帧的垃圾覆盖率。5.根据权利要求1所述的智能清扫车作业效果自动评估方法，其特征在于：步骤4通过记录的一条路的无垃圾的路段和有垃圾的路段信息及其垃圾覆盖率计算整条路的垃圾覆盖率和清扫后的垃圾覆盖率，用两者的差值作为作业效果评估值。

技术总结
本发明公开了一种智能清扫车作业效果自动评估方法，属于智能驾驶感知领域。本自动评估方法具体为：对前后摄像头获取的图像进行垃圾和道路识别；选取参考帧并匹配清扫前后的参考帧；计算参考帧的垃圾覆盖率；计算整条路的垃圾覆盖率以及智能清扫车作业效果。该种方法以一种标准化的方法对路面的洁净度进行评价，对智能清扫车的作业效果进行评价。对智能清扫车的作业效果进行评价。对智能清扫车的作业效果进行评价。


技术研发人员：王玉海 吕睿 张秀才 金长城 金涛 周渊乐
受保护的技术使用者：吉林大学
技术研发日：2023.01.29
技术公布日：2023/9/23