基于视觉AI识别算法的清污机智能控制系统的制作方法

基于视觉ai识别算法的清污机智能控制系统
技术领域
1.本发明涉及一种清污机智能控制系统，尤其涉及一种基于视觉ai识别算法的清污机智能控制系统。


背景技术：

2.人工智能(ai)是使用数字计算机或由数字计算机控制的机器来模拟、延伸和扩展人类智能的理论、方法、技术和应用系统。目前国内的人工智能市场主要包括计算机视觉，语音，自然语言处理，基本算法平台和芯片。计算机视觉是人工智能市场上最重要的部分，也是人工智能的主要技术应用，所占比例已达到35％左右，产业链相对成熟。现有技术的水库在汛期的时候浮渣较多，需及时进行捞渣清理，而目前柳闸清污机只能通过现地手柄控制，不能集控远程控制，当道路中断时不能应急进行远程清污操作，影响机组的安全稳定运行。
3.现有技术的清污操作主要以人工巡视判断和栅差反馈为主，不具备智能识别和自动清污功能，而人工巡视存在一定的时间间隔，一旦栅差告警反馈时存在清污操作时间余量不够的情况，势必造成机组降负荷或停机避峰，造成流域梯级电站的发电经济损失。清污机水平行走机构长度大约60米，采用人工“一抓一放”反复循环的方式进行捞渣操作，劳动强度较大。


技术实现要素：

4.本发明的目的是要提供一种基于视觉ai识别算法的清污机智能控制系统。
5.为达到上述目的，本发明是按照以下技术方案实施的：
6.本发明包括智能决策平台和智能驱控系统，所述智能决策平台通过视觉ai算法进行清污巡检、形位识别、积量测算、清污决策、超过预警阈值的逻辑判断，并自动发出清污计划命令至所述智能驱控系统，所述智能驱控系统接收智能决策平台的控制命令控制清污机进行清污操作。
7.所述智能决策平台以感知智能技术为核心，使用光学非接触式感应设备自动接收大量水域场景图像处理并进行智能分析，以获得信息控制机器或流程，并充分利用互联网、5g或物联网搭建智能分析决策平台，进行水面污染的预警、处理、追踪。
8.所述智能驱控系统与孔口智能清污控制系统间通过以太网进行通讯连接，与清污现场集控系统间通过以太网进行通讯连接，与清污现场集控系统间通过zigbee进行通讯连接，与环境感测下位系统间通过zigbee进行通讯连接。
9.所述智能决策平台图像处理包括以下步骤：
10.s1：智能决策平台对接孔口终端摄像头，获取视频流，通过漂浮垃圾识别算法识别出水面上出现的漂浮垃圾并报警反馈至相关工作人员处；漂浮物垃圾检测算法采用yolov系列的深度学习神经网络，darknet_53网络通过卷积运算提取垃圾漂浮物特征，选取经过32、16和8倍采样的特征图构造预测分支进行目标检测；
11.s2：智能决策平台根据漂浮垃圾抓拍图像，利用图上量算技术，计算漂浮垃圾距孔口横向、纵向距离，智能确定清污机相对移动方向和距离；距离测量采用激光雷达，激光雷达与相机光轴平行，间距为b,激光雷达发出的激光会通过与图像校准之后，记中心为p(x
l
，y
l
)，测定的距离为h，相机焦距为f；根据相机成像原理，得到的图像平面中心坐标为q(0,0),满足相似三角形的对应边成比例关系，因此，每一个像素所对应的长度为则目标空间位置可表示为
[0012][0013]
s3：智能决策平台根据漂浮垃圾抓拍图像，利用图上量算技术，将统计目标检测区域的大小视为漂浮垃圾面积，根据预设面积阈值判断漂浮垃圾面积是否超阈值，对于超阈值情况进行报警。
[0014]
所述智能驱控系统还设置有布设在水坝一端孔口边的立墙上的水坝孔口水位在线智能感测终端装置；布设在水坝孔口清污作业区域边框上的环境光照强度在线智能感测终端装置；布设在清污机水平行进轨道的一侧，位于水坝每孔孔口作业区域的起点和终点位置处的抓斗闸孔工位在线感测阵列终端装置；布设在清污机抓斗运动传动箱内，两个激光位移传感器沿行进轨道的相对两端共线布设的抓斗轨道位置在线智能感测终端装置；布设在清污机抓斗运动传动箱内，对清污机抓斗在垂直方向上运动的升降高度进行测量的抓斗升降高度在线智能感测终端装置；布设在清污机抓斗的吊索上，对清污机抓斗工况荷载进行监测的抓斗工况荷载在线智能感测终端装置。
[0015]
本发明的有益效果是：
[0016]
本发明是一种基于视觉ai识别算法的清污机智能控制系统，与现有技术相比，本发明充分运用现代化信息技术手段，通过先进的视觉ai技术和计算机处理能力，结合当前的运维管理模式以及进水口拦污栅清污机控制系统的现状，建立一套基于视觉ai的智能清污决策和控制系统。实现拦污栅进水口漂浮物的智能识别、自动清污和集控远程半自动清污操作，以提升电站设备的智能化水平，满足远程集控中心对柳坪闸首进水口拦污栅水面漂浮垃圾的监管和清理的需求，同时减轻主汛期人工作操作的工作强度。
附图说明
[0017]
图1是本发明的系统整体架构原理图；
[0018]
图2是本发明的决策平台架构原理图；
[0019]
图3是本发明的darknet_53网络示意图；
[0020]
图4是本发明的垃圾漂浮物检测算法流程图；
[0021]
图5是本发明的空间位置计算示意图；
[0022]
图6是本发明的智能驱控系统原理图。
具体实施方式
[0023]
下面结合附图以及具体实施例对本发明作进一步描述，在此发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。
[0024]
系统整体架构包括智能决策平台与智能驱控系统，智能决策平台负责系统算法，通过视觉ai算法进行清污巡检、形位识别、积量测算与清污决策、超过预警阈值等逻辑判断，并自动发出清污计划命令；通过智能驱控系统控制清污机进行清污操作(可利旧现有的plc控制系统作为系统的一部分)，过程中可自动判定异常故障，及时联动警报及停机，清污过程可自动完成，也可由远程集控人员全程监控；同时保留现场人工操作功能，以备异常处置，系统整体架构原理如图1。
[0025]
部署方式：
[0026]
云计算(私有云)：识别算法可部署到集控中心云服务平台之上，接入各电站拦污栅孔口(一期暂时考虑柳坪闸首清污机)监控摄像头，通过rtsp码流按照视频多播或者单播协议将其实时录制的视频传递到部署在云上的孔口智能清污控制系统和云存储平台上。
[0027]
边缘计算：采用边缘智能终端进行边缘计算方式进行识别。边缘智能终端具有边缘计算能力，通过边缘智能终端内置的识别算法，对信息采集终端采集到的视频等信息能够实时处理。边缘计算终端可部署到孔口工控机实现联动清污机操作。
[0028]
云边协同：云边协同方式，支持公有云、私有云部署，边缘部分的微服务器或边缘智能终端快速执行简单场景识别，云上进行复杂场景、多路摄像头的定制化识别服务，视频和数据最终传输到云服务器上孔口智能清污控制系统上。
[0029]
根据目前的“少人值守”运维管理模式以及设备需求，优先考虑云计算部署方式，即将智能决策平台安装在集控中心。接入各电站拦污栅孔口(一期暂时考虑柳坪闸首清污机)监控摄像头，通过rtsp码流按照视频多播或者单播协议将其实时录制的视频传递到部署在云上的孔口智能清污控制系统和云存储平台上。
[0030]
智能决策平台以感知智能技术为核心，使用光学非接触式感应设备(摄像头)自动接收大量水域场景图像处理并进行智能分析，以获得信息控制机器或流程。并充分利用互联网、5g、物联网等技术搭建智能分析决策平台，做到水面污染的预警、处理、追踪，其架构原理如图2。
[0031]
(1)漂浮垃圾检测抓拍：通过孔口布放监控设备获取视频流数据，实现对水面漂浮垃圾的实时检测抓拍，智能体主动识别，并抓拍留档。
[0032]
(2)图上量算检测：利用图上量算技术，实现对检测识别到漂浮垃圾位置的计算，以及漂浮垃圾面积的计算，辅助计算清污机相对移动方向及距离。
[0033]
(3)异常情况报警：对于识别到漂浮垃圾和漂浮垃圾面积超阈值等异常情况实现及时报警的功能。
[0034]
智能驱控系统与孔口智能清污控制系统间通过以太网进行通讯连接，与清污现场集控系统(工业控制计算机)间通过以太网进行通讯连接，与清污现场集控系统(工业控制计算机)间通过zigbee进行通讯连接，与环境感测下位系统(嵌入式微控制器)间通过zigbee(紫蜂)进行通讯连接。布设方案如图3；
[0035]
智能决策平台建设主要分为图像算法模块，异常情况报警模块和算法配置模块三大模块。首先通过图像算法识别出水面的漂浮垃圾并报警至相关工作人员处，再通过图上
量算计算确认漂浮垃圾位置和面积，为清污机清污提供指引，同时平台支持人工调整算法配置。
[0036]
(1)图像算法模块
[0037]
a漂浮垃圾识别算法
[0038]
平台对接孔口终端摄像头，获取视频流，通过漂浮垃圾识别算法识别出水面上出现的漂浮垃圾并报警反馈至相关工作人员处。
[0039]
漂浮物垃圾检测算法采用yolov系列的深度学习神经网络，其中darknet_53如图3所示，该darknet_53网络通过卷积运算提取垃圾漂浮物特征，选取经过32、16和8倍采样的特征图构造预测分支进行目标检测。整个算法的系统框架如图4所示；
[0040]
1.结合柳坪闸首应用场景，完成基本数据以及功能要求的收集；
[0041]
2.根据数据信息及功能要求，开发视觉ai识别软件，分别从浮渣种类识别和浮渣面积识别两种算法进行验证，通过3-6个月的训练，以精度和效率为指标，确定最优的原型算法，作为系统最终研发应用的数据支撑。
[0042]
漂浮物垃圾检测算法采用yolov系列的深度学习神经网络，其中darknet_53如图3所示，该darknet_53网络通过卷积运算提取垃圾漂浮物特征，选取经过32、16和8倍采样的特征图构造预测分支进行目标检测。整个算法的系统框架如图4所示；
[0043]
在该算法中，k-means主要用于将数据集进行聚类分析，生成先验框，用在3个预测分支中，为了进一步提取目标位置点，分别在3个预测分支中添加cam网络，在网络训练结束后，提取出每个scale中定位框对应的目标像素点权重，并把该权重添加到水面漂浮物检测权重模型中，这样在检测时将水面漂浮物测试集通过权重模型把定位框坐标信息替换成像素点，并画在图像上，实现目标在图像上的定位。
[0044]
b漂浮垃圾位置量算
[0045]
平台根据漂浮垃圾抓拍图像，利用图上量算技术，计算漂浮垃圾距孔口横向、纵向距离，智能确定清污机相对移动方向和距离。
[0046]
在该技术模块中，距离测量采用激光雷达，该模块与相机光轴平行，间距为b,激光雷达模块发出的激光会通过与图像校准之后，记中心为p(x
l
，y
l
)，测定的距离为h，相机焦距为f。根据相机成像原理，如图5所示，得到的图像平面中心坐标为q(0,0),满足相似三角形的对应边成比例关系，因此，每一个像素所对应的长度为则目标空间位置可表示为
[0047][0048]
c漂浮垃圾面积量算
[0049]
平台根据漂浮垃圾抓拍图像，利用图上量算技术，将统计目标检测区域的大小视为漂浮垃圾面积，根据预设面积阈值判断漂浮垃圾面积是否超阈值，对于超阈值情况进行报警。
[0050]
同时对于面积超阈值情况平台自动计算清污机清理次数和多次清理的实际位置，
保证清污机清理的全面性。
[0051]
(2)异常情况报警模块
[0052]
平台智能识别到水面异常情况并以弹窗或短信方式推送至相关工作人员处，提醒工作人员确认处置。
[0053]
支持人工设定和修改报警阈值
[0054]
(3)算法配置模块
[0055]
a识别频率配置
[0056]
系统可以根据实际需求配置算法识别频率，调整漂浮垃圾识别间隔，按照最高效的方式调整配置。
[0057]
b远程集中配置算力
[0058]
系统可根据实际需求(现场测试)在平台远程集中配置算力。
[0059]
智能驱控系统(工业控制计算机)布设在400v室工业电视柜，与孔口智能清污控制系统间通过以太网进行通讯连接。
[0060]
轨道驱控下位系统(plc-1，原西门200plc)布设在原清污机控制柜内，与清污现场集控系统(工业控制计算机)间通过以太网进行通讯连接。
[0061]
抓斗驱控下位系统(plc-2，新增plc系统)布设在原清污机抓斗运动传动箱内，与清污现场集控系统(工业控制计算机)间通过zigbee(紫蜂)进行通讯连接。
[0062]
环境感测下位系统(嵌入式微控制器)布设在环境感测点，与清污现场集控系统(工业控制计算机)间通过zigbee进行通讯连接。
[0063]
布设方案图如图6所示；智能驱控系统与孔口智能清污控制系统间通过以太网进行通讯连接，与清污现场集控系统(工业控制计算机)间通过以太网进行通讯连接，与清污现场集控系统(工业控制计算机)间通过zigbee进行通讯连接，与环境感测下位系统(嵌入式微控制器)间通过zigbee(紫蜂)进行通讯连接。
[0064]
水坝孔口水位感测：
[0065]
水坝孔口水位在线智能感测终端装置布设在水坝一端孔口边的立墙上，便于投入式水位传感器的安装探测，与清污现场集控系统(工业控制计算机)间通过zigbee进行主机问答式通讯连接。
[0066]
环境光照强度感测：
[0067]
环境光照强度在线智能感测终端装置布设在水坝孔口清污作业区域边框上，便于光照强度传感器的安装探测，与清污现场集控系统(工业控制计算机)间通过zigbee进行主机问答式通讯连接。
[0068]
抓斗闸孔工位感测：
[0069]
抓斗闸孔工位在线感测阵列终端装置布设在清污机水平行进轨道的一侧，位于水坝每孔孔口作业区域的起点和终点位置处，便于对清污机抓斗运动传动箱及抓斗进行孔位区域的感测，与轨道驱控下位系统(plc-1)间通过dio进行信号连接。
[0070]
抓斗轨道位置感测：
[0071]
抓斗轨道位置在线智能感测终端装置布设在清污机抓斗运动传动箱内，两个激光位移传感器沿行进轨道的相对两端共线布设，便于对清污机抓斗运动传动箱及抓斗进行水平位置的测量，与抓斗驱控下位系统(plc-2)间通过串口进行通讯连接。
[0072]
抓斗升降高度感测：
[0073]
抓斗升降高度在线智能感测终端装置布设在清污机抓斗运动传动箱内，对清污机抓斗在垂直方向上运动的升降高度进行测量，与抓斗驱控下位系统(plc-2)间通过rs485进行问答式通讯连接。
[0074]
抓斗工况荷载感测：
[0075]
抓斗工况荷载在线智能感测终端装置布设在清污机抓斗的吊索上，对清污机抓斗工况荷载进行监测，与抓斗驱控下位系统(plc-2)间通过rs485进行问答式通讯连接。
[0076]
本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。

技术特征：
1.一种基于视觉ai识别算法的清污机智能控制系统，其特征在于：包括智能决策平台和智能驱控系统，所述智能决策平台通过视觉ai算法进行清污巡检、形位识别、积量测算、清污决策、超过预警阈值的逻辑判断，并自动发出清污计划命令至所述智能驱控系统，所述智能驱控系统接收智能决策平台的控制命令控制清污机进行清污操作。2.根据权利要求1所述的基于视觉ai识别算法的清污机智能控制系统，其特征在于：所述智能决策平台以感知智能技术为核心，使用光学非接触式感应设备自动接收大量水域场景图像处理并进行智能分析，以获得信息控制机器或流程，并充分利用互联网、5g或物联网搭建智能分析决策平台，进行水面污染的预警、处理、追踪。3.根据权利要求1所述的基于视觉ai识别算法的清污机智能控制系统，其特征在于：所述智能驱控系统与孔口智能清污控制系统间通过以太网进行通讯连接，与清污现场集控系统间通过以太网进行通讯连接，与清污现场集控系统间通过zigbee进行通讯连接，与环境感测下位系统间通过zigbee进行通讯连接。4.根据权利要求2所述的基于视觉ai识别算法的清污机智能控制系统，其特征在于：所述智能决策平台图像处理包括以下步骤：s1：智能决策平台对接孔口终端摄像头，获取视频流，通过漂浮垃圾识别算法识别出水面上出现的漂浮垃圾并报警反馈至相关工作人员处；漂浮物垃圾检测算法采用yolov系列的深度学习神经网络，darknet_53网络通过卷积运算提取垃圾漂浮物特征，选取经过32、16和8倍采样的特征图构造预测分支进行目标检测；s2：智能决策平台根据漂浮垃圾抓拍图像，利用图上量算技术，计算漂浮垃圾距孔口横向、纵向距离，智能确定清污机相对移动方向和距离；距离测量采用激光雷达，激光雷达与相机光轴平行，间距为b,激光雷达发出的激光会通过与图像校准之后，记中心为p(x
l，
y
l
)，测定的距离为h，相机焦距为f；根据相机成像原理，得到的图像平面中心坐标为q(0,0),满足相似三角形的对应边成比例关系，因此，每一个像素所对应的长度为则目标空间位置可表示为s3：智能决策平台根据漂浮垃圾抓拍图像，利用图上量算技术，将统计目标检测区域的大小视为漂浮垃圾面积，根据预设面积阈值判断漂浮垃圾面积是否超阈值，对于超阈值情况进行报警。5.根据权利要求3所述的基于视觉ai识别算法的清污机智能控制系统，其特征在于：所述智能驱控系统还设置有布设在水坝一端孔口边的立墙上的水坝孔口水位在线智能感测终端装置；布设在水坝孔口清污作业区域边框上的环境光照强度在线智能感测终端装置；布设在清污机水平行进轨道的一侧，位于水坝每孔孔口作业区域的起点和终点位置处的抓斗闸孔工位在线感测阵列终端装置；布设在清污机抓斗运动传动箱内，两个激光位移传感器沿行进轨道的相对两端共线布设的抓斗轨道位置在线智能感测终端装置；布设在清污机抓斗运动传动箱内，对清污机抓斗在垂直方向上运动的升降高度进行测量的抓斗升降高度
在线智能感测终端装置；布设在清污机抓斗的吊索上，对清污机抓斗工况荷载进行监测的抓斗工况荷载在线智能感测终端装置。

技术总结
本发明公开了一种基于视觉AI识别算法的清污机智能控制系统，包括智能决策平台和智能驱控系统，智能决策平台通过视觉AI算法进行清污巡检、形位识别、积量测算、清污决策、超过预警阈值的逻辑判断，并自动发出清污计划命令至所述智能驱控系统，智能驱控系统接收智能决策平台的控制命令控制清污机进行清污操作。本发明实现拦污栅进水口漂浮物的智能识别、自动清污和集控远程半自动清污操作，以提升电站设备的智能化水平，满足远程集控中心对柳坪闸首进水口拦污栅水面漂浮垃圾的监管和清理的需求，同时减轻主汛期人工作操作的工作强度。同时减轻主汛期人工作操作的工作强度。同时减轻主汛期人工作操作的工作强度。


技术研发人员：薛玉林 杨炳全 孟帮杰 曾义昌 王伟 曹伦 曹俊 林涛 刘洋 熊少华
受保护的技术使用者：阿坝水电开发有限公司
技术研发日：2023.05.31
技术公布日：2023/8/31