一种用于风机桨叶监测的无人机监控系统

1.本发明涉及发电机监测领域，尤其涉及一种用于风机桨叶监测的无人机监控系统。


背景技术：

2.风机桨叶目前主要是由玻璃、碳等不同性质的材料组合并优化形成的新型材料。为有效实现桨叶缺陷的快速高效监测，针对风机的桨叶材料以及缺陷类型，根据风电场实际状况，现有的检测装置很多是直接装载在叶片或者发电机组内，监测震动频率或者轴的倾斜程度以达到的监测整体装置的效果。
3.但是此种方式一般并不能很好检测到叶片上的裂痕、小型缺陷或者其他并不能间接检测出来的外伤，并不能完整准确的监测的风机桨叶的健康状态以及


技术实现要素：

4.为解决勘察繁琐的技术问题，本发明提供一种用于风机桨叶监测的无人机监控系统。
5.本发明采用以下技术方案实现：一种用于风机桨叶监测的无人机监控系统，包括：图像采集系统和图像处理应用系统，所述图像处理应用系统通过有线或无线与图像处理应用系统相连接。
6.作为上述方案的进一步改进，，所述图像采集系统由由云台相机、无人机、工业运算机和控制设备等物理装置构成。
7.作为上述方案的进一步改进，，所述图像处理应用系统包括标定模块、图像预处理模块，增强模块、提取模块，分类模块。
8.一种用于风机桨叶监测的无人机监控方法，包括以下步骤：
9.s1：图像采集；
10.s2：图像预处理；
11.s3：图像计算标定；
12.s4：桨叶表面故障图像预处理；
13.s5：桨叶表面图像增强与动态阈值分割；
14.s6：桨叶表面故障特征提取与选择；
15.s7：桨叶表面故障分类检测与识别；
16.s8：故障确认和排除。
17.相比现有技术，本发明的有益效果在于：
18.1、通过无人机拍摄，然后通过程序系统的计算，可以快速找出缺陷，减少人工和其他投入，同时可以监测出其他设备不能识别的微小细纹或者其他微小缺陷，保证风机整体的安全，确保可以及时准确的进行维护。
19.2、使用了快速自适应加权中值滤波算法、图像增强算法、桨叶表面故障特征提取
与选择、桨叶表面故障分类监测与识别，并将其嵌入到人机交互平台中，该平台经过在线及离线测试，可以实现砂眼，裂纹和剥皮等缺陷的自动识别与监测，且准确率可以达到90％以上，相对于传统监测手段和其他监测算法具有较高的准确率与较好的算法稳定性，为风力发电机桨叶的无损监测提供了新的途径。
附图说明
20.图1为图像采集与处理系统示意图；
21.图2为图像处理系统简示图；
22.图3为针孔成像原理建立的相机成像模型示意图；
23.图4为halcon的标定算法流程示意图。
具体实施方式
24.下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
25.实施例：
26.一种用于风机桨叶监测的无人机监控系统，包括：图像采集系统和图像处理应用系统，所述图像处理应用系统通过有线或无线与图像处理应用系统相连接，通过控制无人机搭载成像设备来采集风机桨叶表面图像，输送到图像处理应用系统中对图像进行处理和缺陷识别，最后输出风机桨叶质量分析报告以达到桨叶缺陷监测。
27.所述图像采集系统由由云台相机、无人机、工业运算机和控制设备等物理装置构成，根据风机桨叶的材料特性以及油污、砂眼等缺陷的尺寸大小等因素，在成像设备的选择上，可以选择zenmusez30云台相机，采用1/2.8
″
逐行扫描的cmos传感器，有效像素为213万，满足桨叶表面的特征成像需求，与相机配合使用的镜头可以进行30倍光学变焦、6倍字变焦，等效焦距为29～872mm，最小对焦距离为10～1200mm，在光学广角下的光学长焦的变焦移动速度为4.6s，用来搭载相机及镜头的云台的角度抖动量为
±
0.01
°
，其可控转动范围为俯仰(+30
°
至-90
°
)，平移
±
320
°
，可以满足使用要求，在选择用来运输搭载到云台上的成像设备的无人机时，因为所选相机具有中等像素，高等光学变焦倍数的特点，拍摄桨叶细节时需要高倍数变焦，系统采用了经纬m600无人机，该无人机最大起飞重量可达15.1kg，在高度位置与水平位置的固定预设准确度分别为
±
500mm与
±
1500mm，可满足成像设备的要求，由于许多风场位于高原及高风速地区，对无人机工作环境要求严格。
28.所述图像处理应用系统包括标定模块、图像预处理模块，增强模块、提取模块，分类模块，当图像采集系统完成对风力发电机桨叶表面图像的采集后，通过usb2.0/3.0或wifi等方式传送至由halcon及visual studio 2019建造的风机桨叶图像处理应用系统中，对所拍摄的桨叶图进行标定、去噪和增强等操作，之后利用终端操控装备对无人机控制人员传递指令及存储处理后的图像和分析报告。
29.一种用于风机桨叶监测的无人机监控方法，包括以下步骤：
30.s1：图像采集，采用无人机在限定条件下进行采集，以得到稳定的数据，
31.s2：图像预处理，对图像进行初步的处理，方便后续查看，
32.s3：图像计算标定，标定确定位置，缩小查看范围，
33.s4：桨叶表面故障图像预处理，对表面进行处理，方便查看，
34.s5：桨叶表面图像增强与动态阈值分割，图像进一步增强，保证查看，
35.s6：桨叶表面故障特征提取与选择，自主选择，实现提取，
36.s7：桨叶表面故障分类检测与识别，实现分类和识别成不同的缺陷方式，方便后续的工作。
37.s8：故障确认和排除，需要时，可以进一步通过人工核实，并且进行后续得排出。
38.其中：图像处理应用系统算法的设计与实现的具体分析；
39.1.基于halcon软件的相机标定过程
40.为了从无人机所拍摄的风机桨叶桨叶图中获取准确的世界坐标及裂纹、砂眼等缺陷的尺寸信息，需要先在特定环境下标定相机，相机依据光学成像的原理，把三维坐标中的点通过成像设备映射到二维坐标上，基于针孔成像原理建立的相机成像模型如图3所示。由空间点pw变换到图像平面上的投影点p，需要经过如下步骤。
41.(1)通过相对位置变换关系式pc＝rpw+t来把点pw转换成摄像机坐标系下的点pc，其中r＝(α,β,γ)是旋转矩阵，t＝(tx,ty,tz)是平移向量，相机的外参即为r和t中的参数。
42.(2)通过相机坐标系与图像的像元坐标系之间的投影关系式：
[0043][0044]
把pc从相机坐标系转换到图像的像元坐标系，其中f为相机的主距。
[0045]
(3)无论镜头失真状态如何，一实物点位于世界坐标系和一投影点位于成像平面两者中的连线会穿越成像设备的中心光学位置。考虑到镜头在实际中的失真情况，可以使用径向失真公式来进行相像比较，也即
[0046][0047]
其中k为镜头的失真系数。
[0048]
(4)参数k表示径向扭曲的大小，若k为负数则扭曲为桶形失真，k为正数则是枕形失真。该失真可用下面的方程进行矫正：
[0049][0050]
(5)最后，将失真点转换到图像的物理模型坐标系中，
[0051][0052]
式中：cx和cy为投影中心在成像平面的垂直投影；sx和sy为图像感光元件中的像素在相间的横向与径向相距的长度，则(f,k,cx,cy,sx,sy)就是相机内参，并决定了点在相机内部的转换关系，从以上5个步骤可知，要使三维世界坐标上的一点pw确定其映射在二维
图像坐标中的位置和形态，就要确定其内外参数，求解其内外参数的过程就是相机的标定。
[0053]
使用halcon标定板来确定相机的参数的整个过程包括找标定板，确定标定板上标定圆点的位置以及获取三维坐标与图像坐标间的对应关系。根据实际需求，测定风机桨叶与相机之间的相对距离，之后在模拟环境中以相对距离为标准拍摄了多张halcon标准图进行相机的校准和标定。
[0054]
在对相机进行标定的时候，一般使用具备halcon尺寸标准的3cm
×
3cm大小的标定工具，按照基于halcon的标定算法流程(如图4)。通过标定过程得到相机的内部及外部的参数后，由算子gen_image_to_world_plane_map()得出图像与世界坐标系的投影关系，之后由算子map_image()对得到的桨叶图像进行校正，从而保证接下来对桨叶缺陷进行监测的准确程度。由以上分析可知，在无人机对风机桨叶进行图像采集的模拟环境下进行二维测距，可以达到满意的准确度标准，无人机的云台相机进行参数矫正后即可正确的反映桨叶的真实缺陷和采集图像的相互关系。
[0055]
2.桨叶表面故障图像预处理
[0056]
风机桨叶表面故障图像的预处理主要包括图像的去运动模糊化、消除噪声。因为桨叶表面故障图像的采集是一个动态过程，无人机和风机的自身运动以及这两者的相对运动都会造成图像的运动模糊化；风电场相对恶劣的自然环境以及图像传输过程中各种电子信号的干扰都会使采集到的图像受到一定的噪声“污染”。在对上述两种影响桨叶表面故障图像质量的因素处理后，由于图像处理算法的局限，故障图像自身也会受到一定的影响，根据运动模糊产生的实际情况，采用了维纳滤波算法对运动模糊进行消除；分析了图像噪声的产生类型，通过多种方法对比，选择了自适应中值滤波方法。
[0057]
在中值滤波算法实现时影响速度的一个主要运算过程是对滤波窗口中元素排序的算法，算法借助统计直方图的思想对中值滤波算法进行改进。设x＝{xi}，i＝1,2,3,
…
,n为所求中值的数组，其中0≤xi≤m，且xi为整数，本算法先设区间[0,m]划分为f个层次，每个层次包含长度为lf的区间共kf个，上一层次区间可被下一层次区间等分，先多级划分该区间，然后对各层次直方图进行计算，然后依据大小顺序寻找中值范围，步骤如下：(1)令f＝0，从i＝0到计算，若，则令，；(2)令；(3)对所有，从j＝0到m对数组值得加权分布直方图进行统计；(4)令；(5)计算递推式，如果，令j+1，返回步骤(4)，否则转步骤(5)；(6)令，若f＞0，则f＝f-1并转到步骤(4)，否则j为所求中值，算法结束。
[0058]
3.桨叶表面图像增强与动态阈值分割
[0059]
图像增强是一种基本的图像处理方法，图像增强主要是针对灰度图像增强，图像增强在本系统中的应用目的主要有以下两个方面：一是针对前景目标和背景目标的对比度增强，通过调整图像的对比度，使前景目标在图像中更加清晰；二是针对图像边缘和轮廓的细节的修复增强处理，通过一定变换使图像的部分细节更容易在图像处理系统中识别。
[0060]
将数学形态学算法与图像增强算法相结合是近年来运用较多的非线性方法，集合论是形态学的数学基础和描述语言，它主要是运用各种结构元素去度量和提取图像中的对应形状以达到图像分析和识别的目的，在信号集合特征的基础上，形态滤波器利用预先定义的结构元对信号进行匹配，达到提取信号、保持细节和抑制噪声的目的；结构元的选取是形态学增强的关键，由于只采用单一的结构元，传统的形态滤波在滤除噪声的同时，往往造成会图像细节的损失；基于此，本系统运用了一种多方位多结构元的处理方法，让结构元尽
可能覆盖图像的各个方向，达到较好地保持图像细节信息的目的。
[0061]
图像分割的目的是依据图像的不同特征，将图像划分为若干个统计均匀的互不相交的子区域或划分集合，该集合可以作为一个目标区域并可以从图像背景或其他目标区域分离开来。
[0062]
4.桨叶表面故障特征提取与选择
[0063]
为了较为精确的提取故障图像的各种特征，提出了一种sobel边缘监测和二值形态学相结合的图像前景分割算法。建立了一个包含图像几何特征、纹理特征和灰度特征的12特征值特征池，根据特征维度灾难和svm分类器具体要求选择了一个6特征值的分类器输入。
[0064]
5.桨叶表面故障分类检测与识别
[0065]
风机桨叶表面故障主要分为裂纹和腐蚀面，其中裂纹分为横向裂纹、纵向裂纹、复合裂纹和网状裂纹，构建了基于svm和twsvm相结合的偏二叉树分类器对采集的图像进行了分类。针对网状裂纹和腐蚀面极易混合的特点，引入了twsvm双分类平面结构，进一步提高了故障分类率。为桨叶后面的维护提供了必要的理论指导。
[0066]
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

技术特征：
1.一种用于风机桨叶监测的无人机监控系统，其特征在于，包括：图像采集系统和图像处理应用系统，所述图像处理应用系统通过有线或无线与图像处理应用系统相连接。2.如权利要求1所述的一种用于风机桨叶监测的无人机监控系统，其特征在于，所述图像采集系统由由云台相机、无人机、工业运算机和控制设备等物理装置构成。3.如权利要求2所述的一种用于风机桨叶监测的无人机监控系统，其特征在于，所述图像处理应用系统包括标定模块、图像预处理模块，增强模块、提取模块，分类模块。4.一种用于风机桨叶监测的无人机监控方法，其特征在于，包括以下步骤：s1：图像采集；s2：图像预处理；s3：图像计算标定；s4：桨叶表面故障图像预处理；s5：桨叶表面图像增强与动态阈值分割；s6：桨叶表面故障特征提取与选择；s7：桨叶表面故障分类检测与识别；s8：故障确认和排除。

技术总结
本发明涉及发电机监测领域，公开了一种用于风机桨叶监测的无人机监控系统，包括图像采集系统和图像处理应用系统，所述图像处理应用系统通过有线或无线与图像处理应用系统相连接，本发明可以实现砂眼，裂纹和剥皮等缺陷的自动识别与监测，相对于传统监测手段和其他监测算法具有较高的准确率与较好的算法稳定性，可以快速找出缺陷，进行后期快速准确的维护。进行后期快速准确的维护。进行后期快速准确的维护。


技术研发人员：黄迎辉 朱洪浩 年四成 刘世军 郭城 曹建磊 石岩
受保护的技术使用者：蚌埠学院
技术研发日：2023.05.22
技术公布日：2023/8/28