一种高精度电网无人机巡检图像缺陷识别方法及系统与流程

1.本发明涉及电网无人机巡检技术领域，尤其涉及一种高精度电网无人机巡检图像缺陷识别方法及系统。


背景技术：

2.随着社会发展及新能源载具的兴起，人们对电力能源的需求逐年增加，因此，保证输电网络的安全畅通尤为重要，现今随着特高压技术的成熟，高压输电网络密度不断加大，导致电力巡检任务繁重，而随着无人机技术的逐渐成熟，使用无人机进行电力巡检代替人工电力巡检不仅可以克服地理因素的困难，同时可以大大提高巡检效率；对于巡检无人机获取的巡检图像传统处理识别方法采用简单的卷积神经网络算法来对图片进行识别处理，而在无人机获取图像时会受到很多因素的影响，导致获取的图片无法精确识别出巡检目标，从而影响对巡检目标的缺陷识别判断，因此，本发明提出一种高精度电网无人机巡检图像缺陷识别方法及系统以解决现有技术中存在的问题。


技术实现要素：

3.针对上述问题，本发明的目的在于提出一种高精度电网无人机巡检图像缺陷识别方法及系统，该高精度电网无人机巡检图像缺陷识别方法及系统通过先对无人机获取的图像进行降噪去噪处理后进行特征提取，从而有效消除环境天气等因素对拍摄图片的影响，然后将其与故障缺陷模型进行比对从而识别出巡检目标缺陷类型，令识别的结果更加精准，识别效率更高，同时系统的故障图片数据库自更新在识别到新故障类型时自动对数据库进行更新扩展，使得后续故障对比效率更高。
4.为实现本发明的目的，本发明通过以下技术方案实现：一种高精度电网无人机巡检图像缺陷识别方法，包括以下步骤：步骤一、图像获取，巡检无人机基于无人机巡检航线及航点飞行到指定位置后调整航向角、飞行角度和相机拍摄角度获取巡检对象的图像数据，并将图像数据上传；步骤二、无人机调整，电力巡检缺陷检测系统接收巡检对象的图像数据后，识别图像中有无巡检目标对象，再对巡检无人机及摄像头进行适应性调节，并由摄像头拍摄获取更精准清晰的巡检目标图像；步骤三、图像处理，通过电力巡检缺陷检测系统对拍摄到的清晰图像进行降噪去噪处理，随后对图像进行特征提取，获取巡检对象特征图；步骤四、图像比对判断，将处理后的巡检对象特征图与系统的故障缺陷模型进行比对，并判断输出故障缺陷识别结果；步骤五、分类统计安排检修，待巡检无人机将巡检航线上的所有巡检航点巡检判断完成后将故障结果进行分类统计，随后根据统计结果分析安排故障缺陷检修。
5.进一步改进在于：所述步骤二中当识别图像中有巡检目标对象时，电力巡检缺陷检测系统自动修改无人机当前位置、相机的焦距和拍摄角度的参数，并使摄像头对焦在巡
检目标对象上获取清晰图像；当识别图像中没有巡检目标对象时，电力巡检缺陷检测系统对当前图像特征进行分析，并与无人机巡检航线的3d模型进行比对，获取巡检目标对象位置后，自动调整巡检无人机位置、相机的焦距和拍摄角度的参数，从而获取清晰地巡检目标对象的图像。
6.进一步改进在于：所述步骤三中进行图像处理时先通过卡尔曼滤波法对获取的图像进行降噪处理，随后使用结合bayesshrink阈值和windowshrink阈值的多阈值去噪方法对降噪后的图像再次进行去噪处理，得到降噪去噪后的图像。
7.进一步改进在于：所述步骤三中图像特征提取是基于小波包变换和数学形态的方法来实现的，具体为先对降噪去噪后的图像进行二值图像转换，转换后得到二值图像，然后利用边缘检测器对二值图像进行识别处理，并结合数学形态进行边缘描述，得到边缘图，最后从得到的边缘图提取出巡检对象部分的特征图。
8.进一步改进在于：所述步骤四中故障缺陷模型是基于历史获取的缺陷图像建立并训练验证得到的，比对时将步骤三中获取的巡检对象特征图作为输入导入故障缺陷模型中自动识别输出故障缺陷类型并判断故障缺陷等级。
9.进一步改进在于：所述步骤五中进行分类统计时按照巡检对象部件类型、缺陷类型和缺陷等级进行分类。
10.一种高精度电网无人机巡检图像缺陷识别系统，包括无人机控制系统和图像识别处理系统，所述无人机控制系统包括无人机控制模块、gps模块和拍照模块，所述无人机控制模块用于根据巡检航线航点及调节控制指令调节无人机的航向角、飞行角度及无人机动作，所述gps模块基于北斗卫星实时定位无人机位置，所述拍照模块基于无人机摄像头实现巡检避障识别及巡检对象图片获取；所述图像识别处理系统包括图像预处理模块、故障缺陷比对模块和故障缺陷分类模块，所述图像预处理模块用于对获取的图像进行降噪及特征提取，所述故障缺陷比对模块基于故障缺陷模型对获取的巡检对象特征图进行比对识别和判断，所述故障缺陷分类模块用于根据识别判断结果对巡检对象的故障缺陷进行分类统计。
11.进一步改进在于：所述拍照模块包含摄像头控制子模块，所述摄像头控制子模块用于对摄像头的焦距、拍照角度、对焦动作和拍照摄像动作进行控制；所述故障缺陷比对模块包含有故障图片数据库和提取比对子模块，所述故障图片数据库基于历史获取的部件故障类型图片建立起的数据集同时具备自更新功能，所述提取比多子模块用于从故障图片数据库中提取同类型部件的历史故障图并与待识别的部件故障图进行比对并判断故障类型。
12.本发明的有益效果为：本发明通过先对无人机获取的图像进行降噪去噪处理后进行特征提取，从而有效消除环境天气等因素对拍摄图片的影响，然后将其与故障缺陷模型进行比对从而识别出巡检目标缺陷类型，令识别的结果更加精准，识别效率更高，同时系统的故障图片数据库自更新在识别到新故障类型时自动对数据库进行更新扩展，使得后续故障对比效率更高，为巡检无人机图像处理提供一种高精度且高效的识别方法。
附图说明
13.图1为本发明实施例1方法流程图。
14.图2为本发明实施例2系统架构图。
实施方式
15.为了加深对本发明的理解，下面将结合实施例对本发明做进一步详述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限定。
实施例
16.根据图1所示，本实施例提供了一种高精度电网无人机巡检图像缺陷识别方法，包括以下步骤：步骤一、图像获取，巡检无人机基于无人机巡检航线及航点飞行到指定位置后调整航向角、飞行角度和相机拍摄角度获取巡检对象的图像数据，并将图像数据上传。
17.步骤二、无人机调整，电力巡检缺陷检测系统接收巡检对象的图像数据后，识别图像中有无巡检目标对象，再对巡检无人机及摄像头进行适应性调节，并由摄像头拍摄获取更精准清晰的巡检目标图像；其中当识别图像中有巡检目标对象时，电力巡检缺陷检测系统自动修改无人机当前位置、相机的焦距和拍摄角度的参数，并使摄像头对焦在巡检目标对象上获取清晰图像；当识别图像中没有巡检目标对象时，电力巡检缺陷检测系统对当前图像特征进行分析，并与无人机巡检航线的3d模型进行比对，获取巡检目标对象位置后，自动调整巡检无人机位置、相机的焦距和拍摄角度的参数，从而获取清晰地巡检目标对象的图像。
18.步骤三、图像处理，通过电力巡检缺陷检测系统对拍摄到的清晰图像进行降噪去噪处理，随后对图像进行特征提取，获取巡检对象特征图；由于无人机拍摄图片受到环境天气或电场等其他因素的影响，会导致图像出现干扰不清晰，因此需要先对图像进行降噪去噪处理，降噪去噪时先通过卡尔曼滤波法对获取的图像进行降噪处理，随后使用结合bayesshrink阈值和windowshrink阈值的多阈值去噪方法对降噪后的图像再次进行去噪处理，得到降噪去噪后的图像；bayesshrink阈值和windowshrink阈值的多阈值去噪方法具体为：先令噪声图像方差为，噪声方差为，初始图像方差为，则有
19.其中为小波变换后低频系数的平均值，的图像噪声方差为
20.原始图像方差为
21.利用bayesshrink估计原始图像方差，然后利用计算，即
22.可以得到收缩因子
[0023][0024]
去噪后的超小波系数为
[0025]
将经过contourlet反变换即得到去噪后的图像。
[0026]
图像特征提取是基于小波包变换和数学形态的方法来实现的，具体为先对降噪去噪后的图像进行二值图像转换，转换后得到二值图像，然后利用边缘检测器对二值图像进行识别处理，并结合数学形态进行边缘描述，得到边缘图，最后从得到的边缘图提取出巡检对象部分的特征图。
[0027]
步骤四、图像比对判断，将处理后的巡检对象特征图与系统的故障缺陷模型进行比对，并判断输出故障缺陷识别结果；具体为先获取历史故障缺陷类型的图像，随后进行步骤三中的处理，处理后将所有图像整理成数据集，再将数据集分割成训练集和验证集，然后建立识别模型，模型建立时首先获取历史故障缺陷类型图像后结合对应图片的历史判断结果得到初始故障缺陷模型，初始故障缺陷模型的恒定值未知，先利用多组历史故障缺陷类型图片与对应识别结果训练获得恒定值，随后将恒定值导入初始模型并将故障缺陷类型图片即识别结果作为未知值即得到故障缺陷类型图片；随后利用训练集和验证集进行训练和验证，训练时是将训练集的图片和对应的识别结果导入进行恒定值的迭代优化，迭代优化后的模型利用验证集进行验证，验证时将验证集的图片作为输入，并由模型输出识别结果，最后将识别结果与验证集对应图片的历史识别结果比对确定优化效果，即得到故障缺陷模型，比对时将步骤三中获取的巡检对象特征图作为输入导入故障缺陷模型中自动识别输出故障缺陷类型并判断故障缺陷等级。
[0028]
故障缺陷模型内部分为多个子模型，其根据检测对象类型不同而不同，比如螺丝生锈、螺丝松动、螺丝脱落、接头过热变红等。
[0029]
当检测的故障类型不在模型数据集定义范围内，则由人工手动确认故障缺陷，并由系统自动创建新的故障类型数据集将故障缺陷图像纳入创建的数据集中，以便后续发生相同的缺陷进行比对。
[0030]
步骤五、分类统计安排检修，待巡检无人机将巡检航线上的所有巡检航点巡检判断完成后将故障结果按照巡检对象部件类型、缺陷类型和缺陷等级进行分类，随后根据统计结果分析安排故障缺陷检修。
[0031]
通过先对无人机获取的图像进行降噪去噪处理后进行特征提取，从而有效消除环境天气等因素对拍摄图片的影响，然后将其与故障缺陷模型进行比对从而识别出巡检目标缺陷类型，令识别的结果更加精准，识别效率更高。
实施例
[0032]
根据图2所示，本实施例提供了一种高精度电网无人机巡检图像缺陷识别系统，其特征在于：包括无人机控制系统和图像识别处理系统，所述无人机控制系统包括无人机控制模块、gps模块和拍照模块，所述图像识别处理系统包括图像预处理模块、故障缺陷比对模块和故障缺陷分类模块。
[0033]
所述无人机控制模块用于根据巡检航线航点及调节控制指令调节无人机的航向角、飞行角度及无人机动作，所述gps模块基于北斗卫星实时定位无人机位置，所述拍照模块基于无人机摄像头实现巡检避障识别及巡检对象图片获取，所述拍照模块包含摄像头控制子模块，所述摄像头控制子模块用于对摄像头的焦距、拍照角度、对焦动作和拍照摄像动作进行控制。
[0034]
所述图像预处理模块用于对获取的图像进行降噪及特征提取，所述故障缺陷比对模块基于故障缺陷模型对获取的巡检对象特征图进行比对识别和判断，所述故障缺陷比对模块包含有故障图片数据库和提取比对子模块，所述故障图片数据库基于历史获取的部件故障类型图片建立起的数据集同时具备自更新功能，当系统无法识别故障缺陷类型时，由人工手动确认故障缺陷，并由系统自动创建新的故障类型数据集将故障缺陷图像纳入创建的数据集中，以便后续发生相同的缺陷进行比对。
[0035]
所述提取比多子模块用于从故障图片数据库中提取同类型部件的历史故障图并与待识别的部件故障图进行比对并判断故障类型。
[0036]
所述故障缺陷分类模块用于根据识别判断结果对巡检对象的故障缺陷进行分类统计。
[0037]
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

技术特征：
1.一种高精度电网无人机巡检图像缺陷识别方法，其特征在于，包括以下步骤：步骤一、图像获取，巡检无人机基于无人机巡检航线及航点飞行到指定位置后调整航向角、飞行角度和相机拍摄角度获取巡检对象的图像数据，并将图像数据上传；步骤二、无人机调整，电力巡检缺陷检测系统接收巡检对象的图像数据后，识别图像中有无巡检目标对象，再对巡检无人机及摄像头进行适应性调节，并由摄像头拍摄获取更精准清晰的巡检目标图像；步骤三、图像处理，通过电力巡检缺陷检测系统对拍摄到的清晰图像进行降噪去噪处理，随后对图像进行特征提取，获取巡检对象特征图；步骤四、图像比对判断，将处理后的巡检对象特征图与系统的故障缺陷模型进行比对，并判断输出故障缺陷识别结果；步骤五、分类统计安排检修，待巡检无人机将巡检航线上的所有巡检航点巡检判断完成后将故障结果进行分类统计，随后根据统计结果分析安排故障缺陷检修。2.根据权利要求1所述的一种高精度电网无人机巡检图像缺陷识别方法，其特征在于：所述步骤二中当识别图像中有巡检目标对象时，电力巡检缺陷检测系统自动修改无人机当前位置、相机的焦距和拍摄角度的参数，并使摄像头对焦在巡检目标对象上获取清晰图像；当识别图像中没有巡检目标对象时，电力巡检缺陷检测系统对当前图像特征进行分析，并与无人机巡检航线的3d模型进行比对，获取巡检目标对象位置后，自动调整巡检无人机位置、相机的焦距和拍摄角度的参数，从而获取清晰地巡检目标对象的图像。3.根据权利要求1所述的一种高精度电网无人机巡检图像缺陷识别方法，其特征在于：所述步骤三中进行图像处理时先通过卡尔曼滤波法对获取的图像进行降噪处理，随后使用结合bayesshrink阈值和windowshrink阈值的多阈值去噪方法对降噪后的图像再次进行去噪处理，得到降噪去噪后的图像。4.根据权利要求1所述的一种高精度电网无人机巡检图像缺陷识别方法，其特征在于：所述步骤三中图像特征提取是基于小波包变换和数学形态的方法来实现的，具体为先对降噪去噪后的图像进行二值图像转换，转换后得到二值图像，然后利用边缘检测器对二值图像进行识别处理，并结合数学形态进行边缘描述，得到边缘图，最后从得到的边缘图提取出巡检对象部分的特征图。5.根据权利要求1所述的一种高精度电网无人机巡检图像缺陷识别方法，其特征在于：所述步骤四中故障缺陷模型是基于历史获取的缺陷图像建立并训练验证得到的，比对时将步骤三中获取的巡检对象特征图作为输入导入故障缺陷模型中自动识别输出故障缺陷类型并判断故障缺陷等级。6.根据权利要求1所述的一种高精度电网无人机巡检图像缺陷识别方法，其特征在于：所述步骤五中进行分类统计时按照巡检对象部件类型、缺陷类型和缺陷等级进行分类。7.一种高精度电网无人机巡检图像缺陷识别系统，其特征在于：包括无人机控制系统和图像识别处理系统，所述无人机控制系统包括无人机控制模块、gps模块和拍照模块，所述无人机控制模块用于根据巡检航线航点及调节控制指令调节无人机的航向角、飞行角度及无人机动作，所述gps模块基于北斗卫星实时定位无人机位置，所述拍照模块基于无人机摄像头实现巡检避障识别及巡检对象图片获取；所述图像识别处理系统包括图像预处理模块、故障缺陷比对模块和故障缺陷分类模
块，所述图像预处理模块用于对获取的图像进行降噪及特征提取，所述故障缺陷比对模块基于故障缺陷模型对获取的巡检对象特征图进行比对识别和判断，所述故障缺陷分类模块用于根据识别判断结果对巡检对象的故障缺陷进行分类统计。8.根据权利要求7所述的一种高精度电网无人机巡检图像缺陷识别系统，其特征在于：所述拍照模块包含摄像头控制子模块，所述摄像头控制子模块用于对摄像头的焦距、拍照角度、对焦动作和拍照摄像动作进行控制；所述故障缺陷比对模块包含有故障图片数据库和提取比对子模块，所述故障图片数据库基于历史获取的部件故障类型图片建立起的数据集同时具备自更新功能，所述提取比多子模块用于从故障图片数据库中提取同类型部件的历史故障图并与待识别的部件故障图进行比对并判断故障类型。

技术总结
本发明公开一种高精度电网无人机巡检图像缺陷识别方法及系统，包括步骤一、无人机飞行拍摄并上传飞行图像数据，步骤二、根据飞行图像调整无人机数据获取更精准巡检目标图像，步骤三、对获取的巡检目标图像通过卡尔曼滤波法并结合BayesShrink阈值和WindowShrink阈值的多阈值去噪方法进行降噪去噪处理，同时基于小波包变换和数学形态的方法进行图像的特征提取处理，步骤四、将处理后的图像与故障缺模型进行比对判断并输出识别结果，步骤五、分类统计后安排检修；本发明通过先对无人机获取的图像进行降噪去噪处理后进行特征提取，从而有效消除环境天气等因素对拍摄图片的影响，然后将其与故障缺陷模型进行比对从而识别出巡检目标缺陷类型，令识别的结果更加精准，识别效率更高，同时系统的故障图片数据库自更新，在识别到新故障类型时自动对数据库进行更新扩展，使得后续故障对比效率更高。使得后续故障对比效率更高。使得后续故障对比效率更高。


技术研发人员：刘嵩 邹彪 朱晓康 王宁 任伟达 朱松涛 赵紫嫣 郭晓冰 白云灿 孙鸿博 刘俊男
受保护的技术使用者：国网电力空间技术有限公司
技术研发日：2023.05.04
技术公布日：2023/8/28