一种用于变电站无人巡检的指针仪表读数识别方法与流程

1.本发明涉及仪表识别的技术领域，尤其涉及一种用于变电站无人巡检的指针仪表读数识别方法。


背景技术：

2.多年以来仪器仪表的识别对于偏远地区和具有腐蚀和危害性气液体的区域，仪器仪表状态的获取都具有重要的作用，而现在很多地区，仍使用人力去进行仪器仪表数值的读取。
3.受限于复杂的电磁环境，变电站中的大量模拟式仪器需要人工读取示数，对于变电站的自动化管理是不利的，而近年来，由于机器数据和硬件系统布控能力的提升，摄像直读抄表的识别精度相对于本世纪初得到了很大程度的增强，但要将算法运用到时处，为了实现大规模商业化应用，视觉抄表方案存在大量工程化问题需要解决。具体来说，有以下几个方面:1.摄像终端硬件如何做到低功耗、低成本、高传输成功率；2.结构高适配，同时还能有效应对恶劣复杂的现场环境；3.法识别结果的准确率如何做到保障；4.如何对异常数据进行快速稽查；5.仪表识别需要高质量的图像这需要大量预先的仪表测量和相机标定工作，不满足实际电站的要求。
4.为此，我们提出一种用于变电站无人巡检的指针仪表读数识别方法来解决上述提出的问题。


技术实现要素：

5.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
6.鉴于上述现有用于变电站无人巡检的指针仪表读数识别方法存在的问题，提出了本发明。
7.因此，本发明目的是提供一种用于变电站无人巡检的指针仪表读数识别方法，其解决了图像仪器仪表识别的指针检测和数据读取问题，首先对图片进行降噪处理然后进行仪表的边缘检测并获取指针位置，另外在获取仪表图像的同时能够对其表面是否损坏进行识别，提高识别的精确性。
8.为解决上述技术问题，本发明提供如下技术方案：一种用于变电站无人巡检的指针仪表读数识别方法，包括以下步骤：步骤一：通过摄像终端对仪表图像进行采集并导入图片至远程计算机中；步骤二：计算机对图片进行噪声处理，具体的采用图像去噪算法对图片进行去噪
处理，再对目标图片进行灰度处理；步骤三：处理完成后将图片导入边缘检测，获取轮廓边缘；步骤四：通过霍夫圆变换进行检测目标图片中图片原点和圆所在的位置，再利用霍夫圆直线获取角度，并根据获取的角度进行判断选择水平翻转或者竖直矫正，再通过计算获取最终结果；步骤五：在计算机获取仪表图像并检测到目标物体后再通过网络模型对其进行缺陷分类，能够对仪表表面缺陷进行智能识别。
9.作为本发明所述用于变电站无人巡检的指针仪表读数识别方法的一种优选方案，其中：所述图像去噪算法将原始二维信号分解成若干不同频率的分量和余量即：
10.式中：为原图像的数据；为分解之后的不同频率的分量；为分解原图像后得到的余量。
11.作为本发明所述用于变电站无人巡检的指针仪表读数识别方法的一种优选方案，其中：所述图像去噪算法的具体步骤为：s1、输入原始图像信号，通过形态学分析确定出图像的局部极值点，分别对得到的极大值和极小值进行插值，分别得到上下包络曲线，分别记作和，计算上下包络曲线的均值，；s2、计算输入的图像信号与均值之间的差值，然后判断所得的差值是否满足本征模式函数的条件，若不满足，将得到的差值信当作新的输入信号，反复上述步骤直到得到满足条件的分量，即得到的分量是一个原图的高频分量；s3、将原始图像去除高频分量得到次高频图像，以此类推能够得到原输入图像信号的不同频率的分量。
12.作为本发明所述用于变电站无人巡检的指针仪表读数识别方法的一种优选方案，其中：所述分解后的图像成为不同频率的若干分量，是将分解出来的不同频率的分量依次进行卷积计算，二维信号与hht算子进行卷积：
13.式中为卷积算子；所述卷积计算后再和分解剩余的余量进行重构，得到去噪的图像，图像重构的公式为：
14.式中：为第k个本征模式函数；为余量。
15.作为本发明所述用于变电站无人巡检的指针仪表读数识别方法的一种优选方案，其中：所述边缘检测过程中需要得到降噪后的图像的梯度信息，根据图像的梯度幅值和梯
度方向来确定边缘，梯度幅值g和梯度方向计算公式如下：
[0016][0017]
其中，，。
[0018]
作为本发明所述用于变电站无人巡检的指针仪表读数识别方法的一种优选方案，其中：在获取所述图像的梯度幅值和梯度方向后，需要通过获取的梯度幅值和梯度方向对图像边缘进行非极大值抑制操作，梯度方向与边缘方向是垂直的，非极大值抑制起到剔除一大部分非边缘点的作用，在进行非极大值抑制操作后对其进行双阈值边界跟踪，包括两个步骤：1）通过选取强弱阈值，将梯度幅值低与弱阈值的点置为0，大于强阈值的保留并标记为255；2）对于梯度幅值大于弱阈值但又小于高阈值的点，通过判断它的8邻域是否存在大于强阈值的点，若存在，则保留并置为255，若不存在，则舍弃并置为0。
[0019]
作为本发明所述用于变电站无人巡检的指针仪表读数识别方法的一种优选方案，其中：所述步骤四中霍夫圆变换是基于图像x-y坐标空间中，经过点的直线表示为：
[0020]
其中，参数为斜率，为截距，通过点的直线有无数条，且对应于不同的和的值；若将和视为常数，而将原本的参数和看作变量，则表示为：
[0021]
变换得到参数平面-，且该变换即直角坐标中对于的霍夫圆变换；图像坐标空间中的另一坐标在参数空间中也相应有一条直线，表示为：
[0022]
该直线与点在参数空间的直线相交于一点，就是图像坐标空间x-y中点和点所确定的直线的参数。
[0023]
作为本发明所述用于变电站无人巡检的指针仪表读数识别方法的一种优选方案，其中：所述计算过程中建立一个二维累加数组a（a,b），第一维的范围是图像坐标空间中直线斜率的范围，第二维的范围是图像坐标空间中直线截距的范围，开始时a（a,b）初始为0，对图像坐标空间的每一个前景点，将参数空间中的每一个a的离散值代入
中计算出对应的b值，每计算出一对（a,b），将对应的数组元素a（a,b）加1，即a（a,b）=a（a,b）+1；待所有计算结束后，在参数计算表决结果中找到a（a,b）的最大峰值，所对应的就是原图像中共线点数目最多的直线方程的参数，并且按照上述步骤能够继续寻找次峰值和第三峰值、第四峰值。
[0024]
作为本发明所述用于变电站无人巡检的指针仪表读数识别方法的一种优选方案，其中：所述网络模型采用inception-v3模型进行识别，识别完成后通过缺陷分类模型训练来对正常及缺陷的仪表为分类目标进行训练，所述缺陷分类模型训练包括以下过程：数据准备、数据清洗、数据增强和模型训练。
[0025]
作为本发明所述用于变电站无人巡检的指针仪表读数识别方法的一种优选方案，其中：所述数据准备包括多张来源于互联网的视频数据并使用opencv进行图片截取；所述数据预处理包括数据清洗，去除损坏的图像数据以及对污染的数据进行二次加工，将正常仪表与缺陷仪表分不同文件夹存储用来生成图像数据及对应的label标签，然后对原图像进行灰度图二值化处理；所述数据增强对数据图片采用随机从截取、模糊，锐化、增加噪声、增加缺失点方法中的一类或几类叠加进行数据增强,并重复三次；所述模型训练过程首先加载预训练模型，之后采用分段学习率训练方式并得到最终的检测结果。
[0026]
本发明的有益效果：本发明解决了图像仪器仪表识别的指针检测和数据读取问题，首先对图片进行降噪处理然后进行仪表的边缘检测并获取指针位置，再根据霍夫直线检测并计算出相应的的角度，另外在获取仪表图像的同时能够对其表面是否损坏进行识别，提高识别的精确性。
附图说明
[0027]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：图1为本发明用于变电站无人巡检的指针仪表读数识别方法的步骤框图；图2为本发明用于变电站无人巡检的指针仪表读数识别方法的去噪后的示例仪表图；图3为本发明用于变电站无人巡检的指针仪表读数识别方法的实施例仪表图。
实施方式
[0028]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
[0029]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0030]
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指
同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
[0031]
再其次，本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
[0032]
参照图1-图3，提供了一种用于变电站无人巡检的指针仪表读数识别方法，包括以下步骤：步骤一：通过摄像终端对仪表图像进行采集并导入图片至远程计算机中；步骤二：计算机对图片进行噪声处理，具体的采用图像去噪算法对图片进行去噪处理，再对目标图片进行灰度处理；步骤三：处理完成后将图片导入边缘检测，获取轮廓边缘；步骤四：通过霍夫圆变换进行检测目标图片中图片原点和圆所在的位置，再利用霍夫圆直线获取角度，并根据获取的角度进行判断选择水平翻转或者竖直矫正，再通过计算获取最终结果；步骤五：在计算机获取仪表图像并检测到目标物体后再通过网络模型对其进行缺陷分类，能够对仪表表面缺陷进行智能识别。
[0033]
其中，参照图2为去噪后的示例仪表图，步骤二中，图像去噪算法将原始二维信号分解成若干不同频率的分量和余量即：
[0034]
式中：为原图像的数据；为分解之后的不同频率的分量；为分解原图像后得到的余量，进一步的，图像去噪算法的具体步骤为：s1、输入原始图像信号，通过形态学分析确定出图像的局部极值点，分别对得到的极大值和极小值进行插值，分别得到上下包络曲线，分别记作和，计算上下包络曲线的均值，；s2、计算输入的图像信号与均值之间的差值，然后判断所得的差值是否满足本征模式函数的条件，若不满足，将得到的差值信当作新的输入信号，反复上述步骤直到得到满足条件的分量，即得到的分量是一个原图的高频分量；s3、将原始图像去除高频分量得到次高频图像，以此类推能够得到原输入图像信号的不同频率的分量。
[0035]
更进一步的，二维经验模式分解后的图像成为不同频率的若干分量，是将分解出来的不同频率的分量依次进行卷积计算，二维信号与hht算子进行卷积：
[0036]
式中为卷积算子；卷积计算后再和分解剩余的余量进行重构，得到去噪的图像，图像重构的公式为：
[0037]
式中：为第k个本征模式函数；为余量其中，边缘检测过程中需要得到降噪后的图像的梯度信息，根据图像的梯度幅值和梯度方向来确定边缘，梯度幅值g和梯度方向计算公式如下：
[0038][0039]
其中，，。
[0040]
在获取图像的梯度幅值和梯度方向后，需要通过获取的梯度幅值和梯度方向对图像边缘进行非极大值抑制操作，梯度方向与边缘方向是垂直的，非极大值抑制起到剔除一大部分非边缘点的作用，在进行非极大值抑制操作后对其进行双阈值边界跟踪，包括两个步骤：1）通过选取强弱阈值，将梯度幅值低与弱阈值的点置为0，大于强阈值的保留并标记为255；2）对于梯度幅值大于弱阈值但又小于高阈值的点，通过判断它的8邻域是否存在大于强阈值的点，若存在，则保留并置为255，若不存在，则舍弃并置为0。
[0041]
其中，步骤四中霍夫圆变换是基于图像x-y坐标空间中，经过点的直线表示为：其中，参数为斜率，为截距，通过点的直线有无数条，且对应于不同的和的值；若将和视为常数，而将原本的参数和看作变量，则表示为：
[0042]
变换得到参数平面-，且该变换即直角坐标中对于的霍夫圆变换；图像坐标空间中的另一坐标在参数空间中也相应有一条直线，表示为：
[0043]
该直线与点在参数空间的直线相交于一点，就是图像坐标空间x-y中点和点所确定的直线的参数。
[0044]
进一步的，计算过程中建立一个二维累加数组a（a,b），第一维的范围是图像坐标空间中直线斜率的范围，第二维的范围是图像坐标空间中直线截距的范围，开始时a（a,b）
初始为0，对图像坐标空间的每一个前景点，将参数空间中的每一个a的离散值代入中计算出对应的b值，每计算出一对（a,b），将对应的数组元素a（a,b）加1，即a（a,b）=a（a,b）+1；待所有计算结束后，在参数计算表决结果中找到a（a,b）的最大峰值，所对应的就是原图像中共线点数目最多的直线方程的参数，并且按照上述步骤能够继续寻找次峰值和第三峰值、第四峰值，利用hough直线获取角度，并根据获取的角度进行判断，进行水平较真或是竖直矫正，并通过计算获取最终结果，具体实施例仪表参照图3所示。
[0045]
其中，步骤五中，网络模型采用inception-v3模型进行识别，识别完成后通过缺陷分类模型训练来对正常及缺陷的仪表为分类目标进行训练，缺陷分类模型训练包括以下过程：数据准备、数据清洗、数据增强和模型训练，具体的，数据准备包括多张来源于互联网的视频数据并使用opencv进行图片截取；数据预处理包括数据清洗，去除损坏的图像数据以及对污染的数据进行二次加工，将正常仪表与缺陷仪表分不同文件夹存储用来生成图像数据及对应的label标签，然后对原图像进行灰度图二值化处理；数据增强对数据图片采用随机从截取、模糊，锐化、增加噪声、增加缺失点方法中的一类或几类叠加进行数据增强,并重复三次；模型训练过程首先加载预训练模型，之后采用分段学习率训练方式并得到最终的检测结果；具体的实施例如下：1）数据准备：2000张数据集来源于互联网的视频数据，并使用opencv进行图片截取。
[0046]
使用库：opencv2）数据预处理：数据清洗去除损坏的图像数据以及对污染的数据进行二次加工。将正常绝缘子与缺陷绝缘子分不同文件夹存储用来生成图像数据及对应的label标签，然后对原图像进行灰度图二值化处理。
[0047]
使用库：numpy,os,opencv3）数据增强：由于缺陷图片数量过少，对数据图片采用随机从截取、模糊，锐化、增加噪声、增加缺失点方法中的一类或几类叠加进行数据增强,并重复三次。
[0048]
使用库：opencv,skimage,numpy,math,os4)模型参数确定：模型以64张图像作为一批输入网络进行训练，总计进行8万次迭代训练，学习率为1e-3，dropout_rate为0.5，采用adam算法作为优化器。
[0049]
5)模型训练训练过程首先加载预训练模型，之后采用分段学习率训练方式，这样可以在训练前期快速收敛，后期减慢学习速率使模型收敛到最优。初始学习率选择为1e-3，callback函数中回调函数patience设置为3，进行训练。下表表示训练时所设置的学习率。
[0050]
迭代次数学习率1-500000.00150000-1000000.0001
100000-15000000.00001通常的物体检测任务的测试度量标准为map(均值平均精度)，首先计算出测试集上的精确率和召回率，但至少两个可调参数会影响精确率和召回率，即iou阈值和置信度值，因此每个召回率对应一个精确率，可以绘制出每一类的pr曲线，曲线下的面积即ap，所有类别的平均ap即map。在预测时，iou阈值越大，精确率越高，但召回率越低，反之iou阈值越小，精确率越低，但召回率越高，在实际应用中，可以调整iou阈值到合适的大小，以取得精确率和召回率的较好平衡。
[0051]
6)模型测试最终的检测效果如下：缺陷分类仪表识别精度99%应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

技术特征：
1.一种用于变电站无人巡检的指针仪表读数识别方法，其特征在于，包括以下步骤：步骤一：通过摄像终端对仪表图像进行采集并导入图片至远程计算机中；步骤二：计算机对图片进行噪声处理，具体的采用图像去噪算法对图片进行去噪处理，再对目标图片进行灰度处理；步骤三：处理完成后将图片导入边缘检测，获取轮廓边缘；步骤四：通过霍夫圆变换进行检测目标图片中图片原点和圆所在的位置，再利用霍夫圆直线获取角度，并根据获取的角度进行判断选择水平翻转或者竖直矫正，再通过计算获取最终结果；步骤五：在计算机获取仪表图像并检测到目标物体后再通过网络模型对其进行缺陷分类，能够对仪表表面缺陷进行智能识别。2.根据权利要求1所述的用于变电站无人巡检的指针仪表读数识别方法，其特征在于：所述图像去噪算法将原始二维信号分解成若干不同频率的分量和余量即：，式中：为原图像的数据；为分解之后的不同频率的分量；为分解原图像后得到的余量。3.根据权利要求2所述的用于变电站无人巡检的指针仪表读数识别方法，其特征在于：所述图像去噪算法的具体步骤为：s1、输入原始图像信号，通过形态学分析确定出图像的局部极值点，分别对得到的极大值和极小值进行插值，分别得到上下包络曲线，分别记作和，计算上下包络曲线的均值，；s2、计算输入的图像信号与均值之间的差值，然后判断所得的差值是否满足本征模式函数的条件，若不满足，将得到的差值信当作新的输入信号，反复上述步骤直到得到满足条件的分量，即得到的分量是一个原图的高频分量；s3、将原始图像去除高频分量得到次高频图像，以此类推能够得到原输入图像信号的不同频率的分量。4.根据权利要求3所述的用于变电站无人巡检的指针仪表读数识别方法，其特征在于：所述分解后的图像成为不同频率的若干分量，是将分解出来的不同频率的分量依次进行卷积计算，二维信号与hht算子进行卷积：，式中为卷积算子；所述卷积计算后再和分解剩余的余量进行重构，得到去噪的图像，图像重构的公式为：，式中：为第k个本征模式函数；为余量。5.根据权利要求4所述的用于变电站无人巡检的指针仪表读数识别方法，其特征在于：所述边缘检测过程中需要得到降噪后的图像的梯度信息，根据图像的梯度幅值和梯度方向
来确定边缘，梯度幅值g和梯度方向计算公式如下：，其中，，。6.根据权利要求3所述的用于变电站无人巡检的指针仪表读数识别方法，其特征在于：在获取所述图像的梯度幅值和梯度方向后，需要通过获取的梯度幅值和梯度方向对图像边缘进行非极大值抑制操作，梯度方向与边缘方向是垂直的，非极大值抑制起到剔除一大部分非边缘点的作用，在进行非极大值抑制操作后对其进行双阈值边界跟踪，包括两个步骤：1）通过选取强弱阈值，将梯度幅值低与弱阈值的点置为0，大于强阈值的保留并标记为255；2）对于梯度幅值大于弱阈值但又小于高阈值的点，通过判断它的8邻域是否存在大于强阈值的点，若存在，则保留并置为255，若不存在，则舍弃并置为0。7.根据权利要求1所述的用于变电站无人巡检的指针仪表读数识别方法，其特征在于：所述步骤四中霍夫圆变换是基于图像x-y坐标空间中，经过点的直线表示为：，其中，参数为斜率，为截距，通过点的直线有无数条，且对应于不同的和的值；若将和视为常数，而将原本的参数和看作变量，则表示为：，变换得到参数平面a-b，且该变换即直角坐标中对于的霍夫圆变换；图像坐标空间中的另一坐标在参数空间中也相应有一条直线，表示为：，该直线与点在参数空间的直线相交于一点，就是图像坐标空间x-y中点和点所确定的直线的参数。8.根据权利要求7所述的用于变电站无人巡检的指针仪表读数识别方法，其特征在于：所述计算过程中建立一个二维累加数组a（a,b），第一维的范围是图像坐标空间中直线斜率的范围，第二维的范围是图像坐标空间中直线截距的范围，开始时a（a,b）初始为0，对图像坐标空间的每一个前景点，将参数空间中的每一个a的离散值代入中计算出对应的b值，每计算出一对（a,b），将对应的数组元素a（a,b）加1，即a（a,b）=a（a,b）+1；待所有计算结束后，在参数计算表决结果中找到a（a,b）的最大峰值，所对应的就是原图像中共线点数目最多的直线方程的参数，并且按照上述步骤能够继续寻找次峰值和第三峰值、第四峰值。9.根据权利要求1所述的用于变电站无人巡检的指针仪表读数识别方法，其特征在于：所述网络模型采用inception-v3模型进行识别，识别完成后通过缺陷分类模型训练来对正
常及缺陷的仪表为分类目标进行训练，所述缺陷分类模型训练包括以下过程：数据准备、数据清洗、数据增强和模型训练。10.根据权利要求9所述的用于变电站无人巡检的指针仪表读数识别方法，其特征在于：所述数据准备包括多张来源于互联网的视频数据并使用opencv进行图片截取；所述数据预处理包括数据清洗，去除损坏的图像数据以及对污染的数据进行二次加工，将正常仪表与缺陷仪表分不同文件夹存储用来生成图像数据及对应的label标签，然后对原图像进行灰度图二值化处理；所述数据增强对数据图片采用随机从截取、模糊，锐化、增加噪声、增加缺失点方法中的一类或几类叠加进行数据增强,并重复三次；所述模型训练过程首先加载预训练模型，之后采用分段学习率训练方式并得到最终的检测结果。

技术总结
本发明公开了一种用于变电站无人巡检的指针仪表读数识别方法，包括以下步骤：步骤一：通过摄像终端对仪表图像进行采集并导入图片至远程计算机中；步骤二：计算机对图片进行噪声处理，具体的采用图像去噪算法对图片进行去噪处理，再对目标图片进行灰度处理；步骤三：处理完成后将图片导入边缘检测，获取轮廓边缘；步骤四：通过霍夫圆变换进行检测目标图片中图片原点和圆所在的位置。本发明解决了图像仪器仪表识别的指针检测和数据读取问题，首先对图片进行降噪处理然后进行仪表的边缘检测并获取指针位置，再根据霍夫直线检测并计算出相应的的角度，另外在获取仪表图像的同时能够对其表面是否损坏进行识别，提高识别的精确性。提高识别的精确性。提高识别的精确性。


技术研发人员：祝治宇 严荣涛 肖金超
受保护的技术使用者：南京启征信息技术有限公司
技术研发日：2023.09.06
技术公布日：2023/10/15