基于深度学习的动车裙板异物识别方法及装置与流程

1.本发明属于动车故障检测技术领域，尤其涉及动车裙板异物的检测。


背景技术：

2.在动车裙板异物故障检测中，通常采用人工查看被测物图像的方式进行故障检测。该方式由于不同操作人员的责任心和能力不同，不仅检查效率低，而且过程不稳定、精度差。
3.近几年，随着深度学习与人工智能在技术上的发展逐渐成熟，出现了采用深度学习进行动车裙板异物故障识别的方法，该方法可以有效提高检测效率和稳定性。但由于动车裙板图像背景较为杂乱，相似部位较多，采用传统的cascade-rcnn深度学习网络进行故障检测的准确程度无法满足实际需求。


技术实现要素：

4.本发明是为了解决采用传统的cascade-rcnn深度学习网络对动车裙板异物故障进行识别无法满足实际需求的问题，现提供基于深度学习的动车裙板异物故障识别方法。
5.基于深度学习的动车裙板异物识别方法，具体为：
6.利用边缘检测算法对原始图像进行处理，获得边缘检测特征图，所述原始图像为含有被测动车裙板的灰度图像；
7.将边缘检测特征图与原始图像进行融合，获得被测图像；
8.将被测图像输入至训练好的深度学习网络中获得检测结果，实现被测动车裙板异物的识别。
9.进一步的，上述将边缘检测特征图与原始图像进行融合的方法包括：
10.在边缘检测特征图与原始图像中所有对应像素点的像素值上均乘以0.5，分别获得修改后的边缘检测特征图与原始图像，所述对应像素点为边缘检测特征图与原始图像中位置相互对应的像素点，
11.将修改后的边缘检测特征图与原始图像对应像素点相加，获得被测图像。
12.进一步的，上述深度学习网络的激活函数new_relu(x)表达式为：
[0013][0014]
其中，x为激活函数new_relu(x)前一个卷积层的输出结果。
[0015]
进一步的，上述深度学习网络与其rpn网络的回归损失函数均采用new_loss损失函数，
[0016]
所述new_loss损失函数的表达式为：
[0017]
new_loss＝0.5*(smoothl1_loss+diou)，
[0018]
其中，y为new_loss损失函数的输入；
[0019]
iou为预测目标框选区域和真实目标框选区域的交并比，b和b
gt
分别为预测目标框选区域和真实目标框选区域的中心点坐标，ρ为预测目标框选区域和真实目标框选区域中心点之间的欧氏距离，c为最小闭包区域的对角线长度。
[0020]
进一步的，当new_loss损失函数作为深度学习网络的损失函数时，其输入y为深度学习网络各池化单元输出的预测位置，new_loss损失函数的输出为预测目标框选区域和真实目标框选区域之间的差距，选择差距最小的输出所对应的预测位置作为深度学习网络获得的检测结果。
[0021]
进一步的，当new_loss损失函数作为rpn网络的回归损失函数时，其输入y为rpn网络的输出，new_loss损失函数的输出用于区分被测图像的前景与背景。
[0022]
进一步的，上述深度学习网络的fpn网络之后设有高效通道注意力模块，
[0023]
所述高效通道注意力模块的输出作为rpn网络的输入。
[0024]
基于深度学习的动车裙板异物识别装置，包括以下单元：
[0025]
边缘检测单元：利用边缘检测算法对原始图像进行处理，获得边缘检测特征图，所述原始图像为含有被测动车裙板的灰度图像；
[0026]
融合单元：将边缘检测特征图与原始图像进行融合，获得被测图像；
[0027]
异物识别单元：将被测图像输入至训练好的深度学习网络中获得检测结果，实现被测动车裙板异物的识别。
[0028]
进一步的，上述融合单元中，将边缘检测特征图与原始图像进行融合的方法包括：
[0029]
在边缘检测特征图与原始图像中所有对应像素点的像素值上均乘以0.5，分别获得修改后的边缘检测特征图与原始图像，所述对应像素点为边缘检测特征图与原始图像中位置相互对应的像素点，
[0030]
将修改后的边缘检测特征图与原始图像对应像素点相加，获得被测图像。
[0031]
进一步的，上述异物识别单元中，深度学习网络的激活函数new_relu(x)表达式为：
[0032][0033]
其中，x为激活函数new_relu(x)前一个卷积层的输出结果。
[0034]
进一步的，上述异物识别单元中，深度学习网络与其rpn网络的回归损失函数均采用new_loss损失函数，
[0035]
所述new_loss损失函数的表达式为：
[0036]
new_loss＝0.5*(smoothl1_loss+diou)，
[0037]
其中，y为new_loss损失函数的输入；
[0038]
iou为预测目标框选区域和真实目标框选区域的交并比，b和b
gt
分别为预测目标框选区域和真实目标框选区域的中心点坐标，ρ为预测目标框选区域和真实目标框选区域中心点之间的欧氏距离，c为最小闭包区域的对角线长度。
[0039]
进一步的，上述异物识别单元中，当new_loss损失函数作为深度学习网络的损失函数时，其输入y为深度学习网络各池化单元输出的预测位置，new_loss损失函数的输出为预测目标框选区域和真实目标框选区域之间的差距，选择差距最小的输出所对应的预测位置作为深度学习网络获得的检测结果。
[0040]
进一步的，上述异物识别单元中，当new_loss损失函数作为rpn网络的回归损失函数时，其输入y为rpn网络的输出，new_loss损失函数的输出用于区分被测图像的前景与背景。
[0041]
进一步的，上述异物识别单元中，深度学习网络的fpn网络之后设有高效通道注意力模块，所述高效通道注意力模块的输出作为rpn网络的输入。
[0042]
一种计算机可读的存储介质，所述存储介质存储有计算机程序，所述计算机程序被执行时实现如上述基于深度学习的动车裙板异物识别方法。
[0043]
电子设备，包括存储介质、处理器以及存储在所述存储介质中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序实现如上述基于深度学习的动车裙板异物识别方法。
[0044]
本发明的有益效果如下：
[0045]
1、本发明提出了一种新的激活函数代替原有的relu激活函数，网络训练梯度反向传导的时候参数能够正常更新，增强网络的学习能力。
[0046]
2、本发明提出了一种新的损失函数，该损失函数结合了diou loss与smoothl1 loss的优点，最小化两目标框的距离，提高训练时收敛速度并且能够达到很好的收敛，提高模型的精度
[0047]
3、将canny特征和原始图像进行融合，增强原始图像的特证，使得主干网络所提取的特征更加丰富，提高模型的检测能力。
[0048]
4、在fpn后面加入了eca-net结构，保证注意力机制得到更加准确的特征图。
附图说明
[0049]
图1为基于深度学习的动车裙板异物识别方法的流程图；
[0050]
图2为具体实施方式一所述深度学习网络的结构示意图；
[0051]
图3为原始图像；
[0052]
图4为原始图像与边缘检测特征图融合后的被测图像；
[0053]
图5为高效通道注意力模块的结构示意图。
具体实施方式
[0054]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其
它实施例，都属于本发明保护的范围。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0055]
具体实施方式一：参照图1至图5具体说明本实施方式，本实施方式所述的基于深度学习的动车裙板异物识别方法具体为：
[0056]
1、建立样本数据集
[0057]
分别在货车轨道周围搭建高清设备，货车通过设备后，获取高清图像。该高清图像为清晰的灰度图像作为原始图像。由于货车部件可能受到雨水、泥渍、油渍、黑漆等自然条件或者人为条件的影响，且不同站点拍摄的图像可能存在差异，都会导致动车裙板异物图像之间千差万别。所以，在收集动车裙板异物图像数据的过程中，要保证多样性，尽量将各种条件下的动车裙板异物图像全部收集。
[0058]
在不同类型的转向架和车型中，动车裙板异物的形态会不同。但由于不同类型间出现的频率差别较大，某些较不常见转向架类型和车型的动车裙板异物图像收集较为困难。因此，将全部类型的动车裙板异物统称为有动车裙板异物类。
[0059]
动车裙板异物截图包括：灰度图像集与标记图像集。灰度图像集为设备拍摄的高清灰度图像。标记图像集为标记有动车裙板异物位置的灰度图像，该部分通过人工标记的方式获取。灰度图像集与标记图像集之间是一一对应的，即每个灰度图像对应一个标记图像。
[0060]
样本数据集的建立虽然包括各种条件下的图像，但为提高算法的稳定性，仍需要对样本数据集进行数据扩增。扩增形式包括图像的平移、缩放、亮度调整等操作，每种操作都是在随机条件下进行的，这样可以最大程度的保证样本的多样性和适用性。
[0061]
本实施方式采用边缘检测特征图(canny特征图)与原始图像相融合的方式对训练数据集进行处理。首先利用边缘检测算法对原始图像进行处理，获得对应的canny特征图。然后将原始图像与对应的canny特征图进行融合。原始图像如图3所示，原始图像与canny特征图相融合后的图像如图4所示，经过对比可以看出，融合后的图像中异物边缘变得更加明显，突出的异物的特证，使得卷积神经网络能够更好的提取动车裙板异物的特征。
[0062]
2、搭建深度学习网络
[0063]
图2所示为本实施方式改进的cascade-rcnn网络结构，该网络是在传统的faster-rcnn-resnet50网络的基础上进行的改进，其特征提取网络采用resnet50卷积模块，其中conv1～conv5(卷积层1～卷积层5)代表resnet50卷积模块。特征提取网络除了激活函数外，网络卷积层个数，每层卷积层卷积核个数等参数设置与cascade-rcnnn-resnet50的特征提取网络resnet50一致。
[0064]
传统的faster-rcnn-resnet50网络的激活函数采用relu激活函数，其表达式为：
[0065][0066]
当relu激活函数的输入为负值时，其输出为零，其导数也为零，导致网络训练梯度反向传导时参数一直不能进行更新，降低了网络的学习能力。
[0067]
本实施方式中深度学习网络的激活函数new_relu(x)表达式为：
[0068][0069]
其中，x为激活函数new_relu(x)前一个卷积层的输出结果。
[0070]
当激活函数new_relu(x)输入参数为负值的时候，网络的输出不为零，其导数不为零，网络训练梯度反向传导的时候参数能够正常更新，提高了网络的学习能力。
[0071]
除此之外，本实施方式还采用new_loss损失函数代替原有的smoothl1_loss。原有的smoothl1_loss用于计算目标检测的bounding box loss(边框回归损失函数)时，相比于其他损失函数，其对离群点(指的是距离中心较远的点)及异常值(outlier)不敏感，可控制梯度的量级使训练时不容易跑飞。
[0072]
本实施方式中new_loss损失函数表达式为：
[0073]
new_loss＝0.5*(smoothl1_loss+diou)，
[0074]
其中，y为new_loss损失函数的输入；
[0075]
iou为预测目标框选区域和真实目标框选区域的交并比，b和b
gt
分别为预测目标框选区域和真实目标框选区域的中心点坐标，ρ为预测目标框选区域和真实目标框选区域中心点之间的欧氏距离，c为最小闭包区域的对角线长度。
[0076]
diou可以在预测目标框选区域和真实目标框选区域不相交时，提供边界框的优化方向；且diou最小化两目标框的距离，提高训练时收敛速度并且能够达到很好的收敛。
[0077]
上述new_loss损失函数有两处用到，其一是在rpn网络结构中，当new_loss损失函数作为rpn网络的回归损失函数时，其输入y为rpn网络的输出，new_loss损失函数的输出用于区分被测图像的前景与背景。其二是在最后对候选框定位时，当new_loss损失函数作为深度学习网络的损失函数时，其输入y为深度学习网络各池化单元输出的预测位置，new_loss损失函数的输出为预测目标框选区域和真实目标框选区域之间的差距，选择差距最小的输出所对应的预测位置作为深度学习网络获得的检测结果。
[0078]
本实施方式还在fpn网络之后添加了高效通道注意力模块(eca-net)，如图5所示。该模块主要思想是图像经过处理以后不会出现降维现象，具体措施是使局部跨信道交互策略在进行图像处理时自主选择卷积核为单核的卷积结合，保证图像在加工处理的过程中不会出现形变，保证注意力机制得到更加准确地特征图，更好的解决了特征图的维度改变会造成部分细节信息的损失的问题。
[0079]
3、训练深度学习网络
[0080]
用于样本数据集训练改进后的深度学习网络，获得改进后训练好的深度学习网络。
[0081]
4、实际检测
[0082]
当被测的铁路动车经过架设在铁路周围的高清成像设备后，获取过车图像，截取动车裙板图像作为原始图像。该原始图像为含有被测动车裙板的灰度图像。
[0083]
利用边缘检测算法对原始图像进行处理，获得边缘检测特征图。
[0084]
在边缘检测特征图与原始图像中所有对应像素点的像素值上均乘以0.5，分别获
得修改后的边缘检测特征图与原始图像，所述对应像素点为边缘检测特征图与原始图像中位置相互对应的像素点，将修改后的边缘检测特征图与原始图像对应像素点相加，获得被测图像。
[0085]
将被测图像输入至训练好的深度学习网络中获得检测结果，如果检测到动车裙板异物，则该张图像为故障图像，上传故障报文；否则继续检测下一张图像。
[0086]
具体实施方式二：本实施方式所述的基于深度学习的动车裙板异物识别装置，包括以下单元：
[0087]
边缘检测单元：利用边缘检测算法对原始图像进行处理，获得边缘检测特征图，所述原始图像为含有被测动车裙板的灰度图像；
[0088]
融合单元：将边缘检测特征图与原始图像进行融合，获得被测图像；
[0089]
异物识别单元：将被测图像输入至训练好的深度学习网络中获得检测结果，实现被测动车裙板异物的识别。
[0090]
具体实施方式三：本实施方式所述的一种计算机可读的存储介质，所述存储介质存储有计算机程序，所述计算机程序被执行时实现如具体实施方式一所述方法。
[0091]
具体实施方式四：本实施方式所述的电子设备，包括存储介质、处理器以及存储在所述存储介质中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序实现如具体实施方式一所述方法。
[0092]
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。

技术特征：
1.基于深度学习的动车裙板异物识别方法，其特征在于，具体为：利用边缘检测算法对原始图像进行处理，获得边缘检测特征图，所述原始图像为含有被测动车裙板的灰度图像；将边缘检测特征图与原始图像进行融合，获得被测图像；将被测图像输入至训练好的深度学习网络中获得检测结果，实现被测动车裙板异物的识别。2.根据权利要求1所述的基于深度学习的动车裙板异物识别方法，其特征在于，所述将边缘检测特征图与原始图像进行融合的方法包括：在边缘检测特征图与原始图像中所有对应像素点的像素值上均乘以0.5，分别获得修改后的边缘检测特征图与原始图像，所述对应像素点为边缘检测特征图与原始图像中位置相互对应的像素点，将修改后的边缘检测特征图与原始图像对应像素点相加，获得被测图像。3.根据权利要求1所述的基于深度学习的动车裙板异物识别方法，其特征在于，所述深度学习网络的激活函数new_relu(x)表达式为：其中，x为激活函数new_relu(x)前一个卷积层的输出结果。4.根据权利要求1所述的基于深度学习的动车裙板异物识别方法，其特征在于，所述深度学习网络与其rpn网络的回归损失函数均采用new_loss损失函数，所述new_loss损失函数的表达式为：new_loss＝0.5*(smoothl1_loss+diou)，其中，y为new_loss损失函数的输入；iou为预测目标框选区域和真实目标框选区域的交并比，b和b
gt
分别为预测目标框选区域和真实目标框选区域的中心点坐标，ρ为预测目标框选区域和真实目标框选区域中心点之间的欧氏距离，c为最小闭包区域的对角线长度。5.根据权利要求4所述的基于深度学习的动车裙板异物识别方法，其特征在于，当new_loss损失函数作为深度学习网络的损失函数时，其输入y为深度学习网络各池化单元输出的预测位置，new_loss损失函数的输出为预测目标框选区域和真实目标框选区域之间的差距，选择差距最小的输出所对应的预测位置作为深度学习网络获得的检测结果。6.根据权利要求4所述的基于深度学习的动车裙板异物识别方法，其特征在于，当new_loss损失函数作为rpn网络的回归损失函数时，其输入y为rpn网络的输出，new_loss损失函数的输出用于区分被测图像的前景与背景。7.根据权利要求1所述的基于深度学习的动车裙板异物识别方法，其特征在于，所述深度学习网络的fpn网络之后设有高效通道注意力模块，所述高效通道注意力模块的输出作为rpn网络的输入。
8.基于深度学习的动车裙板异物识别装置，其特征在于，包括以下单元：边缘检测单元：利用边缘检测算法对原始图像进行处理，获得边缘检测特征图，所述原始图像为含有被测动车裙板的灰度图像；融合单元：将边缘检测特征图与原始图像进行融合，获得被测图像；异物识别单元：将被测图像输入至训练好的深度学习网络中获得检测结果，实现被测动车裙板异物的识别。9.一种计算机可读的存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1至7任一所述方法。10.电子设备，包括存储介质、处理器以及存储在所述存储介质中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序实现如权利要求1至7任一所述方法。

技术总结
基于深度学习的动车裙板异物识别方法及装置，涉及动车故障检测技术领域。本发明是为了解决采用传统的Cascade-rcnn深度学习网络对动车裙板异物故障进行识别无法满足实际需求的问题。本发明所述的利用边缘检测算法对原始图像进行处理，获得边缘检测特征图，所述原始图像为含有被测动车裙板的灰度图像；将边缘检测特征图与原始图像进行融合，获得被测图像；将被测图像输入至训练好的深度学习网络中获得检测结果，实现被测动车裙板异物的识别。实现被测动车裙板异物的识别。实现被测动车裙板异物的识别。


技术研发人员：郭庆阳
受保护的技术使用者：哈尔滨市科佳通用机电股份有限公司
技术研发日：2023.06.29
技术公布日：2023/9/25