煤矿井下危险区域识别方法及装置与流程

1.本发明涉及煤矿安全生产领域，具体而言，涉及一种煤矿井下危险区域识别方法及装置。


背景技术：

2.在煤矿井下工作面，识别危险区域以及识别危险区域的人员闯入，可以有效保障井下工作面工作人员的安全。当前煤矿井下的危险区域识别还不太成熟，对比其他场景的危险区域识别方法，主要采用预先标记法，即人工预设危险区域。人工预设区域的方法适应性不强，但当摄像头转动、或者场景变化时，该方法就会失效，难以准确的确定煤矿井下工作面的危险区域。由此可见，现有技术缺少一种准确的识别煤矿井下工作面中的危险区域的方案。


技术实现要素：

3.本发明为了解决上述背景技术中的至少一个技术问题，提出了一种煤矿井下危险区域识别方法及装置。
4.为了实现上述目的，根据本发明的一个方面，提供了一种煤矿井下危险区域识别方法，该方法包括：
5.获取通过设置在煤矿井下的摄像头采集的煤矿井下图像；
6.将所述煤矿井下图像输入到预设的危险区域识别模型中，识别出所述煤矿井下图像中的危险区域，其中，所述危险区域识别模型为采用训练数据对图像语义分割算法模型进行训练得到的。
7.可选的，所述煤矿井下危险区域识别方法，还包括：
8.通过预设的目标检测算法模型对所述煤矿井下图像进行井下人员识别，识别出所述煤矿井下图像中的井下人员；
9.若确定识别出的井下人员出现在所述危险区域内，则生成预警信息，以提醒井下人员远离所述危险区域。
10.可选的，所述获取通过设置在煤矿井下的摄像头采集的煤矿井下图像数据，具体包括：
11.在采煤机开锁时，获取通过所述摄像头采集的实时的视频数据，进而从所述视频数据中提取出所述煤矿井下图像，其中，在采煤机开锁时启动所述摄像头进行视频数据采集；
12.所述煤矿井下危险区域识别方法，还包括：
13.在所述生成预警信息的同时，生成采煤机闭锁指令，以根据所述采煤机闭锁指令将采煤机闭锁。
14.可选的，所述煤矿井下危险区域识别方法，还包括：
15.在用于模型训练的煤矿井下图像上打上危险区域标签，得到第一带标签图像；
16.对各所述第一带标签图像进行离线数据增强处理，得到第二带标签图像；
17.对所述第一带标签图像和所述第二带标签图像进行在线数据增强处理，得到在线数据增强后的带标签图像；
18.对图像语义分割算法模型进行改进，得到改进后的图像语义分割算法模型；
19.根据所述在线数据增强后的带标签图像对所述改进后的图像语义分割算法模型进行训练，并在验证训练出的模型的识别准确率满足预设标准时将训练出的模型确定为所述危险区域识别模型。
20.可选的，对各所述第一带标签图像进行离线数据增强处理，得到第二带标签图像，具体包括：
21.对每个所述第一带标签图像分别进行绕x轴旋转的透视变换、图像中心双轴旋转的透视变换、仿射变换以及加错切的仿射变换，得到多个所述第二带标签图像。
22.可选的，所述对所述第一带标签图像和所述第二带标签图像进行在线数据增强处理，得到在线数据增强后的带标签图像，具体包括：
23.对所述第一带标签图像和所述第二带标签图像中的图像以预设的概率进行随机亮度增强处理、随机色度增强处理、随机对比度增强处理、随机锐度增强处理以及增加随机椒盐噪声处理；
24.对所述第一带标签图像和所述第二带标签图像中的图像和标签以预设的概率进行水平翻转处理。
25.可选的，所述对图像语义分割算法模型进行改进，具体包括：
26.将所述图像语义分割算法模型的主干网络mobilenet换成resnet101，以使得模型的学习能力更强；
27.将所述图像语义分割算法模型中的aspp模块的空洞率组合中的各空洞率增大，以增大神经网络模型的感受野，使得网络的全局特征提取能力更强，更加关注全局信息；
28.在所述图像语义分割算法模型中加入注意力机制模块；
29.对损失函数进行重新设计，其中，重新设计后的损失函数中包含：预测区域与标签区域的iou、预测区域与标签区域的面积关系、预测区域与标签区域的周长关系、预测区域与标签区域的中心点距离、预测区域与标签区域的区域个数差以及预测结果中面积过小的区域个数。
30.为了实现上述目的，根据本发明的另一方面，提供了一种煤矿井下危险区域识别装置，该装置包括：
31.图像获取单元，用于获取通过设置在煤矿井下的摄像头采集的煤矿井下图像；
32.危险区域识别单元，用于将所述煤矿井下图像输入到预设的危险区域识别模型中，识别出所述煤矿井下图像中的危险区域，其中，所述危险区域识别模型为采用训练数据对图像语义分割算法模型进行训练得到的。
33.为了实现上述目的，根据本发明的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述煤矿井下危险区域识别方法的步骤。
34.为了实现上述目的，根据本发明的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述煤矿井下危险
区域识别方法的步骤。
35.为了实现上述目的，根据本发明的另一方面，还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述煤矿井下危险区域识别方法的步骤。
36.本发明的有益效果为：
37.本发明实施例获取通过设置在煤矿井下的摄像头采集的煤矿井下图像，然后将所述煤矿井下图像输入到预设的危险区域识别模型中，识别出所述煤矿井下图像中的危险区域，实现了实时、准确的对煤矿井下危险区域进行识别的有益效果，有助于提高煤矿井下生产的安全性。
附图说明
38.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
39.图1是本发明实施例煤矿井下危险区域识别方法的流程图；
40.图2是本发明实施例危险区域闯入提醒流程图；
41.图3是本发明第一实施例模型训练的流程图；
42.图4是本发明第二实施例模型训练的流程图；
43.图5是本发明模型推理流程图；
44.图6是本发明模型优化流程图；
45.图7是本发明离线数据增强的示意图；
46.图8是本发明deeplabv3原始网络模型结构示意图；
47.图9是本发明改进后deeplabv3网络模型结构示意图；
48.图10是本发明实施例煤矿井下危险区域识别装置的结构框图；
49.图11是本发明实施例计算机设备示意图。
具体实施方式
50.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
51.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
52.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具
有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
53.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
54.本发明的目的是提供一种识别煤矿井下危险区域的方法，能够实时、动态、准确地识别煤矿井下危险区域，并结合人员检测模型，进行人员闯入危险区域告警，提高煤矿的安全系数，降低事故率，提升煤矿的智能化水平。
55.为了实现上述目的，本方案使用语义分割方法识别危险区域，配合人员检测模型实现危险区域闯入的判断。其主要分为两部分：模型训练和模型推理。
56.模型训练的具体流程如图4所示。其详细步骤为：1)从现场采集需要识别场景的视频；2)将视频分帧，使用ssim算法去掉相似度大于阈值的图片，保存场景不一样的图片；3)对筛选之后的图片进行数据预处理，包括过曝光处理、补光处理、改变明亮度等，使得图片便于识别；4)使用半自动标注工具eiseg对数据打标签；5)使用透视变换、仿射变换对图片进行离线数据增强；6)加载读取图片准备放入神经网络进行训练，对加载到的图片进行在线数据增强(包括亮度增强、色度增强、对比度增强、锐度增强、增加椒盐噪声和水平翻转等)；7)对模型进行改进，包括改aspp模块、引入注意力机制、重新设计损失函数、改主干网络等；8)利用改进的模型训练数据集；9)对训练完的模型进行评价，如果模型准确率达标，则保存模型用来推理，否则继续训练模型。
57.模型推理的具体流程如图5所示。其详细步骤为：1)获取采煤机的状态，若采煤机闭锁则不做判断，继续获取采煤机状态，直到采煤机开锁，若采煤机开锁，则取流；2)对取到的图片进行数据预处理，使得图片便于识别；3)使用图像语义分割算法，从像素级别把煤矿井下物体识别出来，识别出护帮板、传送带、滚筒、煤、槽帮、轨道、线缆槽等7类物体；4)将输出的预测值做进一步处理，过滤掉一些明显错误的像素值(过小、过于分散等)；5)使用找凸包的算法，将识别区域规则化；6)利用目标检测方法识别出井下人员；7)判断人员和危险区域的位置关系，若人员在危险区域里面，则发送告警并对采煤机进行闭锁。否则，重新执行步骤1)。
58.在实际应用的过程中，会有一些新的素材出现，这些素材对于神经网络来讲是非常宝贵的学习资料，因此，在使用过程中不断地收集整理识别不好的图片，放入数据集进行模型训练，其流程图如图6所示。该模型优化方法使得随着使用模型的准确率不断提高，能适应的场景不断增加。
59.图1是本发明实施例煤矿井下危险区域识别方法的流程图，如图1所示，在本发明一个实施例中，本发明的煤矿井下危险区域识别方法包括步骤s101和步骤s102。
60.步骤s101，获取通过设置在煤矿井下的摄像头采集的煤矿井下图像。
61.步骤s102，将所述煤矿井下图像输入到预设的危险区域识别模型中，识别出所述煤矿井下图像中的危险区域，其中，所述危险区域识别模型为采用训练数据对图像语义分割算法模型进行训练得到的。
62.图2是本发明实施例危险区域闯入提醒流程图，如图2所示，在本发明一个实施例中，本发明的危险区域闯入提醒流程包括步骤s201和步骤s202。
63.步骤s201，通过预设的目标检测算法模型对所述煤矿井下图像进行井下人员识别，识别出所述煤矿井下图像中的井下人员。
64.步骤s202，若确定识别出的井下人员出现在所述危险区域内，则生成预警信息，以提醒井下人员远离所述危险区域，并将采煤机闭锁。
65.在本发明一个实施例中，上述步骤s101获取通过设置在煤矿井下的摄像头采集的煤矿井下图像数据，具体包括：
66.在采煤机开锁时，获取通过所述摄像头采集的实时视频数据，进而从所述视频数据中提取出所述煤矿井下图像，其中，在采煤机开锁时启动所述摄像头进行视频数据采集；
67.在本发明一个实施例中，本发明的煤矿井下危险区域识别方法，还包括：
68.在所述生成预警信息的同时，生成采煤机闭锁指令，以根据所述采煤机闭锁指令将采煤机闭锁。
69.本发明对图像语义分割算法模型进行改进，并对数据进行处理。具体如下：
70.模型改进：1)更改网络模型中的aspp模块，将空洞率改为适合自己任务的值；2)在网络中引入注意力机制；3)更改损失函数，在损失函数中加入预测区域与标签区域的iou、面积、周长、中心点距离、区域个数等；4)更改主干网络为resnet101。
71.数据处理：对打上标签的数据进行透视变换、仿射变换等离线数据增强；亮度增强、色度增强、对比度增强、锐度增强、增加椒盐噪声和水平翻转等在线数据增强。
72.图3是本发明第一实施例模型训练的流程图，如图3所示，本发明的模型训练流程包括步骤s301至步骤s305。
73.步骤s301，在用于模型训练的煤矿井下图像上打上危险区域标签，得到第一带标签图像。
74.本发明可以使用半自动标注工具eiseg对图像打上危险区域标签。
75.步骤s302，对各所述第一带标签图像进行离线数据增强处理，得到第二带标签图像。
76.步骤s303，对所述第一带标签图像和所述第二带标签图像进行在线数据增强处理，得到在线数据增强后的带标签图像。
77.步骤s304，对图像语义分割算法模型进行改进，得到改进后的图像语义分割算法模型。
78.步骤s305，根据所述在线数据增强后的带标签图像对所述改进后的图像语义分割算法模型进行训练，并在验证训练出的模型的识别准确率满足预设标准时将训练出的模型确定为所述危险区域识别模型。
79.本发明使用语义分割技术识别煤矿井下工作面危险区域，可以实时、动态地从像素级别识别危险区域。本发明对原有的语义分割算法模型和数据的处理方式做了创新，提高了语义分割网络在井下场景下的性能。
80.本发明采用了离线数据增强和在线数据增强相结合的方式。离线数据增强包括透视变换、仿射变换。在线数据增强包括亮度增强、色度增强、对比度增强、锐度增强、增加椒盐噪声和水平翻转。
81.在本发明一个实施例中，上述步骤s302的对各所述第一带标签图像进行离线数据增强处理，得到第二带标签图像，具体包括：
82.对每个所述第一带标签图像分别进行绕x轴旋转的透视变换、图像中心双轴旋转的透视变换、仿射变换以及加错切的仿射变换，得到多个所述第二带标签图像。
83.在本发明一个实施例中，离线数据增强时，对图像和标签都进行同样的操作，保证增强之后，标签是准确的。具体的步骤是，将数据分别绕x轴旋转的透视变换、图像中心双轴旋转的透视变换、仿射变换、加错切(shear)的仿射变换，生成新的数据。仿射变换(affine transformation)通过在向量空间中进行一次线性变换(乘以一个矩阵)和一次平移(加上一个向量)，变换到另一个向量空间来制作出另外一张数据集。透视变换也叫投影变换，将二维空间的图像转换到三维空间再进行投影，生成新的图片。通过上述操作，将数据集扩增到了原来5倍。其示意图如下图7所示。
84.在本发明一个实施例中，上述步骤s303的对所述第一带标签图像和所述第二带标签图像进行在线数据增强处理，得到在线数据增强后的带标签图像，具体包括：
85.对所述第一带标签图像和所述第二带标签图像中的图像以预设的概率进行随机亮度增强处理、随机色度增强处理、随机对比度增强处理、随机锐度增强处理以及增加随机椒盐噪声处理；
86.对所述第一带标签图像和所述第二带标签图像中的图像和标签以预设的概率进行水平翻转处理。
87.在本发明一个实施例中，在线数据增强依次对带标签图像进行如下操作：随机亮度增强、随机色度增强、随机对比度增强、随机锐度增强、增加随机椒盐噪声和水平翻转。其中，随机亮度增强、随机色度增强、随机对比度增强、随机锐度增强、增加随机椒盐噪声这些操作只对图像使用，不在标签中使用。水平翻转在图像和标签中做同样的操作。在线数据增强中，是否做上述操作是随机的，概率是预设的概率，例如0.5，且参数也在一定范围内波动。亮度增强的增强因子为0.6-1.6之间的正态分布值；色度增强的增强因子为0.4-2.6之间的正态分布值；对比度增强的增强因子为0.6-1.6之间的正态分布值；锐度增强的增强因子为0.4-4之间的正态分布值；增加随机椒盐噪声是通过在图像中随机的增加一些白点来模拟图像噪声；之后，以预设的概率，例如0.5，对数据做水平翻转。通过在线数据增强，每个输入网络的图片都是不一样的，缓解了过拟合问题。
88.在本发明一个实施例中，上述步骤s304的对图像语义分割算法模型进行改进，具体包括：
89.将所述图像语义分割算法模型的主干网络mobilenet换成resnet101，以使得模型的学习能力更强；
90.将所述图像语义分割算法模型中的aspp(atrous spatial pyramid pooling)模块的空洞率组合中的各空洞率增大，以增大神经网络模型的感受野，使得网络的全局特征提取能力更强，更加关注全局信息；
91.在所述图像语义分割算法模型中加入注意力机制模块；
92.对损失函数进行重新设计，其中，重新设计后的损失函数中包含：预测区域与标签区域的iou、预测区域与标签区域的面积关系、预测区域与标签区域的周长关系、预测区域与标签区域的中心点距离、预测区域与标签区域的区域个数差以及预测结果中面积过小的区域个数。
93.在本发明一个具体实施例中，图像语义分割算法模型具体采用deeplabv3模型，本
发明对deeplabv3原始网络模型进行改进，得到改进后的图像语义分割算法模型，进而基于改进后的图像语义分割算法模型进行模型训练。
94.deeplabv3原始网络模型结构如图8所示，本发明改进后的图像语义分割算法模型的结构如图9所示。
95.如图8和图9所示，本发明更改deeplabv3原始网络模型中的aspp模块，将空洞率组合由原来的6，12，18改为7，14，21，增大空洞率可以增大网络的感受野，更有效的提取到全局特征。本发明将deeplabv3原始网络模型中的mobilenet主干网络换成resnet101，使得神经网络模型的学习能力更强，提取到更多的有效特征。此外，本发明在deeplabv3原始网络模型中引入注意力机制模块cbam。
96.为了进一步提高模型识别效果，本发明还重新设计了损失函数，本发明设计的损失函数考虑到了预测区域与标签区域的iou、面积关系、周长关系、中心点距离、区域个数差，以及预测结果中面积过小的区域个数等因素。
97.具体做法为：1)用求外轮廓的算法将标签和预测图片的类别外轮廓求出来；2)过滤掉轮廓所围成的面积小于10像素点的轮廓；3)计算每个轮廓的中心点。本发明采用的损失函数为：
98.loss＝l
iou
+l
area
+l
perimeter
+l
distance
+l
num
+l
area_under100
ꢀꢀꢀꢀꢀ
(1)
99.式(1)中，l
iou
代表预测区域与标签区域的交并比；
100.式(1)中，
101.其中，area
real
为标签区域的面积，area
pred
为预测结果区域的面积；
102.式(1)中，
103.其中，perimeter
real
为标签区域的周长，perimeter
pred
为预测结果区域的周长；
104.式(1)中，
105.其中，(x
real
，y
real
)为标签区域中心点的坐标，(x
pre
，y
pre
)为预测区域中心点的坐标；
106.式(1)中，
107.其中，num
real
为标签中区域的个数，num
pre
为预测结果区域的个数；
108.式(1)中，
109.本发明所提出的方法，可以在摄像机移动或者场景变换时准确实时的识别出危险区域，有效保障了井下工作面工作人员的安全，提升了工作面的自动化水平。
110.需要说明的是，本发明方案均基于当前具体煤矿井下危险区域场景进行研究分析，重点在于所提出的基于改进图像语义分割算法的区域识别算法进行区域识别。对于算
法方案(对图像语义分割算法的一系列改进)，该改进模型只是在该场景的具体应用，但本发明的保护范围并不局限于此，改进模型在其他场景的应用也应涵盖在本发明的保护范围之内；对于语义分割模型的改进，比如损失函数的改进、数据增强方法、更改aspp模块等，并不局限于本发明所使用的deeplabv3，这些改进点同样适用于其他语义识别模型，也应涵盖在本发明的保护范围之内。
111.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
112.基于同一发明构思，本发明实施例还提供了一种煤矿井下危险区域识别装置，可以用于实现上述实施例所描述的煤矿井下危险区域识别方法，如下面的实施例所述。由于煤矿井下危险区域识别装置解决间题的原理与煤矿井下危险区域识别方法相似，因此煤矿井下危险区域识别装置的实施例可以参见煤矿井下危险区域识别方法的实施例，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
113.图10是本发明实施例煤矿井下危险区域识别装置的结构框图，如图10所示，在本发明一个实施例中，本发明的煤矿井下危险区域识别装置包括：
114.图像获取单元1，用于获取通过设置在煤矿井下的摄像头采集的煤矿井下图像；
115.危险区域识别单元2，用于将所述煤矿井下图像输入到预设的危险区域识别模型中，识别出所述煤矿井下图像中的危险区域，其中，所述危险区域识别模型为采用训练数据对图像语义分割算法模型进行训练得到的。
116.在本发明一个实施例中，本发明的煤矿井下危险区域识别装置，还包括：
117.井下人员识别单元，用于通过预设的目标检测算法模型对所述煤矿井下图像进行井下人员识别，识别出所述煤矿井下图像中的井下人员；
118.危险预警单元，用于若确定识别出的井下人员出现在所述危险区域内，则生成预警信息，以提醒井下人员远离所述危险区域，并将采煤机闭锁。
119.在本发明一个实施例中，本发明通过生成预警信息提醒井下人员远离所述危险区域，并同时将采煤机闭锁。
120.在本发明一个实施例中，所述图像获取单元1，具体用于：
121.在采煤机开锁时，获取通过所述摄像头采集的实时的视频数据，进而从所述视频数据中提取出所述煤矿井下图像，其中，在采煤机开锁时启动所述摄像头进行视频数据采集。
122.在本发明一个实施例中，本发明的煤矿井下危险区域识别装置，还包括：
123.闭锁指令发送单元，用于在所述生成预警信息的同时，生成采煤机闭锁指令，以根据所述采煤机闭锁指令将采煤机闭锁。
124.在本发明一个实施例中，本发明的煤矿井下危险区域识别装置，还包括：
125.打标签单元，用于在用于模型训练的煤矿井下图像上打上危险区域标签，得到第一带标签图像；
126.离线数据增强处理单元，用于对各所述第一带标签图像进行离线数据增强处理，
得到第二带标签图像；
127.在线数据增强处理单元，用于对所述第一带标签图像和所述第二带标签图像进行在线数据增强处理，得到在线数据增强后的带标签图像；
128.模型改进单元，用于对图像语义分割算法模型进行改进，得到改进后的图像语义分割算法模型；
129.训练单元，用于根据所述在线数据增强后的带标签图像对所述改进后的图像语义分割算法模型进行训练，并在验证训练出的模型的识别准确率满足预设标准时将训练出的模型确定为所述危险区域识别模型。
130.在本发明一个实施例中，离线数据增强处理单元，具体用于：
131.对每个所述第一带标签图像分别进行绕x轴旋转的透视变换、图像中心双轴旋转的透视变换、仿射变换以及加错切的仿射变换，得到多个所述第二带标签图像。
132.在本发明一个实施例中，在线数据增强处理单元，具体用于：
133.对所述第一带标签图像和所述第二带标签图像中的图像以预设的概率进行随机亮度增强处理、随机色度增强处理、随机对比度增强处理、随机锐度增强处理以及增加随机椒盐噪声处理；对所述第一带标签图像和所述第二带标签图像中的图像和标签以预设的概率进行水平翻转处理。
134.在本发明一个实施例中，模型改进单元，具体用于：
135.将所述图像语义分割算法模型的主干网络mobilenet换成resnet101，以使得模型的学习能力更强；
136.将所述图像语义分割算法模型中的aspp模块的空洞率组合中的各空洞率增大，以增大神经网络模型的感受野，使得网络的全局特征提取能力更强，更加关注全局信息；
137.在所述图像语义分割算法模型中加入注意力机制模块；
138.对损失函数进行重新设计，其中，重新设计后的损失函数中包含：预测区域与标签区域的iou、预测区域与标签区域的面积关系、预测区域与标签区域的周长关系、预测区域与标签区域的中心点距离、预测区域与标签区域的区域个数差以及预测结果中面积过小的区域个数。
139.为了实现上述目的，根据本技术的另一方面，还提供了一种计算机设备。如图11所示，该计算机设备包括存储器、处理器、通信接口以及通信总线，在存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例方法中的步骤。
140.处理器可以为中央处理器(central processing unit,cpu)。处理器还可以为其他通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
141.存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及单元，如本发明上述方法实施例中对应的程序单元。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及作品数据处理，即实现上述方法实施例中的方法。
142.存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
143.所述一个或者多个单元存储在所述存储器中，当被所述处理器执行时，执行上述实施例中的方法。
144.上述计算机设备具体细节可以对应参阅上述实施例中对应的相关描述和效果进行理解，此处不再赘述。
145.为了实现上述目的，根据本技术的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述煤矿井下危险区域识别方法中的步骤。本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-only memory,rom)、随机存储记忆体(random access memory,ram)、快闪存储器(flash memory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘(solid-state drive,ssd)等；所述存储介质还可以包括上述种类的存储器的组合。
146.为了实现上述目的，根据本技术的另一方面，还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述煤矿井下危险区域识别方法的步骤。
147.显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
148.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种煤矿井下危险区域识别方法，其特征在于，包括：获取通过设置在煤矿井下的摄像头采集的煤矿井下图像；将所述煤矿井下图像输入到预设的危险区域识别模型中，识别出所述煤矿井下图像中的危险区域，其中，所述危险区域识别模型为采用训练数据对图像语义分割算法模型进行训练得到的。2.根据权利要求1所述的煤矿井下危险区域识别方法，其特征在于，还包括：通过预设的目标检测算法模型对所述煤矿井下图像进行井下人员识别，识别出所述煤矿井下图像中的井下人员；若确定识别出的井下人员出现在所述危险区域内，则生成预警信息，以提醒井下人员远离所述危险区域。3.根据权利要求2所述的煤矿井下危险区域识别方法，其特征在于，所述获取通过设置在煤矿井下的摄像头采集的煤矿井下图像数据，具体包括：在采煤机开锁时，获取通过所述摄像头采集的实时的视频数据，进而从所述视频数据中提取出所述煤矿井下图像，其中，在采煤机开锁时启动所述摄像头进行视频数据采集；所述煤矿井下危险区域识别方法，还包括：在所述生成预警信息的同时，生成采煤机闭锁指令，以根据所述采煤机闭锁指令将采煤机闭锁。4.根据权利要求1所述的煤矿井下危险区域识别方法，其特征在于，还包括：在用于模型训练的煤矿井下图像上打上危险区域标签，得到第一带标签图像；对各所述第一带标签图像进行离线数据增强处理，得到第二带标签图像；对所述第一带标签图像和所述第二带标签图像进行在线数据增强处理，得到在线数据增强后的带标签图像；对图像语义分割算法模型进行改进，得到改进后的图像语义分割算法模型；根据所述在线数据增强后的带标签图像对所述改进后的图像语义分割算法模型进行训练，并在验证训练出的模型的识别准确率满足预设标准时将训练出的模型确定为所述危险区域识别模型。5.根据权利要求4所述的煤矿井下危险区域识别方法，其特征在于，对各所述第一带标签图像进行离线数据增强处理，得到第二带标签图像，具体包括：对每个所述第一带标签图像分别进行绕x轴旋转的透视变换、图像中心双轴旋转的透视变换、仿射变换以及加错切的仿射变换，得到多个所述第二带标签图像。6.根据权利要求4所述的煤矿井下危险区域识别方法，其特征在于，所述对所述第一带标签图像和所述第二带标签图像进行在线数据增强处理，得到在线数据增强后的带标签图像，具体包括：对所述第一带标签图像和所述第二带标签图像中的图像以预设的概率进行随机亮度增强处理、随机色度增强处理、随机对比度增强处理、随机锐度增强处理以及增加随机椒盐噪声处理；对所述第一带标签图像和所述第二带标签图像中的图像和标签以预设的概率进行水平翻转处理。7.根据权利要求4所述的煤矿井下危险区域识别方法，其特征在于，所述对图像语义分
割算法模型进行改进，具体包括：将所述图像语义分割算法模型的主干网络mobilenet换成resnet101，以使得模型的学习能力更强；将所述图像语义分割算法模型中的aspp模块的空洞率组合中的各空洞率增大，以增大神经网络模型的感受野，使得网络的全局特征提取能力更强，更加关注全局信息；在所述图像语义分割算法模型中加入注意力机制模块；对损失函数进行重新设计，其中，重新设计后的损失函数中包含：预测区域与标签区域的iou、预测区域与标签区域的面积关系、预测区域与标签区域的周长关系、预测区域与标签区域的中心点距离、预测区域与标签区域的区域个数差以及预测结果中面积过小的区域个数。8.一种煤矿井下危险区域识别装置，其特征在于，包括：图像获取单元，用于获取通过设置在煤矿井下的摄像头采集的煤矿井下图像；危险区域识别单元，用于将所述煤矿井下图像输入到预设的危险区域识别模型中，识别出所述煤矿井下图像中的危险区域，其中，所述危险区域识别模型为采用训练数据对图像语义分割算法模型进行训练得到的。9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任意一项所述方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至7任意一项所述方法的步骤。

技术总结
本发明实施例公开了一种煤矿井下危险区域识别方法及装置，该方法包括：获取通过设置在煤矿井下的摄像头采集的煤矿井下图像；将所述煤矿井下图像输入到预设的危险区域识别模型中，识别出所述煤矿井下图像中的危险区域，其中，所述危险区域识别模型为采用训练数据对图像语义分割算法模型进行训练得到的。本发明实现了实时、准确的对煤矿井下危险区域进行识别，有助于提高煤矿井下生产的安全性。有助于提高煤矿井下生产的安全性。有助于提高煤矿井下生产的安全性。


技术研发人员：刘永伟 周景润
受保护的技术使用者：西安华创马科智能控制系统有限公司
技术研发日：2023.07.05
技术公布日：2023/9/22