一种沉浸式掘进工作面视频增强显示系统的制作方法

1.本发明涉及煤矿掘进工作面视频监控系统，具体是一种沉浸式掘进工作面视频增强显示系统。


背景技术：

2.随着国家智慧矿山建设要求的提出，煤矿智能化建设也得到了广泛的关注和投入。掘进工作面作为煤矿井下最重要和最危险的工作区域，其智能化是煤矿智能化建设的重中之重。
3.目前，掘进工作面智能化的主要技术途径是通过“导航定位+自动截割+视频阵列”的形式实现的，即通过导航定位手段获取掘进机机身关键点(如机身控制轴心、炮头顶点灯)在巷道内的坐标，并结合截割工艺要求和截割断面坐标，编制截割控制算法，实现自动或智能截割。同时驾驶员在远端控制台以视频阵列作为辅助手段，用于监控现场的情况。但在实际使用过程中发现，该方案存在以下两点问题：
4.(1)自动截割完全以导航定位的坐标结果为基准，缺乏与视频信息的相互关联和相互印证；
5.(2)视频阵列中各个相机的图像在远程控制台显示时仅仅是平铺显示在显示器中，导致操作人员缺乏空间立体感和沉浸感，无法完全依照视频进行远程操作。


技术实现要素：

6.本发明的目的在于提供一种沉浸式掘进工作面视频增强显示系统，通过全景成像的方式，提升驾驶员在远端控制台的视频沉浸感；并通过在全景视频上叠加截割断面和截割炮头信息，采用图像增强的方法，辅助远程截割操作和监控，以解决上述背景技术中提出的问题。
7.为实现上述目的，本发明提供如下技术方案：
8.一种沉浸式掘进工作面视频增强显示系统，该系统由安装在掘进机机身上的全景视频测量和采集系统、导航定位系统、视频处理器，以及安装在远端操控平台上的全景显示软件四部分组成；
9.全景视频测量和采集系统用于获取掘进工作面全景视频图像；
10.导航定位系统用于定义巷道的绝对坐标系，并且提供掘进机炮头和巷道截割断面轮廓在该绝对坐标系中的坐标；
11.视频处理器通过一系列坐标转换将掘进机炮头和巷道截割断面轮廓的坐标转换成对应的全景视频图像中的像素点，进而在全景视频图像中绘制巷道截割断面轮廓线，并将掘进机炮头模型叠加到全景视频图像中，实现视频增强效果；
12.全景显示软件以柱面或球面投影的形式，在显示器上显示增强后的全景视频图像。
13.作为本发明进一步的方案：所述全景视频测量和采集系统由紧密安装在掘进机机
身上且预先已知转换矩阵的全景相机和标定相机组成；全景相机和标定相机之间的转换矩阵在出厂前预先标定已知。
14.作为本发明进一步的方案：所述全景相机由集成在一起的多个子摄像机组合形成，组合形式采用紧密集成封装；全景相机可覆盖的视场范围为180
°‑
360
°
之间；标定相机为可测量目标点空间坐标的深度相机或者双目相机。
15.作为本发明进一步的方案：所述全景视频测量和采集系统安装在掘进机机身上后，需要预先标定全景坐标系与掘进机机身坐标系之间的转换矩阵具体的标定方法如下：
16.首先通过掘进机机身机械结构、掘进机炮头的俯仰角和横滚角可以得到掘进机炮头上特征点在掘进机机身坐标系中的坐标p
炮头_机身
；随后采用全景视频测量和采集系统中的标定相机测量掘进机炮头上特征点在标定相机坐标系中的坐标p
炮头_标定
；
17.通过上述方法对不同位置的掘进机炮头特征点进行测量，采用点云匹配的方法，可以得到掘进机机身坐标系到标定相机坐标系的旋转矩阵
[0018][0019]
作为本发明进一步的方案：所述视频处理器用于接收全景视频图像，以及将巷道截割断面轮廓和掘进机炮头映射在全景视频图像上，实现增强显示；具体的映射方法如下：
[0020]
首先视频处理器接收导航定位系统输出的巷道截割断面和掘进机炮头在巷道坐标系中的坐标p
断面_巷道
、p
炮头_巷道
；随后通过运算得到巷道截割断面和掘进机炮头在全景视频图像中对应的像素点坐标，运算过程如下：
[0021][0022][0023]
其中，h
内参
是全景相机的内参矩阵，可通过对全景相机标定预先获得；是掘进机机身相对于巷道的旋转矩阵，该矩阵可由导航定位系统给出的掘进机位置坐标和姿态坐标推导出来。
[0024]
与现有技术相比，本发明的有益效果是：
[0025]
本发明采用上述结构后，通过全景成像的方式，提升驾驶员在远端控制台的视频沉浸感；通过坐标转换解算，将截割断面轮廓线和截割炮头模型叠加在全景视频图像中，实现了现实信息对平面图像的增强，辅助远程截割操作和监控；采用全景显示软件对增强后的视频图像进行投影显示，提升了操作人员的驾驶沉浸感，便于人员操作。
附图说明
[0026]
图1为一种沉浸式掘进工作面视频增强显示系统的架构示意图。
[0027]
图2为一种沉浸式掘进工作面视频增强显示系统中全景相机的结构示意图。
[0028]
图3为一种沉浸式掘进工作面视频增强显示系统中掘进机的结构示意图。
[0029]
图4为截割断面与炮头向全景图像投射的坐标转换关系示意图。
[0030]
图5为全景图像柱面投影的示意图。
[0031]
图中：1、掘进机；2、巷道坐标系；3、导航定位系统；31、掘进机机身坐标系；4、全景视频测量和采集系统；41、全景相机；401、子摄像机；42、标定相机；43、全景坐标系；5、巷道截割断面轮廓；6、掘进机炮头；7、叠加截割断面和炮头后的全景图像；71、全景图像中的截割断面；72、全景图像中的炮头；8、叠加截割断面和炮头后的全景图像的柱面投影图像；81、柱面投影图像中的截割断面；82、柱面投影图像中的炮头。
具体实施方式
[0032]
下面结合具体实施方式对本专利的技术方案作进一步详细地说明。
[0033]
请参阅图1-5，一种沉浸式掘进工作面视频增强显示系统，该系统由安装在掘进机1机身上的全景视频测量和采集系统4、导航定位系统3、视频处理器，以及安装在远端操控平台上的全景显示软件四部分组成。
[0034]
全景视频测量和采集系统4用于获取掘进工作面全景视频图像。
[0035]
导航定位系统3能够定义巷道的绝对坐标系，并且提供掘进机炮头和巷道截割断面轮廓在该绝对坐标系中的坐标。
[0036]
视频处理器通过一系列坐标转换将掘进机炮头和巷道截割断面轮廓的坐标转换成对应的全景视频图像中的像素点，进而在全景视频图像中绘制巷道截割断面轮廓线，并将掘进机炮头模型叠加到全景视频图像中，实现视频增强效果；增强后的全景视频图像通过全景显示软件以柱面或球面投影的形式在显示器上显示。视频处理器主要用于将导航定位系统反馈的真实场景中的截割断面轮廓坐标、截割炮头坐标信息进行处理，并将截割断面轮廓和截割炮头的模型叠加到全景视频画面中，从而实现视频增强效果。
[0037]
全景显示软件以柱面或球面投影的形式，在显示器上显示增强后的全景视频图像。远端操控平台上安装的全景显示软件，将叠加增强后的全景视频进行显示投影变化；具体的，将叠加了巷道截割断面轮廓和掘进机炮头的全景视频信息，按照柱面或者球面投影的方式显示在显示器上。
[0038]
其中，所述全景视频测量和采集系统4由紧密安装在掘进机机身上且预先已知转换矩阵的全景相机41和标定相机42组成；全景相机41和标定相机42之间的转换矩阵在出厂前预先标定已知，进而确保两个相机坐标系之间可相互重合并统一至全景坐标系43。具体的，所述全景相机41由集成在一起的多个子摄像机401组合形成，组合形式采用紧密集成封装，即多个子摄像机401集成封装在同一个壳体内，并且相邻子摄像机401光轴的夹角相同且固定；而不能采用分立式安装，即多个子摄像机401独立封装并分散安装在掘进机1机身的不同位置。全景相机41可覆盖的视场范围为180
°‑
360
°
之间，如图2所示。标定相机42为可测量目标点空间坐标的深度相机或者双目相机，并且与全景相机41集成紧密安
装。
[0039]
本系统在使用前，先将全景视频测量和采集系统4安装在掘进机1机身上，确保能获取到掘进机1前方的全景图像信息。随后预先标定全景坐标系43与掘进机机身坐标系31之间的转换矩阵具体的标定方法如下：
[0040]
首先通过掘进机1机身机械结构、掘进机炮头6的俯仰角和横滚角可以得到掘进机炮头6上特征点在掘进机机身坐标系31中的坐标p
炮头_机身
；随后采用全景视频测量和采集系统4中的标定相机42测量掘进机炮头6上特征点在标定相机坐标系中的坐标p
炮头_标定
；
[0041]
通过上述方法对不同位置的掘进机炮头特征点进行测量，采用点云匹配的方法，可以得到掘进机机身坐标系31到标定相机坐标系的旋转矩阵
[0042][0043]
在掘进机1工作时，导航定位系统3会根据系统安装位置、巷道的航向、截割断面的尺寸等因素，建立巷道坐标系2，并提供巷道截割断面轮廓上各个点的坐标、炮头的坐标信息。如图2中所示，其中在确定巷道坐标系2后，巷道截割断面轮廓5在巷道坐标系2中的坐标即可确定下来，掘进机炮头6在巷道坐标系2中的坐标可通过掘进机炮头6与导航定位系统3的位置关系推算得到。
[0044]
所述视频处理器用于接收全景视频图像，以及将巷道截割断面轮廓和掘进机炮头映射在全景视频图像上，实现增强显示；具体的映射方法如下：
[0045]
首先视频处理器接收导航定位系统输出的巷道截割断面和掘进机炮头在巷道坐标系中的坐标p
断面_巷道
、p
炮头_巷道
；随后通过运算得到巷道截割断面和掘进机炮头在全景视频图像中对应的像素点坐标，运算过程如下：
[0046][0047][0048]
其中，h
内参
是全景相机的内参矩阵，可通过对全景相机标定预先获得；是掘进机机身相对于巷道的旋转矩阵，该矩阵可由导航定位系统给出的掘进机位置坐标和姿态坐标推导出来。通过上述解算，即可实现了将截割断面轮廓和炮头实时投影在全景图像中的目标。
[0049]
全景视频测量和采集系统4通过全景相机41实时获取截割断面的全景图像，同时上述得到的巷道截割断面轮廓5与掘进机炮头6在巷道坐标系2中的坐标，也可通过一系列坐标系转换投射到全景图像中，以炮头为例，具体的转换过程如下：
[0050]
通过导航定位系统3提供的掘进机位置信息和航向角、姿态角信息，得到掘进机机
身坐标系31与巷道坐标系2之间的转换矩阵进而得到掘进机炮头6在掘进机机身坐标系31中的坐标。随后根据预先标定好的掘进机机身坐标系31到标定相机坐标系的旋转矩阵和全景相机41与标定相机42之间的转换矩阵得到掘进机炮头6在全景坐标系43中的坐标。最后再根据全景相机41的内参矩阵h
内参
得到掘进机炮头6在全景图像中对应的像素点位置。采用同样的方法也可以得到巷道截割断面轮廓5在全景图像中对应的轮廓线。
[0051]
通过上述变化，可以得到在全景图像上叠加了掘进机炮头6和巷道截割断面轮廓5的增强全景图像。为了给操作人员更好的实景体现，该全景图像再通过全景显示软件，按照柱面或者球面投影的方式显示在显示器上，如图5所示。
[0052]
上面对本专利的较佳实施方式作了详细说明，但是本专利并不限于上述实施方式，在本领域的普通技术人员所具备的知识范围内，还可以在不脱离本专利宗旨的前提下做出各种变化。

技术特征：
1.一种沉浸式掘进工作面视频增强显示系统，其特征在于，该系统由安装在掘进机机身上的全景视频测量和采集系统、导航定位系统、视频处理器，以及安装在远端操控平台上的全景显示软件四部分组成；全景视频测量和采集系统用于获取掘进工作面全景视频图像；导航定位系统用于定义巷道的绝对坐标系，并且提供掘进机炮头和巷道截割断面轮廓在该绝对坐标系中的坐标；视频处理器通过一系列坐标转换将掘进机炮头和巷道截割断面轮廓的坐标转换成对应的全景视频图像中的像素点，进而在全景视频图像中绘制巷道截割断面轮廓线，并将掘进机炮头模型叠加到全景视频图像中，实现视频增强效果；全景显示软件以柱面或球面投影的形式，在显示器上显示增强后的全景视频图像。2.根据权利要求1所述的一种沉浸式掘进工作面视频增强显示系统，其特征在于，所述全景视频测量和采集系统由紧密安装在掘进机机身上且预先已知转换矩阵的全景相机和标定相机组成；全景相机和标定相机之间的转换矩阵在出厂前预先标定已知。3.根据权利要求2所述的一种沉浸式掘进工作面视频增强显示系统，其特征在于，所述全景相机由集成在一起的多个子摄像机组合形成，组合形式采用紧密集成封装；全景相机可覆盖的视场范围为180
°‑
360
°
之间；标定相机为可测量目标点空间坐标的深度相机或者双目相机。4.根据权利要求2所述的一种沉浸式掘进工作面视频增强显示系统，其特征在于，所述全景视频测量和采集系统安装在掘进机机身上后，需要预先标定全景坐标系与掘进机机身坐标系之间的转换矩阵具体的标定方法如下：首先通过掘进机机身机械结构、掘进机炮头的俯仰角和横滚角可以得到掘进机炮头上特征点在掘进机机身坐标系中的坐标p
炮头_机身
；随后采用全景视频测量和采集系统中的标定相机测量掘进机炮头上特征点在标定相机坐标系中的坐标p
炮头_标定
；通过上述方法对不同位置的掘进机炮头特征点进行测量，采用点云匹配的方法，可以得到掘进机机身坐标系到标定相机坐标系的旋转矩阵得到掘进机机身坐标系到标定相机坐标系的旋转矩阵5.根据权利要求2所述的一种沉浸式掘进工作面视频增强显示系统，其特征在于，所述视频处理器用于接收全景视频图像，以及将巷道截割断面轮廓和掘进机炮头映射在全景视频图像上，实现增强显示；具体的映射方法如下：首先视频处理器接收导航定位系统输出的巷道截割断面和掘进机炮头在巷道坐标系中的坐标p
断面_巷道
、p
炮头_巷道
；随后通过运算得到巷道截割断面和掘进机炮头在全景视频图像中对应的像素点坐标，运算过程如下：
其中，h
内参
是全景相机的内参矩阵，可通过对全景相机标定预先获得；是掘进机机身相对于巷道的旋转矩阵，该矩阵可由导航定位系统给出的掘进机位置坐标和姿态坐标推导出来。

技术总结
本发明提供了一种沉浸式掘进工作面视频增强显示系统，该系统由安装在掘进机机身上的全景视频测量和采集系统、导航定位系统、视频处理器，以及安装在远端操控平台上的全景显示软件四部分组成；全景视频测量和采集系统用于获取掘进工作面全景视频图像；导航定位系统用于定义巷道的绝对坐标系；视频处理器通过一系列坐标转换将掘进机炮头和巷道截割断面轮廓的坐标转换成对应的全景视频图像中的像素点，进而在全景视频图像中绘制巷道截割断面轮廓线。本发明的目的是通过全景成像的方式，提升驾驶员在远端控制台的视频沉浸感；通过在全景视频上叠加截割断面和截割炮头信息，采用图像增强的方法，辅助远程截割操作和监控。辅助远程截割操作和监控。辅助远程截割操作和监控。


技术研发人员：李瑞 付常亮
受保护的技术使用者：北京唯实深蓝科技有限公司
技术研发日：2023.08.10
技术公布日：2023/10/20