工作面控制系统、方法、装置、存储介质及计算机设备与流程

1.本发明涉及自动控制技术领域，尤其是涉及一种工作面控制系统、方法、装置、存储介质及计算机设备。


背景技术：

2.随着自动控制技术的发展，出现了用于实现综采工作面的采煤设备自主智能化决策技术的控制系统，其通过设置在采煤工作面内的多种传感器采集采煤机的工作状态和采煤工作面的工作条件控制综采工作面的液压支架等功能部件的运动。其中，用于实现自主智能化决策的计算单元常为设置在综采工作面上用于控制每种功能部件的控制单元中，如控制液压支架的液压支架进行推溜及移架操作的控制单元等。
3.然而，综采工作中对功能部件的控制系统为实现自主智能化决策，多数依赖于硬件上多种多个传感器、部署高带宽网络和多级子系统来支撑综采工作面的智能化。但是，当综采工作面设备处于薄、极薄煤层的应用场景，液压支架控制系统受限于液压支架空间，不能部署多种多个传感器。
4.在此情况下，图像识别模块对于综采工作面各功能部件实现自主智能化决策来说至关重要，而能够进行图像识别的模块对于控制系统的运算能力要求极高，导致实现综采工作面的自主智能化决策的硬件成本极高。


技术实现要素：

5.有鉴于此，本技术提供了一种工作面控制系统、方法、装置、存储介质及计算机设备，主要目的在于解决综采工作面实现自主智能化决策的硬件成本过高的技术问题。
6.根据本发明的第一个方面，提供了一种工作面控制系统，包括由多个控制单元构成的控制单元组，多个所述控制单元分别设置于综采工作面上的多个功能部件上，多个所述控制单元基于总线连接；
7.所述控制单元组中设置有目标检测模型，每个所述控制单元中设置有不同的目标检测子模型，所述目标检测子模型用于执行基于目标检测步骤预先划分的多个子步骤中的其中一个所述子步骤；
8.所述目标检测模型用于执行所述目标检测步骤并得到采煤机的工作信息，所述目标检测子模型用于基于所述采煤机的工作信息控制其所对应的所述功能部件的运动状态；
9.所述控制单元中还设置有无线通信模块，所述无线通信模块用于在相互通信的两所述控制单元通信状况出现异常的情况下，基于预设的异构组网技术实现无线通信。
10.根据本发明的第二个方面，提供了一种工作面控制方法，应用于执行上述的系统，包括：
11.实时获取采煤机上多个结构部件的图像信息，并将所述图像信息输入到预训练的目标检测模型中，得到每个所述结构部件的位置信息；
12.确定所述采煤机在采煤工作面中所处的采煤机位置，并确定所述采煤机所处的工
作阶段；
13.将所述采煤机位置、所述工作阶段、每个所述结构部件的位置信息，以及基于至少一个设置于所述综采工作面内的传感器采集到的传感器信息分别输入到设置于每个控制单元中的预训练的部件运动预测模型中，得到每个所述功能部件的运动控制数据；
14.基于所述运动控制数据，控制每个所述功能部件的运行状态。
15.根据本发明的第三个方面，提供了一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述工作面控制方法。
16.根据本发明的第四个方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述工作面控制方法。
17.本发明提供的一种工作面控制系统、方法、装置、存储介质及计算机设备，能够预先将目标检测的模型拆分为多个子模型，分散布置在综采工作面中的多个功能部件的控制单元中，多个控制单元可以基于总线进行数据交互。进一步的，通过目标检测步骤得到采煤机的工作信息，并基于采煤机的工作信息，控制每个功能部件的运行状态。同时，控制单元还具有基于异构组网进行通信的能力，提升了系统对发生总线中断等异常情况时的抗风险能力。本技术能将目标检测工作所需的计算能力分散到多个功能部件中的控制单元中，能够显著降低对单个控制单元的计算能力要求，进而降低综采工作面实现自主智能化决策的硬件成本。
18.上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。
附图说明
19.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
20.图1示出了本发明实施例提供的一种工作面控制系统的结构示意图；
21.图2示出了本发明实施例提供的一种工作面控制方法的流程示意图；
22.图3示出了本发明实施例提供的一种工作面控制装置的结构示意图；
23.图4示出了本发明实施例提供的另一种工作面控制装置的结构示意图。
24.图中标记如下：
25.110、总线；120、控制单元组；121、控制单元。
具体实施方式
26.下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
27.当前，自主智能化决策技术是综采工作的采煤机的重要发展方向，其通过设置在采煤工作面内的多种传感器采集采煤机的工作状态和采煤工作面的工作条件控制采煤机的液压支架等功能部件的运动。其中，用于实现自主智能化决策的计算单元常为设置在采煤机上用于控制每种功能部件的控制单元，如控制液压支架的液压支架控制单元等。然而，
综采工作中对功能部件的控制系统为实现自主智能化决策，多数依赖于硬件上多种多个传感器、部署高带宽网络和多级子系统来支撑综采工作面的智能化。但是，当综采工作面设备处于薄、极薄煤层的应用场景，液压支架控制系统受限于液压支架空间，不能部署多种多个传感器。在此情况下，图像识别模块对于采煤设备各功能部件实现自主智能化决策来说至关重要，而能够进行图像识别的模块对于控制系统的运算能力要求极高，导致实现采煤设备的自主智能化决策的硬件成本极高。
28.针对上述问题，在一个实施例中，如图1所示，提供了一种工作面控制系统，该系统包括由多个控制单元121构成的控制单元组120，多个控制单元121分别设置于综采工作面上的多个功能部件(图中未示出)上，多个控制单元121基于总线110连接。
29.其中，功能部件可以包括综采工作面中的液压支架、采煤机以及刮板输送机等设备；进一步的，控制单元121可以为控制功能部件进行运动的具备一定计算能力的控制设备。进一步的，控制单元组120中设置有目标检测模型，每个控制单元121中设置有由目标检测模型拆分得到的不同的目标检测子模型，目标检测子模型用于执行基于目标检测步骤预先划分的多个子步骤中的其中一个子步骤。其中，目标检测模型可以为预先训练的卷积神经网络模型，能够基于输入的图像信息判断出图像信息中各结构部件在图像中的位置。进一步的，每个目标检测子模型设置于预先选定的控制单元121中，控制单元组120中全部控制单元121上设置有目标检测模型的全部目标检测子模型。其中，目标检测模型可以为yolov5模型，其网络结构可以分为input网络部分、backbone网络部分、neck网路部分和head网络部分。在实际应用中，可以将yolov5模型的input网络部分、backbone网络部分、neck网路部分和head网络部分分别作为目标检测步骤的子步骤，每个子步骤对应设置于一个目标检测步骤子模型中，并将目标检测步骤子模型分别设置于控制单元组120内的不同的控制单元121中，各子模型所在的控制单元121可以通过数据总线110实现子模型间的通信。
30.进一步的，目标检测模型用于执行目标检测步骤并得到采煤机的工作信息。其中，采煤机的工作信息可以为采煤机的各个结构部件的位置信息以及采煤机所处的位置及工作阶段，采煤机上的结构部件可以包括采煤机的左摇臂、左采煤滚筒、右摇臂和右采煤滚筒。具体的，可以基于设置于采煤机上的多个图像采集器，分别获取上述结构部件的图像信息。其中，图像采集器的焦平面可以与结构部件的运动平面平行，以完整的获取结构部件的运动状态与运动位置。进一步的，可以基于多个专门负责获取特定结构部件的摄像机，分别获取采煤机的多个结构部件的图像信息。其中，每个摄像机可以将其所负责获取图像的结构部件的标签信息和该结构部件的图像信息进行绑定，以标识该图像信息对应的结构部件的名称。随后，将带有标签信息的图像信息发送到控制单元组120中负责图像获取的input网络部分子模型所在的控制单元121，该控制单元121上的子模型可以通过将图像信息进行随机缩放、随机裁剪、随机排布的方式对不同图像进行拼接，得到增强处理后的图像信息。再后，负责图像获取的input网络部分所在的控制单元将增强处理后的图像信息经过总线110发送到backbone网络部分子模型所在的控制单元121，得到满足预设特征尺寸要求的特征图。backbone网络部分子模型所在的控制单元121通过总线110将特征图发送到neck网络部分子模型所在的控制单元121。neck网络部分子模型所在的控制单元121可以基于fpn+pan的结构对特征图进行特征融合，并将特征融合后的图像基于总线110发送到head网络部
分子模型所在的控制单元121，以使head网络部分子模型所在的控制单元121能够输出结构部件在图像中的位置信息，进而得到采煤机的工作信息。
31.进一步的，目标检测子模型用于基于采煤机的工作信息控制其所对应的功能部件的运动状态。其中，可以基于采煤机各结构部件的位置信息、采煤机的工作阶段为特征，每个功能部件的运动控制数据为标签对目标检测子模型进行训练，使目标检测子模型可以基于采煤机的工作信息控制其所对应的功能部件的运动状态的运动控制数据，并基于运动控制数据控制每个功能部件的运行状态。
32.进一步的，控制单元121中还设置有无线通信模块，无线通信模块用于在相互通信的两控制单元通信121状况出现异常的情况下，基于预设的异构组网技术实现无线通信。其中，异构组网技术可以为基于鸿蒙技术的异构组网技术。
33.进一步的，控制单元121用于实时判断基于总线110与控制单元组120中其他控制单元121的通信状况是否出现异常。具体的，可以实时判断与控制单元组120中的其他控制单元121之间数据收发过程中的丢包率是否满足预设的通信质量要求，在丢包率大于预设的通信质量要求时，则判断判断与控制单元组120中的其他控制单元121的通信状况出现异常。进一步的，控制单元121，还用于在通信状况出现异常的情况下，激活设置于控制单元121上的无线通信模块(图中未示出)并基于预设的异构组网执行控制单元组120中控制单元121间的数据传输。其中，异构组网可以为利用鸿蒙系统软总线异构组网，用于实现综采工作面控制单元121间总线110在断路情况下数据续传。具体的，无线通信模块可以为wifi、5g、和蓝牙等通信模块，通过鸿蒙系统的异构组网技术保证综采工作面总线110在断路后各控制单元121的数据的有效传输。并可以将断路信息上报至远程集控中心及人机交互系统，以使工作人员对异常情况做进一步处理。
34.进一步的，上述控制单元121也可以为在综采工作面中每个需要进行数据交互的设备中的控制单元121。可以在综采工作面中的每个需要进行数据交互的设备上设置总线模块和无线通信模块，并在上述设备上设置相应程序，使每个设备都能监测其与其他设备间的总线通信是否正常。当监测到总线通信出现异常时，激活设置于设备上的无线通信模块并基于预设的鸿蒙系统的异构组网执行设备间的数据传输。
35.本实施例提供的工作面控制系统，能够预先将目标检测的模型拆分成多个子模型，并分散布置在综采工作面中的多个功能部件的控制单元中，多个控制单元可以基于总线进行用于实现目标检测工作所涉及的数据交互。进一步的，通过目标检测步骤得到采煤机的工作信息，并基于采煤机的工作信息，控制每个功能部件的运行状态。同时，控制单元还具有基于异构组网进行通信的能力，提升了系统对总线中断等异常情况的抗风险能力。本技术能将目标检测工作所需的计算能力分散到多个功能部件中的控制单元中，能够显著降低对单个控制单元的计算能力要求，进而降低综采工作面实现自主智能化决策的硬件成本。
36.在一个实施例中，目标检测子模型包括：原始数据采集子模型、基准网络子模型、细化特征提取子模型和位置输出子模型。
37.其中，原始数据采集子模型接收多个结构部件的图像信息，将每个结构部件的图像信息与结构部件的标签信息进行绑定，并将绑定有标签信息的图像信息发送到基准网络子模型。具体的，可以基于负责获取特定结构部件的图像信息的摄像机获取特定的结构部
件的图像信息。作为示例，控制单元组与四个分别获取左摇臂的图像信息、左采煤滚筒的图像信息、右摇臂的图像信息和右采煤滚筒的图像信息的摄像机连接，当控制单元组中的原始数据采集子模型所在的控制单元获取到获取左摇臂的图像信息的摄像机发送的图像信息后，可以将左摇臂的标签信息与该摄像机发送的图像信息进行绑定。其他结构部件的图像信息与标签信息的获取与绑定方式与上述类似，这里不再赘述。进一步的，原始数据采集子模型所在的控制单元将绑定有标签信息的图像信息发送到基准网络子模型所在的控制单元，以使基准网络子模型可以获取到绑定有标签信息的图像信息并做下一步处理。
38.进一步的，基准网络子模型接收绑定有标签信息的图像信息，对图像信息进行切片操作或卷积操作，得到符合预设特征尺寸要求的特征图，并将特征图和标签信息发送给细化特征提取子模型。具体的，基准网络子模型可以对图像信息进行卷积操作，并进行随机缩放、随机裁剪、随机排布的方式对不同图像进行拼接，得到符合预设特征尺寸要求的特征图，如得到304x304x32的特征图，并基于总线将特征图发送到细化特征提取子模型所在的控制单元，以使细化特征提取子模型可以接收到特征图并做进一步处理。
39.进一步的，细化特征提取子模型将特征图划分为多个预设特征尺度的预测特征图，并将多个预设特征尺度的预测特征图和标签信息发送到位置输出子模型。具体的，细化特征提取子模型可以对得到的特征图进行细化特征提取，将涉及到结构部件的特征图处理得到不同尺度的特征图，并将得到的处理结果发送到位置输出子模型所在的控制单元，以使位置输出子模型可以接收到的不同尺度的特征图并做进一步处理。
40.进一步的，位置输出子模型基于多个预设特征尺度的预测特征图和标签信息识别出结构部件的识别锚框图，并基于识别锚框图在图像信息中的坐标信息确定结构部件的位置信息。具体的，位置输出子模型可以基于特征图输出结构部件的识别锚框图，对细化特征提取子模型输出的结构部件的不同尺度特征图进行定位，定位到的采煤机的结构部件相对于图像信息的坐标输出值，并将该坐标作为该结构部件的位置信息到总线，以供后续操作。
41.本技术提供的实施例，能够将图像识别工作所需的计算能力分散到多个控制单元中，能够显著降低对单个控制单元的计算能力要求，进而降低采煤机实现自主智能化决策的硬件成本。
42.在一个实施例中，控制单元还用于根据预设的物模型编码，将控制单元生成并向外发送的数据编码转换成与物模型编码对应的物模型数据编码。
43.具体的，可以对多个控制单元执行统一设备模型，对控制单元的数据按照物模型编码的相应协议转换成统一的物模型数据，使物模型数据在之后所有系统中的应用和传输均采用物模型编码和转换后的值进行传递。进一步的，可以对多个设备执行统一设备模型，对每个设备的数据按照物模型编码的相应协议转换成统一的物模型数据，使物模型数据在之后所有系统中的应用和传输均采用物模型编码和转换后的值进行传递以降低系统间融合的成本。本技术提供的实施例，能够降低数据传输的量级，统一的物模型数据结构完全消除了系统数据传输的转化成本，大大降低了系统间融合的成本。
44.本实施例提供的工作面控制系统，能够预先将目标检测的模型拆分的多个子模型分散布置在综采工作面中的多个功能部件的控制单元中，多个控制单元可以基于总线进行数据交互。进一步的，通过目标检测步骤得到采煤机的工作信息，并基于采煤机的工作信息，控制每个功能部件的运行状态。同时，能够在总线通信正常的情况下采用总线实现各控
制单元间的通信，而发现任何一条总线出现异常或断路的情况下，第一时间发现异常情况，并能够利用鸿蒙系统软总线异构组网技术，实现综采工作面内各控制单元间实现数据续传，保证分布式控制系统智能化决策不受干扰，提高采煤机控制工作的稳定性。同时，对控制单元生成的数据进行协议统一，降低了系统间融合的成本。
45.进一步的，针对图1所示的一种工作面控制系统，本实施例提供了一种工作面控制方法，应用于上述工作面控制系统中，如图2所示，方法包括：
46.s201、实时获取采煤机上多个结构部件的图像信息，并将图像信息输入到预训练的目标检测模型中，得到每个结构部件的位置信息。
47.其中，可以基于设置于采煤机上的多个图像采集器，分别获取结构部件的图像信息。进一步的，每个控制单元可以为控制综采工作面的某一个功能部件的控制器，其具有一定的运算能力，如控制液压支架的支架控制单元、控制刮板输送机的刮板机控制单元和控制喷雾的喷雾控制单元等。
48.进一步的，目标检测模型可以预先训练，能够基于输入的图像信息判断出图像信息中各结构部件在图像中的位置。目标检测的模型包括多个子模型，每个子模型用于执行基于目标检测步骤预先划分的多个目标检测子步骤中的其中一个子步骤，每个子模型设置于预先选定的控制单元中，控制单元组中全部控制单元上设置有目标检测的模型的全部子模型。各子模型所在的控制单元可以通过数据总线实现子模型间的通信或当数据总线出现异常时，可以通过无线网络通信，共同实现目标识别的过程。
49.s202、确定采煤机在采煤工作面中所处的采煤机位置，并确定采煤机所处的工作阶段。
50.其中，采煤工作面为采煤机进行采煤工作所在的采煤通道，而采煤机所处的工作阶段可以包括上行阶段1、上行阶段2、上行阶段3、下行阶段1、下行阶段2、下行阶段3。
51.具体的，可以通过采煤机上设置的位置传感器或定位装置，判断出采煤机在采煤工作面中的位置。同时，基于设置的采煤工艺参数确定每个工作阶段采煤机需要行驶的路程，以及采煤机从初始化阶段开始所行驶过的总路程，确定采煤机当前的工作阶段。作为示例，若采煤机从初始化阶段开始所行驶的总路程为100米，而采煤工艺参数中上行阶段1、上行阶段2和上行阶段3中采煤机需要行驶的路程分别为70米、20米和20米，则可以确定采煤机当前的工作阶段为上行阶段3。此外，也可以直接和外部的阶段确定装置连接，从外部获取当前采煤机所处的工作阶段。
52.s203、将采煤机位置、工作阶段、每个结构部件的位置信息，以及基于至少一个设置于综采工作面内的传感器采集到的传感器信息分别输入到设置于每个控制单元中的预训练的部件运动预测模型中，得到每个功能部件的运动控制数据。
53.其中，传感器可以为设置于综采工作面中的刮板机行程传感器、采煤机速度传感器、支架倾角传感器以及支架压力传感器等，其中，刮板机行程传感器用于获取刮板机的行程数据，煤机速度传感器用于获取采煤机的速度信息，支架倾角传感器用于获取液压支架的倾角信息，支架压力传感器用于获取液压支架的压力信息。进一步的，目标检测子模型还可以为基于神经网络模型预先训练，其能够基于采煤机各结构部件的位置信息、采煤机的位置信息的参数以及上述传感器采集的信息为特征，采煤机的每个功能部件的运动控制数据为标签训练得到。进一步的，可以将上述部件运动预测模型设置于每个功能部件的控制
单元中，以使每个控制单元能够基于采煤机位置、工作阶段、每个结构部件的位置信息以及上述传感器信息，通过目标检测子模型得到控制本功能部件的运动控制数据，进而实现煤机运行趋势预测、推溜行程自动补偿、支架姿态自调、支架防碰撞等功能。
54.具体的，运动控制数据可以包括推溜行程补偿值、液压支架高度和倾斜状态控制参数、刮板输送机动作行程值和喷雾动作范围值等控制数据。用于将涉及到每个功能部件的运动控制数据发送到每个功能部件对应的控制单元，实现采煤机的自主智能化决策。
55.s204、基于运动控制数据，控制每个功能部件的运行状态。
56.具体的，每个控制单元可以基于运动控制数据，控制该控制单元所负责控制的功能部件进行运动。
57.本实施例提供的工作面控制方法，能够将基于预先将目标检测模型拆分的多个子模型分散布置在综采工作面中的多个功能部件的控制单元中，多个控制单元可以基于总线进行用于实现目标检测工作所涉及的数据交互。进一步的，可以将获取到的采煤机的结构部件的图像信息，包括左摇臂的图像信息、左采煤滚筒的图像信息、右摇臂的图像信息、右采煤滚筒的图像信息输入到控制单元组中，由控制单元组中的控制单元共同实现目标检测工作，得到每个结构部件在运作过程中的位置信息。然后，确定采煤机在采煤工作面中所处的采煤机位置，并确定采煤机所处的工作阶段。再后，将采煤机位置、工作阶段和每个结构部件的位置信息以及基于至少一个设置于综采工作面内的传感器采集到的传感器信息分别输入到设置于每个控制单元中的预训练的部件运动预测模型中，得到每个功能部件的运动控制数据，其中，功能部件包括液压支架、和喷淋器等。最后，可以基于运动控制数据，控制每个功能部件的运行状态。本技术能将图像识别工作所需的计算能力分散到多个功能部件中的控制单元中，能够显著降低对单个控制单元的计算能力要求，进而降低综采工作面实现自主智能化决策的硬件成本。进一步可以根据每个结构部件的位置信息和采煤机所处的工作阶段，基于部件运动预测模型得到对液压支架等功能部件的运动控制数据，精确地对个各功能部件的运动进行控制，在保证硬件成本较低的情况下，更精确地实现采煤机的自主智能化决策。
58.在一个实施例中，步骤201的实现方法可以为：首先，原始数据采集子模型接收多个结构部件的图像信息，将每个结构部件的图像信息与结构部件的标签信息进行绑定，并将绑定有标签信息的图像信息发送到基准网络子模型。具体的，可以基于负责获取特定结构部件的图像信息的摄像机获取特定的结构部件的图像信息。作为示例，控制单元组与四个分别获取左摇臂的图像信息、左采煤滚筒的图像信息、右摇臂的图像信息和右采煤滚筒的图像信息的摄像机连接，当控制单元组中的原始数据采集子模型所在的控制单元获取到获取左摇臂的图像信息的摄像机发送的图像信息后，可以将左摇臂的标签信息与该摄像机发送的图像信息进行绑定。其他结构部件的图像信息与标签信息的获取与绑定方式与上述类似，这里不再赘述。进一步的，原始数据采集子模型所在的控制单元将绑定有标签信息的图像信息发送到基准网络子模型所在的控制单元，以使基准网络子模型可以获取到绑定有标签信息的图像信息并做下一步处理。
59.然后，基准网络子模型接收绑定有标签信息的图像信息，对图像信息进行切片操作或卷积操作，得到符合预设特征尺寸要求的特征图，并将特征图和标签信息发送给细化特征提取子模型。具体的，基准网络子模型可以对图像信息进行卷积操作，并进行随机缩
放、随机裁剪、随机排布的方式对不同图像进行拼接，得到符合预设特征尺寸要求的特征图，如得到304x304x32的特征图，并基于总线将特征图发送到细化特征提取子模型所在的控制单元，以使细化特征提取子模型可以接收到特征图并做进一步处理。
60.再后，细化特征提取子模型将特征图划分为多个预设特征尺度的预测特征图，并将多个预设特征尺度的预测特征图和标签信息发送到位置输出子模型。具体的，细化特征提取子模型可以对得到的特征图进行细化特征提取，将涉及到结构部件的特征图处理得到不同尺度的特征图，并将得到的处理结果发送到位置输出子模型所在的控制单元，以使位置输出子模型可以接收到的不同尺度的特征图并做进一步处理。
61.最后，位置输出子模型基于多个预设特征尺度的预测特征图和标签信息识别出结构部件的识别锚框图，并基于识别锚框图在图像信息中的坐标信息确定结构部件的位置信息。具体的，位置输出子模型可以基于特征图输出结构部件的识别锚框图，对细化特征提取子模型输出的结构部件的不同尺度特征图进行定位，定位到的采煤机的结构部件相对于图像信息的坐标输出，并将该坐标作为该结构部件的位置信息到总线，以供后续操作。
62.本技术提供的实施例，能够将目标检测工作所需的计算能力分散到多个控制单元中，能够显著降低对单个控制单元的计算能力要求，进而降低采煤机实现自主智能化决策的硬件成本。
63.在一个实施例中，步骤202所述的确定采煤机所处的工作阶段的方式包括：
64.首先，获取采煤机在采煤工作面的轨迹信息。其中，轨迹信息可以为采煤机在采煤工作面中行驶的路线信息，包括采煤机在初始化状态时的起始点位置，和采煤机在采煤工作面中每次改变行驶方向所在的折返点的位置以及发生折返之前的运行方向和发生折返之后的运行方向。
65.具体的，可以基于设置在采煤机上的位置传感器获取采煤机在初始化状态时的起始点位置，和采煤机在采煤工作面中每次改变行驶方向所在的折返点的位置。然后，基于所述采煤机位置和所述轨迹信息与预设的上行参数和预设的下行参数，确定所述工作阶段。其中，在全面根机中上行参数包括上行参数1和上行参数2，下行参数包括下行参数1和下行参数2。进一步的，上行参数1的值可以为采煤工作面内预设的第一液压支架的编号，用于表示当采煤机运作到预设的液压支架时，采煤机运行折返，其工作阶段由上行阶段1过渡到上行阶段2。上行参数2的值可以为采煤工作面内预设的第二液压支架的编号，用于表示当采煤机从第一液压支架运动到第二液压支架时，采煤机折返，其工作阶段由上行阶段2过渡到上行阶段3。当采煤机在上行阶段3时，再次运动到第一液压支架时，采煤机折返，其工作阶段由上行阶段3过渡到下行阶段1。
66.进一步的，下行参数1的值可以为采煤工作面内预设的第三液压支架的编号，用于表示当处于下行阶段1的采煤机运行到第三液压支架的位置时，采煤机折返，工作阶段由下行阶段1过渡到下行阶段2；下行参数2的值可以为采煤工作面内预设的第四液压支架的编号，用于表示当处于下行阶段3的采煤机运行到第四液压支架的位置时，采煤机折返，工作阶段由下行阶段2过渡到下行阶段3；当采煤机在下行阶段3时，再次运动到第三液压支架的位置时，采煤机折返，其工作阶段由下行阶段3过渡到上行阶段1。其中，上行阶段1、上行阶段2、下行阶段1和下行阶段2的值可以基于实际情况确定。
67.然后，基于采煤机位置和轨迹信息与预设的上行参数和预设的下行参数，确定工
作阶段。具体的，可以基于采煤机在当前时间以前最近的两次发生折返时的折返点位置对应的液压支架的编号，与预设的上行参数和预设的下行参数中记录的液压支架编号是否匹配；在匹配的情况下获取采煤机在发生折返前后的方向，进而判断采煤机当前所处的工作阶段。本技术提供的实施例，能够基于采煤机的运行轨迹和预设的工艺参数，精确地判断采煤机当前所处的工作阶段，为后续的控制工作提供基础。
68.在一个实施例中所述获取采煤机在采煤工作面的轨迹信息的方式包括：
69.首先，确定采煤机在采煤工作面内运行过程中，以与当前时间的时间间隔由小至大的顺序，获取前预设次数的方向折返时，采煤机所处的点位位置。其中，前预设次数可以设置为两次，具体次数可以基于实际情况确定。作为示例，当采煤机处于最近的一次折返点位位置时，采煤机的运行方向由折返之前的从高编号的液压支架方向向低编号的液压支架方向运行转变为向高编号的液压支架方向运行；而采煤机处于第二接近的折返点位位置时，采煤机的运行方向由折返之前的从低编号的液压支架方向向高编号的液压支架方向运行转变为向低编号的液压支架方向运行，可以确定当采煤机发生最近的两次折返时的点位位置并能够确定折返前后的运行方向。
70.然后，确定每个点位位置对应的支架的支架编号。具体的，基于采煤工作面内每个液压支架的安装位置和每个液压支架的支架编号，确定采煤机发生折返时点位位置对应的支架的支架编号。最后，基于支架编号，确定采煤机在采煤工作面的轨迹信息。具体的，基于采煤机发生最近两次折返时所处位置对应的液压支架的支架编号，并能够每次发生折返前后的运行方向，从而可以得出采煤机在采煤工作面内的运行轨迹。在本技术的实施例中，可以基于采煤机的最近数次折返时的方向和位置，能够准确的确定采煤机的轨迹信息，为后续的确定采煤机所处的工作阶段提供基础。
71.在一个实施例中，工作面控制方法还包括：首先，监测基于总线连接的任意两个控制单元之间传输的心跳信号的状态。具体的，可以将控制单元组中的多个控制单元每两个划分为一组，该组内的控制单元实时监测组内另一个控制单元基于总线发送的心跳信号。然后，若心跳信号的状态出现异常，则判定通信状况出现异常。具体的，若组内的控制单元监测到组内另一个控制单元基于总线发送的心跳信号出现中断，则可以确定通信状况出现异常。进一步的，在通信状况出现异常的情况下，激活设置于控制单元上的无线通信模块并基于预设的异构组网技术执行相邻控制单元间的数据传输。在本技术的实施例中，能够在总线连接出现异常时，第一时间确定异常的发生情况，以实现在最短的时间内做出应急处理。进一步的，可以在综采工作面中的每个需要进行数据交互的设备上设置相应程序，使上述设备能够监测该设备和与其所要进行通信的其他设备之间通过总线传输的心跳信号的状态。若设备检测到心跳信号的状态出现异常，则可以判定与其他设备间的总线通信存在异常。
72.本实施例提供的工作面控制方法，将目标检测工作所需的计算能力分散到多个功能部件中的控制单元中，能够显著降低对单个控制单元的计算能力要求，进而降低综采工作面实现自主智能化决策的硬件成本。进一步可以根据每个结构部件的位置信息和采煤机所处的工作阶段，基于部件运动预测模型得到对液压支架等功能部件的运动控制数据，精确地对个各功能部件的运动进行控制，通过基础ai模块预测采煤机运动趋势，使刮板机控制器根据预测的采煤机运动趋势及采集的刮板机行程数据进行推溜运动，形成自动补偿机
制，支架控制器根据采集的倾角及压力等数据，智能调整姿态，以满足参数模型设定，进一步根据采煤机的姿态调整动作以防碰撞采煤机。本技术能够在保证硬件成本较低的情况下，更精确地实现综采工作面的自主智能化决策。
73.进一步的，作为图2所示方法的具体实现，本实施例提供了一种工作面控制装置，如图3所示，该装置包括：位置识别模块31、阶段确定模块32、数据生成模块33和动作控制模块34。
74.位置识别模块31，可用于实时获取采煤机上多个结构部件的图像信息，并将所述图像信息输入到预训练的目标检测模型中，得到每个所述结构部件的位置信息。
75.阶段确定模块32，可用于确定所述采煤机在采煤工作面中所处的采煤机位置，并确定所述采煤机所处的工作阶段。
76.数据生成模块33，可用于将所述采煤机位置、所述工作阶段、每个所述结构部件的位置信息，以及基于至少一个设置于所述综采工作面内的传感器采集到的传感器信息分别输入到设置于每个控制单元中的预训练的部件运动预测模型中，得到每个所述功能部件的运动控制数据。动作控制模块34，可用于基于所述运动控制数据，控制每个所述功能部件的运行状态。
77.在具体的应用场景中，位置识别模块31，具体可用于原始数据采集子模型接收多个所述结构部件的图像信息，将每个所述结构部件的图像信息与所述结构部件的标签信息进行绑定，并将绑定有所述标签信息的图像信息发送到基准网络子模型；基准网络子模型接收所述绑定有所述标签信息的图像信息，对所述图像信息进行切片操作或卷积操作，得到符合预设特征尺寸要求的特征图，并将所述特征图和所述标签信息发送给细化特征提取子模型；细化特征提取子模型将所述特征图划分为多个预设特征尺度的预测特征图，并将所述多个预设特征尺度的预测特征图和所述标签信息发送到位置输出子模型；位置输出子模型基于所述多个预设特征尺度的所述预测特征图和所述标签信息识别出所述结构部件的识别锚框图，并基于所述识别锚框图在所述图像信息中的坐标信息确定所述结构部件的位置信息。
78.在具体的应用场景中，所述阶段确定模块32，具体可用于获取所述采煤机在采煤工作面的轨迹信息；基于所述采煤机位置和所述轨迹信息与预设的上行参数和预设的下行参数，确定所述工作阶段。
79.在具体的应用场景中，所述阶段确定模块32，具体还可用于确定所述采煤机在所述采煤工作面内运行过程中，以与当前时间的时间间隔由小至大的顺序，获取前预设次数的方向折返时，所述采煤机所处的点位位置；确定每个所述点位位置对应的支架的支架编号；基于所述支架编号，确定所述采煤机在采煤工作面的轨迹信息。
80.进一步的，如图4所示，工作面控制装置还包括状态识别模块45。
81.状态识别模块45，可用于监测基于总线连接的任意两个所述控制单元之间传输的心跳信号的状态；若所述心跳信号的状态出现异常，则判定所述通信状况出现异常；在所述通信状况出现异常的情况下，激活设置于所述控制单元上的无线通信模块并基于预设的异构组网技术执行相邻所述控制单元间的数据传输。
82.需要说明的是，本实施例提供的一种工作面控制装置所涉及各功能单元的其它相应描述，可以参考图2中的对应描述，在此不再赘述。
83.基于上述如图2所示方法，相应的，本实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述如图2所示的工作面控制方法。
84.基于这样的理解，本技术的技术方案可以以软件产品的形式体现出来，该待识别软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施场景所述的方法。
85.基于上述如图2所示的方法，以及图3、图4所示的工作面控制装置实施例，为了实现上述目的，本实施例还提供了一种工作面控制的实体设备，具体可以为个人计算机、服务器、智能手机、平板电脑、智能手表、或者其它网络设备等，该实体设备包括存储介质和处理器；存储介质，用于存储计算机程序；处理器，用于执行计算机程序以实现上述如图2所示的方法。
86.可选的，该实体设备还可以包括用户接口、网络接口、摄像头、射频(radio frequency，rf)电路，传感器、音频电路、wi-fi模块等等。用户接口可以包括显示屏(display)、输入单元比如键盘(keyboard)等，可选用户接口还可以包括usb接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如wi-fi接口)等。
87.本领域技术人员可以理解，本实施例提供的一种工作面控制的实体设备结构并不构成对该实体设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。
88.存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述实体设备硬件和待识别软件资源的程序，支持信息处理程序以及其它待识别软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与信息处理实体设备中其它硬件和软件之间通信。
89.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本技术可以借助软件加必要的通用硬件平台的方式来实现，也可以通过硬件实现。通过应用本技术的技术方案，首先，实时获取采煤机上多个结构部件的图像信息，并将所述图像信息输入到预训练的目标检测模型中，得到每个所述结构部件的位置信息；然后，确定所述采煤机在采煤工作面中所处的采煤机位置，并确定所述采煤机所处的工作阶段；再后，将所述采煤机位置、所述工作阶段、每个所述结构部件的位置信息，以及基于至少一个设置于所述综采工作面内的传感器采集到的传感器信息分别输入到设置于每个控制单元中的预训练的部件运动预测模型中，得到每个所述功能部件的运动控制数据；最后，基于所述运动控制数据，控制每个所述功能部件的运行状态。与现有技术相比，能将图像识别工作所需的计算能力分散到采煤机中的多个控制单元中，能够显著降低对单个控制单元的计算能力要求，进而降低采煤机实现自主智能化决策的硬件成本。进一步可以根据每个结构部件的位置信息和采煤机所处的工作阶段，基于部件运动预测模型得到对液压支架等功能部件的运动控制数据，精确地对个各功能部件的运动进行控制，在保证硬件成本较低的情况下，更精确地实现采煤机的自主智能化决策。
90.本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本技术所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于
本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
91.上述本技术序号仅仅为了描述，不代表实施场景的优劣。以上公开的仅为本技术的几个具体实施场景，但是，本技术并非局限于此，任何本领域的技术人员能思之的变化都应落入本技术的保护范围。

技术特征：
1.一种工作面控制系统，其特征在于，包括由多个控制单元构成的控制单元组，多个所述控制单元分别设置于综采工作面上的多个功能部件上，多个所述控制单元基于总线连接；所述控制单元组中设置有目标检测模型，每个所述控制单元中设置有不同的目标检测子模型，所述目标检测子模型用于执行基于目标检测步骤预先划分的多个子步骤中的其中一个所述子步骤；所述目标检测模型用于执行所述目标检测步骤并得到采煤机的工作信息，所述目标检测子模型用于基于所述采煤机的工作信息控制其所对应的所述功能部件的运动状态；所述控制单元中还设置有无线通信模块，所述无线通信模块用于在相互通信的两所述控制单元通信状况出现异常的情况下，基于预设的异构组网技术实现无线通信。2.根据权利要求1所述的工作面控制系统，其特征在于，多个所述目标检测子模型包括：原始数据采集子模型、基准网络子模型、细化特征提取子模型和位置输出子模型；所述原始数据采集子模型用于接收采煤机多个结构部件的图像信息，将每个所述结构部件的图像信息与所述结构部件的标签信息进行绑定，并将绑定有所述标签信息的所述图像信息发送到所述基准网络子模型；所述基准网络子模型用于接收绑定有所述标签信息的所述图像信息，对所述图像信息进行切片操作或卷积操作，得到符合预设特征尺寸要求的特征图，并将所述特征图和所述标签信息发送给所述细化特征提取子模型；所述细化特征提取子模型用于将所述特征图划分为多个预设特征尺度的预测特征图，并将所述多个预设特征尺度的所述预测特征图和所述标签信息发送到所述位置输出子模型；所述位置输出子模型用于基于多个所述预设特征尺度的所述预测特征图和所述标签信息识别出所述结构部件的识别锚框图，并基于所述识别锚框图在所述图像信息中的坐标信息确定所述结构部件的位置信息。3.根据权利要求1所述的工作面控制系统，其特征在于，所述控制单元，还用于：根据预设的物模型编码，将所述控制单元生成并向外发送的数据编码转换成与所述物模型编码对应的物模型数据编码。4.一种工作面控制方法，其特征在于，所述控制方法应用于如权利要求1-3任一项所述的工作面控制系统，所述方法包括：实时获取采煤机上多个结构部件的图像信息，并将所述图像信息输入到预训练的目标检测模型中，得到每个所述结构部件的位置信息；确定所述采煤机在采煤工作面中所处的采煤机位置，并确定所述采煤机所处的工作阶段；将所述采煤机位置、所述工作阶段、每个所述结构部件的位置信息，以及基于至少一个设置于所述综采工作面内的传感器采集到的传感器信息分别输入到设置于每个控制单元中的预训练的部件运动预测模型中，得到每个所述功能部件的运动控制数据；基于所述运动控制数据，控制每个所述功能部件的运行状态。5.根据权利要求4所述的方法，其特征在于，所述实时获取采煤机上多个结构部件的图像信息，并将所述图像信息输入到预训练的目标检测模型中，得到每个所述结构部件的位
置信息，包括：原始数据采集子模型接收多个所述结构部件的图像信息，将每个所述结构部件的图像信息与所述结构部件的标签信息进行绑定，并将绑定有所述标签信息的图像信息发送到基准网络子模型；基准网络子模型接收所述绑定有所述标签信息的图像信息，对所述图像信息进行切片操作或卷积操作，得到符合预设特征尺寸要求的特征图，并将所述特征图和所述标签信息发送给细化特征提取子模型；细化特征提取子模型将所述特征图划分为多个预设特征尺度的预测特征图，并将所述多个预设特征尺度的预测特征图和所述标签信息发送到位置输出子模型；位置输出子模型基于所述多个预设特征尺度的所述预测特征图和所述标签信息识别出所述结构部件的识别锚框图，并基于所述识别锚框图在所述图像信息中的坐标信息确定所述结构部件的位置信息。6.根据权利要求4或5所述的方法，其特征在于，所述确定所述采煤机所处的工作阶段，包括：获取所述采煤机在采煤工作面的轨迹信息；基于所述采煤机位置和所述轨迹信息与预设的上行参数和预设的下行参数，确定所述工作阶段。7.根据权利要求6所述的方法，其特征在于，所述获取所述采煤机在采煤工作面的轨迹信息，包括：确定所述采煤机在所述采煤工作面内运行过程中，以与当前时间的时间间隔由小至大的顺序，获取前预设次数的方向折返时，所述采煤机所处的点位位置；确定每个所述点位位置对应的支架的支架编号；基于所述支架编号，确定所述采煤机在采煤工作面的轨迹信息。8.根据权利要求4所述的方法，其特征在于，所述方法还包括：监测基于总线连接的任意两个所述控制单元之间传输的心跳信号的状态；若所述心跳信号的状态出现异常，则判定所述通信状况出现异常；在所述通信状况出现异常的情况下，激活设置于所述控制单元上的无线通信模块并基于预设的异构组网技术执行相邻所述控制单元间的数据传输。9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求4至8中任一项所述的方法的步骤。10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求4至8中任一项所述的方法的步骤。

技术总结
本发明公开了一种工作面控制系统、方法、装置、存储介质及计算机设备。其中系统包括多个控制单元构成的控制单元组，多个控制单元分别设置于多个功能部件上，多个控制单元基于总线连接；控制单元组设有目标检测模型，每个控制单元设有不同的子模型，子模型用于执行基于目标检测步骤预先划分的多个子步骤中的一个子步骤；目标检测模型用于执行目标检测步骤并得到采煤机的工作信息，子模型用于基于采煤机的工作信息控制其所对应的功能部件的运动状态；控制单元还设有无线通信模块，无线通信模块用于在相互通信的两控制单元通信状况出现异常的情况下，基于预设的异构组网技术实现无线通信。上述方法能降低综采工作面中设备采煤机控制的硬件成本。机控制的硬件成本。机控制的硬件成本。


技术研发人员：庞大伟 徐峰 安田田
受保护的技术使用者：三一智矿科技有限公司
技术研发日：2023.02.13
技术公布日：2023/7/19