巡检目标检测定位方法、装置、设备及存储介质与流程

1.本技术涉及目标检测领域，尤其涉及巡检目标检测定位方法、装置、设备及存储介质。


背景技术：

2.随着科学技术的发展，越来越多的行业开始选择用无人机巡检代替传统的人工巡检。无人机上会搭载多种工具，例如相机、红外传感器等。
3.在为无人机设定飞行任务后，无人机在执行飞行任务的过程中，会将无人机采集到的图像和视频实时传输至后台系统，由后台工作人员实时监控巡检画面来确定画面中的目标，不够方便。


技术实现要素：

4.本技术提供巡检目标检测定位方法、装置、设备及存储介质，以解决无人机巡检过程中需要后台工作人员实时监控巡检画面来定位目标的技术问题。
5.第一方面，提供一种巡检目标检测定位方法，包括：
6.检测巡检设备的目标巡检子区域内的第一巡检目标和所述第一巡检目标的第一地理位置，所述目标巡检子区域为所述巡检设备执行巡检任务的过程中巡检到的子区域；
7.将所述第一巡检目标，显示在巡检地图中的所述第一地理位置处。
8.在该技术方案中，通过检测巡检设备的巡检子区域内的巡检目标和巡检目标的地理位置，然后将巡检子区域内的巡检目标显示在巡检地图的相应地理位置处，用户查看巡检地图即可快速确定巡检设备执行巡检任务的过程中巡检到的巡检目标和巡检目标所处的地理位置，无需用户实时监控巡检画面，更为简单便捷。
9.结合第一方面，在一种可能的实现方式中，所述将所述第一巡检目标，显示在巡检地图的所述第一地理位置处，包括：将所述第一巡检目标和所述第一地理位置，添加到巡检目标集合，所述巡检目标集合包括所述巡检设备执行巡检任务的过程中已经检测到的所有巡检目标和所述所有巡检目标的地理位置；将所述巡检目标集合中的所有巡检目标，显示在所述巡检地图中的所述所有巡检目标对应的地理位置处。通过将巡检目标和巡检目标添加到包含巡检设备已经检测到的所有巡检目标和所有巡检目标的地理位置的巡检目标集合中，并将巡检目标集合中的所有巡检目标，显示在巡检地图中的对应地理位置处，用户根据巡检地图可确定整个巡检过程中的所有巡检目标和所有巡检目标的位置，从而完成全局目标统计。
10.结合第一方面，在一种可能的实现方式中，所述将所述第一巡检目标和所述第一地理位置添加到巡检目标集合之前，还包括：获取所述目标巡检子区域；在所述巡检目标集合中，删除第二巡检目标和所述第二巡检目标的地理位置，所述第二巡检目标为所述巡检目标集合中的位于所述目标巡检子区域内的巡检目标。在将检测到的巡检目标和巡检目标的位置添加到巡检目标集合中之前，先在巡检目标集合中删除位于巡检子区域内的巡检目
标和位置，能够实现对巡检子区域中的相同巡检目标的去重，确保对目标的精确统计。
11.结合第一方面，在一种可能的实现方式中，所述在所述巡检目标集合中，删除第二巡检目标和所述第二巡检目标的地理位置之前，还包括：判断所述巡检目标集合中是否存在位于所述目标巡检子区域内的第二地理位置；若所述巡检目标集合中存在所述第二地理位置，则确定所述巡检目标集合中存在所述第二巡检目标；若所述巡检目标集合中不存在所述第二地理位置，则确定所述巡检目标集合中不存在所述第二巡检目标。通过检测巡检目标集合中是否存在位于巡检子区域内的地理位置来检测巡检目标集合中内是否存在巡检子区域内的巡检目标，实现方式简单。
12.结合第一方面，在一种可能的实现方式中，所述获取所述目标巡检子区域，包括：获取所述巡检设备的巡检图像；将所述巡检图像对应的巡检地图区域，确定为所述目标巡检子区域。
13.结合第一方面，在一种可能的实现方式中，所述将所述巡检图像对应的巡检地图区域，确定为所述目标巡检子区域之前，包括：获取所述巡检图像的顶点图像坐标，所述顶点图像坐标为像素坐标系下的坐标；对所述顶点图像坐标进行坐标转换，得到所述巡检图像对应的巡检位置坐标，所述巡检位置坐标为世界坐标系下的坐标；在所述巡检地图中，将所述巡检位置坐标围合形成的子区域，确定为所述巡检图像对应的巡检地图区域。通过获取图像和坐标转换的方式来确定巡检设备的巡检子区域，可以准确确定巡检设备的巡检子区域。
14.结合第一方面，在一种可能的实现方式中，所述检测巡检设备的目标巡检子区域内的第一巡检目标和所述第一巡检目标的第一地理位置，包括：对所述巡检设备的巡检图像进行巡检目标识别，得到所述第一巡检目标和所述第一巡检目标在所述巡检图像中的第一图像坐标；对所述第一图像坐标进行坐标转换，得到所述第一巡检目标的第一地理位置坐标，所述第一地理位置坐标为世界坐标系下的坐标。通过目标识别和坐标转换的方式确定巡检目标的地理位置，可以准确确定巡检目标的地理位置。
15.结合第一方面，在一种可能的实现方式中，所述对所述巡检设备的巡检图像进行巡检目标识别，得到所述第一巡检目标和所述第一巡检目标在所述巡检图像中的第一图像坐标，包括：通过目标识别模型，对所述巡检设备的巡检图像进行巡检目标识别，得到所述第一巡检目标和所述第一巡检目标在所述巡检图像中的第一图像坐标。
16.结合第一方面，在一种可能的实现方式中，所述对所述第一图像坐标进行坐标转换，得到所述第一巡检目标的第一地理位置坐标，包括：获取所述巡检设备的第一设备姿态和第一设备位置坐标，所述第一设备姿态为所述巡检设备获取所述巡检图像时的设备姿态，所述第一设备位置坐标为所述巡检设备获取所述巡检图像时的地理位置坐标，所述第一设备位置坐标为世界坐标系下的坐标；根据所述第一设备姿态和所述第一设备位置坐标，确定目标转换矩阵，所述目标转换矩阵用于表示所述巡检设备获取所述巡检图像时的像素坐标系与世界坐标系之间的转换关系；根据所述目标转换矩阵，对所述第一图像坐标进行坐标转换，得到所述第一地理位置坐标。
17.第二方面，提供一种巡检目标检测定位装置，包括：
18.目标检测模块，用于检测巡检设备的目标巡检子区域内的第一巡检目标和所述第一巡检目标的第一地理位置，所述目标巡检子区域为所述巡检设备执行巡检任务的过程中
巡检到的子区域；
19.目标显示模块，用于将所述第一巡检目标，显示在巡检地图中的所述第一地理位置处。
20.第三方面，提供一种计算机设备，包括存储器以及一个或多个处理器，所述存储器连接至所述一个或多个处理器，一个或多个处理器用于执行存储在存储器中的一个或多个计算机程序，一个或多个处理器在执行一个或多个计算机程序时，使得该计算机设备实现上述第一方面的巡检目标检测定位方法。
21.第四方面，提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序包括程序指令，上述程序指令当被处理器执行时使上述处理器执行上述第一方面的巡检目标检测定位方法。
22.本技术可以实现如下技术效果：用户查看巡检地图即可快速确定巡检设备执行巡检任务的过程中巡检到的巡检目标和巡检目标所处的地理位置，无需用户实时监控巡检画面，更为简单便捷。
附图说明
23.图1为本技术实施例提供的巡检系统的示意图；
24.图2为本技术实施例提供的一种巡检目标检测定位方法的流程示意图；
25.图3为本技术实施例提供的在巡检地图中显示巡检目标的示意图；
26.图4为本技术实施例提供的另一种巡检目标检测定位方法的流程示意图；
27.图5为本技术实施例提供的巡检图像和巡检图像对应的巡检地图区域的示意图；
28.图6为本技术实施例提供的在巡检地图上显示巡检目标集合中的巡检目标和巡检目标的位置的示意图；
29.图7是本技术实施例提供的一种巡检目标检测定位装置的结构示意图；
30.图8是本技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
31.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
32.本技术的技术方案适用于巡检场景，其中，巡检场景可以是指利用无人机飞行执行巡检任务的场景，也可以是利用其他巡检设备执行巡检任务的场景，例如利用巡检机器人在地面上行走执行地面上的巡检任务的场景。
33.本技术的技术方案可应用在执行巡检任务的巡检设备上，也可以应用在包含巡检设备的巡检系统中的巡检控制平台上。首先参见图1，图1为本技术实施例提供的一种巡检系统的示意图，如图1所示，巡检系统10可包括巡检设备101和巡检控制平台102，巡检设备101用于代替人在需要巡检的区域(即巡检区域)中行进，实时采集巡检区域中的相关数据(图像数据和各种传感器数据)，并将采集到的相关数据传输给巡检控制平台102，以完成巡检任务。巡检控制平台102为面向用户的设备，巡检控制平台102用于向巡检设备101下发巡检指示，以指示巡检设备101按巡检指示执行巡检任务，巡检设备执行巡检任务所覆盖的区域为巡检区域。其中，巡检控制平台102可以响应用户指令，向巡检设备101发送巡检指示，实现巡检设备101在用户控制下执行巡检任务。
34.具体地，巡检设备101可以为无人机或巡检机器人等；巡检控制平台102可包括云平台、后台服务器和人工交互设备(如显示屏)等。
35.基于图1所示的巡检系统，可以实现本技术的技术方案。以下具体介绍本技术的技术方案。
36.参见图2，图2为本技术实施例提供的一种巡检目标检测定位方法的流程示意图，如图2所示，该方法包括如下步骤：
37.s201，检测巡检设备的目标巡检子区域内的第一巡检目标和第一巡检目标的第一地理位置。
38.这里，目标巡检子区域为巡检设备执行巡检任务的过程中检测到的子区域。巡检设备执行巡检任务的过程具体可以为道路巡检过程、电力巡检过程、安全巡检过程，等等，不限于这里的举例。目标巡检子区域可以理解为巡检设备执行任务时巡检设备上的传感器能探测到的最大范围内的区域，目标巡检子区域属于巡检设备的巡检区域的一部分。巡检设备的巡检区域是指巡检设备执行巡检任务的过程中所需覆盖的区域，巡检设备的巡检区域与巡检设备执行的巡检任务相关，巡检设备执行的巡检任务不同，则巡检设备的巡检区域不同。例如，巡检设备执行的巡检任务为巡检整个校园区域，则巡检设备的巡检区域为整个校园区域，目标巡检子区域可以为校园中的教室区域、操场区域、办公室区域，等等。目标巡检子区域和巡检区域均可以在巡检地图上进行表示，巡检地图为巡检设备执行巡检任务的过程中采用的地图。
39.巡检目标是指巡检设备执行巡检任务需获取/探测的目标。巡检设备执行的巡检任务不同，则巡检目标不同。例如，巡检设备执行的巡检任务为道路巡检任务，则巡检目标可以为道路上的行人、车辆、红绿灯指示牌等。又如，巡检设备执行的巡检任务为电力巡检过程，则巡检目标可以为电线杆。本技术不做限制。
40.目标巡检子区域内的第一巡检目标是指巡检设备执行任务时，位于该目标巡检子区域内的巡检目标。第一巡检目标的第一地理位置是指第一巡检目标在巡检地图上的地理位置，第一地理位置通过世界坐标系下的坐标来表示。
41.在一些可能的情况中，可以基于图像识别和目标定位的方式，检测第一巡检目标和第一巡检目标的第一地理位置。
42.其中，可以通过如下步骤a1-a2检测第一巡检目标和第一巡检目标的第一地理位置。
43.a1、对巡检设备的巡检图像进行巡检目标识别，得到第一巡检目标和第一巡检目标在巡检设备的巡检图像中的第一图像坐标。
44.这里，巡检设备的巡检图像是指巡检设备在执行巡检任务的过程中获取的图像。巡检设备的巡检图像可以通过巡检设备中的相机拍摄得到。
45.在一种可能的实现方式中，可以通过目标识别模型，对巡检设备的巡检图像进行巡检目标识别，得到第一巡检目标和第一巡检目标在巡检图像中的第一图像坐标。
46.目标识别模型可以为基于深度学习技术训练得到的用于识别巡检目标的模型，目标识别模型包括但不限于为区域卷积神经网络(region convolutional neural networks，rcnn)模型、yolo(you only look once)模型、ssd(single shot multibox detector)模型，等等，本技术不做限制。
47.在将巡检设备的巡检图像输入至目标识别模型后，目标识别模型可输出该巡检图像中的巡检目标在该巡检图像中的信息{u
t
，v
t
，w，h，c}，巡检图像中的巡检目标即为第一巡检目标，(u
t
，v
t
)为第一巡检目标的中心点在巡检设备的巡检图像中的像素坐标，w和h分别为第一巡检目标在巡检设备的巡检图像中的宽度和高度，c为第一巡检目标的类别。例如，巡检设备执行的巡检任务为道路巡检任务，则第一巡检目标的类别可以为行人、车辆、红绿灯指示牌等道路上的目标中的一种。
48.应理解的是，(u
t
，v
t
)也可以转换为图像坐标系下的坐标(x
t
，y
t
)，图像坐标系下的坐标可以由像素坐标系下的坐标转换得到，图像坐标系下的坐标与像素坐标系下的坐标满足如下转换关系：x＝(u-uo)*w，y＝(v-vo)*h，(x，y)表示图像坐标系下的坐标，(u，v)表示像素坐标系下的坐标，w和h分别为巡检图像的宽度和高度，(uo，vo)为巡检图像的中心的像素坐标。第一巡检目标在巡检设备的巡检图像中的第一图像坐标可以为(u
t
，v
t
)，也可以为(x
t
，y
t
)。
49.a2、对第一巡检目标在巡检设备的巡检图像中的第一图像坐标进行坐标转换，得到第一巡检目标的第一地理位置坐标。
50.第一地理位置坐标为世界坐标系下的坐标，世界坐标系下的坐标可以为全球定位系统(global positioning system，gps)坐标，世界坐标系下的坐标可以表示为(x，y，z)，第一地理位置坐标为(x
t
，y
t
，z
t
)。
51.这里，可以通过步骤a21-a23对第一巡检目标在巡检设备的巡检图像中的第一图像坐标进行坐标转换：
52.a21、获取巡检设备的第一设备姿态和第一设备位置坐标。
53.其中，巡检设备的第一设备姿态为巡检设备获取巡检图像时的设备姿态，第一设备姿态可以通过欧拉角表示，第一设备姿态可以表示为(γ，θ，φ)，γ为航向角，是指相对世界坐标系的z轴旋转的角度，θ为翻滚角，是指相对世界坐标系的x轴旋转的角度，φ为俯仰角，是指相对世界坐标系的y轴旋转的角度。
54.巡检设备的第一设备位置坐标为巡检设备获取巡检图像时的位置坐标，第一设备位置坐标为世界坐标系下的坐标，第一设备位置坐标可以表示为(x0，y0，z0)，x0，y0，z0可以表示巡检设备在获取巡检图像时相对世界坐标系的原点的平移参数。在以wgs-84坐标系作为gps坐标系的世界坐标系中，世界坐标系的原点可以为地球质心。
55.a22、根据巡检设备的第一设备姿态和第一设备位置坐标，确定目标转换矩阵。
56.其中，目标转换矩阵用于表示巡检设备获取巡检图像时的像素坐标系与世界坐标系之间的转换关系。目标转换矩阵可包括第一投影转换矩阵和第二投影变换矩阵，第一投影转换矩阵用于表示相机坐标系与设备坐标系之间的转换关系，第二投影转换矩阵用于表示设备坐标系与世界坐标系之间的转换关系。第一投影转换矩阵可以表示为r1，由于相机是固定在巡检设备上，相机与巡检设备之间的相对位置关系是固定的，第一转换矩阵可以通过预先标定得到。第二转换矩阵包括旋转矩阵r2和平移向量t，旋转矩阵r2可以根据巡检设备获取巡检图像时的第一设备姿态得到，平移向量t基于第一设备位置坐标得到。
57.a23、根据目标转换矩阵，对第一巡检目标在巡检设备的巡检图像中的第一图像坐标进行坐标转换，得到第一地理位置坐标。
58.这里，可以根据如下转换公式(1)-(3)，对第一巡检目标在巡检设备的巡检图像中
的第一图像坐标进行坐标转换，得到第一地理位置坐标：
59.p2＝zk-1p
1 (1)
60.p3＝r
1 p2(2)
61.p4＝r
2 p3+t(3)
62.其中，k为巡检设备中的相机的相机内参矩阵，p1为像素坐标系下的坐标，此处的p1可以为前述的(u
t
，v
t
，1)，p2为相机坐标系下的坐标，p3为巡检设备的设备坐标系下的坐标，p4为世界坐标系下的坐标。
63.通过目标识别和坐标转换的方式确定巡检目标的地理位置，可以准确确定巡检目标的地理位置。
64.s202，将第一巡检目标，显示在巡检地图中的第一地理位置处。
65.示例性地，将第一巡检目标，显示在巡检地图中的第一地理位置处可以如图3所示，图3中的d1即为检测到的第一巡检目标。
66.可选地，还可以在巡检地图上显示第一巡检目标的第一地理位置坐标，例如，第一地理位置坐标为(x
t
，y
t
，z
t
)，则可以在该第一地理位置处，显示第一地理位置坐标(x
t
，y
t
，z
t
)，如此，可便于用户确定巡检目标的具体地理位置。
67.在图2对应的技术方案中，通过检测巡检设备的巡检子区域内的巡检目标和巡检目标的地理位置，然后将巡检子区域内的巡检目标显示在巡检地图的相应地理位置处，用户查看巡检地图即可快速确定巡检设备执行巡检任务的过程中巡检到的巡检目标和巡检目标所处的地理位置，无需用户实时监控巡检画面，更为简单便捷。
68.参见图4，图4为本技术实施例提供的另一种巡检目标检测定位方法的流程示意图，如图4所示，该方法包括如下步骤：
69.s301，检测巡检设备的目标巡检子区域内的第一巡检目标和第一巡检目标的第一地理位置。
70.这里，有关于步骤s301的具体实现方式，可参考前述步骤s201的描述，此处不再赘述。
71.s302，获取巡检设备的目标巡检子区域。
72.这里，有关于目标巡检子区域的介绍，可参考前述步骤s201的描述，此处不再赘述。
73.在一种可行的实施方式中，可以基于图像识别的方式，来获取巡检设备的目标巡检子区域。其中，可以获取巡检设备的巡检图像；将巡检设备的巡检图像对应的巡检地图区域，确定为目标巡检子区域。
74.巡检图像对应的巡检地图区域，为将巡检图像的图像顶点映射到巡检地图中所形成的区域。示例性地，可参考图5，假设巡检设备的巡检图像如图5中的p1所示，将巡检图像的图像顶点映射到巡检地图中所形成的区域如图5中的p2所示，p2中的图像内容为巡检地图。
75.其中，可以通过如下步骤b1-b3确定巡检图像对应的巡检地图区域。
76.b1、获取巡检设备的巡检图像的顶点图像坐标。
77.其中，顶点图像坐标可以为像素坐标系下的坐标，也可以为图像坐标系下的坐标。在顶点图像坐标为像素坐标系下的坐标的情况下，巡检图像的顶点图像坐标包括(0，0，1)、
(0，h，1)、(w，0，1)、(w，h，1)，分别表示巡检图像的左上角、左下角、右上角以及右下角在像素坐标系下的坐标。
78.b2、对巡检图像的顶点图像坐标进行坐标转换，得到巡检图像对应的巡检位置坐标。
79.其中，巡检位置坐标为世界坐标系下的坐标。巡检图像对应的巡检位置坐标包括(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)、(x4，y4，z4)，分别表示巡检图像的左上角、左下角、右上角以及右下角在世界坐标系下的坐标。
80.可以通过步骤b21-b23对巡检图像的顶点图像坐标进行坐标转换：
81.b21、获取巡检设备的第一设备姿态和第一设备位置坐标。
82.b22、根据巡检设备的第一设备姿态和第一设备位置坐标，确定目标转换矩阵。
83.这里，步骤b21～b22的具体实现方式，可参考前述步骤a21～a22的描述，此处不再赘述。
84.b23、根据目标转换矩阵，对巡检图像的顶点图像坐标进行坐标转换，得到巡检图像对应的巡检位置坐标。
85.这里，可以根据前述步骤a23中的转换公式(1)-(3)，对顶点图像坐标进行坐标转换，得到巡检设备的巡检图像对应的巡检位置坐标。此处的p1可以为(0，0，1)、(0，h，1)、(w，0，1)或(w，h，1)。
86.a3、在巡检地图中，将巡检图像对应的巡检位置坐标围合形成的子区域，确定为巡检设备的巡检图像对应的巡检地图区域。
87.其中，可以在巡检地图中确定四个巡检位置坐标对应的地图点，得到四个地图点，在巡检地图中连接四个地图点，得到巡检设备的巡检图像对应的巡检地图区域。
88.通过获取图像和坐标转换的方式来确定巡检设备的巡检子区域，可以准确确定巡检设备的巡检子区域。
89.可选地，也可以基于激光雷达扫描、红外扫描等方式获取巡检设备的目标巡检子区域，本技术不做限制。
90.s303，在巡检目标集合中，删除第二巡检目标和第二巡检目标的地理位置。
91.这里，巡检目标集合包括巡检设备执行巡检任务的过程中已经检测到的所有巡检目标和所有巡检目标的地理位置，巡检目标集合中所有巡检目标的地理位置，均通过世界坐标系下的坐标来表示。巡检目标集合除了可以包含巡检目标和巡检目标的地理位置外，还可以包含巡检目标的类别。巡检目标集合可以包括多个巡检目标子集合，不同巡检目标子集合可包括不同类别的巡检目标。
92.第二巡检目标为巡检目标集合中的位于目标巡检子区域内的巡检目标，在巡检目标集合中删除第二巡检目标和第二巡检目标的地理位置的作用在于，保证巡检目标集合中的巡检目标的唯一性。
93.可选地，在巡检目标集合中，删除第二巡检目标和第二巡检目标的地理位置之前，还可以先判断巡检目标集合中是否存在第二巡检目标。如果巡检目标集合中存在第二巡检目标，则说明之前可能已经检测过目标巡检子区域中的巡检目标，第一巡检目标可能已经存在于巡检目标集合，直接添加可能导致巡检目标集合中的巡检目标重复，需执行步骤s303；如果巡检目标集合中不存在第二巡检目标，则说明之前未检测过目标巡检子区域中
的巡检目标，可跳过步骤s303，直接执行步骤s304。
94.在一种可行的实施方式中，可以通过如下步骤c1-c3判断巡检目标集合中是否存在第二巡检目标：
95.c1、判断巡检目标集合中是否存在位于目标巡检子区域内的第二地理位置。
96.具体地，可以将巡检目标集合中的每个地理位置与目标巡检子区域包含的地理位置进行比较，判断巡检目标集合中的每个地理位置是否在目标巡检子区域内，如果巡检目标集合中的任一地理位置在目标巡检子区域内，则说明巡检目标集合中存在位于目标巡检子区域内的第二地理位置。如果巡检目标集合中的每个地理位置均不在目标巡检子区域内，则说明巡检目标集合中不存在位于目标巡检子区域内的第二地理位置，则可直接执行步骤304。
97.c2、若巡检目标集合中存在第二地理位置，则确定巡检目标集合中存在第二巡检目标。
98.在巡检目标集合中存在第二巡检目标的情况下，还可以确定第二巡检目标的地理位置与第一地理位置是否相同；如果第二巡检目标的地理位置与第一地理位置相同，说明目标巡检子区域中的巡检目标和巡检目标的地理位置未发生变化，可以跳过执行步骤s303和步骤s304，直接执行步骤s305；如果第二巡检目标的地理位置与第一地理位置不同，说明目标巡检子区域中的巡检目标和/或巡检目标的地理位置发生变化，执行s303。
99.c3、若巡检目标集合中不存在第二地理位置，则确定巡检目标集合中不存在第二巡检目标。
100.通过检测巡检目标集合中是否存在位于目标巡检子区域内的目标位置来检测巡检目标集合中内是否存在巡检目标，实现方式简单。
101.可选地，也可以通过其他实施方式判断巡检目标集合中是否存在第二巡检目标。
102.s304，将第一巡检目标和第一巡检目标的第一地理位置，添加到巡检目标集合。
103.s305，将巡检目标集合中的所有巡检目标显示在巡检地图中的所有巡检目标对应的地理位置处。
104.这里，将巡检目标集合中的所有巡检目标显示在巡检地图中的所有巡检目标对应的地理位置处可以如图6所示，图6中的区域s为目标巡检子区域，区域s中的巡检目标和地理位置为第一巡检目标和第一地理位置；区域s外的巡检目标和地理位置为巡检设备执行巡检任务的过程中已经检测到的巡检目标和位置。
105.在上述图4对应的技术方案中，在获取到巡检设备的目标巡检子区域，并检测目标巡检子区域内的巡检目标的地理位置后，先在巡检目标集合中，删除位于目标巡检子区域内的巡检目标和位于目标巡检子区域内的巡检目标的地理位置后，再将检测到的巡检目标和巡检目标的地理位置，添加到巡检目标集合，能够实现对巡检目标集合中的相同巡检目标的去重，确保对巡检目标的精确统计；最后将巡检目标集合中的所有巡检目标，显示在巡检地图中的对应地理位置处，用户根据巡检地图可确定整个巡检过程中的所有巡检目标和所有巡检目标的位置，从而完成全局目标统计。
106.进一步地，全局目标统计包括在该巡检任务中，巡检区域中出现的所有巡检目标，如统计该区域巡检目标的类型，如统计该巡检区域内的建筑物、树木、电线杆、塔台等固定障碍物，也可以移动目标如车辆、行人等目标，用户可以通过对巡检目标的类型进行筛选，
选择在巡检地图上所需显示的对象类型，也可以通过特定的巡检目标进行筛选，对移动目标可以统计其运动状态、运动轨迹。
107.上述介绍了本技术的方法，下面介绍本技术的装置。
108.参见图7，图7是本技术实施例提供的一种巡检目标检测定位装置的结构示意图。如图7所示，该巡检目标检测定位装置40包括：
109.目标检测模块401，用于检测巡检设备的目标巡检子区域内的第一巡检目标和所述第一巡检目标的第一地理位置，所述目标巡检子区域为所述巡检设备执行巡检任务的过程中巡检到的子区域；
110.目标显示模块402，用于将所述第一巡检目标，显示在巡检地图中的所述第一地理位置处。
111.在一种可能的设计中，上述目标显示模块402具体用于：将所述第一巡检目标和所述第一地理位置，添加到巡检目标集合，所述巡检目标集合包括所述巡检设备执行巡检任务的过程中已经检测到的所有巡检目标和所述所有巡检目标的地理位置；将所述巡检目标集合中的所有巡检目标，显示在所述巡检地图中的所述所有巡检目标对应的地理位置处。
112.在一种可能的设计中，上述目标显示模块402还用于：获取所述目标巡检子区域；在所述巡检目标集合中，删除第二巡检目标和所述第二巡检目标的地理位置，所述第二巡检目标为所述巡检目标集合中的位于所述目标巡检子区域内的巡检目标。
113.在一种可能的设计中，上述目标显示模块402还用于：判断所述巡检目标集合中是否存在位于所述目标巡检子区域内的第二地理位置；若所述巡检目标集合中存在所述第二地理位置，则确定所述巡检目标集合中存在所述第二巡检目标；若所述巡检目标集合中不存在所述第二地理位置，则确定所述巡检目标集合中不存在所述第二巡检目标。
114.在一种可能的设计中，上述目标显示模块402具体用于：获取所述巡检设备的巡检图像；将所述巡检图像对应的巡检地图区域，确定为所述目标巡检子区域。
115.在一种可能的设计中，上述目标显示模块402具体用于：获取所述巡检图像的顶点图像坐标，所述顶点图像坐标为像素坐标系下的坐标；对所述顶点图像坐标进行坐标转换，得到所述巡检图像对应的巡检位置坐标，所述巡检位置坐标为世界坐标系下的坐标；在所述巡检地图中，将所述巡检位置坐标围合形成的子区域，确定为所述巡检图像对应的巡检地图区域。
116.在一种可能的设计中，上述目标检测模块401具体用于：对所述巡检设备的巡检图像进行巡检目标识别，得到所述第一巡检目标和所述第一巡检目标在所述巡检图像中的第一图像坐标；对所述第一图像坐标进行坐标转换，得到所述第一巡检目标的第一地理位置坐标，所述第一地理位置坐标为世界坐标系下的坐标。
117.在一种可能的设计中，上述目标检测模块401具体用于：通过目标识别模型，对所述巡检设备的巡检图像进行巡检目标识别，得到所述第一巡检目标和所述第一巡检目标在所述巡检图像中的第一图像坐标。
118.在一种可能的设计中，上述目标检测模块401具体用于：获取所述巡检设备的第一设备姿态和第一设备位置坐标，所述第一设备姿态为所述巡检设备获取所述巡检图像时的设备姿态，所述第一设备位置坐标为所述巡检设备获取所述巡检图像时的地理位置坐标，所述第一设备位置坐标为世界坐标系下的坐标；根据所述第一设备姿态和所述第一设备位
置坐标，确定目标转换矩阵，所述目标转换矩阵用于表示所述巡检设备获取所述巡检图像时的像素坐标系与世界坐标系之间的转换关系；根据所述目标转换矩阵，对所述第一图像坐标进行坐标转换，得到所述第一地理位置坐标。
119.需要说明的是，图7对应的实施例中未提及的内容可参见前述方法实施例的描述，这里不再赘述。
120.上述装置，通过检测巡检设备的巡检子区域内的巡检目标和巡检目标的地理位置，然后将巡检子区域内的巡检目标显示在巡检地图的相应地理位置处，用户查看巡检地图即可快速确定巡检设备执行巡检任务的过程中巡检到的巡检目标和巡检目标所处的地理位置，无需用户实时监控巡检画面，更为简单便捷。
121.参见图8，图8是本技术实施例提供的一种计算机设备的结构示意图，该计算机设备50包括处理器501、存储器502。存储器502连接至处理器501，例如通过总线连接至处理器501。
122.处理器501被配置为支持该计算机设备50执行上述方法实施例中的方法中相应的功能。该处理器501可以是中央处理器(central processing unit，cpu)，网络处理器(network processor，np)，硬件芯片或者其任意组合。上述硬件芯片可以是专用集成电路(application specific integrated circuit，asic)，可编程逻辑器件(programmable logic device，pld)或其组合。上述pld可以是复杂可编程逻辑器件(complex programmable logic device，cpld)，现场可编程逻辑门阵列(field-programmable gate array，fpga)，通用阵列逻辑(generic array logic，gal)或其任意组合。
123.存储器502用于存储程序代码等。存储器502可以包括易失性存储器(volatile memory，vm)，例如随机存取存储器(random access memory，ram)；存储器502也可以包括非易失性存储器(non-volatile memory，nvm)，例如只读存储器(read-only memory，rom)，快闪存储器(flash memory)，硬盘(hard disk drive，hdd)或固态硬盘(solid-state drive，ssd)；存储器502还可以包括上述种类的存储器的组合。
124.处理器501可以调用所述程序代码以执行以下操作：
125.检测巡检设备的目标巡检子区域内的第一巡检目标和所述第一巡检目标的第一地理位置，所述目标巡检子区域为所述巡检设备执行巡检任务的过程中巡检到的子区域；
126.将所述第一巡检目标，显示在巡检地图中的所述第一地理位置处。
127.本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被计算机执行时使所述计算机执行如前述实施例所述的方法。
128.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。
129.以上所揭露的仅为本技术较佳实施例而已，当然不能以此来限定本技术之权利范围，因此依本技术权利要求所作的等同变化，仍属本技术所涵盖的范围。

技术特征：
1.一种巡检目标检测定位方法，其特征在于，包括：检测巡检设备的目标巡检子区域内的第一巡检目标和所述第一巡检目标的第一地理位置，所述目标巡检子区域为所述巡检设备执行巡检任务的过程中巡检到的子区域；将所述第一巡检目标，显示在巡检地图中的所述第一地理位置处。2.根据权利要求1所述的方法，其特征在于，所述将所述第一巡检目标，显示在巡检地图的所述第一地理位置处，包括：将所述第一巡检目标和所述第一地理位置，添加到巡检目标集合，所述巡检目标集合包括所述巡检设备执行巡检任务的过程中已经检测到的所有巡检目标和所述所有巡检目标的地理位置；将所述巡检目标集合中的所有巡检目标，显示在所述巡检地图中的所述所有巡检目标对应的地理位置处。3.根据权利要求2所述的方法，其特征在于，所述将所述第一巡检目标和所述第一地理位置添加到巡检目标集合之前，还包括：获取所述目标巡检子区域；在所述巡检目标集合中，删除第二巡检目标和所述第二巡检目标的地理位置，所述第二巡检目标为所述巡检目标集合中的位于所述目标巡检子区域内的巡检目标。4.根据权利要求3所述的方法，其特征在于，所述在所述巡检目标集合中，删除第二巡检目标和所述第二巡检目标的地理位置之前，还包括：判断所述巡检目标集合中是否存在位于所述目标巡检子区域内的第二地理位置；若所述巡检目标集合中存在所述第二地理位置，则确定所述巡检目标集合中存在所述第二巡检目标；若所述巡检目标集合中不存在所述第二地理位置，则确定所述巡检目标集合中不存在所述第二巡检目标。5.根据权利要求3所述的方法，其特征在于，所述获取所述目标巡检子区域，包括：获取所述巡检设备的巡检图像；将所述巡检图像对应的巡检地图区域，确定为所述目标巡检子区域。6.根据权利要求5所述的方法，其特征在于，所述将所述巡检图像对应的巡检地图区域，确定为所述目标巡检子区域之前，包括：获取所述巡检图像的顶点图像坐标，所述顶点图像坐标为像素坐标系下的坐标；对所述顶点图像坐标进行坐标转换，得到所述巡检图像对应的巡检位置坐标，所述巡检位置坐标为世界坐标系下的坐标；在所述巡检地图中，将所述巡检位置坐标围合形成的子区域，确定为所述巡检图像对应的巡检地图区域。7.根据权利要求1-3任一项所述的方法，其特征在于，所述检测巡检设备的目标巡检子区域内的第一巡检目标和所述第一巡检目标的第一地理位置，包括：对所述巡检设备的巡检图像进行巡检目标识别，得到所述第一巡检目标和所述第一巡检目标在所述巡检图像中的第一图像坐标；对所述第一图像坐标进行坐标转换，得到所述第一巡检目标的第一地理位置坐标，所述第一地理位置坐标为世界坐标系下的坐标。
8.根据权利要求7所述的方法，其特征在于，所述对所述巡检设备的巡检图像进行巡检目标识别，得到所述第一巡检目标和所述第一巡检目标在所述巡检图像中的第一图像坐标，包括：通过目标识别模型，对所述巡检设备的巡检图像进行巡检目标识别，得到所述第一巡检目标和所述第一巡检目标在所述巡检图像中的第一图像坐标。9.根据权利要求7所述的方法，其特征在于，所述对所述第一图像坐标进行坐标转换，得到所述第一巡检目标的第一地理位置坐标，包括：获取所述巡检设备的第一设备姿态和第一设备位置坐标，所述第一设备姿态为所述巡检设备获取所述巡检图像时的设备姿态，所述第一设备位置坐标为所述巡检设备获取所述巡检图像时的地理位置坐标，所述第一设备位置坐标为世界坐标系下的坐标；根据所述第一设备姿态和所述第一设备位置坐标，确定目标转换矩阵，所述目标转换矩阵用于表示所述巡检设备获取所述巡检图像时的像素坐标系与世界坐标系之间的转换关系；根据所述目标转换矩阵，对所述第一图像坐标进行坐标转换，得到所述第一地理位置坐标。10.一种巡检目标检测定位装置，其特征在于，包括：目标检测模块，用于检测巡检设备的目标巡检子区域内的第一巡检目标和所述第一巡检目标的第一地理位置，所述目标巡检子区域为所述巡检设备执行巡检任务的过程中巡检到的子区域；目标显示模块，用于将所述第一巡检目标，显示在巡检地图中的所述第一地理位置处。11.一种计算机设备，其特征在于，包括存储器、处理器，所述存储器和连接至所述处理器，所述处理器用于执行存储在所述存储器中的一个或多个计算机程序，所述处理器在执行所述一个或多个计算机程序时，使得所述计算机设备实现如权利要求1-9任一项所述的方法。12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-9任一项所述的方法。

技术总结
本申请提供巡检目标检测定位方法、装置、设备及存储介质，方法包括：检测巡检设备的目标巡检子区域内的第一巡检目标和所述第一巡检目标的第一地理位置，所述目标巡检子区域为所述巡检设备执行巡检任务的过程中巡检到的子区域；将所述第一巡检目标，显示在巡检地图中的所述第一地理位置处。该技术方案无需用户实时监控巡检画面。实时监控巡检画面。实时监控巡检画面。


技术研发人员：李亚学 汪康利 许佳
受保护的技术使用者：深圳市道通智能航空技术股份有限公司
技术研发日：2023.06.30
技术公布日：2023/10/8