一种适用于丛林遮挡的人体目标搜寻系统及其搜寻方法

1.本发明涉及无人机技术领域，具体为一种适用于丛林遮挡的人体目标搜寻系统及其搜寻方法。


背景技术：

2.户外旅游一直是世界各国重点关注的经济活动，而更多的游客会选择更具有挑战性的山地旅游。因为自然因素导致的人员被困案例近些年来越发频繁，根据研究显示，当游客因为雪崩而被掩埋超过半小时时，存活率将降低至34％左右。如何在复杂环境，尤其是野外遮挡环境下对被困人员进行救援就显得尤为重要。因此，快速高效地发现伤员一直是急救医学领域的重点。在极端环境下，可能存在救援人员无法精准定位伤员位置或无法及时赶到现场的潜在风险，这将极大地耽误救援的黄金时间。
3.使用无人机(uav，unmanned aerial vehicle)在低空飞行是解决灾后幸存者和户外受伤人员搜救的重要手段，可以有效提高搜救的效率。无人机可以携带多种传感器，如高清摄像头、热成像相机、激光测距仪等设备，同时具有高机动性、快速到达指定区域进行作业等功能，同时使用无人机可以在规划好航线后自主、准确地执行任务，极大地避免救援人员因为极端环境所带来的额外风险。基于传统可见光光学相机在面对山地等复杂环境以及伤员部分遮挡的情况下往往会因为光线不足而表现不佳，难以获得更多关于伤员的图像信息，从而不能满足实际的搜救要求，为此亟需一种基于人工智能的可克服部分遮挡条件的无人机挂载红外相机的伤员搜救系统及其搜救方法。
4.对比现有技术中：
5.1、一种具有红外热成像功能的无人机及无人机系统(cn208335020u)，该方案包含机体、图像识别模块、红外热成像装置等装置，可以实现无人机在夜间精准降落的问题。该方案具备灵活性强、安装方便等特点，同时有效保护地面人员的安全。但该方案中所涉及的热成像功能在进行搜救等工作时存在误差较大，无法准确识别人体的情况，识别准确率低，进而影响整体的搜救效率；
6.2、基于ai的无人机搜救方法、装置、设备及存储介质(cn114721421a)，该方案提出了一种基于ai的无人机搜救方法、装置、设备及存储介质，该方案通过接受服务器发送的搜救任务，制定无人机飞行路线，在指定区域进行搜索地面终端设备发出的信号，获取带搜救终端的位置信息，并将获取到的终端设备位置信息实时回传到指挥部，为地面搜救人员的下一步搜救提供精确的位置信息。但该方案必须依赖地面被搜救人员的终端设备实时发送信息，当终端设备因故障而无法正常工作时，则该方案将无法正常进行；
7.3、用于海上无人机的智能搜救方法及系统(cn112319741a)，该方法提出了一种用于海上无人机智能搜救的方法及系统，该方法在服务器生成搜救任务后，无人机接收该搜救任务并通过摄像头采集海面图像与之比对，判断该目标是否为待搜救目标，如果是待搜救目标，则无人机生成搜救任务，并将该搜救任务发送至服务器，服务器将该搜救任务与搜救人员特征数据派送给最近的搜救船进行营救。但该方案存在如待搜救人员身着衣物与海
面颜色相近或因海面大雾等因素导致无法准确拍摄海面，则可能存在比对失败的情况。


技术实现要素：

8.本发明的目的在于提供一种适用于丛林遮挡的人体目标搜寻系统及其搜寻方法，以解决上述背景技术中提出的问题。
9.为实现上述发明目的，本发明采用如下技术方案：
10.本发明提供的一种适用于丛林遮挡的人体目标搜寻系统，包括无人机，还包括：
11.边缘计算设备，所述边缘计算设备通过串口连接于无人机中；
12.红外相机，设置于所述无人机的底部，且所述红外相机上的镜头竖直向下；
13.其中，所述边缘计算设备的内部设置有人工智能模型。
14.优选的，所述人工智能模型包括卷积层、池化层和全连接层。
15.优选的，所述人工智能模型使用yolov5作为该模型的算法，使用预训练模型作为初始训练模型。
16.优选地，所述yolov5的网络结构包含输入端、backbone、neck、head。
17.优选地，所述yolov5采用ciou_loss作为bounding box的损失函数；其中，ciou_loss通过重叠面积、中心点距离、长宽比来确定预测框；ciou_loss的计算方法如下：
18.ciou_loss＝1-ciou
19.其中，ciou的计算方法为：
[0020][0021]
其中：b表示预测框中心坐标的参数，b'表示真实目标的边界框中心点的参数；l表示预测框与真实目标边界框的最小外接矩形对角线的长度；ρ表示b和b'的距离，假设b的坐标为(x1,y1)，b'的坐标为(x2,y2)，则ρ的计算方法为：
[0022][0023]
在ciou_loss的计算式中，iou表示损失函数，其中a表示预测框，b表示真实框，即iou表示真实框与预测框相交的面积除以相并的面积；其计算方法为：
[0024][0025]
在ciou_loss的计算式中，α和μ表示长宽比，其中w、h表示预测框的宽和高，w'、h'表示真实框的宽和高；其计算公式为：
[0026][0027]
本发明还提供一种采用上述适用于丛林遮挡的人体目标搜寻系统进行搜寻的搜寻方法，包括以下步骤：
[0028]
s1：中心服务器向无人机平台发送搜救任务，其中，搜救任务包括目标搜索的大致区域、目标搜索区域数字高程地图以及待搜救人员数量；
[0029]
s2：无人机接收任务，并根据任务的目标搜索区域及目标搜索区域数字高程地图等信息，根据蚁群算法中的路径规划算法规划“弓”型搜索航线，设置航线重叠率、飞行速
度、飞行高度等信息；
[0030]
s3：无人机根据上述规划的搜索航线进行飞行，在飞行过程中，无人机挂载的红外相机镜头竖直向下，在测温区间为-20℃——150℃的高增益模式下以每秒5张的频率进行拍摄，拍摄出照片尺寸为1280*1024尺寸的照片，并将拍摄到的图片通过上述串口实时传输到机载边缘计算机中，并使用上述人工智能模型对图片进行实时识别；
[0031]
s4：对于部分遮挡的目标，在航线内飞行时拍摄并识别到疑似目标后，暂停当前的飞行任务，在拍摄点进行环绕飞行，对目标点进行精确拍摄，并将拍摄到的图片通过上述串口实时传输到机载边缘计算机中，并使用上述人工智能模型对图片进行实时识别，同时使用图像均方误差进行判定，如果识别精确度超过阈值，则认为该疑似目标高度可信，则将目标红外图像和精确的位置信息传回中心服务器，进行人工判别，如果判别为待搜救目标，则由中心服务器根据贪心算法对地面搜救人员进行任务分配，从而得到最优的地面救援任务，如果识别的精度未超过阈值，则认为该目标不是人体目标，即不是待搜救目标；
[0032]
s5：继续执行飞行任务，并重复上述步骤，直到飞行任务结束，无人机执行返航命令，完成本架次内的搜寻任务；
[0033]
其中，s4中图像均方误差(v[i])的计算方法为：
[0034]
随机变量s服从e(s)＝μs，
[0035]
被遮挡变量oi服从e(oi)＝μs，
[0036]
参数d遵循0-1分布；
[0037]
所有变量独立同分布且与zi同分布则：ii＝zioi+(1-zi)s
[0038][0039]
则：
[0040][0041]
因为：
[0042][0043][0044]
则：
[0045][0046]
与现有技术相比，以上一个或多个技术方案存在以下有益效果：
[0047]
本发明针对在户外旅游时因为各种意外导致遇险，在需要地面人员前往搜救时，因为光照等因素导致可见光相机无法拍摄到待营救目标，又因地理位置等因素导致树木等
遮挡待营救人员而导致待营救目标不能完整暴露在红外相机下时，利用基于人工智能的可克服部分遮挡条件的无人机挂载红外相机的伤员搜寻方法即可对待营救人员进行有效搜寻并营救。
附图说明
[0048]
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
[0049]
此外，术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如，可以是固定连接，可拆卸连接，或整体式构造；可以是机械连接，或电连接；可以是直接相连，或者是通过中间媒介间接相连，又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
[0050]
图1是本发明无人机的结构示意图；
[0051]
图2是本发明的yolov5网络结构图；
[0052]
图3是本发明的“弓”型航线规划图；
[0053]
图4是本发明的搜救任务流程图；
[0054]
图5是本发明的无人机搜救示意图；
[0055]
图6是本发明的部分遮挡环境下红外相机拍摄图片经人工智能模型识别后目标标注图；
[0056]
图中：
[0057]
1、无人机；2、边缘计算设备；3、串口；4、红外相机。
具体实施方式
[0058]
为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
[0059]
本发明提出一种适用于丛林遮挡的人体目标搜寻系统及其搜寻方法，具体为一种基于人工智能的可克服部分丛林遮挡条件的无人机挂载红外相机的人体目标搜寻系统及其搜寻方法。
[0060]
为实现上述目的，本发明采用了如下技术方案：
[0061]
首先，搜救前准备：
[0062]
1、采集数据集。据我们调查，当前公开的通过无人机拍摄数据集主要集中在楼房、船舶等特定使用场景，但使用红外相机拍摄的图像非常少，主要集中在车辆、路面行人等，针对部分遮挡下的人类数据集目前尚无公开数据集。针对此情况，该方案将采集针对部分遮挡下的人类的数据集。收集数据集的具体方法如下：
[0063]
(1)确定实验飞行高度。依据无人机性能设计、红外相机分辨率以及人体目标的实际大小，选定距离地面相对高度75m作为实验高度进行飞行；
[0064]
(2)确定拍摄时间。根据红外目标的特性，拍摄时间应尽可能选在实验者与环境温
度相差较大的时间进行。故拍摄时间选定在日出前后。同时为了提高数据集的鲁棒性，拍摄照片应包含少部分的实验者与环境温度相差不大的场景；
[0065]
(3)确定拍摄场地。实验区域应尽可能地包含各种地面场景，包括但不限于水泥地、草地、林地、土地。同时为提高实验人员的舒适性，应尽可能选择试验区域平整，没有较大斜坡的场地；
[0066]
(4)同时，为了提高数据集的鲁棒性，收集到的数据集应包含部分无遮挡的情况。即数据集中应有70％的图片为部分遮挡，30％的图片为无遮挡；
[0067]
(5)实验人员应变换不同姿势，以模拟待营救伤员可能出现的姿态。实验者应保持日常生活中的各种姿态，包括平躺、侧躺、蜷缩、“大”字、坐立、站立等姿势；
[0068]
(6)在规划飞行航线时，应保证航线重叠率不少于80％。该方案可以有效提高在75m高度下拍摄的红外图像中包含实验人员的概率，从而提高收集数据的准确性和完整性。
[0069]
2、对收集到的数据进行处理。
[0070]
(1)对收集到的图片进行预处理。查看收集到的图片信息，将其中无被摄目标、被摄目标模糊等因素导致图片无法有效反映实验人员红外信息及状态信息的图片剔除；
[0071]
(2)对收集到的图片进行标注。依据人工智能传入数据的格式要求，使用数据标注工具(labelimg、labelme等)对收集到的图片进行标注，并将标注结果以文本格式(txt)进行保存；
[0072]
(3)标注结果检查。在完成数据标注后，对所有的标注结果进行检查，以保证数据标注结果的准确性。
[0073]
3、训练人工智能模型。该人工智能模型yolov5由20个卷积层、1个池化层和1个全连接层组成。将收集到的数据集依据人工智能传入数据的格式要求传入，使用yolov5作为该模型的算法，使用预训练模型作为初始训练模型，该方法可以大幅减少训练轮数，使得训练更快地收敛，从而提高识别精度，减少训练总时长。该人工智能模型在高性能计算机(cpu：intel core i9-10900k，gpu：nvidia 3080)执行训练。其中，训练参数：epoch＝100；batch-size＝32；single-cls＝
‘
sgd’；learning rate＝0.01等。训练后的模型大小为40.1mb，在上述高性能计算机上对单张图片的推理速度为17ms，在coco评价指标下的平均精度为
[0074]
yolov5的网络结构包含输入端、backbone、neck、head：
[0075]
(1)输入端。在yolov5的输入阶段，引入mosaic数据增强技术。mosaic数据增强算法将多张图片整合成一张图片，使模型能在更小的范围内有效地识别目标。该算法参照了cutmix数据增强算法。cutmix数据增强算法主要通过将两张图片进行拼接，而mosaic数据增强算法则通常使用四张图片进行拼接。两者的算法原理在很大程度上是一致的。
[0076]
(2)backbone。focus模块在yolov5中负责在图片被送至backbone前实施切片操作。此操作的具体过程是，从每张图片的一个像素点中获取一个值。这与传统的相邻下采样模式类似，从而生成四张图片。这四张图片尽管形态相似，但内容并无损耗。借此方式，图像的宽、高信息被集中至通道空间，输入通道得以扩充四倍。所以，与原图像三通道模式相比，这种拼接模式将输入通道扩展为12通道。最终，经过卷积操作处理后，新生成的图片将保留无信息损失的特征，而生成二倍下采样特征图。
[0077]
(3)neck。yolov5采用fpn+pan的结构，但是在它的基础上做了一些改进操作：
yolov5的neck中，采用cspnet设计的csp2结构，从而加强了网络特征融合能力。
[0078]
(4)head。yolov5采用ciou_loss作为bounding box的损失函数。其中，ciou_loss通过重叠面积、中心点距离、长宽比来确定预测框。ciou_loss的计算方法如下：
[0079]
ciou_loss＝1-ciou
[0080]
其中，ciou的计算方法为：
[0081][0082]
其中：b表示预测框中心坐标的参数，b'表示真实目标的边界框中心点的参数；l表示预测框与真实目标边界框的最小外接矩形对角线的长度；ρ表示b和b'的距离，假设b的坐标为(x1,y1)，b'的坐标为(x2,y2)，则ρ的计算方法为：
[0083][0084]
在ciou_loss的计算式中，iou表示损失函数，其中a表示预测框，b表示真实框，即iou表示真实框与预测框相交的面积除以相并的面积。其计算方法为：
[0085][0086]
在ciou_loss的计算式中，α和μ表示长宽比，其中w、h表示预测框的宽和高，w'、h'表示真实框的宽和高。其计算公式为：
[0087][0088][0089]
4、将上述训练的人工智能模型转换成onnx(open neural network exchange)格式，并使用onnxruntime工具部署在arm架构的边缘计算设备中，并将该设备通过串口连接的方式连接在搜救无人机中；
[0090]
基于上述搜救前的准备工作，本发明提出一种适用于丛林遮挡的人体目标搜寻系统，包括无人机1，还包括：
[0091]
边缘计算设备2(即上述边缘计算设备)，所述边缘计算设备2通过串口3连接于无人机1中；
[0092]
红外相机4，设置于所述无人机1的底部，且所述红外相机4上的镜头竖直向下；其中，所述边缘计算设备2的内部设置有人工智能模型，该人工智能模型即为上述搜救前准备工作中的人工智能模型。
[0093]
同时，基于上述搜救前的准备工作，本发明还提出一种采用上述适用于丛林遮挡的人体目标搜寻系统进行搜寻的搜寻方法，包括以下步骤：
[0094]
s1：中心服务器向无人机平台发送搜救任务，其中，搜救任务包括目标搜索的大致区域、目标搜索区域数字高程地图(dem，digital elevation model)以及待搜救人员数量；
[0095]
s2：无人机1接收任务，并根据任务的目标搜索区域及目标搜索区域数字高程地图等信息，根据蚁群算法中的路径规划算法规划“弓”型搜索航线，设置航线重叠率、飞行速
度、飞行高度等信息；
[0096]
s3：无人机1根据上述规划的搜索航线进行飞行，在飞行过程中，无人机1挂载的红外相机4镜头竖直向下，在测温区间为-20℃——150℃的高增益模式下以每秒5张的频率进行拍摄，拍摄出照片尺寸为1280*1024尺寸的照片，并将拍摄到的图片通过上述串口3实时传输到机载边缘计算机中，并使用上述人工智能模型对图片进行实时识别；
[0097]
s4：对于部分遮挡的目标，在航线内飞行时拍摄并识别到疑似目标后，暂停当前的飞行任务，在拍摄点进行环绕飞行，对目标点进行精确拍摄，并将拍摄到的图片通过上述串口3实时传输到机载边缘计算机中，并使用上述人工智能模型对图片进行实时识别，同时使用图像均方误差(v[i])进行判定，如果识别精确度超过阈值，则认为该疑似目标高度可信，则将目标红外图像和精确的位置信息传回中心服务器，进行人工判别，如果判别为待搜救目标，则由中心服务器根据贪心算法对地面搜救人员进行任务分配，从而得到最优的地面救援任务，如果识别的精度未超过阈值，则认为该目标不是人体目标，即不是待搜救目标；
[0098]
s5：继续执行飞行任务，并重复上述步骤，直到飞行任务结束，无人机1执行返航命令，完成本架次内的搜寻任务；
[0099]
其中，s4中图像均方误差(v[i])的计算方法为：
[0100]
随机变量s服从e(s)＝μs，
[0101]
被遮挡变量oi服从e(oi)＝μs，
[0102]
参数d遵循0-1分布；
[0103]
所有变量独立同分布且与zi同分布则：ii＝zioi+(1-zi)s
[0104][0105]
则：
[0106][0107]
因为：
[0108][0109][0110]
则：
[0111][0112]
综上，本发明针对在户外旅游时因为各种意外导致遇险，在需要地面人员前往搜救时，因为光照因素导致可见光相机无法拍摄到待营救目标，又因地理位置等因素导致树木等遮挡待营救人员而导致待营救目标不能完整暴露在红外相机4下时，利用基于人工智能的可克服部分遮挡条件的无人机1挂载红外相机4的伤员搜寻方法即可对待营救人员进
行有效搜寻。
[0113]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种适用于丛林遮挡的人体目标搜寻系统，其特征在于，包括无人机(1)，还包括：边缘计算设备(2)，所述边缘计算设备(2)通过串口(3)连接于无人机(1)中；红外相机(4)，设置于所述无人机(1)的底部，且所述红外相机(4)上的镜头竖直向下；其中，所述边缘计算设备(2)的内部设置有人工智能模型。2.根据权利要求1所述的适用于丛林遮挡的人体目标搜寻系统，其特征在于：所述人工智能模型包括卷积层、池化层和全连接层。3.根据权利要求1所述的适用于丛林遮挡的人体目标搜寻系统，其特征在于：所述人工智能模型使用yolov5作为该模型的算法，使用预训练模型作为初始训练模型。4.根据权利要求3所述的适用于丛林遮挡的人体目标搜寻系统，其特征在于：所述yolov5的网络结构包含输入端、backbone、neck、head。5.根据权利要求4所述的适用于丛林遮挡的人体目标搜寻系统，其特征在于：所述yolov5采用ciou_loss作为bounding box的损失函数；其中，ciou_loss通过重叠面积、中心点距离、长宽比来确定预测框；ciou_loss的计算方法如下：ciou_loss＝1-ciou其中，ciou的计算方法为：其中：b表示预测框中心坐标的参数，b'表示真实目标的边界框中心点的参数；l表示预测框与真实目标边界框的最小外接矩形对角线的长度；ρ表示b和b'的距离，假设b的坐标为(x1,y1)，b'的坐标为(x2,y2)，则ρ的计算方法为：在ciou_loss的计算式中，iou表示损失函数，其中a表示预测框，b表示真实框，即iou表示真实框与预测框相交的面积除以相并的面积；其计算方法为：在ciou_loss的计算式中，α和μ表示长宽比，其中w、h表示预测框的宽和高，w'、h'表示真实框的宽和高；其计算公式为：6.一种采用权利要求1-5任意一项所述的适用于丛林遮挡的人体目标搜寻系统进行搜寻的搜寻方法，其特征在于：包括以下步骤：s1：中心服务器向无人机平台发送搜救任务，其中，搜救任务包括目标搜索的大致区域、目标搜索区域数字高程地图以及待搜救人员数量；s2：无人机(1)接收任务，并根据任务的目标搜索区域及目标搜索区域数字高程地图等信息，根据蚁群算法中的路径规划算法规划“弓”型搜索航线，设置航线重叠率、飞行速度、飞行高度等信息；s3：无人机(1)根据上述规划的搜索航线进行飞行，在飞行过程中，无人机(1)挂载的红
外相机(4)镜头竖直向下，在测温区间为-20℃——150℃的高增益模式下以每秒5张的频率进行拍摄，拍摄出照片尺寸为12801024尺寸的照片，并将拍摄到的图片通过上述串口(3)实时传输到机载边缘计算机中，并使用上述人工智能模型对图片进行实时识别；s4：对于部分遮挡的目标，在航线内飞行时拍摄并识别到疑似目标后，暂停当前的飞行任务，在拍摄点进行环绕飞行，对目标点进行精确拍摄，并将拍摄到的图片通过上述串口(3)实时传输到机载边缘计算机中，并使用上述人工智能模型对图片进行实时识别，同时使用图像均方误差进行判定，如果识别精确度超过阈值，则认为该疑似目标高度可信，则将目标红外图像和精确的位置信息传回中心服务器，进行人工判别，如果判别为待搜救目标，则由中心服务器根据贪心算法对地面搜救人员进行任务分配，从而得到最优的地面救援任务，如果识别的精度未超过阈值，则认为该目标不是人体目标，即不是待搜救目标；s5：继续执行飞行任务，并重复上述步骤，直到飞行任务结束，无人机(1)执行返航命令，完成本架次内的搜寻任务；其中，s4中图像均方误差的计算方法为：随机变量s服从e(s)＝μ
s
，被遮挡变量o
i
服从e(o
i
)＝μ
s
，参数d遵循0-1分布；所有变量独立同分布且与z
i
同分布则：i
i
＝z
i
o
i
+(1-z
i
)s则：因为：因为：则：

技术总结
本发明公开了一种适用于丛林遮挡的人体目标搜寻系统，涉及无人机技术领域，具体包括无人机，还包括：边缘计算设备，所述边缘计算设备通过串口连接于无人机中；红外相机，设置于所述无人机的底部，且所述红外相机上的镜头竖直向下；其中，所述边缘计算设备的内部设置有人工智能模型。本发明针对在户外旅游时因为各种意外导致遇险，在需要地面人员前往搜救时，因为光照等因素导致可见光相机无法拍摄到待营救目标，又因地理位置等因素导致树木等遮挡待营救人员而导致待营救目标不能完整暴露在红外相机下时，利用基于人工智能的可克服部分遮挡条件的无人机挂载红外相机的伤员搜寻方法即可对待营救人员进行有效搜寻并营救。法即可对待营救人员进行有效搜寻并营救。法即可对待营救人员进行有效搜寻并营救。


技术研发人员：路国华 宋卓远 闫一力 梁向阳 李钊 祁富贵 雷涛 夏娟娟
受保护的技术使用者：中国人民解放军空军军医大学
技术研发日：2023.08.10
技术公布日：2023/10/20