一种面向飞机表面检查的无人机自适应覆盖路径规划方法

1.本发明涉及无人机路径规划技术，具体涉及一种面向飞机表面检查的无人机自适应覆盖路径规划方法。


背景技术：

2.随着无人机技术的发展，无人机被应用到越来越多的领域，例如搜寻或探索，震后灾害分析以及结构巡检等任务中，利用无人机拍摄结构表面图像并进行数据分析，从而识别结构表面缺陷是近年来无人机的热门应用领域。为完整采集被测飞机表面信息，首先要解决的问题是合理的规划出覆盖检测任务区域的航线，即无人机全覆盖路径规划问题。
3.覆盖路径规划(coverage path planning，cpp)是指机器人满足特定作业要求而生成由起始点、终止点和一组路径点组成的覆盖路径，覆盖路径规划本质上不是一种算法，而是一种算法的集合体，从而应对不同的作业任务。无人机作为一种多功能、高效率作业平台，能够广泛应用于多种结构的外观损伤检测与分析任务中，其中就包括对于结构安全性至关重要的飞机表面进行损伤检查，通过无人机搭载云台相机可以实现对飞机表面蒙皮裂纹、腐蚀，紧固件缺失等损伤的视觉检测，针对飞机表面安全性检查任务，对检查无人机进行合理的覆盖路径规划能够有效提升检查效率和质量。
4.面向飞机表面检查的无人机覆盖路径规划基于已有待检查飞机点云模型，建立工作空间并采样生成视点样本集合，生成一组可行的无人机覆盖网路从而解决集合覆盖问(set cover problem，scp)。传统覆盖路径规划算法在离散采样视点样本时采用固定离散分辨率，视点样本分布均匀，造成飞机表面部分复杂曲面区域覆盖率低，覆盖精度差，而部分飞机表面区域重复覆盖，导致规划路径冗长，单视点覆盖率低等问题。采用自适应变离散分辨率可以减少重复覆盖区域视点，增加复杂曲面区域视点样本数量，提升飞机表面多种曲面覆盖效率和精度。而图搜索算法作为一种高效率覆盖遍历算法，相较于其他集合覆盖问题算法，通过建立搜索空间，能够避免视点样本集合过大造成路径规划算法计算量大，求解速度慢等问题。诸多实验结果表明，自适应视点生成算法结合图搜索算法在对多种飞机点云模型进行覆盖路径规划时取得了更好的结果。


技术实现要素：

5.发明目的：本发明的一个目的是提供面向飞机表面检查的无人机自适应覆盖路径规划方法。基于已有待检查飞机点云模型，对俯仰角和偏航角两个方向自适应离散化采样增强视点样本集，采用视锥体剔除和遮挡剔除获取视点覆盖点云，计算覆盖点云深度均值和方差，进而构造包含覆盖点云深度均值和方差的加权启发奖励函数优化路径搜索策略，降低图像采集畸变率，提供了一种适用于飞机表面检查的无人机覆盖路径规划方法。
6.本发明的技术方案在于。
7.(1)一种面向飞机表面检查的无人机自适应覆盖路径规划方法，方法如下：首先，采用曲面自适应离散化采样方法采样得到位姿样本集和对应视点样本集，
对视点样本进行筛选。
8.其次，按离散分辨率对视点样本分类，进行类内连接和类间连接，并对所有连接进行障碍剔除，构建路径搜索空间。
9.之后构建加权启发奖励函数，采用加权启发奖励函数在搜索空间中执行路径搜索，覆盖评估模块同步计算路径覆盖率，达到目标覆盖率后停止路径搜索，输出无人机检查路径。
10.(2)一种面向飞机表面检查的无人机自适应覆盖路径规划方法，包括以下步骤：s1：建立无人机位姿样本集和相机视点样本集，根据视点覆盖点云深度采用自适应离散分辨率对工作空间、偏航角和俯仰角离散化采样，根据距离，碰撞和覆盖率筛选样本。
11.s2：构建路径搜索空间，首先按离散分辨率对视点样本分类，根据最大连接半径进行类内连接，根据最近邻原则进行类间连接，之后对所有连接进行碰撞剔除，建立搜索空间。
12.s3：构建加权启发奖励函数，将路径距离、转向角度、视点覆盖率、覆盖精度进行加权建立启发式奖励函数用于下一步的路径搜索。
13.s4：执行路径搜索，在由位姿样本集、对应视点样本集和连接构成的搜索空间中进行路径搜索，采用s3中构建的加权启发奖励函数选择路径选择。
14.s5：评估路径覆盖率，在执行s4步骤搜索路径的同时采用体素体积法对当前路径覆盖率进行评估，在当前路径覆盖率满足目标覆盖率时停止路径搜索，输出无人机检查路径。
15.优选的技术方案，在所述步骤s1中提出了自适应离散分辨率采样方法，通过不同离散分辨率采样减少已覆盖区域视点样本，增加未覆盖和覆盖精度低的复杂曲面区域样本数量，提升复杂曲面覆盖率和覆盖精度，增强视点样本集。
16.优选的技术方案，在所述步骤s2中按离散分辨率对视点样本进行聚类，根据最大连接半径连接类内样本，根据最近邻原则连接类间样本，减少连接数，提升后续路径搜索效率。
17.优选的技术方案，在所述步骤s3中，构建了包含覆盖精度的加权启发奖励函数，将路径搜索引向低覆盖率、低覆盖精度的区域。
18.优选的技术方案，在所述步骤s4中，通过飞机点云下采样建立体素栅格，根据路径上视点样本覆盖的体素体积计算路径覆盖率。
19.本专利采用视点覆盖点云深度均值和方差描述覆盖精度，提出了一种基于覆盖精度的自适应离散采样方法，构建一个基于加权启发奖励函数的覆盖路径搜索框架，能够提升飞机复杂曲面检查精度。
附图说明
20.图1为本发明方法流程图；图2为本发明自适应离散采样示意图；图3为俯仰角与偏航角离散采样示意图；图4为本发明样本连接示意图；
图5为本发明搜索空间示意图；图6为本发明视锥体及坐标系示意图；图7为本发明遮挡体素剔除示意图；图8为样本覆盖率计算流程图；实施方式
21.下面，结合附图对本发明做进一步详细说明。
22.本专利的整体流程如图1所示。首先根据已有的待检测飞机点云模型建立三维工作空间，视点生成模块采用自适应离散分辨率对输入的工作空间在位置、偏航角和俯仰角三个维度进行离散采样获得视点样本集，并根据距离、碰撞和覆盖率参数对视点样本进行筛选剔除搜索空间构建模块对筛选后的视点样本按照距离或离散分辨率进行连接，对所有连接进行碰撞剔除从而构建路径搜索空间；构建包含路径距离、转向角度、视点覆盖率和覆盖精度的加权启发奖励函数，路径搜索模块根据加权启发奖励函数在搜索空间中进行路径搜索；覆盖评估模块通过飞机点云下采样建立体素栅格，在路径搜索过程中采用体素体积法计算单个视点覆盖率、覆盖精度和路径总覆盖率，当路径总覆盖率满足目标覆盖率时停止路径搜索并输出路径。
23.本专利视点生成模块的设计上采用了自适应离散分辨率而不是直接采用固定离散分辨率进行视点离散采样，采用逐级增加的离散分辨率对工作空间进行迭代采样生成视点样本，每轮采样前将飞机点云未被覆盖或覆盖精度较低的区域设定为工作空间，以更高离散分辨率生成足够多的视点样本实现飞机复杂曲面区域高精度覆盖，如图2所示，采用高分辨率生成少量视点样本实现覆盖，而飞机机翼及发动机包含大量复杂曲面，采用高离散分辨率生成大量实现样本实现高精度覆盖，相对于固定离散分辨率采样，自适应视点采样减少已覆盖区域视点，增加难以有效覆盖的复杂曲面区域样本数量，提升复杂曲面覆盖率和覆盖精度，搜索得到的覆盖路径更加逼近最优路径。
24.如图3所示，本专利进行离散采样生成视点时在位置和偏航角两个离散维度基础上增加俯仰角离散采样，根据自适应离散分辨率设定角度间隔，采样生成不同偏航角度和俯仰角度的视点样本，增加俯仰角离散可以降低覆盖点云深度方差，提高机翼和尾翼等复杂曲面覆盖精度，增强视点样本集；通过无人机运动实现视点样本位置和偏航角控制，无人机搭载的相机云台可以实现视点样本偏航角控制。
25.如图4所示，本专利按照离散分辨率对视点样本和对应无人机位姿样本进行分组，并针对组内样本连接和组间样本连接采用不同策略。组内样本连接根据最大连接间距连接所有相邻无人机位姿样本，组间样本连接采用最近邻原则进行单连接，即连接稍低离散分辨率样本组中距离最近的位姿样本，选取稍低离散分辨率样本组建立k维树，采用k维树进行最近邻搜索可以显著提高最近样本搜索速度；与采取样本全连接策略相比，针对组内和组间样本连接采用不同连接策略可以减少连接数量，降低搜索空间复杂度，提高路径搜索效率。
26.本专利采用图搜索算法在搜索空间中执行路径搜索，与其它旅行商问题(travelling salesman problem，tsp)算法相比，图搜索算法可以处理大型集合数据如位姿样本集和视点样本集。如图5所示，位姿样本用于定义无人机位置和姿态，视点样本用于定义的对应无人机相机位置和姿态，位姿样本集、对应视点样本集和连接组成路径搜索空
间，通过构建加权启发奖励函数并作为启发规则在搜索空间中进行覆盖路径搜索。
27.本专利所提出的启发式奖励函数r除了将距离代价δd、姿态角代价δa和覆盖率c
acc
进行加权计算外，还包含了视点样本覆盖精度，而覆盖精度由视点样本所覆盖飞机点云深度均值和方差z
δ
定义，采用该加权启发奖励函数依次选取下一路径点可以最小化转向角度δa和距离δd，并使下一路径点覆盖率c
acc
和覆盖精度最大化，具体公式如下：
28.其中d
′
、a
′
、z
δ
′
分别为归一化后的距离代价、姿态角代价、覆盖点云深度均值和方差，β1、β2、β3分别为距离代价、姿态角代价、覆盖精度代价加权系数。
29.启发式奖励函数r中距离代价δd采用当前位姿样本与待选连接对应位姿样本的欧式距离，姿态角代价δa采用俯仰角变化时间代价和偏航角变化时间代价较大者，公式如下：时间代价和偏航角变化时间代价较大者，公式如下：
30.其中，为最大俯仰角速度，为无人机云台最大俯仰角速度；如图6所示，根据视点样本位姿信息及相机视场参数建立视锥体，建立相机坐标系，并将x轴指向待测飞机表面，形成由图中所示6个端面包围起来的视锥体空间，对世界坐标系下的飞机点云坐标转换到相机坐标系下，剔除视锥体空间外点云，记飞机点云一点p在世界坐标系中坐标为xw＝[xw，yw，zw]
t
，点p在相机坐标系中能够的坐标为xc＝[xc，yc，zc]
t
，坐标转换公式如下：xc＝rxw+t
[0031]
其中r为相机坐标系旋转矩阵，t为相机坐标系平移向量；本专利采用体素体积法计算视点样本覆盖率c
acc
，如图7所示，对飞机点云进行下采样建立体素栅格，对视锥体内飞机点云进行下采样建立局部体素栅格并创建一组从视点样本射向每个体素中心的光线，采用光线跟踪算法检查对应体素是否被其它体素遮挡，剔除被遮挡体素包围盒内飞机点云，输出视点样本覆盖点云。
[0032]
如图8所示，对整个飞机点云进行下采样建立全局体素栅格，对视点样本覆盖点云采用光线跟踪算法计算出新覆盖的体素以及覆盖点云深度，根据新覆盖体素体积得到视点样本覆盖率c
acc
，公式如下：
[0033]
其中，v
addvoxel
为视点覆盖点云新占用的体素体积，v
allvoxel
为飞机点云模型所有点云占用的体素体积；本专利采用覆盖点云深度均值和深度方差z
δ
共同描述覆盖精度，更低的覆盖点云深度表明无人机相机采集图像距离更近，从而获得更加清晰的飞机表面图像，覆盖点云深度方差表明相机拍摄的飞机表面与成像平面的平行度，深度方差z
δ
越小则使得采集图像的畸变率更低，采用深度均值和深度方差z
δ
共同描述覆盖精度能够更加满足覆盖曲面的
覆盖要求，覆盖点云深度均值和方差z
δ
具体计算公式如下：具体计算公式如下：
[0034]
其中，pi为视点覆盖的飞机点云中一点，为点pi深度值，k
cov
为视点覆盖点云数量。
[0035]
本专利采用图搜索算法在预先构建的搜索空间中迭代执行最优路径选择，如图8所示，首先选择距离无人机起始位置最近的姿态样本作为起始点，将所有连接对应位姿样本作为待选路径点，根据加权启发奖励函数r计算所有待选路径点奖励值，选择奖励值最大的姿态样本作为下一路径点，更新当前路径点并计算当前路径覆盖率，循环执行上述路径搜索步骤，当路径覆盖率满足覆盖要求时退出搜索并输出最终搜索路径。

技术特征：
1.一种面向飞机表面检查的无人机自适应覆盖路径规划方法，其特征在于包括视点生成模块、搜索空间构建模块，路径搜索模块和覆盖评估模块；其中视点生成模块基于飞机点云模型进行曲面自适应离散采样生成位姿样本集和对应视点样本集，并对样本进行筛选；搜索空间构建模块连接位姿样本构建搜索空间；路径搜索模块根据加权启发奖励函数在搜索空间中进行路径搜索；覆盖评估模块在路径搜索过程中采用体素体积法计算路径覆盖率，达到目标覆盖率后停止路径搜索。2.根据权利要求1所述的面向飞机表面检查的无人机自适应覆盖路径规划方法的视点生成模块，其特征在于，采用视点覆盖点云深度均值和方差描述视点覆盖精度，基于视点覆盖精度采用不同离散化分辨率采样生成无人机位姿样本集和对应相机视点样本，对所有位姿样本和视点样本根据距离、碰撞和视点覆盖率进行筛选，输出位姿样本集和对应视点样本集。3.根据权利要求1所述的面向飞机表面检查的无人机自适应覆盖路径规划方法的搜索空间构建模块，其特征在于，按离散分辨率对视点样本分类，根据最大连接半径连接类内样本，根据最近邻原则连接类间样本，对所有连接进行碰撞剔除，构建路径搜索空间。4.根据权利要求1所述的面向飞机表面检查的无人机自适应覆盖路径规划方法的路径搜索模块，其特征在于，采用加权启发奖励函数在搜索空间中进行路径搜索：s1：设定距离初始位置最近的位姿样本为路径搜索起点；s2：计算当前位姿与待选视点样本对应位姿距离代价δd和姿态角代价δa，公式如下：距离代价δd和姿态角代价δa，公式如下：其中，为最大俯仰角速度，为无人机云台最大俯仰角速度；生成待选视点样本覆盖点云集合p
cov
，覆盖点云深度均值和方差z
δ
和计算覆盖率c
acc
，公式如下：公式如下：其中，p
i
为视点覆盖的飞机点云中一点，为点p
i
深度值，k
cov
为视点覆盖点云数量；其中，v
addvoxel
为视点覆盖点云新占用的体素体积，v
allvoxel
为飞机点云模型所有点云占用的体素体积；s3：构建加权启发奖励函数并计算所有待选视点奖励值r，奖励函数中的距离代价加权项和姿态角代价加权项降低无人机路径的实际飞行代价，覆盖精度加权项将路径搜索引向
未覆盖和覆盖精度低的区域，具体公式如下：其中d
′
、a
′
、z
δ
′
分别为归一化后的距离代价、姿态角代价、覆盖点云深度均值和方差，β1、β2、β3分别为距离代价、姿态角代价、覆盖精度代价加权系数；选取r值最大的待选视点样本对应位姿为下一路径点，重复s2和s3步骤，达到目标覆盖率后停止路径搜索。5.根据权利要求4所述的面向飞机表面检查的无人机自适应覆盖路径规划方法，其特征在于，所述生成视点样本覆盖点云集包括视锥体剔除和遮挡剔除两个步骤：s1：根据无人机搭载的相机参数和视点样本位姿信息建立视锥体空间，剔除视锥体外点云；s2：对视锥体内点云进行下采样建立体素栅格，采用光线跟踪剔除被遮挡点云。6.根据权利要求1所述的面向飞机表面检查的无人机自适应覆盖路径规划方法，其特征在于，在路径搜索时采用体素体积法计算当前路径覆盖率c
sum
，公式如下：其中，为路径上单个视点样本覆盖的点云集合，为点云集合占用的体素体积，v
allvoxel
为飞机点云模型所有点云占用的体素体积，p为路径上所有视点样本覆盖点云集合。

技术总结
本专利公开了一种面向飞机表面检查的无人机自适应覆盖路径规划方法，采用无人机搭载相机进行飞机表面损伤的视觉检查；视点生成模块基于已有飞机点云模型进行曲面自适应离散化采样生成位姿样本集和对应视点样本集，并根据距离，碰撞和覆盖面积进行样本筛选；搜索空间构造模块对筛选后的位姿样本进行连接构建无人机搜索空间；路径搜索模块根据构建的加权启发奖励函数在搜索空间中进行路径搜索；覆盖评估模块在路径搜索时中采用体素体积法计算覆盖率，最后生成满足目标覆盖率的无人机损伤检查路径。检查路径。检查路径。


技术研发人员：陈威 王从庆 慕佳伟
受保护的技术使用者：南京航空航天大学
技术研发日：2023.04.07
技术公布日：2023/9/22