基于无人机视频的图像定向拼接与三维建模方法与流程

1.本发明涉及应急测绘领域，尤其涉及一种基于无人机视频的图像定向拼接与三维建模方法。


背景技术：

2.应急测绘是为各类突发公共事件提供地理信息和现代测绘技术的基础支撑，是国家突发事件应急体系的重要组成部分，是指挥决策和抢险救灾的保障和依据。随着现代测绘地理信息和信息技术的发展，通过深度融合新一代信息技术与应急业务，推动应急测绘技术取得了较大提升，应急测绘机制逐步完善，并且，应急测绘保障能力显著增强。
3.灾前预防预警、应急抢险救灾和灾后恢复重建等工作对应急测绘保障服务的时效、三维建模精度等多个方面提出了更高更严的要求。
4.不过，现有的应急测绘方法存在不足：传统应急测绘方法受限于数据采集设备与数据处理技术，至少需要对现场数据进行两次采集，而且对于这些现场数据也是采取事后处理模式，比较耗时，无法满足突发应急处置对数据处理以构建三维建模的时效性需求，迫切需要采用新型应急测绘数据处理技术，提高应急数据成果获取的实时性。另外，目前虽然有基于无人机的测绘方案，但是主要应用于大面积场景的高精度测绘，而且以影像作为三维建模的数据源，这导致在应急场景下需要进行多次采集，采集耗时较长，而且其所采集数据的时效性更是难以满足应急测绘场景需求。


技术实现要素：

5.本发明所要解决的技术问题是针对上述现有技术提供一种基于无人机视频的图像定向拼接与三维建模方法。
6.本发明解决上述技术问题所采用的技术方案为：基于无人机视频的图像定向拼接与三维建模方法，其特征在于，包括如下步骤：步骤1，获取目标区域的实时视频数据和对应的初始pos航点数据；步骤2，基于相位相关法在获取的实时视频数据中选取预设数量的关键帧，并基于选取的所有关键帧生成图像序列；步骤3，对生成的图像序列做分布式空中三角测量，并使用分布式光束法平差修正初始pos航点数据，以得到高精度pos航点数据；步骤4，在生成的图像序列中选取参考影像，将选取的所有关键帧统一变换到该参考影像所在的平面，再对所有关键帧做拼接处理，得到实时拼接影像；步骤5，基于图像序列和高精度pos航点数据生成密集点云数据；步骤6，根据实时拼接影像和密集点云数据生成目标区域的三维模型；其中，该目标区域的三维模型即为针对目标区域的测绘结果。
7.改进地，在所述基于无人机视频的图像定向拼接与三维建模方法中，在步骤2中，基于相位相关法在获取的实时视频数据中选取预设数量的关键帧的过程包括如下步骤：
步骤a1，将所述实时视频数据的初始帧设定为关键帧，并设定互相关系数阈值和位移矢量阈值；步骤a2，将所述实时视频数据的当前图像帧与前一关键帧使用相位相关法计算得到该当前图像帧与前一关键帧之间的互相关系数，将所得该互相关系数与互相关系数阈值进行比较：若该互相关系数大于互相关系数阈值，判定该当前图像帧为非旋转状态，转入步骤a3；否则，判定该当前图像帧为旋转状态，且将该当前图像帧记录为旋转帧；步骤a3，对该当前图像帧做微转处理后，再将该当前图像帧与所述前一关键帧使用相位相关法计算得到该当前图像帧相对前一关键帧的位移矢量，将所得该位移矢量与位移矢量阈值进行比较：若该位移矢量大于所述位移矢量阈值，判断该当前图像帧与所述前一关键帧重叠度合适，将该当前图像帧选为关键帧；否则，将该当前图像帧作为非关键帧。
8.进一步地，在所述基于无人机视频的图像定向拼接与三维建模方法中，在将所述实时视频数据的初始帧设定为关键帧之前，还包括步骤：通过各向同性微分算子检测所述实时视频数据中各图像帧影像灰度的突变，并将存在影像灰度突变的图像帧标注为模糊帧，并剔除所有的模糊帧。
9.再改进，在所述基于无人机视频的图像定向拼接与三维建模方法中，在步骤4中，对所有关键帧做拼接处理，得到实时拼接影像的过程包括如下步骤：步骤b1，对所述图像序列进行图像特征提取和图像特征匹配处理，得到特征匹配结果；步骤b2，根据所得特征匹配结果和所述高精度pos航点数据，将所述图像序列对齐到所述参考影像上；步骤b3，分别计算出每一张关键帧与所述参考影像之间的单应性矩阵，基于该单应性矩阵并通过仿射变换将所述图像序列统一变换到所述参考影像所在的平面，并对所述图像序列内所有关键帧进行拼接处理，得到拼接网；步骤b4，使用马尔科夫随机场对所得拼接网进行能力优化，并使用局部泊松融合方法对能力优化后的拼接网进行全局匀光匀色处理，得到全局匀光匀色处理后的拼接网；其中，该全局匀光匀色处理后的拼接网即为所述实时拼接影像。
10.进一步地，在所述基于无人机视频的图像定向拼接与三维建模方法中，在步骤b2中，将所述图像序列对齐到所述参考影像上的过程包括如下步骤：在所述图像序列内获取预设数量的关键帧作为原始图像；基于获取的原始图像构建词袋模型；基于词袋模型对所述图像序列做影像配准处理，以将所述图像序列对齐到所述参考影像上。
11.改进地，在所述基于无人机视频的图像定向拼接与三维建模方法中，在步骤6中，根据实时拼接影像和密集点云数据生成目标区域的三维模型过程包括如下步骤：将所述密集点云数据叠加到预设的方格网中；对叠加到方格网中的密集点云数据进行抽稀和插值，生成目标区域的数字表面模型；
使用delaunay三角剖分算法对经抽稀和插值处理后的密集点云数据做处理，生成mesh网格模型；根据所述实时拼接影像并通过数字表面模型对所述mesh网格模型进行纹理贴图处理，生成具有纹理的三维模型；其中，该具有纹理的三维模型即为所述目标区域的三维模型。
12.与现有技术相比，本发明的优点在于：首先，该发明的基于无人机视频的图像定向拼接与三维建模方法通过获取目标区域的实时视频数据和对应的初始pos航点数据，并在实时视频数据选取出所有关键帧以生成图像序列，而后对图像序列做分布式空中三角测量，并使用分布式光束法平差修正初始pos航点数据，得到高精度pos航点数据，在图像序列中选取参考影像，将选取的所有关键帧统一变换到该参考影像所在的平面，再对所有关键帧做拼接处理，得到实时拼接影像；再基于图像序列和高精度pos航点数据生成密集点云数据，并且根据实时拼接影像和密集点云数据生成目标区域的三维模型；其中，该目标区域的三维模型即为针对目标区域的测绘结果。如此，实现了利用摄影测量和计算机视觉技术，对无人机采集的视频图像序列进行实时定向拼接处理，并结合无线网络数据传输技术，实现无人机影像的实时传输、拼接与重建，实时生成三维模型。本发明时效性高，在救援行动、灾害评估等应急测绘方面具有广泛的应用前景，可有效提高应急响应能力和救援效果。
13.其次，该发明能够实现无人机视频实时定向拼接与三维重建，优化传统的基于无人机的应急数据获取流程，能够实现应急现场的正射影像和三维模型的快速构建，能够做到“边飞边建、只飞一次”，提高了应急测绘数据的利用效益和时效性。
附图说明
14.图1为本发明实施例中基于无人机视频的图像定向拼接与三维建模方法的流程示意图；图2为本发明实施例中目标区域的实时视频数据示意图；图3为本发明实施例中的密集点云数据示意图；图4为本发明实施例中所得目标区域的三维模型示意图；图5为本发明实施例中将图像序列对齐到参考影像上后所得影像的示意图；图6为本发明实施例中所得目标区域的数字表面模型示意图。
具体实施方式
15.以下结合附图实施例对本发明作进一步详细描述。
16.本实施例提供一种基于无人机视频的图像定向拼接与三维建模方法。具体地，参见图1所示，该实施例的基于无人机视频的图像定向拼接与三维建模方法包括如下步骤1~6：步骤1，获取目标区域的实时视频数据和对应的初始pos航点数据；其中，目标区域的实时视频数据可以是通过无人机平台搭载的高性能摄像设备根据应急测绘任务需求实时采集的，实时视频数据是连续的单帧影像；初始pos航点数据则是通过gnss/imu组合获取的；例如，目标区域的实时视频数据参见图2所示；pos航点数据主要包括gnss数据和imu数
据，即倾斜摄影测量中的外方位元素：纬度、经度、高程、航向角（phi）、俯仰角（omega）及翻滚角（kappa）。gnss数据一般用x、y、z表示，代表了飞机在飞行中曝光点时刻的地理位置；imu数据主要包含了航向角、俯仰角及翻滚角三个数据；例如，该实施例的所得目标区域的初始pos航点数据如下：《pose》//位姿信息《center》//相片空间位置《x》693137.63586403546《/x》《y》2421961.2593602795《/y》《z》396.79257365647684《/z》《/center》《rotation》//相片位姿矩阵3*3《m_00》0.09951376892374775《/m_00》《m_01》-1.00163969388978959《/m_01》《m_02》0.20434633313862272《/m_02》《m_10》-0.9825768632771249《/m_10》《m_11》-0.079738759568755766《/m_11》《m_12》0.20568564235153123《/m_12》《m_20》-0.18351584864412018《/m_20》《m_21》-0.26732823845236717《/m_21》《m_22》-0.85781129117731514《/m_22》《/rotation》步骤2，基于相位相关法在获取的实时视频数据中选取预设数量的关键帧，并基于选取的所有关键帧生成图像序列；其中，关键帧提取生成的图像序列可视为倾斜影像数据；步骤3，对生成的图像序列做分布式空中三角测量，并使用分布式光束法平差修正初始pos航点数据，以得到高精度pos航点数据；其中：同等分辨率条件下，倾斜摄影比传统航摄照片数量多10倍以上，大规模的位姿解算需要庞大的内存和cpu/gpu开销，因此需要顾及全局优化获得最佳平差解，又需要充分利用集群内部各节点的算力资源。采用云端部署分布式优化方案，将全局光束法平差修正为基于共轭梯度的迭代求解法，实现了分布式高精度并行空中三角测量，有效的将计算峰值均匀的配置到算法管道的多个环节，大幅度提升了倾斜摄影数据后处理的效率和质量，得到高精度pos数据；该实施例得到的高精度pos航点数据如下：《pose》//位姿信息《center》//相片空间位置《x》693137.97724291938《/x》《y》2421961.6951734582《/y》《z》397.14062680830597《/z》《/center》《rotation》//相片位姿矩阵3*3《m_00》0.11810447454394798《/m_00》
《m_01》-0.97174786298993066《/m_01》《m_02》0.20434633313862272《/m_02》《m_10》-0.9825768632771249《/m_10》《m_11》-0.084623568278944336《/m_11》《m_12》0.16547374246153024《/m_12》《m_20》-0.14350623974303015《/m_20》《m_21》-0.22032916844176989《/m_21》《m_22》-0.96481138917851406《/m_22》《/rotation》步骤4，在生成的图像序列中选取参考影像，将选取的所有关键帧统一变换到该参考影像所在的平面，再对所有关键帧做拼接处理，得到实时拼接影像；步骤5，基于图像序列和高精度pos航点数据生成密集点云数据；其中，该实施例得到的密集点云数据参见图3所示；步骤6，根据实时拼接影像和密集点云数据生成目标区域的三维模型；其中，该目标区域的三维模型即为针对目标区域的测绘结果。其中，在该实施例中，目标区域的三维模型参见图4所示。
17.具体地，在该实施例的步骤2中，基于相位相关法在获取的实时视频数据中选取预设数量的关键帧的过程包括如下步骤a1~ a3：步骤a1，将实时视频数据的初始帧设定为关键帧，并设定互相关系数阈值和位移矢量阈值；其中：互相关系数阈值是用于判断当前图像帧是否为旋转状态，可以根据需求灵活设置，如当前图像帧相对于前一关键帧旋转预设角度，则认为当前图像帧为旋转状态，预设角度可以设定为30度、45度或其他角度，计算得到当前图像帧相对于前一关键帧旋转预设角度状态的互相关系数，将其设定为互相关系数阈值；例如，该实施例中的互相关系数阈值设置为1；平移参数阈值是用于判断当前图像帧与前一关键帧的重叠度，可以根据需求灵活设置，如当前图像帧相对于前一关键帧重叠度小于预设百分比则认为重叠度合适，预设百分比可以是20%、30%、40%或其他值；例如，该实施例中的位移矢量阈值（即平移参数阈值）设置为100%；步骤a2，将实时视频数据的当前图像帧与前一关键帧使用本领域成熟的相位相关法计算得到该当前图像帧与前一关键帧之间的互相关系数，将所得该互相关系数与互相关系数阈值进行比较：若该互相关系数大于互相关系数阈值，判定该当前图像帧为非旋转状态，转入步骤a3；否则，判定该当前图像帧为旋转状态，且将该当前图像帧记录为旋转帧；其中，针对两个图像（或者图像帧）之间的互相关系数计算属于本领域熟知的专业术语，此处不再赘述；步骤a3，对该当前图像帧做微转处理后，再将该当前图像帧与所述前一关键帧使用相位相关法计算得到该当前图像帧相对前一关键帧的位移矢量，将所得该位移矢量与位移矢量阈值进行比较：若该位移矢量大于位移矢量阈值，判断该当前图像帧与所述前一关键帧重叠度合
适，将该当前图像帧选为关键帧；否则，说明当前图像帧与前一关键帧的重叠度越大，重叠的特征值也越多，那么当前图像帧则不适合被选定为关键帧，则将该当前图像帧作为非关键帧。其中，位移矢量越大，则说明当前图像帧与前一关键帧的重叠度越小，重叠的特征值也越少；位移矢量越小，则说明当前图像帧与前一关键帧的重叠度越大，重叠的特征值也越多。
18.考虑到由于无人机拍摄视频受风影响，会出现明显的晃动，使得视频中出现运行中曝光造成的模糊，该实施例的图像定向拼接与三维建模方法在将实时视频数据的初始帧设定为关键帧之前，还包括步骤：通过各向同性微分算子检测该实时视频数据中各图像帧影像灰度的突变，并将存在影像灰度突变的图像帧标注为模糊帧，并剔除所有的模糊帧，从而确保了参与关键帧选取的图像帧都是清楚的图像帧。
19.需要说明的是，在上述的步骤4中，对所有关键帧做拼接处理，得到实时拼接影像的过程包括如下步骤b1~ b4：步骤b1，对上述生成的图像序列进行图像特征提取和图像特征匹配处理，得到特征匹配结果；步骤b2，根据所得特征匹配结果和高精度pos航点数据，将该图像序列对齐到参考影像上；其中，此处将图像序列对齐到参考影像上的过程包括步骤：首先，在图像序列内获取预设数量的关键帧作为原始图像，例如此处的预设数量可以是1000以上、2000以上或10000以上；其次，基于获取的原始图像构建词袋模型；以及，最后基于词袋模型对所述图像序列做影像配准处理，以将所述图像序列对齐到参考影像上；其中，将图像序列对齐到参考影像上后所得影像参见图5所示；步骤b3，分别计算出每一张关键帧与参考影像之间的单应性矩阵(homography矩阵)，基于该单应性矩阵并通过仿射变换将所述图像序列统一变换到参考影像所在的平面，并对图像序列内所有关键帧进行拼接处理，得到拼接网；其中，基于单应性矩阵(homography矩阵)变换的影像拼接算法，通过图像序列之间的特征匹配和pos航点数据的输入，将图像序列都对齐到参考影像上，并计算出每一张影像与参考影像之间的h矩阵(参考影像可以是第一帧影像，也可以选取视频采集过程中正对前方的一帧影像)，通过仿射变换将所有的图像序列统一变换到参考影像所在的平面并进行拼接，得到实时拼接影像。本领域技术人员熟知，homography矩阵就是从一个平面到另一个平面的映射关系。如两张图片中相同颜色的点叫做corresponding points，比如两个红点就是一对corresponding points，homography矩阵（单应性变换矩阵）就是一个从一张图像到另一张图像映射关系的转换矩阵。
20.步骤b4，使用马尔科夫随机场对所得拼接网进行能力优化，并使用局部泊松融合方法对能力优化后的拼接网进行全局匀光匀色处理，得到全局匀光匀色处理后的拼接网；其中，该全局匀光匀色处理后的拼接网即为所述实时拼接影像。其中，本领域技术人员知道，马尔可夫随机场(markov random field)可用于解决离散的优化问题，每个标签是独立的，非连续。随机场：当给每一个位置中按照某种分布随机赋予相空间的一个值之后，其全体就叫做随机场。马尔可夫随机场：拿图像拼接为例，如果任何一区域里的图像种类仅仅与它邻近的区域里的图像有关，与其它区域里的图像的种类无关，那么这些区域里的图像的集合，就是一个马尔可夫随机场。
21.在该实施例中，针对上述的步骤6，根据实时拼接影像和密集点云数据生成目标区域的三维模型过程包括如下步骤：将密集点云数据叠加到预设的方格网中；对叠加到方格网中的密集点云数据进行抽稀和插值，生成目标区域的数字表面模型（digital surface model）；其中，该实施例得到的目标区域的数字表面模型参见图6所示；使用delaunay三角剖分算法对经抽稀和插值处理后的密集点云数据做处理，生成mesh网格模型；根据实时拼接影像并通过数字表面模型对mesh网格模型进行纹理贴图处理，生成具有纹理的三维模型；其中，该具有纹理的三维模型即为所述目标区域的三维模型。
22.尽管以上详细地描述了本发明的优选实施例，但是应该清楚地理解，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.基于无人机视频的图像定向拼接与三维建模方法，其特征在于，包括如下步骤：步骤1，获取目标区域的实时视频数据和对应的初始pos航点数据；步骤2，基于相位相关法在获取的实时视频数据中选取预设数量的关键帧，并基于选取的所有关键帧生成图像序列；步骤3，对生成的图像序列做分布式空中三角测量，并使用分布式光束法平差修正初始pos航点数据，以得到高精度pos航点数据；步骤4，在生成的图像序列中选取参考影像，将选取的所有关键帧统一变换到该参考影像所在的平面，再对所有关键帧做拼接处理，得到实时拼接影像；步骤5，基于图像序列和高精度pos航点数据生成密集点云数据；步骤6，根据实时拼接影像和密集点云数据生成目标区域的三维模型；其中，该目标区域的三维模型即为针对目标区域的测绘结果。2.根据权利要求1所述的基于无人机视频的图像定向拼接与三维建模方法，其特征在于，在步骤2中，基于相位相关法在获取的实时视频数据中选取预设数量的关键帧的过程包括如下步骤：步骤a1，将所述实时视频数据的初始帧设定为关键帧，并设定互相关系数阈值和位移矢量阈值；步骤a2，将所述实时视频数据的当前图像帧与前一关键帧使用相位相关法计算得到该当前图像帧与前一关键帧之间的互相关系数，将所得该互相关系数与互相关系数阈值进行比较：若该互相关系数大于互相关系数阈值，判定该当前图像帧为非旋转状态，转入步骤a3；否则，判定该当前图像帧为旋转状态，且将该当前图像帧记录为旋转帧；步骤a3，对该当前图像帧做微转处理后，再将该当前图像帧与所述前一关键帧使用相位相关法计算得到该当前图像帧相对前一关键帧的位移矢量，将所得该位移矢量与位移矢量阈值进行比较：若该位移矢量大于所述位移矢量阈值，判断该当前图像帧与所述前一关键帧重叠度合适，将该当前图像帧选为关键帧；否则，将该当前图像帧作为非关键帧。3.根据权利要求2所述的基于无人机视频的图像定向拼接与三维建模方法，其特征在于，在将所述实时视频数据的初始帧设定为关键帧之前，还包括步骤：通过各向同性微分算子检测所述实时视频数据中各图像帧影像灰度的突变，并将存在影像灰度突变的图像帧标注为模糊帧，并剔除所有的模糊帧。4.根据权利要求1~3任一项所述的基于无人机视频的图像定向拼接与三维建模方法，其特征在于，在步骤4中，对所有关键帧做拼接处理，得到实时拼接影像的过程包括如下步骤：步骤b1，对所述图像序列进行图像特征提取和图像特征匹配处理，得到特征匹配结果；步骤b2，根据所得特征匹配结果和所述高精度pos航点数据，将所述图像序列对齐到所述参考影像上；步骤b3，分别计算出每一张关键帧与所述参考影像之间的单应性矩阵，基于该单应性矩阵并通过仿射变换将所述图像序列统一变换到所述参考影像所在的平面，并对所述图像序列内所有关键帧进行拼接处理，得到拼接网；
步骤b4，使用马尔科夫随机场对所得拼接网进行能力优化，并使用局部泊松融合方法对能力优化后的拼接网进行全局匀光匀色处理，得到全局匀光匀色处理后的拼接网；其中，该全局匀光匀色处理后的拼接网即为所述实时拼接影像。5.根据权利要求4所述的基于无人机视频的图像定向拼接与三维建模方法，其特征在于，在步骤b2中，将所述图像序列对齐到所述参考影像上的过程包括如下步骤：在所述图像序列内获取预设数量的关键帧作为原始图像；基于获取的原始图像构建词袋模型；基于词袋模型对所述图像序列做影像配准处理，以将所述图像序列对齐到所述参考影像上。6.根据权利要求4所述的基于无人机视频的图像定向拼接与三维建模方法，其特征在于，在步骤6中，根据实时拼接影像和密集点云数据生成目标区域的三维模型过程包括如下步骤：将所述密集点云数据叠加到预设的方格网中；对叠加到方格网中的密集点云数据进行抽稀和插值，生成目标区域的数字表面模型；使用delaunay三角剖分算法对经抽稀和插值处理后的密集点云数据做处理，生成mesh网格模型；根据所述实时拼接影像并通过数字表面模型对所述mesh网格模型进行纹理贴图处理，生成具有纹理的三维模型；其中，该具有纹理的三维模型即为所述目标区域的三维模型。

技术总结
本发明涉及一种基于无人机视频的图像定向拼接与三维建模方法，该方法包括获取目标区域的实时视频数据和初始POS航点数据，在实时视频数据选出所有关键帧以生成图像序列，对图像序列做分布式空中三角测量，修正初始POS航点数据得到高精度POS航点数据，在图像序列中选取参考影像，将选取的所有关键帧统一变换到参考影像所在平面，再对所有关键帧做拼接处理得到实时拼接影像；基于图像序列和高精度POS航点数据生成密集点云数据，根据实时拼接影像和密集点云数据生成目标区域的三维模型，该三维模型即为针对目标区域的测绘结果，实现了对无人机采集的视频图像序列进行实时传输、拼接与重建，实时生成三维模型，满足了应急测绘需求。求。求。


技术研发人员：符华年 李俊峰 陈立波 陈海珍 王芮
受保护的技术使用者：宁波市测绘和遥感技术研究院
技术研发日：2023.09.08
技术公布日：2023/10/15