一种基于嵌入式平台的全景视频实时拼接方法

1.本发明属于计算机视觉技术领域，具体涉及一种基于嵌入式平台的全景视频实时拼接方法。


背景技术：

2.全景视频拼接技术主要解决单个成像设备视角有限，无法完整呈现真实场景的问题，通过拼接算法将多路视频拼接编码为一路全景视频，保留原始视频中的信息，并去除重复冗余信息，克服传感器物理层面的限制，提供大视野、高分辨率的视频信息。该技术在民用与军事领域均有非常广泛的应用，民用领域中可用于全景视频监控、虚拟现实场景构建、赛事直播、汽车辅助驾驶系统等，在军事领域可用于坦克、潜艇等闭舱载具，在保证舱内乘员安全的前提下减少视野盲区，提高全空间感知能力。随着计算机视觉技术的不断发展，全景视频拼接技术体现出广泛的应用前景与重要的研究意义。
3.全景视频拼接的关键是图像融合拼接算法，算法的性能决定了拼接视频的质量。目前有多个商业软件可以对具有重叠区域的图像序列进行拼接以生成广角图像，同时有数款支持全景拼接的360
°
全景相机也陆续推出，它们根据一系列图像构建全景图，然而这些应用程序和相机都对采集环境和图像有限制，而实际工程应用中的输入图像包含许多潜在缺陷，如相机之间基线过大、图像视差过大、场景光照变化等，这些因素都严重影响拼接质量，而且算法复杂度高，在资源有限的嵌入式平台难以实时运行，无法满足视频拼接实时处理的要求。全景拼接关键步骤主要包括基于特征匹配的图像配准，基于图优化的最佳拼接缝查找，基于光流的图像融合。传统图像特征匹配效率低，耗时长，无法在嵌入式平台实时处理。


技术实现要素：

4.本发明的目的在于提供一种基于嵌入式平台的全景视频实时拼接方法，以实现在嵌入式平台输出实时全景视频。
5.本发明采用如下技术方案来实现的：
6.一种基于嵌入式平台的全景视频实时拼接方法，该方法基于的全景拼接设备包括可见光相机、视频处理板和外壳，可见光相机均匀分布于外壳侧立面，视频处理板用于接收可见光相机视频，对视频进行实时拼接，输出实时全景视频；
7.该方法包括以下步骤：
8.1)相机图像配准
9.同时采集可见光相机图像，分别对每幅图像进行特征提取，通过对相邻图像间的特征点进行匹配，建立图像之间的几何对应关系，根据图像重叠区域的特征点计算图像间的单应矩阵；
10.2)多相机参数全局优化
11.由上一步得到每两个相邻图像之间的单应矩阵，单应矩阵反映图像之间的变换关
系，同时反映相机之间的相对位置关系，采用levenberg-marquardt算法进行全局优化，最小化重投影误差函数；通过levenberg-marquardt算法经过全局优化得到准确的单应矩阵和相机参数；
12.3)图像融合
13.使用上一步得到的单应矩阵和相机参数，在拼接之前对图像进行投影变换，将所有图像投影到一个统一的坐标系下，最终的拼接图像在平面上展示，利用相机参数进行反向投影，将所有像素映射到一个统一平面；投影变换之后进行图像融合，为了能完整保留图像细节，消除模糊和重影的现象，采用基于拉普拉斯金字塔变换的图像融合方法；利用拉普拉斯金字塔变换将图像分解成不同的尺度，然后提取出图像在不同的尺度下的纹理、边缘和角点特征，针对重叠区域，把它们的金字塔的相同层按照加权平均的方法进行合并，最后对合并后的金字塔进行逆拉普拉斯变换得到融合后的图像。
14.本发明进一步的改进在于，步骤1)中，图像特征提取和匹配包括特征点检测，特征点描述符向量生成和特征点匹配三个方面。
15.本发明进一步的改进在于，步骤1)中，相机图像配准阶段，初始化过程中增加离线标定的操作，目的在于输出每个相机的内外参数；使用sift特征描述算法提取图像特征，根据相机相对位置信息为每幅图像增加掩膜以缩短特征提取的时间，之后采用基于k-d树的最近邻搜索进行特征匹配，最后根据特征匹配结果计算图像单应矩阵，恢复相机参数。
16.本发明进一步的改进在于，相机参数矩阵k和r分别为：
[0017][0018][0019]
其中f为焦距，c为光心位置，下标x代表水平方向，下标y代表垂直方向，h为单应矩阵，i代表矩阵行索引，j代表矩阵列索引。
[0020]
本发明进一步的改进在于，步骤2)中，levenberg-marquardt算法的迭代公式为：
[0021][0022]
其中f是待优化函数，j是f的雅可比矩阵，μ是阻尼因子，i是单位矩阵。
[0023]
本发明进一步的改进在于，步骤2)中，首先使用离线标定参数作为默认参数，离线标定选择视差小于20pixel的场景用于标定，得到相机参数的重投影误差小于1pixel，在后续使用中将这组参数作为基准参数与全局优化的结果进行比较，分别计算全局优化的相机外参和内参与基准参数的l2范数，若结果与基准参数相差超过15％，则认为在当前环境下在线标定失败，在后续拼接过程中使用基准参数，以保证拼接质量；若全局优化结果与基准参数偏差小于15％，则采用全局优化结果，因全局优化考虑到当前环境因素影响，后续得到更加优质的拼接效果。
[0024]
本发明进一步的改进在于，步骤3)中，在图像融合阶段，增加在线更新拼接缝的步骤，图像融合的参数由初始化时图像配准与全局优化的结果确定，与初始化时所处的场景有关，当所处的场景与初始化时的场景的平均视差超过10％时，最佳拼接缝的位置也会随之改变；在图像融合阶段，每隔设定时间间隔依据当前场景重新计算一次最佳拼接缝的位
置，更新图像融合参数。
[0025]
本发明进一步的改进在于，在图像视差变化大于20pixel的情况下，此时再使用原有的最佳拼接缝进行拼接会出现重影的问题，影响拼接效果。
[0026]
与现有技术相比，本发明至少具有如下有益的技术效果：
[0027]
本发明提供的一种基于嵌入式平台的全景视频实时拼接方法，采用尺度不变特征变换对输入图像进行特征检测，本发明改进在于，在特征提取阶段，使用分离高斯卷积替代普通二维高斯卷积，与普通卷积相比，分离高斯卷积能够大幅降低计算量并减小普通卷积带来的图像边缘信息损失。通过对系统进行离线标定，结合已知的相机位置信息，获取准确的相机内外参数，作为基准参数，为后续视频拼接提供准确的先验信息。
[0028]
进一步，本发明提出的相机参数全局优化的验证方法，在传统全局优化基础上，增加对优化结果的校验，避免因外部环境干扰或场景纹理特征单一造成优化结果不准确的问题，提高系统整体的鲁棒性与环境适应性。
[0029]
进一步，本发明在图像融合阶段增加实时更新最佳拼接缝的处理，在设备运行过程中，根据设备所处场景视差大小不同，对最佳拼接缝进行实时更新与调整，消除因拼接缝不准而产生的重影，使系统能够在多个不同视差的场景下都能够正常工作，提升视频全景拼接质量与系统鲁棒性。
[0030]
针对此问题，提出一种在线与离线相结合的实时特征匹配技术，通过制作特定结构固定相机相对位置，基于相机相对位置关系，对相机进行离线标定，根据离线标定结果，在实时处理阶段，根据相机相对位置关系等先验信息，对在线标定和全局优化结果进行验证，避免因场景等外部环境因素导致标定失败以及参数偏差过大，实现快速准确的图像配准。
附图说明
[0031]
图1全景视频拼接算法流程图
[0032]
图2为高斯尺度空间极值检测示意图。
[0033]
图3(a)为标准二维高斯卷积示意图，图3(b)为分离高斯卷积示意图。
[0034]
图4为相机成像模型示意图
[0035]
图5为柱面投影示意图，其中图5(a)为待投影图像平面与投影所得曲面示意图，图5(b)为空间中一点在柱面上投影的示意图。
[0036]
图6为多频带融合示意图。
具体实施方式
[0037]
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
[0038]
全景拼接设备由可见光相机、视频处理板和结构件构成，可见光相机均匀分布于结构件侧立面。视频处理板同时接收可见光相机视频，对视频进行实时拼接，输出实时全景
视频，算法流程如图1所示。
[0039]
本发明提供的一种基于嵌入式平台的全景视频实时拼接方法，包括以下步骤：
[0040]
1)基于尺度不变特征变换的图像特征提取与配准
[0041]
采用尺度不变特征变换对输入图像进行局部特征检测与描述，首先从原始输入图像开始，通过使用高斯滤波器进行平滑处理，生成一个模糊版本的图像。高斯滤波器是一个线性平滑滤波器，用于去除图像中的高频噪声，并模糊图像。在第一层模糊图像的基础上，应用高斯滤波器再次平滑处理，生成第二层模糊图像，重复以上步骤，不断增加高斯模糊的程度，生成一系列模糊图像，构成尺度空间金字塔。每个尺度级别的高斯滤波器之间的标准差比例为2，生成不同尺度的图像金字塔以覆盖各种尺度上的特征。在构建尺度空间金字塔时，通过在不同尺度级别之间进行图像降采样，以确保不同尺度之间的图像大小和特征点位置的一致性。如图2所示，在尺度空间中，通过比较每个像素点与其周围像素点的值，确定局部最小值和最大值，同时通过比较像素点与其相邻尺度空间的点进行精确定位，在极值点附近，使用高斯曲率计算来确定关键点的精确位置，通过对关键点进行方向分配，使其具有尺度不变性和旋转不变性，对每个关键点周围的图像区域使用局部图像梯度直方图生成具有高维度特征向量。
[0042]
为了降低卷积操作的计算复杂度和参数量，我们采用分离高斯卷积替换标准二维高斯卷积，如图3所示，普通高斯卷积采用n*n卷积核在图像每个像素位置进行计算，此种方法计算量大且图像边缘信息损失严重，利用高斯函数的可分离性，分离高斯卷积将一个二维的高斯卷积核分解成两个一维的高斯卷积核，分别在水平和竖直方向上对图像进行滤波，首先采用1*n卷积核沿x方向对图像进行卷积，之后用n*1卷积核沿y方向对图像进行卷积。与标准二维高斯卷积相比，分离卷积能够在保留图像边缘信息的同时大幅减少计算量。
[0043]
图像配准是通过对相邻图像间的特征提取和匹配，建立图像之间的几何对应关系，根据图像重叠区域的特征点计算图像间的单应矩阵。图像特征提取和匹配主要涉及特征点检测，特征点描述符向量生成和特征点匹配三个方面，图像特征点检测采用基于gpu的通用并行计算架构，充分利用并行计算资源，提高算法处理速度。相机图像配准包含离线标定和在线标定，相机成像模型如图4所示，其中cxyz为相机坐标系，p点为空间中一点，cxy为图像坐标系，点p为空间中p点在图像坐标系上的投影，f为相机焦距，离线标定通过相机实际的相对位置关系估计出每个相机的外参，在线标定根据相机实时拍摄到的画面对相机内参与外参进行修正，准确估计出图像间的单应矩阵，为后续图像拼接提供必要信息。
[0044]
2)多相机参数全局优化
[0045]
通过图像配准能够得到每个相机之间的相对位置关系以及每个相机的内外参数，但这样得到的参数忽略了多个图像间的约束，而且会产生累计误差，需要采用全局优化来精确化相机参数。全局优化的核心问题是最小化重投影误差函数，采用levenberg-marquardt算法对问题进行求解，levenberg-marquardt算法的迭代公式为：
[0046][0047]
其中f是待优化函数，j是f的雅可比矩阵，μ是阻尼因子，i是单位矩阵。通过levenberg-marquardt算法经过全局优化可以得到准确的单应矩阵和相机参数。
[0048]
3)图像融合
[0049]
由于图像是在不同角度下拍摄的，本身并不是在一个平面上，如果直接对重叠区域拼接就会破坏视场的一致性，因此在拼接之前需要对图像进行投影变换，目的是将所有图像投影到一个统一的坐标系(投影面)下，最终的拼接图像需要在平面上展示，需要利用相机参数进行反向投影，将所有像素映射到一个统一平面。投影变换之后进行图像融合，为了能完整保留图像细节，消除模糊和重影的现象，采用基于拉普拉斯金字塔变换的图像融合方法。算法的核心思想是利用拉普拉斯金字塔变换将图像分解成不同的尺度，然后提取出图像在不同的尺度下的纹理、边缘等明显特征，最后再按照一定规则把这些特征进行融合，融合后的信息再经过逆变换得到了融合后的图像。
[0050]
步骤1)中，相机图像配准阶段，系统初始化过程中增加离线标定的操作，目的在于尽可能准确输出每个相机的内外参数，初始化阶段尚未开始图像拼接，所以称为离线标定。使用尺度不变特征变换特征描述算法提取图像特征，根据相机相对位置信息为每幅图像增加掩膜以缩短特征提取的时间，之后采用基于k-d树的最近邻搜索进行特征匹配，最后根据特征匹配结果计算图像单应矩阵，恢复相机参数。相机参数矩阵k和r分别为
[0051][0052][0053]
其中f为焦距，c为光心位置，h为单应矩阵。离线标定采用鲁棒性强、准确度高的特征提取与匹配算法，与在线标定采用的快速特征匹配方法相比，不易受外部环境影响，能够提供一个准确的先验基准保证后续各个步骤结果不出现较大偏差。
[0054]
步骤2)中，使用先验信息验证相机参数全局优化结果，在实际使用中，由于外部环境的不确定性，在遇到空间狭小、视差过大、缺少明显纹理特征的场景时，相机参数全局优化的结果通常与实际情况相差过大，导致出现无法输出完整全景拼接视频的情况，影响整个系统的稳定性。针对此问题，本发明首先使用离线标定参数作为系统默认参数，离线标定选择视差较小的场景用于标定，可以得到较为准确的相机参数，在后续使用中将这组参数作为基准参数与全局优化的结果进行比较，分别计算全局优化的相机外参和内参与基准参数的l2范数，若两者相差过大，则认为当前外部环境不适合进行在线标定，在后续拼接过程中使用基准参数，以保证拼接质量。若全局优化结果与基准参数偏差在一定范围内，则采用全局优化结果，因全局优化考虑到当前环境因素影响，后续可以得到更加优质的拼接效果。
[0055]
步骤3)中，在图像融合阶段，增加在线更新拼接缝的步骤，图像融合的参数由系统初始化时图像配准与全局优化的结果确定，与初始化时系统所处的场景有关，当系统所处的场景与系统初始化时的场景差别较大时，最佳拼接缝的位置也会随之改变，特别是在图像视差有较大变化的情况下，此时再使用原有的最佳拼接缝进行拼接会出现重影的问题，影响拼接效果。针对此问题，在图像融合阶段，每隔一定时间间隔依据当前场景重新计算一次最佳拼接缝的位置，更新图像融合参数。
[0056]
实施例
[0057]
1)整体流程
[0058]
本发明提出的基于嵌入式平台的全景视频实时拼接算法主要包括三个阶段，分别
是系统初始化、系统标定和全景拼接。初始化阶段主要通过配置文件载入系统预设参数，包括系统的输入输出，相机参数，结构参数和拼接算法参数。系统标定根据预设参数以不同方式对系统进行标定，可供选择的标定方式有在线标定、离线标定和混合标定。经过系统标定，可以得到准确的拼接模板，后续拼接算法使用拼接模板对视频进行实时全景拼接。
[0059]
2)系统标定
[0060]
系统标定阶段，算法根据当前所处的环境，通过特征匹配，图像配准以及全局优化的方式重新计算一组新的拼接模板供后续使用。如图4所示，通过确认空间中一点p与该点在图像上的投影p的转换关系，对每个相机进行标定，得到相机参数矩阵k和r，之后利用sift算法对每张图像进行特征提取和匹配，建立图像之间的几何对应关系，根据图像重叠区域的特征点计算图像间的单应矩阵。
[0061][0062][0063]
其中f为焦距，c为光心位置，h为单应矩阵。单应矩阵描述了两个像平面之间的投影关系，可表示为
[0064]
hp＝p
′
[0065]
即：
[0066][0067]
p(u,v,1)和p
′
(u
′
,v
′
,1)分别是两个像平面上的一组对应点。
[0068]
第i组匹配点对的重投影误差可以写为:
[0069][0070]
所有匹配点对的重投影误差平方和为：
[0071][0072]
全局优化的目的是最小化重投影误差函数，这是一个非线性最小二乘优化问题，使用levenberg-marquardt方法进行求解，levenberg-marquardt算法的迭代公式为：
[0073][0074]
其中f是待优化函数，j是f的雅可比矩阵，μ是阻尼因子，i是单位矩阵。通过levenberg-marquardt算法经过全局优化可以得到准确的单应矩阵和相机参数。
[0075]
3)全景拼接
[0076]
全景拼接是将所有相机拍摄到的画面在一个平面上显示，由于图像是在不同角度下拍摄的，本身并不是在一个平面上，如果直接对重叠区域拼接就会破坏视场的一致性，因此在拼接之前需要对图像进行投影变换，目的是将所有图像投影到一个统一的坐标系下。
采用柱面投影的方法，柱面投影是以坐标原点为圆柱中心点，相机焦距为半径的一个柱面作为投影面，柱面投影示意图如图5所示。柱面全景图像可在水平方向上满足360度环视，具有较好的视觉效果，并且柱面投影也与相机实际摆放位置吻合。柱面投影后的像素坐标为：
[0077][0078][0079]
完成投影变换后可以进行图像融合，为了能够保留图像的高频成分(即图像的细节部分)，使用多频段融合方法，通过建立拉普拉斯金字塔，使各个频段上的信息都保留并融合在一起。如图6所示，多频段融合首先计算输入图像的高斯金字塔与拉普拉斯金字塔，然后针对重叠区域，将处于同一级的拉普拉斯金字塔通过加权平均进行融合，最后对合并后的金字塔进行逆拉普拉斯变换，从而得到最终的融合图像。
[0080]
虽然，上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

技术特征：
1.一种基于嵌入式平台的全景视频实时拼接方法，其特征在于，该方法基于的全景拼接设备包括可见光相机、视频处理板和外壳，可见光相机均匀分布于外壳侧立面，视频处理板用于接收可见光相机视频，对视频进行实时拼接，输出实时全景视频；该方法包括以下步骤：1)相机图像配准同时采集可见光相机图像，分别对每幅图像进行特征提取，通过对相邻图像间的特征点进行匹配，建立图像之间的几何对应关系，根据图像重叠区域的特征点计算图像间的单应矩阵；2)多相机参数全局优化由上一步得到每两个相邻图像之间的单应矩阵，单应矩阵反映图像之间的变换关系，同时反映相机之间的相对位置关系，采用levenberg-marquardt算法进行全局优化，最小化重投影误差函数；通过levenberg-marquardt算法经过全局优化得到准确的单应矩阵和相机参数；3)图像融合使用上一步得到的单应矩阵和相机参数，在拼接之前对图像进行投影变换，将所有图像投影到一个统一的坐标系下，最终的拼接图像在平面上展示，利用相机参数进行反向投影，将所有像素映射到一个统一平面；投影变换之后进行图像融合，为了能完整保留图像细节，消除模糊和重影的现象，采用基于拉普拉斯金字塔变换的图像融合方法；利用拉普拉斯金字塔变换将图像分解成不同的尺度，然后提取出图像在不同的尺度下的纹理、边缘和角点特征，针对重叠区域，把它们的金字塔的相同层按照加权平均的方法进行合并，最后对合并后的金字塔进行逆拉普拉斯变换得到融合后的图像。2.根据权利要求1所述的一种基于嵌入式平台的全景视频实时拼接方法，其特征在于，步骤1)中，图像特征提取和匹配包括特征点检测，特征点描述符向量生成和特征点匹配三个方面。3.根据权利要求1所述的一种基于嵌入式平台的全景视频实时拼接方法，其特征在于，步骤1)中，相机图像配准阶段，初始化过程中增加离线标定的操作，目的在于输出每个相机的内外参数；使用sift特征描述算法提取图像特征，根据相机相对位置信息为每幅图像增加掩膜以缩短特征提取的时间，之后采用基于k-d树的最近邻搜索进行特征匹配，最后根据特征匹配结果计算图像单应矩阵，恢复相机参数。4.根据权利要求3所述的一种基于嵌入式平台的全景视频实时拼接方法，其特征在于，相机参数矩阵k和r分别为：相机参数矩阵k和r分别为：其中f为焦距，c为光心位置，下标x代表水平方向，下标y代表垂直方向，h为单应矩阵，i代表矩阵行索引，j代表矩阵列索引。5.根据权利要求4所述的一种基于嵌入式平台的全景视频实时拼接方法，其特征在于，
步骤2)中，levenberg-marquardt算法的迭代公式为：其中f是待优化函数，j是f的雅可比矩阵，μ是阻尼因子，i是单位矩阵。6.根据权利要求5所述的一种基于嵌入式平台的全景视频实时拼接方法，其特征在于，步骤2)中，首先使用离线标定参数作为默认参数，离线标定选择视差小于20pixel的场景用于标定，得到相机参数的重投影误差小于1pixel，在后续使用中将这组参数作为基准参数与全局优化的结果进行比较，分别计算全局优化的相机外参和内参与基准参数的l2范数，若结果与基准参数相差超过15％，则认为在当前环境下在线标定失败，在后续拼接过程中使用基准参数，以保证拼接质量；若全局优化结果与基准参数偏差小于15％，则采用全局优化结果，因全局优化考虑到当前环境因素影响，后续得到更加优质的拼接效果。7.根据权利要求6所述的一种基于嵌入式平台的全景视频实时拼接方法，其特征在于，步骤3)中，在图像融合阶段，增加在线更新拼接缝的步骤，图像融合的参数由初始化时图像配准与全局优化的结果确定，与初始化时所处的场景有关，当所处的场景与初始化时的场景的平均视差超过10％时，最佳拼接缝的位置也会随之改变；在图像融合阶段，每隔设定时间间隔依据当前场景重新计算一次最佳拼接缝的位置，更新图像融合参数。8.根据权利要求7所述的一种基于嵌入式平台的全景视频实时拼接方法，其特征在于，在图像视差变化大于20pixel的情况下，此时再使用原有的最佳拼接缝进行拼接会出现重影的问题，影响拼接效果。

技术总结
本发明一种基于嵌入式平台的全景视频实时拼接方法，该方法基于的全景拼接设备包括可见光相机、视频处理板和结构件，可见光相机均匀分布于结构件侧立面，视频处理板用于接收可见光相机视频，对视频进行实时拼接，输出实时全景视频；该方法包括步骤：1)相机图像配准：采集可见光相机图像，通过对图像进行特征匹配，建立图像之间的几何对应关系；2)多相机参数全局优化：采用Levenberg-Marquardt算法进行全局优化，最小化重投影误差；得到准确的单应矩阵和相机参数；3)图像融合：在拼接之前对图像进行投影变换，将所有像素映射到一个统一平面；之后采用基于拉普拉斯金字塔变换的图像融合方法，得到最终的融合图像。本发明实现了在嵌入式平台输出实时全景视频。嵌入式平台输出实时全景视频。嵌入式平台输出实时全景视频。


技术研发人员：孙宏滨 王智平 张旭翀 汪航
受保护的技术使用者：西安交通大学
技术研发日：2023.08.03
技术公布日：2023/10/20