一种事件相机任意时刻高动态图像真值的获取方法

1.本发明属于图像处理技术领域，更具体地，涉及一种事件相机任意时刻高动态图像真值的获取方法。


背景技术：

2.hdr(high dynamic range imaging)，又称高动态范围成像，是用来实现比普通数位图像更大曝光动态范围事件的一组技术，常用的方法之一是从一组不同曝光范围的图像中选择合适的部分进行融合，从而去除过曝光或欠曝光的像素，得到高动态范围的图像。事件相机(event camera)是一种新型动态传感器，具有低延迟、低功耗、高时间分辨率、高动态范围的优点，可以异步地检测每个像素的光照对数变化，当变化值超过一定阈值时，异步输出包含像素坐标、时间戳、极性的事件信息。与逐帧输出图像的传统相机相比，事件相机像素对动态变化独立响应，没有曝光时间的约束，因此动态范围极大，具有极大的应用于hdr图像重建的潜力。
3.事件相机hdr融合图像的研究不断增多，而hdr的图像真值是评价事件相机hdr图像质量的必要因素。由于事件相机的工作原理导致其在任意时刻都可以输出数据，不受帧率的限制，因此涉及事件相机的相关算法需要任意时刻的图像真值，即不受帧率约束的图像真值。然而由于设备与技术的限制，难以获取事件相机任意时刻hdr图像的真值。目前，专利cn114708478a公布的“事件相机与标准相机的数据融合方法、装置、设备及介质”，通过点云块信息对事件相机数据与标准相机数据进行融合；专利cn114862732a公布的“一种融合事件相机与传统光学相机的合成孔径成像方法”，通过事件相机与传统光学相机合成孔径，重建高质量无遮挡图像；专利cn114463399a公布的“一种事件相机与传统光学相机的时空匹配方法”，通过场景结构相似性指标进行匹配搜索，实现事件相机与传统相机的时空匹配。然而，上述针对的是事件相机和一个传统相机在成像与配准等问题，不能解决获取任意时刻事件相机hdr图形真值的困难。


技术实现要素：

4.针对现有技术的缺陷，本发明的目的在于提供一种采用多个光学相机获取任意时刻的高动态范围图像的方法，旨在解决目前涉及事件相机的hdr图像算法无法获得任意时刻hdr图像真值的问题。
5.为实现上述目的，本发明提供了一种事件相机任意时刻高动态图像真值的获取方法，包括如下步骤：
6.(1)对光心等效于同一位置的多个光学相机进行标定，得到各光学相机到其中一指定光学相机间的单应矩阵hk，然后在动态场景中获得多个光学相机在不同曝光值下分别拍摄的一系列具有相同时间戳的图像，将该图像和单应矩阵hk加权进行图像融合，得到高动态范围图像；
7.(2)通过sift特征提取与遍历匹配方法，确定所述高动态范围图像中所有帧图像
中的关键点的特征信息，并将所述高动态范围图像中相邻两帧图像中的关键点进行特征匹配，若匹配的关键点数量在数量阈值内时，则执行步骤(3)；若匹配的关键点数量不在数量阈值内时，则减少数量阈值，并重新执行步骤(2)；其中，所述关键点的特征信息包括关键点的位置、尺度和主方向信息；
8.(3)根据相邻两帧图像中匹配的关键点的位置信息，计算该相邻两帧图像间的单应矩阵h，并将该单应矩阵h进行线性插值，得到任意时刻的单应矩阵h
′
，然后判断该单应矩阵h
′
的计算合理性，若计算合理，则将单应矩阵h
′
与该相邻两帧图像中前一帧图像结合，得到任意时刻的高动态范围图像；若计算不合理，则进行下一对相邻帧图像间的单应矩阵h的计算和判断。
9.本发明提供的一种事件相机任意时刻高动态图像真值的获取方法，采集多个传统光学相机在同一时刻的图像，使用单应矩阵与图像融合方法，获得高动态范围图像，进而根据sift特征匹配，得到图像间的单应矩阵，通过线性插值得到任意时刻的高动态范围图像，可有效解决事件相机相关图像真值获取的问题。
10.在其中一个实施例中，步骤(1)中，图像融合所得到的高动态范围图像r
ij
表示为：
[0011][0012][0013][0014][0015][0016][0017]
式中，w
ij,k
表示图像融合中所描述加权融合的权重；k表示光学相机序号；n表示光学相机的总数；i
ij,k
表示第k个光学相机转化后的图像中坐标为(i,j)的像素，即除所有光学相机的图像分别通过单应矩阵转换至一指定光学相机视角下的图像像素值；σk表示第k个光学相机转化后的图像的尺度参数；表示所有图像权重映射归一化后的权重；和对应表示第k个光学相机转化后的图像中坐标为(i,j)像素的蓝色、绿色和红色通道亮度；c
ij,k
、s
ij,k
和e
ij,k
对应表示第k个光学相机转化后的图像中坐标为(i,j)像素的对比度、饱和度和亮度，ωc、ωs和ωe对应表示对比度、饱和度和亮度的权重。
[0018]
在其中一个实施例中，步骤(2)中，所述通过sift特征提取与遍历匹配方法，确定所述高动态范围图像中所有帧图像的关键点特性信息，并将所述高动态范围图像中相邻两帧图像中的关键点进行特征匹配的步骤，具体为：
[0019]
(2.1)将所述高动态范围图像中各帧图像分别进行降采样和不同尺度的高斯模
糊，建立高斯金字塔；
[0020]
(2.2)利用不同尺度高斯分核与其卷积相减得到高斯差分金字塔，进而通过寻找局部极值点，确定各帧图像中所有关键点的位置和尺度，再根据高斯金字塔计算关键点的梯度幅值与方向，确定该关键点的主方向；
[0021]
(2.3)对各帧图像中各关键点的位置、尺度、主方向进行特征描述，得到关键点的描述子向量，然后根据描述子向量计算所述高动态范围图像中相邻两帧图像中各关键点的相似性匹配度，若相似性匹配度超过匹配阈值，则认定该关键点为匹配点。
[0022]
在其中一个实施例中，步骤(3)中，相邻两帧图像间的单应矩阵h为：
[0023][0024]
式中，u、v对应表示匹配的关键点的横、纵坐标，表示相邻两帧图像中前一帧图像的第m个匹配的关键点的横坐标，表示相邻两帧图像中后一帧图像的第m个匹配的关键点的横坐标，其中四个匹配的关键点不共线；h1～h8表示单应矩阵h中的八个参数。
[0025]
在其中一个实施例中，步骤(2.2)中，关键点的梯度幅值m(x,y)与方向θ(x,y)的计算公式分别为：
[0026][0027][0028]
式中，l表示高斯金字塔的尺度空间函数；(x,y)表示高斯金字塔中图像的像素位置。
[0029]
在其中一个实施例中，步骤(2.2)中，所述计算关键点的梯度幅值与方向，确定该关键点的主方向的步骤，具体为：
[0030]
以关键点为圆心，将该关键点所在的高斯图像尺度的1.5倍为半径的圆内所有的像素的梯度方向与幅值，通过高斯加权与投票机制确定该关键点的主方向。
[0031]
在其中一个实施例中，步骤(2.3)中，所述对各帧图像中各关键点的位置、尺度、主方向进行特征描述，得到关键点的描述子向量的步骤，具体为：
[0032]
将坐标轴旋转至关键点的主方向，将其邻域分为若干个相同大小的区域，计算区域内所有像素点的梯度幅值与方向，将每一块邻域内的幅值与方向进行高斯加权与投票机制，获得每个区域的归一化方向与幅值，即为该关键点的描述子向量。
[0033]
在其中一个实施例中，所述相似度匹配度d(ri,si)的计算公式为：
[0034][0035]
式中，r
ij
、s
ij
对应分别表示相邻两帧图像中前一帧图像和后一帧图像中的关键点描述子向量。
[0036]
在其中一个实施例中，步骤(3)中，单应矩阵h
′
的计算公式为：
[0037][0038]
式中，tm表示相邻两帧图像拍摄时间间隔内任意时刻的时间戳；t0表示相邻两帧图像中前一帧图像拍摄的时间戳；t1表示相邻两帧图像中后一帧图像拍摄的时间戳。
[0039]
在其中一个实施例中，步骤(3)中，单应矩阵h
′
的计算合理性的判断依据为：将单应矩阵h
′
与该相邻两帧图像中前一帧图像相乘，并计算所得图像与该相邻两帧图像中后一帧图像中各关键点的距离平方和的平均值，若该平均值大于设定值，则判断该单应矩阵h
′
计算合理，否则，则判断该单应矩阵h
′
计算不合理。
附图说明
[0040]
图1是本发明提供的事件相机任意时刻高动态图像真值的获取方法的的流程图；
[0041]
图2是本发明提供的事件相机任意时刻高动态图像真值的获取方法的算法整体实施流程图；
[0042]
图3是本发明一实施例提供的获取控制电路原理图；
[0043]
图4是本发明一具体实施例提供的获取到的hdr图像的结果示意图；
[0044]
图5是本发明一具体实施例提供的硬件平台结构示意图。
具体实施方式
[0045]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0046]
本发明提供了一种事件相机任意时刻高动态图像真值/参考值的获取方法，如图1所示，该方法包括步骤s10～s30，详述如下：
[0047]
s10，对光心等效于同一位置的多个传统光学相机进行标定，得到各光学相机到其中一指定光学相机间的单应矩阵hk；然后在动态场景中获得多个光学相机在不同曝光值下分别拍摄的一系列具有相同时间戳的图像；再将该图像和单应矩阵hk加权进行图像融合，得到高动态范围图像。
[0048]
在步骤s10中，相机标定可通过传统相机标定方法，比如棋盘格标定方法，得到各光学相机到一指定光学相机间的单应矩阵hk，表达式如下：
[0049]
[0050]
单应矩阵hk表示第k个光学相机到其中一指定光学相机间的单应矩阵，h
11,k
～h
32,k
表示单应矩阵hk中的八个参数。需要说明的是，单应矩阵hk是一个三乘三的矩阵，所有光学相机到其中一指定光学相机间的单应矩阵的第三排第三列均为1，假设指定光学相机的序号为2，则单应矩阵h2为三乘三的单位矩阵。
[0051]
则第k个相机的图像转化至其中一指定光学相机的图像为hkik。
[0052]
在图像融合中，所描述加权融合的权重w
ij,k
计算公式为：
[0053][0054]
式中，c、s和e对应表示对比度、饱和度和亮度，c
ij,k
、s
ij,k
和e
ij,k
对应表示第k张图像中坐标为(i,j)像素的对比度、饱和度和亮度；ωc、ωs和ωe对应表示对比度、饱和度和亮度的权重。
[0055]
具体地，对比度、饱和度、亮度的计算公式分别为：
[0056][0057][0058][0059][0060]
式中，和对应表示第k个光学相机转化后的图像中坐标为(i,j)像素的蓝色、绿色和红色通道亮度；i
ij,k
表示第k个光学相机转化后的图像中坐标为(i,j)的像素，即除所有光学相机的图像分别通过单应矩阵转换至一指定光学相机视角下的图像像素值；σk表示第k个光学相机转化后的图像的尺度参数。
[0061]
图像融合中将权重进行归一化，归一化的计算公式为：
[0062][0063]
图像融合中所得到高动态范围图像r
ij
为：
[0064][0065]
步骤s20，通过sift特征提取与遍历匹配方法，确定高动态范围图像中所有帧图像中的关键点的特征信息，并将高动态范围图像中相邻两帧图像中的关键点进行特征匹配，若匹配的关键点(匹配点)数量在数量阈值内时，则执行后续步骤s30；若匹配的关键点数量不在数量阈值内时，则降低数量阈值，并重新执行步骤s20。其中，关键点的特征信息包括关键点的位置、尺度和主方向信息。
[0066]
具体地，步骤s20实现方式为：实现将高动态范围图像中各帧图像分别进行降采样和不同尺度的高斯模糊，建立高斯金字塔；然后利用不同尺度高斯分核与其卷积相减得到高斯差分金字塔，进而通过寻找局部极值点，确定各帧图像中所有关键点的位置和尺度，再
计算关键点的梯度幅值与方向，确定该关键点的主方向；最后对各帧图像中各关键点的位置、尺度、主方向进行特征描述，得到关键点的描述子向量，然后根据描述子向量计算所述高动态范围图像中相邻两帧图像中各关键点的相似性匹配度，若相似性匹配度在超过匹配阈值，则认定该关键点为匹配点，若匹配点数量在数量阈值内时，则执行后续步骤s30，否则，则减少数量阈值，并重新执行步骤s20。
[0067]
在本实施例中，高斯金字塔中的尺度空间函数l(x,y,σ)为：
[0068]
l(x,y,σ)＝g(x,y,σ)*r(x,y)
[0069][0070]
式中，g(x,y,σ)表示高斯函数；*表示卷积计算；a,b表示高斯模板的维度；(x,y)表示高斯金字塔中图像的像素位置；σ表示高斯金字塔中图像的尺度参数，即模糊系数。
[0071]
关键点的梯度幅值与方向计算为：
[0072][0073][0074]
高斯差分金字塔d(x,y,σ)为同一级高斯金字塔内相邻两层的差，计算公式为：
[0075]
d(x,y,σ)＝[g(x,y,σf)-g(x,y,σ
f-1
)]＝l(x,y,σf)-l(x,y,σ
f-1
)
[0076]
式中，σf表示第f层高斯金字塔的模糊系数。
[0077]
进一步地，特征提取与匹配中，可通过比较周围以及不同层次的像素点高斯差分的大小，以找到极值点即关键点的位置与尺度。
[0078]
其中，m(x,y)表示关键点的梯度幅值，θ(x,y)表示关键点的梯度方向。
[0079]
进一步地，统计以关键点为圆心，以该关键点所在的高斯图像尺度的1.5倍为半径的圆内所有的像素的梯度方向与幅值，通过高斯加权与投票机制确定关键点的主方向。
[0080]
进一步地，使用关键点的位置、尺度、方向以描述特征，首先将坐标轴旋转至关键点的主方向，将其邻域分为若干个相同大小的区域，计算区域内所有像素点的梯度幅值与方向，将每一块邻域内的幅值与方向进行高斯加权与投票机制，获得每个区域的归一化方向与幅值，即为该关键点的描述子向量。
[0081]
进一步地，根据描述子向量，计算高动态范围图像中相邻两帧图像中各关键点的相似性匹配度的计算公式为：
[0082][0083]
式中，ri、si对应表示前一帧图像和后一帧图像中的关键点描述子，ri＝(r
i1
,r
i2
,
…
,r
in
)，si＝(s
i1
,s
i2
,
…
,s
in
)。相似性匹配度超过匹配阈值的关键点即可认定为匹配点。
[0084]
s30，根据相邻两帧图像中匹配的关键点的位置信息，计算该相邻两帧图像间的单应矩阵h，并将该单应矩阵h进行线性插值，得到任意时刻的单应矩阵h
′
，然后判断该单应矩阵h
′
的计算合理性，若计算合理，则将单应矩阵h
′
与该相邻两帧图像中前一帧图像相乘，得
到任意时刻的高动态范围图像；若计算不合理，则进行下一对相邻帧图像间的单应矩阵h的计算和判断。
[0085]
在步骤s30中，步骤(3)中，相邻两帧图像间的单应矩阵h为：
[0086][0087]
式中，u、v对应表示匹配的关键点的横、纵坐标，表示相邻两帧图像中前一帧图像的第m个匹配的关键点的横坐标，表示相邻两帧图像中后一帧图像的第m个匹配的关键点的横坐标，其中四个匹配的关键点不共线；h1～h8表示单应矩阵h中的八个参数。
[0088]
将该单应矩阵h进行线性插值，得到任意时刻的单应矩阵h
′
的计算公式为
[0089][0090][0091]
式中，tm表示两帧间任意时刻的时间戳；t0表示前一帧图像拍摄的时间戳；t1表示后一帧图像拍摄的时间戳。
[0092]
进一步地，本实施例提供的单应矩阵h
′
的计算合理性判断依据可以为：将单应矩阵h
′
与该相邻两帧图像中前一帧图像相乘，得到所得图像与后一帧图像关键点的距离平方和的平均值，若大于设定值，则计算不合理，其表示为：
[0093]i″
＝h
′ip
[0094][0095]
式中，i
p
表示相邻两帧图像中前一帧图像，in为相邻两帧图像中后一帧图像；xi″
、yi″
对应表示将单应矩阵h
′
与该相邻两帧图像中前一帧图像相乘所得图像中的关键点的横、纵坐标；对应表示该相邻两帧图像中后一帧图像中的关键点的横、纵坐标。合理性设定值取1。
[0096]
若判断单应矩阵h
′
的计算合理时，则将单应矩阵h
′
与该相邻两帧图像中前一帧图像i
p
相乘，得到任意时刻的高动态范围图像i
tm
为：
[0097]itm
＝h
′ip
[0098]
本实施例提供的事件相机任意时刻高动态图像真值的获取方法，采集多个传统光
学相机在同一时刻的图像，使用单应矩阵与图像融合方法，获得高动态范围图像，进而根据sift特征匹配，得到图像间的单应矩阵，通过线性插值得到任意时刻的高动态范围图像，可有效解决事件相机相关图像真值获取的问题。
[0099]
另一方面，本技术实施提供了一种同步图像的获取控制电路，如图3所示，该电路包括供电模块、pwm模块、cmos模块和相机模块。
[0100]
其中，供电模块用于对相机模块与cmos模块进行供电，并提供各组件需要的稳定电压；pwm模块，用于输出pwm信号以同步相机模块的拍摄时间；cmos模块用于将pwm信号升压，适配后续相机模块所需电压；相机模块用于接受电路信号，同步采集图像数据。
[0101]
具体地，供电模块与cmos和稳压模块相连，保证给各个模块的电压合理；pwm模块与稳压模块相连，得到供电模块输出的经过稳压模块后的稳定电压，并输出稳定的方波信号。cmos模块与pwm模块相连，接收pwm输出信号，并将其反相和升压。相机模块由多个相同的光学相机与一个事件相机组成，pwm信号直接连接到事件相机，普通相机接收由cmos反相升压后的信号，在接收到信号时同时拍摄采集数据。事件相机软件设置为在上升沿产生同步事件。两光学相机软件设置为在下降沿拍摄图像。
[0102]
此外，本发明还提供了一种硬件平台，该平台包括载板、相机支撑模块和分光镜模块。其中，载板用于承载所有器件，并保证所有器件水平；相机支撑模块用于固定相机并保证其在同一水平面上；分光镜模块用于将输入光线分开，保证每个镜头获取的是相同的图像。
[0103]
具体地，载板采用长方体薄平台，其上有数个螺纹孔，用于固定相机支撑模块与分光镜模块。相机支撑模块采用“l”型结构支架，其多个面分别开有数个通孔，底面用于与载板的螺纹孔配合，侧面用于与相机的螺纹孔配合。分光镜模块采用长方体底板、多个侧板、一个端盖构成，长方体底板开有两条平行的凹槽，用于固定分光镜片，侧板中部镂空，用于镜头进入，下部有通孔，用于与长方体底板上的螺纹孔配合，端盖开有两条平行的凹槽，与底板方向一致，用于固定分光镜片。
[0104]
以下结合具体实施例，对本发明所提供的方案进行详细说明。
[0105]
如图5所示，本具体实施例提供的硬件平台包括：传统光学相机，事件相机，分光镜和同步电路。其中，分光镜模块中，两分光镜呈与底板边缘45
°
方向平行排列，多个传统光学相机通过分光镜进行连接，并使用相同规格的镜头；两传统光学相机均选型为hikrobot mv-ca013-21uc，经过设计其中一个相机曝光时间为另一个相机曝光时间的4倍，用于采集不同曝光范围图像帧数据并传输至电脑终端；事件相机选型为davis346。
[0106]
本实施例整体流程图如图2所示，具体步骤如下：
[0107]
步骤1：首先使用棋盘格对多个相机进行标定，获取多个相机的单应矩阵，然后通过控制电路，在动态场景中获得一系列相同时间戳采集的图像帧，然后使用前述得到的单应矩阵与图像加权进行融合，得到高动态范围的图像。
[0108]
步骤1中所描述的加权函数为：
[0109][0110]
其中，c
ij,k
、s
ij,k
和e
ij,k
对应表示第k个光学相机转化后的图像中坐标为(i,j)像素的对比度、饱和度和亮度，ωc、ωs和ωe为其加权权重，一般设置ωc＝ωs＝ωe＝1。
[0111]
步骤2：首先将原图像进行降采样和不同尺度的高斯模糊，建立高斯金字塔，然后
利用不同尺度高斯分核与其卷积并相减得到高斯差分金字塔，进而通过寻找局部极值点以确定关键点的位置，再计算其梯度的幅值与方向确定关键点的主方向，最后通过关键点的位置、尺度、方向进行特征描述，计算相似性匹配度，完成关键点匹配，若关键点数量足够，则进行步骤3，若不足够，则将数量阈值减半，并重新进行步骤2。
[0112]
步骤2中关键点的特征描述详细过程如图3，首先计算描述子所需的图像区域并校正主方向，一般选取4
×4×
8＝128维向量表征，并为确保旋转不变性，将原图像x轴旋转到与主方向相同的方向；然后计算领域内的每个像素的梯度幅值与梯度方向，利用高斯窗口进行加权运算，最后在每个小块上绘制8个方向的梯度直方图，计算每个梯度方向的累加值，即可形成一个种子点，每个关键点由4个种子点组成，每个种子点有8个方向的向量信息。
[0113]
步骤2中为增强匹配的稳健性，一般对每个关键点使用4
×
4共16个种子点来描述，这样一个关键点可以产生128维的特征向量，重复概率极低。步骤2中选取关键点数量阈值为80。步骤2中降低关键点数量阈值为前一阈值的80％。
[0114]
步骤2中最后的相似性度量表示为：
[0115][0116]
其中，d(ri,si)为前后两帧图像的相似性评价指标，r
ij
、s
ij
对应表示前后两帧的关键点描述子，n取128。
[0117]
步骤2中，相似性参数阈值为1。
[0118]
步骤3：如图4所示，通过步骤2中实现前后两帧图像的特征匹配，从而得到前后两帧图像的单应矩阵，并通过线性插值，得到任意时刻的单应矩阵h
′
，若单应矩阵h
′
计算合理，则将其与前一帧图像相乘即可得到任意时刻的高动态范围图像，若不合理则直接进行下一对相邻帧图像的处理。
[0119]
步骤3中所描述的线性插值表示为：
[0120][0121]
式中，h
′
为任意时刻与前一帧图像拍摄时刻的单应矩阵，h为前后两帧图像的单应矩阵，tm为两帧图像拍摄时间间隔内任意时刻的时间戳，t0为前一帧图像拍摄的时间戳，t1为后一帧图像拍摄的时间戳。
[0122]
步骤3中单应矩阵计算合理性的判断依据为：
[0123]i″
＝h
′ip
[0124][0125]
式中，i
p
为相邻两帧图像中前一帧图像，in为相邻两帧图像中后一帧图像。合理性设定值取1。
[0126]
本发明电路原理图如图3所示，其中：
[0127]
电源的电压为12v，稳压模块12v转3.3v，pwm输出幅值为3.3v的方波，通过cmos模块后相并升压为12v方波，进而控制多个普通相机在同一下降沿进行信号采集，而事件相机直接接收pwm模块输出的幅值为3.3v的方波信号，在上升沿进行信号采集。
[0128]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种事件相机任意时刻高动态图像真值的获取方法，其特征在于，包括如下步骤：(1)对光心等效于同一位置的多个光学相机进行标定，得到各光学相机到其中一指定光学相机间的单应矩阵h
k
，然后在动态场景中获得多个光学相机在不同曝光值下分别拍摄的一系列具有相同时间戳的图像，将该图像和单应矩阵h
k
加权进行图像融合，得到高动态范围图像；(2)通过sift特征提取与遍历匹配方法，确定所述高动态范围图像中所有帧图像中的关键点的特征信息，并将所述高动态范围图像中相邻两帧图像中的关键点进行特征匹配，若匹配的关键点数量在数量阈值内时，则执行步骤(3)；若匹配的关键点数量不在数量阈值内时，则减少数量阈值，并重新执行步骤(2)；其中，所述关键点的特征信息包括关键点的位置、尺度和主方向信息；(3)根据相邻两帧图像中匹配的关键点的位置信息，计算该相邻两帧图像间的单应矩阵h，并将该单应矩阵h进行线性插值，得到任意时刻的单应矩阵h
′
，然后判断该单应矩阵h
′
的计算合理性，若计算合理，则将单应矩阵h
′
与该相邻两帧图像中前一帧图像结合，得到任意时刻的高动态范围图像；若计算不合理，则进行下一对相邻帧图像间的单应矩阵h的计算和判断。2.根据权利要求1所述的事件相机任意时刻高动态图像真值的获取方法，其特征在于，步骤(1)中，图像融合所得到的高动态范围图像r
ij
表示为：表示为：表示为：表示为：表示为：表示为：式中，w
ij,k
表示图像融合中所描述加权融合的权重；k表示光学相机序号；n表示光学相机的总数；i
ij,k
表示第k个光学相机转化后的图像中坐标为(i,j)的像素，即除所有光学相机的图像分别通过单应矩阵转换至一指定光学相机视角下的图像像素值；σ
k
表示第k个光学相机转化后的图像的尺度参数；表示所有图像权重映射归一化后的权重；和对应表示第k个光学相机转化后的图像中坐标为(i,j)像素的蓝色、绿色和红色通道亮度；c
ij,k
、s
ij,k
和e
ij,k
对应表示第k个光学相机转化后的图像中坐标为(i,j)像素的对比度、饱和度和亮度，ω
c
、ω
s
和ω
e
对应表示对比度、饱和度和亮度的权重。3.根据权利要求1所述的事件相机任意时刻高动态图像真值的获取方法，其特征在于，
步骤(2)中，所述通过sift特征提取与遍历匹配方法，确定所述高动态范围图像中所有帧图像的关键点特性信息，并将所述高动态范围图像中相邻两帧图像中的关键点进行特征匹配的步骤，具体为：(2.1)将所述高动态范围图像中各帧图像分别进行降采样和不同尺度的高斯模糊，建立高斯金字塔；(2.2)利用不同尺度高斯分核与其卷积相减得到高斯差分金字塔，进而通过寻找局部极值点，确定各帧图像中所有关键点的位置和尺度，再根据高斯金字塔计算关键点的梯度幅值与方向，确定该关键点的主方向；(2.3)对各帧图像中各关键点的位置、尺度、主方向进行特征描述，得到关键点的描述子向量，然后根据描述子向量计算所述高动态范围图像中相邻两帧图像中各关键点的相似性匹配度，若相似性匹配度超过匹配阈值，则认定该关键点为匹配点。4.根据权利要求3所述的事件相机任意时刻高动态图像真值的获取方法，其特征在于，步骤(3)中，相邻两帧图像间的单应矩阵h为：式中，u、v对应表示匹配的关键点的横、纵坐标，表示相邻两帧图像中前一帧图像的第m个匹配的关键点的横坐标，表示相邻两帧图像中后一帧图像的第m个匹配的关键点的横坐标，其中四个匹配的关键点不共线；h1～h8表示单应矩阵h中的八个参数。5.根据权利要求3所述的事件相机任意时刻高动态图像真值的获取方法，其特征在于，步骤(2.2)中，关键点的梯度幅值m(x,y)与方向θ(x,y)的计算公式分别为：步骤(2.2)中，关键点的梯度幅值m(x,y)与方向θ(x,y)的计算公式分别为：式中，l表示高斯金字塔的尺度空间函数；(x,y)表示高斯金字塔中图像的像素位置。6.根据权利要求3或5所述的事件相机任意时刻高动态图像真值的获取方法，其特征在于，步骤(2.2)中，所述计算关键点的梯度幅值与方向，确定该关键点的主方向的步骤，具体为：以关键点为圆心，将该关键点所在的高斯图像尺度的1.5倍为半径的圆内所有的像素的梯度方向与幅值，通过高斯加权与投票机制确定该关键点的主方向。7.根据权利要求3所述的事件相机任意时刻高动态图像真值的获取方法，其特征在于，步骤(2.3)中，所述对各帧图像中各关键点的位置、尺度、主方向进行特征描述，得到关键点的描述子向量的步骤，具体为：
将坐标轴旋转至关键点的主方向，将其邻域分为若干个相同大小的区域，计算区域内所有像素点的梯度幅值与方向，将每一块邻域内的幅值与方向进行高斯加权与投票机制，获得每个区域的归一化方向与幅值，即为该关键点的描述子向量。8.根据权利要求3所述的事件相机任意时刻高动态图像真值的获取方法，其特征在于，所述相似度匹配度d(r
i
,s
i
)的计算公式为：式中，r
ij
、s
ij
对应分别表示相邻两帧图像中前一帧图像和后一帧图像中的关键点描述子向量。9.根据权利要求1所述的事件相机任意时刻高动态图像真值的获取方法，其特征在于，步骤(3)中，单应矩阵h
′
的计算公式为：式中，t
m
表示相邻两帧图像拍摄时间间隔内任意时刻的时间戳；t0表示相邻两帧图像中前一帧图像拍摄的时间戳；t1表示相邻两帧图像中后一帧图像拍摄的时间戳。10.根据权利要求1所述的事件相机任意时刻高动态图像真值的获取方法，其特征在于，步骤(3)中，单应矩阵h
′
的计算合理性的判断依据为：将单应矩阵h
′
与该相邻两帧图像中前一帧图像相乘，并计算所得图像与该相邻两帧图像中后一帧图像中各关键点的距离平方和的平均值，若该平均值大于设定值，则判断该单应矩阵h
′
计算合理，否则，则判断该单应矩阵h
′
计算不合理。

技术总结
本发明公开了一种事件相机任意时刻高动态图像真值的获取方法，包括如下步骤：对多光学相机进行标定，得到各光学相机到其中一指定光学相机间的单应矩阵H


技术研发人员：韩斌 李玟瑄 董岩 杨君宇 龙镇南 王硕
受保护的技术使用者：华中科技大学
技术研发日：2022.10.17
技术公布日：2023/9/22