一种基于多源移动视频融合的交通场景还原方法及系统

1.本发明涉及车辆追踪和智能交通技术领域，尤其是一种基于多源移动视频融合的交通场景还原方法及系统。


背景技术：

2.随着经济的发展，汽车数量逐年攀升，交通肇事案件数量也迅速增长。在传统的交通肇事处理过程中，警方接到报警后，需要调集警力通过监控视频还原案发现场；若肇事者逃逸，则还需调集警力耗费大量的时间分析监控视频以追踪肇事车辆。警方分析所用的监控视频来源一般为以下几种：
3.第一种、天网系统在交通要道、治安卡口、公共聚集场所、宾馆、学校、医院以及治安复杂场所安装的视频监控设备。
4.第二种、肇事现场目击证人所提供的数码录像。
5.第三种、肇事现场或肇事车辆逃逸路径附近商店内的监控录像。
6.第四种、肇事现场附近车辆所提供的行车记录仪。
7.但上述四种监控视频在协助案件处理中也具有相应的缺陷：第一种的天网系统只能涵盖交通要道、治安卡口、公共聚集场所等人员相对密集的场所，两个摄像头之间存在一定的盲区。同时，目前国内对于交通肇事车辆的追踪主要通过人力来寻找，造成了大量人力资源的浪费，同时也为案件的侦破带来一定的阻碍。而第二、三种的警方所获取的视频信息具有极大随机性，由于拍摄距离角度等不同，警方在其中很难有效提取出相应所需的信息，对于案件的开展并不能起到有效的帮助。第四种的行车记录仪对案件的侦破处理起着极为有效的作用，但是需要警方对所有行车记录仪的视频进行逐一观看，造成了大量人力资源的浪费，同时，部分车辆可能没有配备行车记录仪或车主并不主动提供行车记录仪，因此亦为案件的开展带来了困难。


技术实现要素：

8.为了克服上述现有技术中的缺陷，本发明提供一种基于多源移动视频融合的交通场景还原方法，能够提高肇事车辆的追踪效率，减少人力资源的浪费，为交通事故的责任认定提供帮助。
9.为实现上述目的，本发明采用以下技术方案，包括：
10.一种基于多源移动视频融合的交通场景还原方法，包括以下步骤：
11.s1，利用安装在车辆上的车载摄像头采集车外的交通视频；所述车载摄像头与安装在车辆上的车载处理单元连接，将所采集的交通视频发送给车载处理单元；
12.s2，车载处理单元提取交通视频中所出现的车辆的第一特征，并将车辆的第一特征和对应的交通视频上传至云平台；
13.车辆的第一特征包括：车牌号、车颜色、车辆型号、时间信息、位置信息；
14.s3，云平台根据交通视频和交通视频中所出现的车辆的第一特征，提取车辆的第
二特征，并根据车辆的第二特征判断车辆是否发生事故，根据车辆的判断结果对交通视频进行语义标注；
15.交通视频的语义标注内容包括：发生事故，事故车辆信息，事故时间信息、事故位置信息；
16.s4，输入事故特征，在云平台中根据事故特征和交通视频的语义标注，检索出标注有该事故特征的各个交通视频；
17.事故特征包括事故车辆信息，事故时间信息、事故位置信息中的一个或多个信息；
18.s5，对检索出的各个交通视频进行多源移动视频融合，还原事故的交通场景。
19.优选的，步骤s1中，车载处理单元对所采集的交通视频进行冗余数据剔除，剔除交通视频中无车辆存在的帧图像。
20.优选的，步骤s3中，车辆的第二特征包括：纹理信息、行驶轨迹、速度、加速度；步骤s3具体包括以下步骤：
21.s301，提取交通视频中的车辆在各个帧图像上的纹理信息；
22.s302，根据车辆的时间信息和位置信息，确定车辆的行驶轨迹；根据车辆的行驶轨迹，确定车辆的速度、加速度；
23.s303，判断是否发生事故：若车辆的加速度超过设定的加速度取值范围，或者车辆在前后帧图像上的纹理差值超过设定的阈值，则判断车辆发生碰撞事故；
24.s304，根据车辆的判断结果并结合车辆的第一特征，对交通视频进行语义标注，语义标注为：某车牌号、某颜色、某型号的车辆在某时间、某位置发生事故。
25.优选的，步骤s5中，对检索出的各个交通视频进行多源移动视频融合，具体包括以下步骤：
26.s501，将检索出的各个交通视频，分别拆分成按时间顺序排列的帧图像序列；
27.s502，对同一时间的帧图像进行图像融合，得到融合图像；
28.s503，将时间维度上连续的图像进行拼接，拼接后得到的视频即为事故的完整交通视频。
29.本发明还提供一种基于多源移动视频融合的交通场景还原方法的系统，包括：云平台，设置在各个车辆上的车载摄像头和车载处理单元；
30.所述车载摄像头用于采集车外的交通视频，各个车辆上的车载摄像头所采集的交通视频即为多源移动视频；所述车载摄像头与车载处理单元相连接，车载摄像头将所采集的交通视频发送给车载处理单元；
31.所述车载处理单元用于提取交通视频中所出现的车辆的第一特征；所述车载处理单元与云平台通讯连接，将交通视频和交通视频中所出现的车辆的第一特征上传至云平台；
32.所述云平台用于提取交通视频中所出现的车辆的第二特征，以及用于判断交通视频中所出现的车辆是否发生事故，并根据判断结果对交通视频进行语义标注。
33.优选的，所述云平台包括：视频处理单元、数据存储单元、事故信息单元、场景还原单元；
34.所述视频处理单元用于提取交通视频中所出现的车辆的第二特征，以及用于判断交通视频中所出现的车辆是否发生事故，并根据判断结果对交通视频进行语义标注；
35.所述数据存储单元用于存储交通视频，以及存储交通视频中所出现的车辆的第一特征和第二特征；
36.所述事故信息单元用于根据事故特征在云平台中检索出标注有该事故特征的各个交通视频；
37.所述场景还原单元用于对事故信息单元检索出的各个交通视频进行视频融合。
38.本发明的优点在于：
39.(1)本发明采用移动式车载摄像头对行径道路上的交通场景进行实时视频监控，获取多源移动视频，弥补了天网的监控盲区。
40.(2)本发明提取交通视频中所出现的各个车辆的特征信息，以及判断交通视频中是否有事故发生，对发生事故的交通视频进行语义标注，后续在追踪肇事车辆时，直接根据事故特征和语义标注进行自动检索，减少警方逐一观看肇事现场周边监控视频的时间，提高了警方查案破案的效率，减少了人力资源的浪费。
41.(3)本发明能够对肇事逃逸事故进行全自动追踪溯源，过程全自动操控，无需人工参与，规避人工管理的弊端，且能够覆盖管理盲区。
42.(4)本发明对检索出的各个交通视频进行多源移动视频融合，还原事故的交通场景；对同一时间的帧图像进行图像融合，获取视场角度更大的融合图像；将时间维度上连续的图像进行拼接，拼接后得到的视频即为事故的完整交通视频。
附图说明
43.图1为一种基于多源移动视频融合的交通场景还原方法流程图。
44.图2为一种基于多源移动视频融合的交通场景还原系统架构图。
具体实施方式
45.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.实施例1
47.由图1所示，一种基于多源移动视频融合的交通场景还原方法，包括以下步骤：
48.s1，利用安装在车辆上的车载摄像头1采集车外的交通视频；所述车载摄像头1与安装在车辆上的车载处理单元2连接，将所采集的交通视频发送给车载处理单元2。车载处理单元2对交通视频进行冗余数据剔除的处理，剔除交通视频中无车辆存在的帧图像。
49.s2，车载处理单元2提取交通视频中所出现的车辆的第一特征，并将车辆的第一特征和对应的交通视频绑定上传至云平台3。
50.车辆的第一特征包括：车牌号、车颜色、车辆型号、时间信息、位置信息。
51.s3，云平台3根据交通视频和交通视频中所出现的车辆的第一特征，提取车辆的第二特征，并根据车辆的第二特征判断车辆是否发生事故，根据车辆的判断结果对交通视频进行语义标注。
52.车辆的第二特征包括：纹理信息、行驶轨迹、速度、加速度。
53.交通视频的语义标注内容包括：发生事故，事故车辆信息，事故时间信息、事故位置信息。
54.s4，输入事故特征，在云平台3中根据事故特征和交通视频的语义标注，检索出标注有该事故特征的各个交通视频。
55.事故特征包括事故车辆信息，事故时间信息、事故位置信息中的一个或多个信息。
56.s5，对检索出的各个交通视频进行多源移动视频融合，还原事故的交通场景。
57.步骤s1中，交通视频的采集和处理，具体包括以下步骤：
58.s101，车辆上安装有csi摄像头，将csi摄像头与部署在车辆上的嵌入式开发板即车载处理单元2相连接，测试csi摄像头的视频采集情况；
59.s102，csi摄像头采集车外的交通视频，并将所采集的交通视频发送给车载处理单元2；
60.s103，车载处理单元2对交通视频进行冗余数据剔除的处理，剔除交通视频中无车辆存在的视频帧图像。
61.步骤s2中，交通视频中所出现的车辆的第一特征的提取方法为：
62.通过计算交通视频中车辆图像的灰度值直方图、梯度直方图、hog特征，获取车牌号、车身颜色；利用特征提取的方法获取车辆型号；利用嵌入式开发板连接的gps模块和rtc实时时钟芯片，获取车辆的位置信息和时间信息。
63.步骤s3具体包括以下步骤：
64.s301，提取交通视频中的车辆在各个帧图像上的纹理信息；
65.s302，根据车辆的时间信息和位置信息，确定车辆的行驶轨迹；根据车辆的行驶轨迹，确定车辆的速度、加速度；
66.s303，判断是否发生事故：若车辆的加速度超过设定的加速度取值范围，或者车辆在前后帧图像上的纹理差值超过设定的阈值，则判断车辆发生事故，即碰撞事故；
67.s304，根据车辆的判断结果并结合车辆的第一特征，对交通视频进行语义标注，语义标注为：某车牌号、某颜色、某型号的车辆在某时间、某位置发生事故。
68.本实施例中，将语义标注以嵌入式的形式嵌入在交通视频中，使用opencv工具将语义标注嵌入到交通视频文件的像素中，并建立关系型数据库，将语义标注与交通视频进行关联，以便于在数据库中进行查询和检索。
69.步骤s5中，对检索出的各个交通视频进行多源移动视频融合，具体包括以下步骤：
70.s501，将检索出的各个交通视频进行编解码，分别拆分成按时间顺序排列的帧图像序列；
71.s502，对同一时间的帧图像进行图像融合，得到视场角度更大的融合图像；
72.s503，将时间维度上连续的图像(帧图像或融合图像)进行拼接，拼接后得到的视频即为事故的完整交通视频。
73.步骤s502中，对同一时间的多帧图像进行融合，选取具备最完整区域的图像作为源图像，其它图像作为待配准图像，将待配准图像通过单应性矩阵变换到源图像上，得到融合图像；图像融合算法为现有技术，具体方式如下所示：
74.s5021，利用基于个数的中值滤波法消除帧图像中的噪声；
75.通过设定一阈值t限制邻域内像素点与中心像素点灰度差绝对值的范围，从而将
含噪图像中的像素点的属性划分为平坦区域、图像边缘以及噪声点这三类。以3*3大小的窗口为例，设中心像素点的8个邻域中，与中心像素点灰度差分的绝对值大于阈值t的相邻像素点的个数为m，当m≤2时,认为该中心像素点为平坦区域点；当2《m《6时，认为该中心像素点为图像边缘点；当m≥6时，认为该中心像素点是噪点，并将窗口范围内的9个像素点的灰度值进行排序,然后将灰度序列的中间值赋给该中心像素点。
76.s5022，利用sift算法进行特征点检测：
77.sift算法首先引入高斯卷积核来切换不同的尺度空间。高斯函数符合正态分布，利用高斯函数切换尺度空间，可以使图像变得模糊，俗称为图像滤波。正态分布的表达式为：
[0078][0079]
其中，n表示空间维度，σ表示标准差，σ越大，图像模糊程度越大，r表示卷积模板的半径。假如用一个大小为m*n的模板对一幅二维图像进行高斯卷积运算,则图像中一点(x,y)对应的运算公式为：
[0080][0081]
在二维空间中，这个公式生成的曲面的等高线是从中心开始呈正态分布的同心圆，在计算高斯函数的离散近似时，在3σ距离之外的像素都可以看作不起作用，这些像素的计算也就可以忽略。图像处理程序只需要计算(6σ+1)*(6σ+1)的矩阵就可以保证相关像素影响。
[0082]
构建高斯金字塔的尺度空间，二维图像的尺度空间以l(x,y,σ)表示，高斯函数为g(x,y,σ)，原始二维图像为i(x,y)，则：
[0083]
l(x,y,σ)＝g(x,y,σ)*i(x,y)
[0084]
其中，*运算代表卷积运算。
[0085]
通过不断地改变高斯模糊和降采样的尺度大小，就可以得到一个完整的高斯金字塔。在高斯金字塔中，每层尺度空间内都会有多张不同参数模糊的图像，各层不同模糊程度的图像组合起来就成一组(octave)，每组中不同单个图像被统称为一层(interval)。
[0086]
使用高斯差分算子(dog)进行极值检测：
[0087]
d(x,y,σ)＝(g(x,y,kσ)-g(x,y,σ))*i(x,y)
[0088]
＝l(x,y,kσ)-l(x,y,σ)
[0089]
使用高斯金字塔每组中相邻上下两层图像相减，得到高斯差分图像。
[0090]
在高斯金字塔内不同大小和尺度的空间中通过尺度相邻的点来计算极值点并对这些关键点进行定位。每个极值点的计算涉及到与该极值点相邻上层9个点加本层除本身之外的8个点加相邻下层的9个点共26个点，通过比较计算从而检测出极值点的位置。由于极值点确定需要相邻尺度的图像进行计算，所以每组的最顶层图像和最底层图像不能进行极值点检测，所以高斯金字塔每组包含的不同尺度图像层数至少为3层，高斯差分金字塔层数至少为4层。
[0091]
把在离散空间内检测到的极值点进行插值处理，就可以得到连续空间内的极值点位置，两个空间的极值点位置相近，但不重合。
[0092]
利用公式：
[0093][0094][0095]
得到高斯金字塔中每一个关键点的位置与其邻域范围内所有像素的梯度强度信息和其方向信息。
[0096]
通过以上各个算法流程计算得到了关键点所有信息，包括关键点位置坐标、尺度空间和梯度方向。特征描述的作用是将关键点信息与其邻域内像素点的相关信息综合转换为向量形式来表示，完成特征点描述，该向量唯一存在于同一场景区域以便用于图像配准。
[0097]
s5023，利用最近邻匹配算法进行特征点的匹配，设图像一即源影像中有x个特征描述向量，图像二即待配准影像中有y个特征描述向量，在匹配过程中图像一中的任意一个向量都需和图像二中的y个向量进行距离计算，然后将距离排序，在图像二中的b个待匹配点中选择k个与图像一中特征点距离值相差最小的点，在这k个点中，若第一个匹配点的距离与第二个匹配点的距离相比比例大于阈值，则该第一个匹配点被确认为是正确的匹配点。
[0098]
s5024，将待配准影像通过单应性矩阵变换到源影像上，在图像融合的过程中，图像一与图像二匹配的特征点对集合分别为x和x1，x中的任意一点(x,y)与x1中对应点(u,v)的关系为：
[0099][0100][0101]
h即为单应性矩阵。上式展开化简可得：
[0102]
cu＝h1x+h2y+h3[0103]
cv＝h4x+h5y+h6[0104]
c＝h7x+h8y+h9[0105]
则：
[0106]-h1x-h2y-h3+h7x+h8y+h9＝0
[0107]-h4x-h5y-h6+h7x+h8y+h9＝0
[0108]
简化上式为aih＝0，式中：
[0109][0110]
h＝[h
1 h
2 h
3 h
4 h
5 h
6 h
7 h
8 h9]
t
[0111]
单应性矩阵一般总共有9个参数，8个自由度，一组不同特征点的匹配可以通过一
个计算公式获得两个关于单应性矩阵参数的计算公式，至少需要四组不同的特征点的匹配才能求解出h，a矩阵进行奇异值(svd)分解后，最小奇异值对应的右奇异向量即为h向量的解。
[0112]
将待配准影像通过单应性矩阵变换到源图像上，得到融合图像。
[0113]
实施例2
[0114]
由图2所示，一种基于多源移动视频融合的交通场景还原系统，包括：云平台3，设置在各个车辆上的车载摄像头1和车载处理单元2。
[0115]
所述车载摄像头1用于采集车外的交通视频，各个车辆上的车载摄像头1所采集的交通视频即为多源移动视频；所述车载摄像头1与车载处理单元2相连接，车载摄像头1将所采集的交通视频发送给车载处理单元2；
[0116]
所述车载处理单元2用于提取交通视频中所出现的车辆的第一特征；所述车载处理单元2与云平台3通讯连接，将交通视频和交通视频中所出现的车辆的第一特征上传至云平台3；
[0117]
所述云平台3用于提取交通视频中所出现的车辆的第二特征，以及用于判断交通视频中所出现的车辆是否发生事故，并根据判断结果对交通视频进行语义标注。
[0118]
所述云平台3包括：视频处理单元31、数据存储单元32、事故信息单元33、场景还原单元34；
[0119]
所述视频处理单元31用于提取交通视频中所出现的车辆的第二特征，以及用于判断交通视频中所出现的车辆是否发生事故，并根据判断结果对交通视频进行语义标注；
[0120]
所述数据存储单元32用于存储交通视频，以及存储交通视频中所出现的车辆的第一特征和第二特征；
[0121]
所述事故信息单元33用于根据事故特征在云平台3中检索出标注有该事故特征的各个交通视频；
[0122]
所述场景还原单元34用于对事故信息单元33检索出的各个交通视频进行视频融合。
[0123]
以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。

技术特征：
1.一种基于多源移动视频融合的交通场景还原方法，其特征在于，包括以下步骤：s1，利用安装在车辆上的车载摄像头(1)采集车外的交通视频；所述车载摄像头(1)与安装在车辆上的车载处理单元(2)连接，将所采集的交通视频发送给车载处理单元(2)；s2，车载处理单元(2)提取交通视频中所出现的车辆的第一特征，并将车辆的第一特征和对应的交通视频上传至云平台(3)；车辆的第一特征包括：车牌号、车颜色、车辆型号、时间信息、位置信息；s3，云平台(3)根据交通视频和交通视频中所出现的车辆的第一特征，提取车辆的第二特征，并根据车辆的第二特征判断车辆是否发生事故，根据车辆的判断结果对交通视频进行语义标注；交通视频的语义标注内容包括：发生事故，事故车辆信息，事故时间信息、事故位置信息；s4，输入事故特征，在云平台(3)中根据事故特征和交通视频的语义标注，检索出标注有该事故特征的各个交通视频；事故特征包括事故车辆信息，事故时间信息、事故位置信息中的一个或多个信息；s5，对检索出的各个交通视频进行多源移动视频融合，还原事故的交通场景。2.根据权利要求1所述的一种基于多源移动视频融合的交通场景还原方法，其特征在于，步骤s1中，车载处理单元(2)对所采集的交通视频进行冗余数据剔除，剔除交通视频中无车辆存在的帧图像。3.根据权利要求1所述的一种基于多源移动视频融合的交通场景还原方法，其特征在于，步骤s3中，车辆的第二特征包括：纹理信息、行驶轨迹、速度、加速度；步骤s3具体包括以下步骤：s301，提取交通视频中的车辆在各个帧图像上的纹理信息；s302，根据车辆的时间信息和位置信息，确定车辆的行驶轨迹；根据车辆的行驶轨迹，确定车辆的速度、加速度；s303，判断是否发生事故：若车辆的加速度超过设定的加速度取值范围，或者车辆在前后帧图像上的纹理差值超过设定的阈值，则判断车辆发生碰撞事故；s304，根据车辆的判断结果并结合车辆的第一特征，对交通视频进行语义标注，语义标注为：某车牌号、某颜色、某型号的车辆在某时间、某位置发生事故。4.根据权利要求1所述的一种基于多源移动视频融合的交通场景还原方法，其特征在于，步骤s5中，对检索出的各个交通视频进行多源移动视频融合，具体包括以下步骤：s501，将检索出的各个交通视频，分别拆分成按时间顺序排列的帧图像序列；s502，对同一时间的帧图像进行图像融合，得到融合图像；s503，将时间维度上连续的图像进行拼接，拼接后得到的视频即为事故的完整交通视频。5.适用于权利要求1-4任意一项所述的一种基于多源移动视频融合的交通场景还原方法的系统，其特征在于，包括：云平台(3)，设置在各个车辆上的车载摄像头(1)和车载处理单元(2)；所述车载摄像头(1)用于采集车外的交通视频，各个车辆上的车载摄像头(1)所采集的交通视频即为多源移动视频；所述车载摄像头(1)与车载处理单元(2)相连接，车载摄像头
(1)将所采集的交通视频发送给车载处理单元(2)；所述车载处理单元(2)用于提取交通视频中所出现的车辆的第一特征；所述车载处理单元(2)与云平台(3)通讯连接，将交通视频和交通视频中所出现的车辆的第一特征上传至云平台(3)；所述云平台(3)用于提取交通视频中所出现的车辆的第二特征，以及用于判断交通视频中所出现的车辆是否发生事故，并根据判断结果对交通视频进行语义标注。6.根据权利要求5所述的一种基于多源移动视频融合的交通场景还原方法的系统，其特征在于，所述云平台(3)包括：视频处理单元(31)、数据存储单元(32)、事故信息单元(33)、场景还原单元(34)；所述视频处理单元(31)用于提取交通视频中所出现的车辆的第二特征，以及用于判断交通视频中所出现的车辆是否发生事故，并根据判断结果对交通视频进行语义标注；所述数据存储单元(32)用于存储交通视频，以及存储交通视频中所出现的车辆的第一特征和第二特征；所述事故信息单元(33)用于根据事故特征在云平台(3)中检索出标注有该事故特征的各个交通视频；所述场景还原单元(34)用于对事故信息单元(33)检索出的各个交通视频进行视频融合。

技术总结
本发明公开了一种基于多源移动视频融合的交通场景还原方法及系统，涉及车辆追踪和智能交通技术领域，利用安装在各个车辆上的车载摄像头采集车外的交通视频，从而获取多源移动视频；车载处理单元提取交通视频中的车辆的第一特征，并将车辆的第一特征和对应的交通视频上传至云平台；云平台根据交通视频和交通视频中车辆的第一特征，提取车辆的第二特征并判断车辆是否发生事故，根据车辆的判断结果对交通视频进行语义标注；输入事故特征，在云平台中根据事故特征和交通视频的语义标注，检索出标注有该事故特征的各个交通视频；对检索出的各个交通视频进行多源移动视频融合，还原事故的交通场景。本发明能够提高肇事车辆的追踪效率。率。率。


技术研发人员：毕翔 王博 孙继盛 白佳鑫 崔家雨 曾瑞 邓嘉城 张本宏
受保护的技术使用者：合肥工业大学
技术研发日：2023.04.26
技术公布日：2023/8/21