一种路口全息视频监控方法及系统与流程

1.本发明属于智能交通技术领域，尤其涉及一种路口全息视频监控方法及系统。


背景技术：

2.全息路口系统是由智能交通边缘计算单元拟合多方向雷达、视频信息、车辆信息、高精度轨迹等多维度基础源数据，通过平台建模、物联网、大数据等技术，实现目标跟踪、违章判断、流量统计等功能，这不仅可以为城市交通治理提供实时可靠的交通数据，而且能够辅助交管部门进行管理。
3.当前，基于全息路口系统的交通违章判断，主要是通过路口枪机采集的视频画面结合路口高精度地图进行综合判断，但由于路口枪机视角固定，在目标车辆被遮挡时，或车辆轨迹发生改变时，受监控画面视角限制，难以及时捕捉到清晰、准确的画面来辅助交通管理人员判断。


技术实现要素：

4.有鉴于此，本发明实施例提供了一种路口全息视频监控方法及系统，用于解决现有监控画面视角受限的问题。
5.在本发明实施例的第一方面，提供了一种路口全息视频监控方法，包括：
6.识别到目标车辆存在疑似违章行为后，获取目标车辆违章点位置及违章时间，并获取违章时间点前后预定时间段内的高精度轨迹信息，所述高精度轨迹为全息路口系统中基于路口毫米波雷达和监控视频观测得到；
7.基于目标车辆高精度轨迹信息，获取不同视角下路口枪机采集的目标车辆视频；
8.基于目标检测算法剔除目标车辆视频中目标车辆或地面标线存在遮挡的视频帧，将剔除后的视频进行融合拼接，并展示融合拼接后的视频。
9.在本发明实施例的第二方面，提供了一种路口全息视频监控系统，包括：
10.第一获取模块，用于识别到目标车辆存在疑似违章行为后，获取目标车辆违章点位置及违章时间，并获取违章时间点前后预定时间段内的高精度轨迹信息，所述高精度轨迹为全息路口系统中基于路口毫米波雷达和监控视频观测得到；
11.第二获取模块，用于基于目标车辆高精度轨迹信息，获取不同视角下路口枪机采集的目标车辆视频；
12.融合拼接模块，用于基于目标检测算法剔除目标车辆视频中目标车辆或地面标线存在遮挡的视频帧，将剔除后的视频进行融合拼接，并展示融合拼接后的视频。
13.在本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。
14.在本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面
提供的所述方法的步骤。
15.本发明实施例中，基于目标车辆轨迹筛选出对应的视角的枪机，再通过目标检测算法过滤目标车辆及地面标线存在遮挡的视频帧，将过滤后的视频画面进行融合拼接，不仅可以实现枪机视角的灵活切换，而且能保障获得清晰完整的目标观测视角，提升路口目标车辆监测效果，能为交通管理人员提供真实、准确的视频画面来辅助判断。
附图说明
16.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。
17.图1为本发明一个实施例提供的一种路口全息视频监控方法的流程示意图；
18.图2为本发明一个实施例提供的一种路口全息视频监控系统的结构示意图；
19.图3为本发明的一个实施例提供的一种电子设备的结构示意图。
具体实施方式
20.为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
21.应当理解，本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或系统、设备没有限定于已列出的步骤或单元。此外，“第一”“第二”用于区分不同对象，并非用于描述特定顺序。
22.请参阅图1，本发明实施例提供的一种路口全息视频监控方法的流程示意图，包括：
23.s101、识别到目标车辆存在疑似违章行为后，获取目标车辆违章点位置及违章时间，并获取违章时间点前后预定时间段内的高精度轨迹信息，所述高精度轨迹为全息路口系统中基于路口毫米波雷达和监控视频观测得到；
24.全息路口系统可以基于路口的毫米波雷达及视频监控，结合智能算法可以车辆位置进行初步判断，如违规变道、不按车道行驶、逆行等，在系统初步判断目标车辆存在疑似违章后，需要由交通管理人员进一步的判断确认。
25.在全息路口系统识别出目标车辆存在疑似违章后，获取系统检测违章发生的时间点及位置，获取违章前后一段时间内目标车辆的高精度轨迹，比如提取目标车辆位置前10s和违章后5s的高精度轨迹。
26.所述高精度轨迹为基于路口毫米波雷达和监控视频数据拟合得到，全息路口系统可以根据观测到的目标车辆运动信息(速度、航向角)及位置变化，进行轨迹拟合实时输出目标车辆的高精度轨迹。
27.s102、基于目标车辆高精度轨迹信息，获取不同视角下路口枪机采集的目标车辆视频；
28.由于路口枪机视角固定，有明确的可观测区域，根据目标车辆高精度轨迹所涉及区域，选取能观测到目标车辆的枪机采集的视频数据。
29.具体的，根据目标车辆高精度轨迹信息及路口枪机可监测区域，判断可检测到目标车辆的枪机，获取在所述预定时间段内对应的路口枪机采集的目标车辆视频。
30.基于目标车辆轨迹所在区域，预先筛选掉无关的视频数据，可以减少数据处理量，降低系统运算量。同时，可以对相对距离较远的枪机视频数据也进行筛除，如相对距离超过40米的观测数据进行筛除。
31.s103、基于目标检测算法剔除目标车辆视频中目标车辆或地面标线存在遮挡的视频帧，将剔除后的视频进行融合拼接，并展示融合拼接后的视频。
32.所述目标检测算法采用深度神经网络，对图像中的特定目标进行检测，并在网络中增加一个分支用于估算目标被遮挡比例。目标检测模型可以通过完整的车辆图像以及标注遮挡比例的车辆图像进行训练。当目标检测算法在视频帧中检测到目标后，会同步输出目标被遮挡比例。
33.所述地面标线主要为车道线、道路边线以及停止线等，地面标线遮挡比例检测的是在检测到目标车辆后，会截取目标车辆周围固定尺寸的图像，地面标线检测模型会判断截取的图像中是否存在地面标线并估算标线被遮挡比例。应理解，地面标线遮挡比例的估算是一种粗略的估算，一般是针对某一特定的标线进行估算，比如当目标车辆违规变道时，可以检测目标车辆较为邻近(或已被目标车辆遮挡)的车道线在截取图像中被遮挡的大致比例。
34.具体的，当目标车辆遮挡比例超过第一预设值或目标车辆周围地面标线被遮挡比例超过第二比例，则将视频帧剔除；
35.当目标车辆遮挡比例超过第三预设值且低于第一预设值，或目标车辆周围地面标线被遮挡比例超过第四比例且低于第二预设值，则将视频帧标定为待定；
36.当目标车辆遮挡比例低于第三预设值且目标车辆周围地面标线被遮挡比例低于第四比例，则将视频帧保留；
37.将保留的视频帧拼接，当视频中存在缺失，则优先选取待定的目标车辆及地面标线被遮挡较少的视频帧进行补帧，当视频中存在重复视频帧，则优先剔除目标车辆及地面标线被遮挡较多的视频帧。
38.示例性的，当目标车辆被遮挡比例超过60％，或车辆周围的地面标线被遮挡超过80％，则直接将视频帧剔除，当目标车辆被遮挡比例超过30％低于60％，或地面标线被遮挡超过50％低于80％，则作为待定帧，若目标车辆遮挡比例低于30％且地面标线被遮挡比例低于50％，可以将视频帧直接保留用于融合拼接。
39.可以理解，为降低系统运算量，目标检测模型可以间隔时间或帧数(如1s或24帧)进行一次目标检测及遮挡比例判断，当时段目标被遮挡比例过高而将视频帧剔除，可以选取其他机位采集的视频帧进行切换。同时，为避免剔除部分视频帧后，会频繁切换枪机视角，可以强制设定某一视角的视频画面至少播放一定时间如(2s)，具体可以视实际情况而定。
40.优选的，基于目标车辆高精度轨迹信息，在三维地图上仿真模拟目标车辆行驶过程。枪机画面虽然可以真实展示现场场景，但受枪机分辨率、拍摄距离等因素的影响，其辅助准确性可能会有一定缺陷，通过在三维地面上仿真目标车辆行驶过程，可以更为直观、准确的展示目标车辆运动过程，为交通管理人员提供更为准确的辅助判断信息。
41.本实施中，不仅可以实现枪机视角切换，而且能保障各视角下观测目标的清晰完整，方便为交通管理人员提供清晰可靠的视频画面
42.应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
43.图2为本发明实施例提供的一种路口全息视频监控系统的结构示意图，该系统包括：
44.第一获取模块210，用于识别到目标车辆存在疑似违章行为后，获取目标车辆违章点位置及违章时间，并获取违章时间点前后预定时间段内的高精度轨迹信息，所述高精度轨迹为全息路口系统中基于路口毫米波雷达和监控视频观测得到；
45.第二获取模块220，用于基于目标车辆高精度轨迹信息，获取不同视角下路口枪机采集的目标车辆视频；
46.其中，根据目标车辆高精度轨迹信息及路口枪机可监测区域，判断可检测到目标车辆的枪机，获取在所述预定时间段内对应的路口枪机采集的目标车辆视频。
47.融合拼接模块230，用于基于目标检测算法剔除目标车辆视频中目标车辆或地面标线存在遮挡的视频帧，将剔除后的视频进行融合拼接，并展示融合拼接后的视频。
48.具体的，当目标车辆遮挡比例超过第一预设值或目标车辆周围地面标线被遮挡比例超过第二比例，则将视频帧剔除；
49.当目标车辆遮挡比例超过第三预设值且低于第一预设值，或目标车辆周围地面标线被遮挡比例超过第四比例且低于第二预设值，则将视频帧标定为待定；
50.当目标车辆遮挡比例低于第三预设值且目标车辆周围地面标线被遮挡比例低于第四比例，则将视频帧保留；
51.将保留的视频帧拼接，当视频中存在缺失，则优先选取待定的目标车辆及地面标线被遮挡较少的视频帧进行补帧，当视频中存在重复，则优先剔除目标车辆及地面标线被遮挡较多的视频帧。
52.优选的，所述融合拼接模块230还包括：
53.仿真模块，用于基于目标车辆高精度轨迹信息，在三维地图上仿真模拟目标车辆行驶过程。
54.所述领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和模块的具体工作过程可以参考前述方法实施例中对应的过程，在此不再赘述。
55.图3是本发明一实施例提供的一种电子设备的结构示意图。所述电子设备用于实现路口枪机视频视角切换。如图3所示，该实施例的电子设备3包括：存储器310、处理器320以及系统总线330，所述存储器310包括存储其上的可运行的程序3101，本领域技术人员可以理解，图3中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
56.下面结合图3对电子设备的各个构成部件进行具体的介绍：
57.存储器310可用于存储软件程序以及模块，处理器320通过运行存储在存储器310的软件程序以及模块，从而执行电子设备的各种功能应用以及数据处理。存储器310可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如缓存数据)等。此外，存储器310可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
58.在存储器310上包含网络请求方法的可运行程序3101，所述可运行程序3101可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器310中，并由处理器320执行，以进行路口枪机视角切换等，所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序3101在所述电子设备3中的执行过程。例如，所述计算机程序3101可以被分割为第一获取模块、第二获取模块和融合拼接模块等功能模块。
59.处理器320是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器310内的软件程序和/或模块，以及调用存储在存储器310内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体状态监控。可选的，处理器320可包括一个或多个处理单元；优选的，处理器320可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器320中。
60.系统总线330是用来连接计算机内部各功能部件，可以传送数据信息、地址信息、控制信息，其种类可以是例如pci总线、isa总线、can总线等。处理器320的指令通过总线传递至存储器310，存储器310反馈数据给处理器320，系统总线330负责处理器320与存储器310之间的数据、指令交互。当然系统总线330还可以接入其他设备，例如网络接口、显示设备等。
61.在本发明实施例中，该电子设备所包括的处理320执行的可运行程序包括：
62.识别到目标车辆存在疑似违章行为后，获取目标车辆违章点位置及违章时间，并获取违章时间点前后预定时间段内的高精度轨迹信息，所述高精度轨迹为全息路口系统中基于路口毫米波雷达和监控视频观测得到；
63.基于目标车辆高精度轨迹信息，获取不同视角下路口枪机采集的目标车辆视频；
64.基于目标检测算法剔除目标车辆视频中目标车辆或地面标线存在遮挡的视频帧，将剔除后的视频进行融合拼接，并展示融合拼接后的视频。
65.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
66.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
67.以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种路口全息视频监控方法，其特征在于，包括：识别到目标车辆存在疑似违章行为后，获取目标车辆违章点位置及违章时间，并获取违章时间点前后预定时间段内的高精度轨迹信息，所述高精度轨迹为全息路口系统中基于路口毫米波雷达和监控视频观测得到；基于目标车辆高精度轨迹信息，获取不同视角下路口枪机采集的目标车辆视频；基于目标检测算法剔除目标车辆视频中目标车辆或地面标线存在遮挡的视频帧，将剔除后的视频进行融合拼接，并展示融合拼接后的视频。2.根据权利要求1所述的方法，其特征在于，所述基于目标车辆高精度轨迹信息，获取不同视角下路口枪机采集的目标车辆视频包括：根据目标车辆高精度轨迹信息及路口枪机可监测区域，判断可检测到目标车辆的枪机，获取在所述预定时间段内对应的路口枪机采集的目标车辆视频。3.根据权利要求1所述的方法，其特征在于，所述基于目标检测算法剔除目标车辆或地面标线存在遮挡的视频帧，将剔除后的视频进行融合拼接包括：当目标车辆遮挡比例超过第一预设值或目标车辆周围地面标线被遮挡比例超过第二比例，则将视频帧剔除；当目标车辆遮挡比例超过第三预设值且低于第一预设值，或目标车辆周围地面标线被遮挡比例超过第四比例且低于第二预设值，则将视频帧标定为待定；当目标车辆遮挡比例低于第三预设值且目标车辆周围地面标线被遮挡比例低于第四比例，则将视频帧保留；将保留的视频帧拼接，当视频中存在缺失，则优先选取待定的目标车辆及地面标线被遮挡较少的视频帧进行补帧，当视频中存在重复视频帧，则优先剔除目标车辆及地面标线被遮挡较多的视频帧。4.根据权利要求1所述的方法，其特征在于，所述基于目标检测算法剔除目标车辆或地面标线存在遮挡的视频帧，将剔除后的视频进行融合拼接，并展示融合拼接的视频还包括：基于目标车辆高精度轨迹信息，在三维地图上仿真模拟目标车辆行驶过程。5.一种路口全息视频监控系统，其特征在于，至少包括：第一获取模块，用于识别到目标车辆存在疑似违章行为后，获取目标车辆违章点位置及违章时间，并获取违章时间点前后预定时间段内的高精度轨迹信息，所述高精度轨迹为全息路口系统中基于路口毫米波雷达和监控视频观测得到；第二获取模块，用于基于目标车辆高精度轨迹信息，获取不同视角下路口枪机采集的目标车辆视频；融合拼接模块，用于基于目标检测算法剔除目标车辆视频中目标车辆或地面标线存在遮挡的视频帧，将剔除后的视频进行融合拼接，并展示融合拼接后的视频。6.根据权利要求5所述的系统，其特征在于，所述基于目标车辆高精度轨迹信息，获取不同视角下路口枪机采集的目标车辆视频包括：根据目标车辆高精度轨迹信息及路口枪机可监测区域，判断可检测到目标车辆的枪机，获取在所述预定时间段内对应的路口枪机采集的目标车辆视频。7.根据权利要求5所述的系统，其特征在于，所述基于目标检测算法剔除目标车辆或地面标线存在遮挡的视频帧，将剔除后的视频进行融合拼接包括：
当目标车辆遮挡比例超过第一预设值或目标车辆周围地面标线被遮挡比例超过第二比例，则将视频帧剔除；当目标车辆遮挡比例超过第三预设值且低于第一预设值，或目标车辆周围地面标线被遮挡比例超过第四比例且低于第二预设值，则将视频帧标定为待定；当目标车辆遮挡比例低于第三预设值且目标车辆周围地面标线被遮挡比例低于第四比例，则将视频帧保留；将保留的视频帧拼接，当视频中存在缺失，则优先选取待定的目标车辆及地面标线被遮挡较少的视频帧进行补帧，当视频中存在重复视频帧，则优先剔除目标车辆及地面标线被遮挡较多的视频帧。8.根据权利要求5所述的系统，其特征在于，所述融合拼接模块还包括：仿真模块，用于基于目标车辆高精度轨迹信息，在三维地图上仿真模拟目标车辆行驶过程。9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的一种路口全息视频监控方法的步骤。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被执行时实现如权利要求1至4任一项所述的一种路口全息视频监控方法的步骤。

技术总结
本发明提供一种路口全息视频监控方法及系统，该方法包括：识别到目标车辆存在疑似违章行为后，获取目标车辆违章点位置及违章时间，并获取违章时间点前后预定时间段内的高精度轨迹信息，所述高精度轨迹为全息路口系统中基于路口毫米波雷达和监控视频观测得到；基于目标车辆高精度轨迹信息，获取不同视角下路口枪机采集的目标车辆视频；基于目标检测算法剔除目标车辆视频中目标车辆或地面标线存在遮挡的视频帧，将剔除后的视频进行融合拼接，并展示融合拼接后的视频。通过该方案不仅可以实现路口枪机视角切换，而且能保障目标观测视角清晰无遮挡。清晰无遮挡。清晰无遮挡。


技术研发人员：王杰 廖为建 戴增 史成武
受保护的技术使用者：湖北天存信息技术有限公司
技术研发日：2023.05.11
技术公布日：2023/8/24