一种基于向量交叉的目标统计方法、装置及设备

1.本发明涉及计算机视觉技术领域，尤其涉及一种基于向量交叉的目标统计方法、装置及设备。


背景技术：

2.随着互联网时代的快速发展，人口数量不断增加，商业、交通等领域对高实时性的人流量检测系统的需求也越来越大。通过对人流量数据的分析，不仅可以有效保护人们的生命安全，还可以为商业营销等行为提供有力的支撑。
3.现如今普遍的人流量统计算法有闸机计数法、红外线测量法、计算机视觉统计法。闸机计数法虽然精度高，基本不会出错，但是需要排队一个一个人过，极其不方便。红外线测量法具有设备安装要求低、使用相对方便的优点，但是其检测误差较大、检测结果容易受到热源等外界因素影响，难以应用于开阔的区域。
4.计算机视觉统计法主要是通过监控摄像头识别一个区域内有多少人。例如，公开号为cn114842393a的中国专利文献公开了一种人流量的统计方法，包括：从第一视频中获取一个统计周期内的多帧第一图像；根据多帧第一图像，得到在第一时间点、指定区域内的人数的第一统计值；从第二视频中获取第二图像；根据第二图像，得到在第一时间点、指定区域内的人数的第二统计值；根据第一统计值和第二统计值，得到第一时间点、指定区域的人流量。公开号为cn112257520a的中国专利文献公开了一种人流量统计方法包括：基于图像传感器获取目标区域的深度图像和振幅图像；其中，图像传感器设置于目标区域的正上方；基于滑动窗口对深度图像中的深度距离进行极值点检测，确定深度图像中各个候选头部区域；基于各候选头部区域获取振幅图像中的各待检测图像，对待检测图像进行目标分类，得到目标区域的人流量统计结果；其中，待检测图像为振幅图像中对应的候选头部区域。
5.但是，计算机视觉统计法可能会存在人与人之间遮挡的问题，导致精度下降。


技术实现要素：

6.本发明提供了一种基于向量交叉的目标统计方法、装置及设备，通过识别并追踪目标物，判断目标物是否跨过线段的方法来统计目标物流量，统计精度高。
7.本发明的技术方案如下：
8.一种基于向量交叉的目标统计方法，包括以下步骤：
9.(1)采用监控摄像装置实时采集目标区域的监控视频图像；
10.在监控视角下，在目标区域划定跨越线段，定义跨越线段两端点坐标分别为c、d，规定向量cd的顺时针0-180
°
方向为进入，逆时针0-180
°
方向为离开；
11.(2)通过目标检测模型和目标追踪模型，检测前一时刻t-1和当前时刻t的监控视频图像中目标物位置的中心坐标a和b；
12.(3)判断目标物从前一时刻t-1到当前时刻t是否为进入或离开；若是进入或离开，
则分别进行计数，否则不进行计数；
13.(4)重复步骤(2)-(3)，对目标进行统计。
14.步骤(2)中，前一时刻t-1和当前时刻t的时间间隔可自行设定。
15.优选的，步骤(2)中，所述的目标检测模型为预训练好的yolov5网络。
16.优选的，步骤(2)中，所述的目标追踪模型基于bytetrack或reid构建。
17.优选的，步骤(3)中，当向量ab在向量ad的顺时针方向，且向量ab在向量ac的逆时针方向，且向量dc在向量db的顺时针方向，且向量dc在向量da的逆时针方向时，从a到b是进入；当向量ab在向量ac的顺时针方向，向量ab在向量ad的逆时针方向，向量dc在向量db的逆时针方向且向量dc在向量da的顺时针方向时，从a到b是离开。
18.进一步的，步骤(3)中，当ab
×
ac《0且ab
×
ad》0且dc
×
da《0且dc
×
db》0时，从a到b是进入；当ab
×
ac》0且ab
×
ad《0且dc
×
da》0且dc
×
db《0时，从a到b是离开。
19.基于相同的发明构思，本发明还提供了一种基于向量交叉的目标统计设备，包括监控摄像装置、存储器、处理器以及存储在存储器中并可在处理器上执行的计算机程序；
20.所述的监控摄像装置实时采集目标区域的监控视频图像；
21.所述的处理器执行计算机程序时实现上述基于向量交叉的目标统计方法的步骤。
22.基于相同的发明构思，本发明还提供了一种基于向量交叉的目标统计装置，用于处理器中，所述的处理器与监控摄像装置电性连接；包括：
23.目标检测模块，通过目标检测模型和目标追踪模型，检测前一时刻t-1和当前时刻t的监控摄像装置采集的监控视频图像中目标物位置的中心坐标a和b；
24.分析模块，在监控视角下，划定跨越线段，定义跨越线段两端点坐标分别为c、d，规定向量cd的顺时针0-180
°
方向为进入，逆时针0-180
°
方向为离开；
25.判断目标物从前一时刻t-1到当前时刻t是否为进入或离开；若是进入或离开，则分别进行计数，否则不进行计数；
26.统计模块，根据分析模块的计数，统计目标区域的目标物流量。
27.所述的目标物流量可以为人流量。
28.与现有技术相比，本发明的有益效果为：
29.(1)本发明的可以控制抽帧的频率，达到实时更新目标物计数的功能。
30.(2)本发明的可以根据跨越线段来定义进出目标物的场景(如商场的人流量等)。
31.(3)本发明综合目标检测和追踪检测，可以更精确的计算进出目标物数量。
附图说明
32.图1为基于向量交叉的人流量统计方法的流程示意图；
33.图2为跨越线段示意图；
34.图3为人体进入时的向量示意图；
35.图4为人体离开时的向量示意图。
具体实施方式
36.下面结合附图和实施例对本发明作进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
37.本发明提出一种基于向量交叉的目标物统计算法。主要通过识别并追踪目标物，判断是否跨过线段的方法来统计目标物流量。如图1所示，以人流量统计为例，本发明针对上述技术问题采用的具体技术方案如下：
38.s1、给定跨越线段；
39.s2、人体检测；
40.s3、人体追踪；
41.s4、向量交叉计算是否进出；
42.s5、统计人流量。
43.步骤s1具体为：
44.在监控视角下，画出跨越线段point_1-point_2，规定垂直向量point_1point_2，并顺时针0度到180度方向的为进入，逆时针0度到180度方向的为离出，如图2所示。
45.步骤s2具体为：
46.人体检测。人体检测算法用目标检测算法实现，是整个算法的基础，首先检测出图片中的人物的检测框，然后将该人物按照检测框裁剪出来提供给后续的任务当做输入。在这里，我们采用yolov5训练好的人体检测模型来框出所有的人，以备后用。
47.步骤s3具体为：
48.人体追踪，由于监控画面中存在很多人，光靠目标检测模型无法对应每个人的行动轨迹。所以需要引入目标追踪模型，常用的目标追踪模型有bytetrack、reid向量匹配。
49.1.bytetrack是基于tracking-by-detection范式的跟踪方法，遮挡往往伴随着检测得分由高到低的缓慢降低：被遮挡物体在被遮挡之前是可视物体，检测分数较高，建立轨迹；当物体被遮挡时，通过检测框与轨迹的位置重合度就能把遮挡的物体从低分框中挖掘出来，保持轨迹的连贯性。
50.2.reid是图像目标检索算法，利用图像目标在整图中的特征向量，来进行相同目标检索。先将监控画面中所有检测的人进行特征向量化，再通过向量聚类来确定tracking id，从而得到相同tracking id的人的框。
51.步骤s4具体为：
52.向量交叉计算，也是人流量统计中最核心的算法。
53.1.通过步骤s3和s4可以得到前后两帧中相同tracking id的两个框bbox_front(x_f_min,y_f_min,x_f_max,y_f_max)、bbox_back(x_b_min,y_b_min,x_b_max,y_b_max)
54.2.计算上述两个框bbox_front、bbox_back的中心坐标a和b。其中a((x_f_min+x_f_max)/2,(y_f_min+y_f_max)/2))，b((x_b_min+x_b_max)/2,(y_b_min+y_b_max)/2))
55.3.为了简化向量表示，我们把跨越线段point_1-point_2定义为cd。一共存在以下两种情况：
56.a)当向量ab在向量ad的顺时针方向，且向量ab在向量ac的逆时针方向，且向量dc在向量db的顺时针方向，且向量dc在向量da的逆时针方向时，a到b是进入。
57.如图3，我们连接ac、ad、db。发现当向量ab在向量ad的顺时针方向，且向量ab在向量ac的逆时针方向，且向量dc在向量db的顺时针方向，且向量dc在向量da的逆时针方向时，a到b是进入。
58.即当且仅当ab
×
ac《0且ab
×
ad》0且dc
×
da《0且dc
×
db》0(
×
为两个向量叉乘)时，
a到b是进入。
59.令a(a1,a2)、b(b1,b2)、c(c1,c2)、d(d1,d2)，则ab
×
ac《0，ab
×
ad》0，dc
×
da《0，dc
×
db》0等价于：
60.(b1-a1,b2-a2)
×
(c1-a1,c2-a2)《0，(b1-a1,b2-a2)
×
(d1-a1,d2-a2)》0，(c1-d1,c2-d2)
×
(a1-d1,a2-d2)《0，(c1-d1,c2-d2)
×
(b1-d1,b2-d2)》0；
61.等价于：(b1-a1)(c2-a2)-(c1-a1)(b2-a2)《0，
62.(b1-a1)(d2-a2)-(d1-a1)(b2-a2)》0，(c1-d1)(a2-d2)-(a1-d1)(c2-d2)《0，
63.(c1-d1)(b2-d2)-(b1-d1)(c2-d2)》0。
64.b)当向量ab在向量ac的顺时针方向，向量ab在向量ad的逆时针方向，向量dc在向量db的逆时针方向且向量dc在向量da的顺时针方向时，a到b是出。
65.如图4，我们连接ac、ad、db。发现当向量ab在向量ac的顺时针方向，向量ab在向量ad的逆时针方向，向量dc在向量db的逆时针方向且向量dc在向量da的顺时针方向时，a到b是出。
66.即当且仅当ab
×
ac》0且ab
×
ad《0且dc
×
da》0且dc
×
db《0(
×
为两个向量叉乘)时，a到b是出。
67.令a(a1,a2)、b(b1,b2)、c(c1,c2)、d(d1,d2)，则ab
×
ac》0且ab
×
ad《0且dc
×
da》0且dc
×
db《0等价于：
68.(b1-a1,b2-a2)
×
(c1-a1,c2-a2)》0，(b1-a1,b2-a2)
×
(d1-a1,d2-a2)《0，(c1-d1,c2-d2)
×
(a1-d1,a2-d2)》0，(c1-d1,c2-d2)
×
(b1-d1,b2-d2)《0；
69.等价于(b1-a1)(c2-a2)-(c1-a1)(b2-a2)》0，(b1-a1)(d2-a2)-(d1-a1)(b2-a2)《0，(c1-d1)(a2-d2)-(a1-d1)(c2-d2)》0，(c1-d1)(b2-d2)-(b1-d1)(c2-d2)《0。
70.步骤s5具体为：
71.经过s4我们通过前后两帧相同tracking id的人判断是否进出，进而把id的结果存入redis缓存。等存够一定数量时再把结果输出。
72.以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于向量交叉的目标统计方法，其特征在于，包括以下步骤：(1)采用监控摄像装置实时采集目标区域的监控视频图像；在监控视角下，在目标区域划定跨越线段，定义跨越线段两端点坐标分别为c、d，规定向量cd的顺时针0-180
°
方向为进入，逆时针0-180
°
方向为离开；(2)通过目标检测模型和目标追踪模型，检测前一时刻t-1和当前时刻t的监控视频图像中目标物位置的中心坐标a和b；(3)判断目标物从前一时刻t-1到当前时刻t是否为进入或离开；若是进入或离开，则分别进行计数，否则不进行计数；(4)重复步骤(2)-(3)，对目标物进行统计。2.根据权利要求1所示的基于向量交叉的目标统计方法，其特征在于，步骤(2)中，前一时刻t-1和当前时刻t的时间间隔可自行设定。3.根据权利要求1所示的基于向量交叉的目标统计方法，其特征在于，步骤(2)中，所述的目标检测模型为预训练好的yolov5网络。4.根据权利要求1所示的基于向量交叉的目标统计方法，其特征在于，步骤(2)中，所述的目标追踪模型基于bytetrack或reid构建。5.根据权利要求1所示的基于向量交叉的目标统计方法，其特征在于，步骤(3)中，当向量ab在向量ad的顺时针方向，且向量ab在向量ac的逆时针方向，且向量dc在向量db的顺时针方向，且向量dc在向量da的逆时针方向时，从a到b是进入；当向量ab在向量ac的顺时针方向，向量ab在向量ad的逆时针方向，向量dc在向量db的逆时针方向且向量dc在向量da的顺时针方向时，从a到b是离开。6.根据权利要求1或5所示的基于向量交叉的目标统计方法，其特征在于，步骤(3)中，当ab
×
ac<0且ab
×
ad>0且dc
×
da<0且dc
×
db>0时，从a到b是进入；当ab
×
ac>0且ab
×
ad<0且dc
×
da>0且dc
×
db<0时，从a到b是离开。7.一种基于向量交叉的目标统计设备，其特征在于，包括监控摄像装置、存储器、处理器以及存储在存储器中并可在处理器上执行的计算机程序；所述的监控摄像装置实时采集目标区域的监控视频图像；所述的处理器执行计算机程序时实现如权利要求1-6任一项所述基于向量交叉的目标统计方法的步骤。8.一种基于向量交叉的目标统计装置，其特征在于，用于处理器中，所述的处理器与监控摄像装置电性连接；包括：目标检测模块，通过目标检测模型和目标追踪模型，检测前一时刻t-1和当前时刻t的监控摄像装置采集的监控视频图像中目标物位置的中心坐标a和b；分析模块，在监控视角下，划定跨越线段，定义跨越线段两端点坐标分别为c、d，规定向量cd的顺时针0-180
°
方向为进入，逆时针0-180
°
方向为离开；判断目标物从前一时刻t-1到当前时刻t是否为进入或离开；若是进入或离开，则分别进行计数，否则不进行计数；统计模块，根据分析模块的计数，统计目标区域的目标物流量。

技术总结
本发明公开了一种基于向量交叉的目标统计方法、装置及设备，方法包括：(1)实时采集目标区域的监控视频图像；在监控视角下，在目标区域划定跨越线段，定义跨越线段两端点坐标分别为C、D，规定向量CD的顺时针0-180


技术研发人员：蒋轲磊 赵天成 廖嘉佳 张璐 刘鹏
受保护的技术使用者：浙江大学滨江研究院
技术研发日：2023.05.11
技术公布日：2023/8/28