出行密接监控方法和装置

1.本技术涉及公共交通监控技术领域，具体而言，涉及一种出行密接监控方法和装置。


背景技术：

[0002][0003]
在机场、车站等公共场所佩戴口罩、保持社交距离可以有效降低病毒的传播概率，防止呼吸道传染病的扩散。目前国内外的公共场所对人流的口罩佩戴情况和社交距离的监测手段主要以人工监督为主、广播呼吁为辅，这种手段效率低下的同时也浪费了大量公共资源。并且，现有的密接判断方法多为直接对比社交距离与安全社交距离，这种固定的比对方式并未以实际应用场景中的实际情况为依据，存在准确性不高的缺陷。


技术实现要素：

[0004]
本技术的目的包括，例如，提供了一种出行密接监控方法和装置，其能够基于图像处理标定和识别行人的防传播物品佩戴情况，并基于动态设置的阈值检测行人的密接状态。
[0005]
本技术的实施例可以这样实现：
[0006]
第一方面，本技术提供一种出行密接监控方法，所述方法包括：
[0007]
获取摄像机拍摄的视频画面，所述视频画面中具有多个行人；
[0008]
基于预先训练得到的检测模型标定出所述视频画面中的各个行人，并基于所述检测模型确定各所述行人是否佩戴防传播物品；
[0009]
将每两个行人构建为一组行人对；
[0010]
针对各所述行人对，计算所述行人对中两个行人之间的距离；
[0011]
基于设置的第一判断阈值和第二判断阈值，判断所述两个行人之间的距离是否为安全距离，以确定所述两个行人是否处于密接状态，所述第二判断阈值为根据所述两个行人的防传播物品佩戴情况所确定的。
[0012]
在可选的实施方式中，所述基于预先训练得到的检测模型标定出所述视频画面中的各个行人的步骤，包括：
[0013]
基于预先训练得到的检测模型确定出所述视频画面中的各个行人，并利用标定框标定出各所述行人，所述标定框为框定所述行人的最小外接框。
[0014]
在可选的实施方式中，所述基于设置的第一判断阈值和第二判断阈值，判断所述两个行人之间的距离是否为安全距离的步骤，包括：
[0015]
检测所述两个行人之间的距离是否大于设置的第一判断阈值，所述第一判断阈值根据对所述视频画面进行缩放处理时的缩放尺寸所设置；
[0016]
若所述距离大于所述第一判断阈值，判定所述距离为安全距离；
[0017]
若所述距离小于或等于所述第一判断阈值，检测所述距离是否小于或等于所述第
二判断阈值，所述第二判断阈值小于所述第一判断阈值；
[0018]
若所述距离小于或等于所述第二判断阈值，判定所述距离并非安全距离，确定所述两个行人处于密接状态。
[0019]
在可选的实施方式中，所述方法还包括设置所述第二判断阈值的步骤，该步骤包括：
[0020]
获得所述两个行人中各所述行人的标定框的高度值；
[0021]
基于所述两个行人中各所述行人是否佩戴有防传播物品设置安全距离系数；
[0022]
根据各所述行人的标定框的高度值以及设置的安全距离系数，计算得到所述第二判断阈值。
[0023]
在可选的实施方式中，若所述两个行人中各所述行人均佩戴有防传播物品，则将所述安全距离系数设置为第一数值；
[0024]
若所述两个行人中至少存在一个行人未佩戴防传播物品，则将所述安全距离系数设置为第二数值，所述第一数值小于所述第二数值。
[0025]
在可选的实施方式中，所述方法还包括：
[0026]
针对每个行人，将所述行人的行人id、位置信息以及与其为密接状态的其他行人的行人id进行保存。
[0027]
在可选的实施方式中，所述方法还包括：
[0028]
针对各所述行人对，在所述行人对中两个行人之间的距离为安全距离时，在所述视频画面中采用第一连接线连接所述两个行人，并在所述两个行人之间的距离并非安全距离时，在所述视频画面中采用第二连接线连接所述两个行人，以构建出行密接网络。
[0029]
在可选的实施方式中，所述方法还包括预先训练得到检测模型的步骤，该步骤包括：
[0030]
获取多个样本图像，所述多个样本图像包括正样本图像和负样本图像，所述正样本图像中包括佩戴有防传播物品的行人，各所述行人具有对应的真实标签；
[0031]
将所述多个样本图像导入构建的初始模型中进行处理，输出各所述样本图像中各所述行人的预测标签；
[0032]
基于由所述真实标签和预测标签构建的损失函数作为指导，对所述初始模型进行训练，直至满足预设要求时得到所述检测模型。
[0033]
在可选的实施方式中，所述损失函数由第一子函数、第二子函数和第三子函数分别按对应的平衡系数加权后累加得到。
[0034]
第二方面，本技术提供一种出行密接监控装置，所述装置包括：
[0035]
获取模块，用于获取摄像机拍摄的视频画面，所述视频画面中具有多个行人；
[0036]
标定模块，用于基于预先训练得到的检测模型标定出所述视频画面中的各个行人，并基于所述检测模型确定各所述行人是否佩戴防传播物品；
[0037]
构建模块，用于将每两个行人构建为一组行人对；
[0038]
计算模块，用于针对各所述行人对，计算所述行人对中两个行人之间的距离；
[0039]
判断模块，用于基于设置的第一判断阈值和第二判断阈值，判断所述两个行人之间的距离是否为安全距离，以确定所述两个行人是否处于密接状态，所述第二判断阈值为根据所述两个行人的防传播物品佩戴情况所确定的。
[0040]
本技术实施例的有益效果包括，例如：
[0041]
本技术提供一种出行密接监控方法和装置，通过获取摄像机拍摄的视频画面，并基于预先训练得到的检测模型标定出视频画面中的各个行人，且确定各个行人是否佩戴防传播物品。将每两个行人构建为一组行人对，计算各个行人对中两个行人之间的距离。基于设置的第一判断阈值和第二判断阈值，判断两个行人之间的距离是否为安全距离，以确定两个行人是否处于密接状态，而第二判断阈值为根据两个行人的防传播物品佩戴情况所确定。本方案中，在利用图像处理及人工智能算法实现行人标定和防传播物品佩戴情况确定的基础上，基于行人的防传播物品佩戴情况动态设置判断阈值来判断行人的密接状态，提高了距离度量的可靠性。
附图说明
[0042]
为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0043]
图1为本技术实施例提供的出行密接监控方法的应用场景示意图；
[0044]
图2为本技术实施例提供的出行密接监控方法的流程图；
[0045]
图3为本技术实施例提供的检测模型训练方法的流程图；
[0046]
图4为图2中步骤s15包含的子步骤的流程图；
[0047]
图5为本技术实施例提供的第二判断阈值设置方法的流程图；
[0048]
图6为本技术实施例提供的出行密接监控装置的功能模块框图；
[0049]
图7为本技术实施例提供的电子设备的结构框图。
[0050]
图标：110-出行密接监控装置；111-获取模块；112-标定模块；113-构建模块；114-计算模块；115-判断模块；120-处理器；130-存储器；140-通信模块。
具体实施方式
[0051]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
[0052]
因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0053]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
[0054]
在本技术的描述中，需要说明的是，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0055]
需要说明的是，在不冲突的情况下，本技术的实施例中的特征可以相互结合。
[0056]
请参阅图1，为本技术实施例提供的出行密接监控方法的应用场景示意图，该场景包括服务器以及多个摄像机，服务器通过网络与各个摄像机通信连接，以进行数据通信或交互。在本实施例中，各个摄像机可为设置在公共交通车辆、公共交通站点等公共场所的具备图像采集及视频拍摄功能的终端设备。所述服务器可对各个摄像机所采集的图像及视频进行分析、处理。
[0057]
请参阅图2，是本技术实施例提供的一种应用于上述服务器的出行密接监控方法的流程图。所应说明的是，本技术提供的方法不以图2及以下所述的具体顺序为限制。下面将对图2中示出的各步骤进行详细说明。
[0058]
s11，获取摄像机拍摄的视频画面，所述视频画面中具有多个行人。
[0059]
s12，基于预先训练得到的检测模型标定出所述视频画面中的各个行人，并基于所述检测模型确定各所述行人是否佩戴防传播物品。
[0060]
s13，将每两个行人构建为一组行人对。
[0061]
s14，针对各所述行人对，计算所述行人对中两个行人之间的距离。
[0062]
s15，基于设置的第一判断阈值和第二判断阈值，判断所述两个行人之间的距离是否为安全距离，以确定所述两个行人是否处于密接状态，所述第二判断阈值为根据所述两个行人的防传播物品佩戴情况所确定的。
[0063]
本实施例中，设置在公共场所的摄像机可持续采集公共场所内的视频画面，例如公共交通工具，如车内的视频画面，停车站台的视频画面等。摄像机将采集的视频画面发送至服务器。摄像机所拍摄获得的视频画面中一般具有多个行人，而本技术的目的即在于通过对视频画面进行分析，结合判断视频画面中行人是否佩戴防传播物品，从而监控行人之间是否处于密接状态。其中，防传播物品可以是如口罩、面罩等物品。
[0064]
本实施例中，可以预先训练得到检测模型，该检测模型可以用于标定出视频画面中的行人。由于是否佩戴有防传播物品对于行人之间的安全距离的判断标准并不相同，因此，在判断行人之间是否处于密接状态时，还需结合行人是否佩戴有防传播物品进行判断。基于此，本实施例中，预先训练得到的检测模型还可以用于检测判断行人是否佩戴防传播物品。
[0065]
在上述基础上，可以将视频画面中多个行人中的每两个行人构建一组行人对，后续可针对各组行人对进行检测判断。
[0066]
通过检测模型可以标定出各个行人，从而可以确定各个行人的位置信息。针对每组行人对，可以根据该行人对中的两个行人各自的位置信息计算得到两个行人之间的距离。
[0067]
本实施例中，可以设置两个判断阈值，第一判断阈值和第二判断阈值。其中，第一判断阈值可以是一个相对固定的判断阈值，可以作为两个行人之间的距离是否为安全距离的初步判断。而第二判断阈值是根据两个行人的防传播物品佩戴情况所确定的，也即，将根据两个行人是否佩戴防传播物品来动态地、适应性地调整第二判断阈值。
[0068]
通过第一判断阈值和第二判断阈值来判断两个行人之间的距离是否为安全距离，进而确定两个行人是否处于密接状态。具体地，若两个行人之间的距离不在安全距离内，则两个行人处于密接状态，而若两个行人之间的距离在安全距离内，则两个行人并非处于密接状态。
[0069]
通过以上方式，可以判断出行人之间是否处于密接状态，从而判断行人之间是否存在疾病的传播风险，以疾病防控提供有效的依据信息。
[0070]
本实施例所提供的出行密接监控方法，在利用图像处理及人工智能算法实现行人标定以及防传播物品佩戴情况确定的基础上，基于行人的防传播物品佩戴情况动态设置判断阈值来判断行人的密接状态，提高了距离度量的可靠性。
[0071]
由上述可知，本实施例中，通过预先训练得到的检测模型标定出视频画面中的行人并确定各个行人是否佩戴防传播物品。以下首先对预先训练检测模型的过程进行介绍。请参阅图3，本实施例所提供的出行密接监控方法还包括以下步骤：
[0072]
s21，获取多个样本图像，所述多个样本图像包括正样本图像和负样本图像，所述正样本图像中包括佩戴有防传播物品的行人，各所述行人具有对应的真实标签。
[0073]
s22，将所述多个样本图像导入构建的初始模型中进行处理，输出各所述样本图像中各所述行人的预测标签。
[0074]
s23，基于由所述真实标签和预测标签构建的损失函数作为指导，对所述初始模型进行训练，直至满足预设要求时得到所述检测模型。
[0075]
本实施例中，可以采用互联网图像爬取的方式获得多个样本图像，例如，可以构建包含8400张的拍摄的公共场所场景下的样本图像的样本数据集。其中，各张样本图像中一般具有多个行人，有些行人佩戴有防传播物品，有些行人未佩戴有防传播物品。各个样本图像中，其中的行人具有真实标签，该真实标签包括行人的标定信息，如位置信息，以及行人是否佩戴防传播物品的标识信息。
[0076]
本实施例中，可以将样本数据集按照6:2:2的比例划分为训练集、验证集和测试集。可以预先对各张样本图像进行预处理，预处理的方式可以包括如随机裁剪处理、图像翻转处理、色域变换处理和mosaic等数据增强方式，从而提高样本图像的多样性，以提升得到的检测模型的鲁棒性。
[0077]
构建的初始模型可以是yolo v5网络模型，通过初始模型对导入的样本图像进行处理，可以输出得到样本图像中各行人的预测标签。
[0078]
本实施例中，可以基于构建的损失函数作为指导对初始模型进行训练，例如最小化损失函数的方式。而在满足预设要求时可停止训练，其中，预设要求可以是如模型训练达到收敛，或模型训练的次数达到预设最大次数，又或者是模型训练的时长达到预设最大时长等。
[0079]
本实施例中，构建的损失函数由第一子函数、第二子函数和第三子函数分别按对应的平衡系数加权后累加得到。
[0080]
其中，第一子函数可以是分类损失函数，分类损失函数通过交叉熵的方式计算损失，可以按以下公式进行计算：
[0081][0082]
其中，xn为模型输出经sigmoid函数处理后的值(预测标签)，yn为真实标签，正样本图像取1，负样本图像取0。在分类损失部分，只计算正样本图像的损失。
[0083]
第二子函数可以是obj函数，obj函数同样可以采用交叉熵的方式计算损失。本实施例中，对于各样本图像的真实标签可以包括标定行人的真实标定框，而得到的预测标签
包括标定行人的预测标定框。
[0084]
而obj指的是模型输出的预测标定框与其真实标定框之间的ciou，ciou的计算公式如下：
[0085][0086]
其中，ρ2(b,b
gt
)表示预测标定框和真实标定框的中心点的欧式距离，d表示包含预测标定框和真实标定框的最小闭包区域的对角线距离，α是权重参数，α的计算公式如下：
[0087][0088]
其中，υ是衡量长宽比一致性的参数，计算公式如下：
[0089][0090]
其中，w是预测标定框的宽度，h为预测标定框的高度，w
gt
是真实标定框的宽度，h
gt
为真实标定框的高度，iou(intersection over union，交并比)是预测标定框(a)与真实标定框(b)的交并比，其公式如下：
[0091][0092]
上式中，iou越高表明模型越准确。
[0093]
在obj损失的计算过程中，需要针对所有样本图像进行obj损失的计算。
[0094]
本实施例中，第三子函数可以是定位损失函数，定位损失函数通过ciouloss来计算，计算公式如下：
[0095][0096]
在定位损失函数计算过程中，仅需要针对正样本图像进行损失计算。
[0097]
在上述基础上，可按如下公式将第一子函数、第二子函数和第三子函数进行加权累加，计算得到损失函数：
[0098]
loss＝λ1l
cls
+λ2l
obj
+λ3l
loc
[0099]
其中，λ1，λ2，λ3为平衡系数，l
cls
，l
obj
，l
loc
分别为第一子函数、第二子函数和第三子函数。
[0100]
本实施例中，通过以上方式训练得到检测模型后，可以保存训练完成的检测模型以及网络权重参数。在后续实际应用阶段，可以读取保存的检测模型与网络权重参数，以用于图像处理。
[0101]
在实际应用阶段，将摄像机拍摄的视频画面导入至预先训练得到的检测模型中，基于预先训练得到的检测模型可确定出视频画面中的各个行人，并利用标定框标定出各个行人，该标定框即为框定行人的最小外接框，例如矩形框。
[0102]
本实施例中，还可结合deepsort目标跟踪算法，对各个行人进行轨迹跟踪。
[0103]
在目标跟踪过程中，可以采用re-id数据集mars上预训练的深度外观descriptor(a simple cnn)来提取视频画面的外观特征并通过卡尔曼滤波器预测下一帧视频画面中行人的预测标定框。在对当前视频画面进行处理时，则基于当前视频画面的图像信息可以得到行人的实际标定框。而基于其上一帧视频画面，可以得到基于上一帧视频画面所预测得到的在当前视频画面中的预测标定框。
[0104]
当卡尔曼滤波器预测到结果，立即会将结果进行更新，也即去和标定框进行iou匹配。在deepsort中，把预测到的结果分为确定态和非确定态，初始时均为非确定态，只有连续3帧的iou匹配上才能转为确定态。
[0105]
对于确定态的预测结果进行级联匹配，级联匹配包括四个阶段，第一个阶段：计算预测标定框和实际标定框的马氏距离，计算公式如下：
[0106][0107]
其中，dj表示第j个实际标定框的位置，yi表示第i次对目标的预测位置，表示预测标定框和实际标定框之间的协方差矩阵，两个随机变量的协方差矩阵是每个变量之间成对协方差计算的矩阵。
[0108]
实际标定框的位置由检测模型得到，预测标定框的位置由卡尔曼滤波器得到。在该阶段中，直接剔除马氏距离大于阈值的匹配项。
[0109]
第二个阶段：将检测和预测阶段得到的标定框对应的图像输入re-id网络提取特征向量，最终提取出128维的特征向量，通过l2正则化到一个单位球的超球面上(仍是单位球，因128维所以实际是一个超球面，模长依旧为1)，通过如下公式计算两个特征向量之间的余弦距离：
[0110][0111]
其中，rj表示第j个检测的特征向量，表示跟踪的特征向量的集合，保留了过去成功跟踪k次的特征，k越大，特征向量所包含的特征越多。
[0112]
第三个阶段：deepsort跟踪关联算法中一共有两个代价，一个是表征预测标定框与实际标定框特征相似度的余弦距离，一个是表征预测标定框与实际标定框接近度的马氏距离，求解时要使两个代价都尽可能的小，综合代价公式如下：
[0113]ci,j
＝λd
(1)
(i,j)+(1-λ)d
(2
)(i,j)
[0114]
其中，λ为平衡系数。
[0115]
第四个阶段：在此过程中，对于连续的多帧视频画面，有些行人可能持续出现在该多帧视频画面中，而有些行人可能仅出现在其中少数视频画面中，也即，可能由于遮挡或者是丢失，某个行人仅出现在少数视频画面中。
[0116]
因此，在上述过程中，在进行级联匹配时，可以设置匹配优先级，按照匹配优先级从高到低的顺序执行级联匹配。其中，匹配优先级的设置方式可以是，针对连续的多帧视频画面，将其中持续出现在各帧视频画面中的行人设置最高匹配优先级，也即，该行人在该多帧视频画面中的丢失帧为0帧。按照丢失帧从小到大的顺序，将匹配优先级按从高到低的方式进行设置。如此，则可以优先对并未丢失过的行人进行级联匹配。
[0117]
在级联匹配得到的综合代价低于预设阈值的情况下，可以确定针对的是同一个行
人。
[0118]
对于级联匹配的结果，未能匹配成功的结果可分为两类：第一类是预测匹配失败，即检测发生了漏检，在某一时刻，预测的标定框还在，但是检测模型没有检测到相应的目标。另一类是检测匹配失败，有一个新物体进入镜头，则会产生检测模型检测到了相应目标，但是还未能生成预测的标定框，还有一种是物体长时间被遮挡，导致检测到的物体没有可以与之匹配的轨迹。针对这两类匹配失败的结果可以执行iou匹配操作，将第一类得到的预测结果与第二类得到的检测结果进行iou匹配，从而降低因部分遮挡而引起的外观上的突变，以减少被遗漏的概率。
[0119]
若经过上述匹配，仍出现预测匹配失败，则查看预测结果是否为确定态，若为非确定态，则直接将结果移除，若为确定态，则为其设置寿命(max_age)，若在寿命时间内，检测模型都未检测到相应的目标，则认为其已经移出镜头，直接删除预测结果。若在寿命时间之内出现了检测目标，将其设置为非确定态，重新开始匹配。
[0120]
若经过上述匹配，仍出现检测匹配失败，则对其建立一个新的预测，并将其设定为非确定态，重新开始匹配。
[0121]
通过以上方式，则可以对连续的多帧视频画面中的同一个行人进行跟踪。
[0122]
本实施例中，在利用标定框标定出各个行人后，针对每两个行人，则可以通过计算该两个行人的标定框的中心点之间的距离，得到该两个行人之间的距离。
[0123]
在此基础上，请参阅图4，在判断两个行人之间的距离是否为安全距离时，可以通过以下方式实现：
[0124]
s151，检测所述两个行人之间的距离是否大于设置的第一判断阈值，所述第一判断阈值根据对所述视频画面进行缩放处理时的缩放尺寸所设置，若所述距离大于所述第一判断阈值，执行以下步骤s152，若所述距离小于或等于所述第一判断阈值，执行以下步骤s153。
[0125]
s152，判定所述距离为安全距离。
[0126]
s153，检测所述距离是否小于或等于所述第二判断阈值，所述第二判断阈值小于所述第一判断阈值，若所述距离小于或等于所述第二判断阈值，执行以下步骤s154，若所述距离大于所述第二判断阈值，执行步骤s152。
[0127]
s154，判定所述距离并非安全距离，确定所述两个行人处于密接状态。
[0128]
本实施例中，在对视频画面进行处理的过程中，对于导入的视频画面可进行自适应图片缩放处理，例如，可以将视频画面缩放为a*a，其中，a可以取416，缩放处理的过程如下：
[0129]
首先，可按以下公式计算得到缩放比例：
[0130]
z＝min{416/l,416/h}
[0131]
其中，l,h分别表示输入的视频画面的长、宽。
[0132]
按照以下公式计算缩放处理后的尺寸：
[0133]
lz＝zl，hz＝zh，lz,hz分别表示缩放后视频画面的长、宽。
[0134]
按照以下方式计算黑边填充数值：
[0135]
视频画面的两侧填充黑边像素：
[0136][0137]
其中，np.mod是python中numpy中的取余函数，因为yolov5网络经过5次下采样，而2的5次方，等于32，所以至少要去掉32的倍数，再进行取余。
[0138]
定义一个函数c(x)，c＝0表示行人对处于安全距离，c＝1表示行人对处于密接状态。首先判断1、2两个行人之间标定框中心点的欧氏距离d
(1,2)
，单位为像素，计算公式如下：
[0139][0140]
其中，n为空间维度，这里为2。第一判断阈值可设置a/2，因此，若d
(1,2)
》a/2(如416/2＝208)，则c＝0，若d
(1,2)
≤a/2(如208)，则进行进一步判断。
[0141]
本实施例中，在两个行人之间的距离小于或等于第一判断阈值时，再利用第二判断阈值进行判断，第二判断阈值为根据两个行人的防传播物品佩戴情况所确定。
[0142]
此外，考虑到公共交通车辆和站点所采用的摄像机来说，摄像机的内外参数难以获取，难以对视频画面进行直接校准。因此本实施例中，使用行人的标定框的高度作为计算尺度的基础，通过结合框和行人的防传播物品佩戴情况来动态设置第二判断阈值。如此，可以不受人体关节局部运动的影响，能提供帧间稳定的行人标定框高度，提高了尺度估计的稳定性。
[0143]
请参阅图5，本实施例中，可以通过以下方式设置第二判断阈值：
[0144]
s31，获得所述两个行人中各所述行人的标定框的高度值。
[0145]
s32，基于所述两个行人中各所述行人是否佩戴有防传播物品设置安全距离系数。
[0146]
s33，根据各所述行人的标定框的高度值以及设置的安全距离系数，计算得到所述第二判断阈值。
[0147]
本实施例中，安全距离系数为实际安全社交距离与平均身高的比值。据统计和飞沫传播距离模拟计算的研究，平均身高为1.64m，社交安全距离为2m，双方都佩戴口罩的情况下为1m，有一方佩戴口罩仍按2m计算，可得出双方都佩戴口罩的情况下，安全距离系数为0.6，余下情况安全距离系数为1.2。
[0148]
因此，针对的行人对中的两个行人，若两个行人中各个行人均佩戴有防传播物品，则将安全距离系数设置为第一数值。两个行人中至少存在一个行人未佩戴防传播物品，则将安全距离系数设置为第二数值，第一数值小于第二数值。例如，第一数值可以是上述的0.6，第二数值可以是上述的1.2。
[0149]
按照以下公式计算得到第二判断阈值：
[0150][0151]
s表示安全距离系数，h1、h2分别表示待检测的两个行人的标定框的高度值。
[0152]
结合上述，通过比较标定框的中心点的欧式距离以及上述动态设置的t来判别行人之间是否符合安全社交距离时，若d
(1,2)
》t，则c＝0，若d
(1,2)
≤t，则c＝1，即：
[0153][0154]
通过以上方式分析得到各组行人对中的行人是否处于密接状态后，针对每个行人，可以将其行人id、位置信息以及与其为密接状态的其他行人的行人id进行保存。例如，可以将这些信息保存至csv(comma-separated values，逗号分隔值)文件中。
[0155]
在此基础上，为了达到可视化的目的，针对各个行人对，在行人对中两个行人之间的距离为安全距离时，在视频画面中采用第一连接线连接该两个行人，并在两个行人之间的距离并非安全距离时，在视频画面中采用第二连接线连接该两个行人，以构建出行密接网络。
[0156]
其中，第一连接线和第二连接线可以通过不同颜色进行区分，如第一连接线可为黄色，第二连接线可为红色。此外，第一连接线和第二连接线也可以通过线类型的不同进行区分，例如，第一连接线可以为虚线，第二连接线可以为实线。
[0157]
本实施例中，可以将每个行人作为一个节点，将其具有的连接关系作为边，以形成出行密接网络。可以在python中通过pandas库导入csv文件的数据。使用py2neo库将数据导入neo4j数据库，遍历数据并创建行人节点和密接关系的“三元组”，使用cypher语言编写查询来绘制知识图谱。
[0158]
本实施例所提供的出行密接监控方法，主要运用了yolo v5网络的目标跟踪检测算法和检测模型，对行人进行标定、跟踪且检测行人是否佩戴口罩。通过行人的标定框的高度值、行人佩戴口罩的情况设置动态的判断阈值，利用动态判断阈值判断行人之间是否在安全距离内，是否处于密接状态，提高了距离度量的可靠性。
[0159]
进一步地，建立了公共交通出行的密接网络，以行人为节点，密接关系作为关联边，将行人对之间的密接关系进行可视化处理，便于存储和搜寻密接者的相关信息。
[0160]
基于同一申请构思，请参阅图6，示出了本技术实施例提供的出行密接监控装置110的功能模块示意图，本实施例可以根据上述方法实施例对出行密接监控装置110进行功能模块的划分。例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本技术实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0161]
比如，在采用对应各个功能划分各个功能模块的情况下，图6示出的出行密接监控装置110只是一种装置示意图。其中，出行密接监控装置110可以包括获取模块111、标定模块112、构建模块113、计算模块114和判断模块115，下面分别对该出行密接监控装置110的各个功能模块的功能进行详细阐述。
[0162]
获取模块111，用于获取摄像机拍摄的视频画面，所述视频画面中具有多个行人；
[0163]
可以理解，该获取模块111可以用于执行上述步骤s11，关于该获取模块111的详细实现方式可以参照上述对步骤s11有关的内容。
[0164]
标定模块112，用于基于预先训练得到的检测模型标定出所述视频画面中的各个行人，并基于所述检测模型确定各所述行人是否佩戴防传播物品；
[0165]
可以理解，该标定模块112可以用于执行上述步骤s12，关于该标定模块112的详细
实现方式可以参照上述对步骤s12有关的内容。
[0166]
构建模块113，用于将每两个行人构建为一组行人对；
[0167]
可以理解，该构建模块113可以用于执行上述步骤s13，关于该构建模块113的详细实现方式可以参照上述对步骤s13有关的内容。
[0168]
计算模块114，用于针对各所述行人对，计算所述行人对中两个行人之间的距离；
[0169]
可以理解，该计算模块114可以用于执行上述步骤s14，关于该计算模块114的详细实现方式可以参照上述对步骤s14有关的内容。
[0170]
判断模块115，用于基于设置的第一判断阈值和第二判断阈值，判断所述两个行人之间的距离是否为安全距离，以确定所述两个行人是否处于密接状态，所述第二判断阈值为根据所述两个行人的防传播物品佩戴情况所确定的。
[0171]
可以理解，该判断模块115可以用于执行上述步骤s15，关于该判断模块115的详细实现方式可以参照上述对步骤s15有关的内容。
[0172]
在一种可能的实现方式中，上述标定模块112可以用于：
[0173]
基于预先训练得到的检测模型确定出所述视频画面中的各个行人，并利用标定框标定出各所述行人，所述标定框为框定所述行人的最小外接框。
[0174]
在一种可能的实现方式中，上述判断模块115可以用于：
[0175]
检测所述两个行人之间的距离是否大于设置的第一判断阈值，所述第一判断阈值根据对所述视频画面进行缩放处理时的缩放尺寸所设置；
[0176]
若所述距离大于所述第一判断阈值，判定所述距离为安全距离；
[0177]
若所述距离小于或等于所述第一判断阈值，检测所述距离是否小于或等于所述第二判断阈值，所述第二判断阈值小于所述第一判断阈值；
[0178]
若所述距离小于或等于所述第二判断阈值，判定所述距离并非安全距离，确定所述两个行人处于密接状态。
[0179]
在一种可能的实现方式中，上述判断模块115还可以用于设置所述第二判断阈值，具体用于：
[0180]
获得所述两个行人中各所述行人的标定框的高度值；
[0181]
基于所述两个行人中各所述行人是否佩戴有防传播物品设置安全距离系数；
[0182]
根据各所述行人的标定框的高度值以及设置的安全距离系数，计算得到所述第二判断阈值。
[0183]
在一种可能的实现方式中，若所述两个行人中各所述行人均佩戴有防传播物品，则将所述安全距离系数设置为第一数值；
[0184]
若所述两个行人中至少存在一个行人未佩戴防传播物品，则将所述安全距离系数设置为第二数值，所述第一数值小于所述第二数值。
[0185]
在一种可能的实现方式中，所述出行密接监控装置110还包括保存模块，该保存模块可以用于：
[0186]
针对每个行人，将所述行人的行人id、位置信息以及与其为密接状态的其他行人的行人id进行保存。
[0187]
在一种可能的实现方式中，所述出行密接监控装置110还包括连接模块，该连接模块可以用于：
[0188]
针对各所述行人对，在所述行人对中两个行人之间的距离为安全距离时，在所述视频画面中采用第一连接线连接所述两个行人，并在所述两个行人之间的距离并非安全距离时，在所述视频画面中采用第二连接线连接所述两个行人，以构建出行密接网络。
[0189]
在一种可能的实现方式中，所述出行密接监控装置110还包括用于预先训练得到检测模型的训练模块，该训练模块可以用于：
[0190]
获取多个样本图像，所述多个样本图像包括正样本图像和负样本图像，所述正样本图像中包括佩戴有防传播物品的行人，各所述行人具有对应的真实标签；
[0191]
将所述多个样本图像导入构建的初始模型中进行处理，输出各所述样本图像中各所述行人的预测标签；
[0192]
基于由所述真实标签和预测标签构建的损失函数作为指导，对所述初始模型进行训练，直至满足预设要求时得到所述检测模型。
[0193]
在一种可能的实现方式中，所述损失函数由第一子函数、第二子函数和第三子函数分别按对应的平衡系数加权后累加得到。
[0194]
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
[0195]
请参阅图7，为本技术实施例提供的电子设备的结构框图，该电子设备可以是图1所示的服务器。所述电子设备包括存储器130、处理器120及通信模块140。所述存储器130、处理器120以及通信模块140各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
[0196]
其中，存储器130用于存储程序或者数据。所述存储器130可以是，但不限于，随机存取存储器(random access memory，ram)，只读存储器(read only memory，rom)，可编程只读存储器(programmable read-only memory，prom)，可擦除只读存储器(erasable programmable read-only memory，eprom)，电可擦除只读存储器(electric erasable programmable read-only memory，eeprom)等。
[0197]
处理器120用于读/写存储器130中存储的数据或程序，并执行本技术任意实施例提供的出行密接监控方法。
[0198]
通信模块140用于通过网络建立服务器与其它通信终端之间的通信连接，并用于通过网络收发数据。
[0199]
应当理解的是，图7所示的结构仅为电子设备的结构示意图，所述电子设备还可包括比图7中所示更多或者更少的组件，或者具有与图7所示不同的配置。
[0200]
进一步地，本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质存储有机器可执行指令，机器可执行指令被执行时实现上述实施例提供的出行密接监控方法。
[0201]
具体地，该计算机可读存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该计算机可读存储介质上的计算机程序被运行时，能够执行上述出行密接监控方法。关于计算机可读存储介质中的及其可执行指令被运行时，所涉及的过程，可以参照上述方法实施例中的相关说明，这里不再详述。
[0202]
综上所述，本技术实施例提供的出行密接监控方法和装置，通过获取摄像机拍摄的视频画面，并基于预先训练得到的检测模型标定出视频画面中的各个行人，且确定各个
行人是否佩戴防传播物品。将每两个行人构建为一组行人对，计算各个行人对中两个行人之间的距离。基于设置的第一判断阈值和第二判断阈值，判断两个行人之间的距离是否为安全距离，以确定两个行人是否处于密接状态，而第二判断阈值为根据两个行人的防传播物品佩戴情况所确定。本方案中，在利用图像处理及人工智能算法实现行人标定和防传播物品佩戴情况确定的基础上，基于行人的防传播物品佩戴情况动态设置判断阈值来判断行人的密接状态，提高了距离度量的可靠性。
[0203]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种出行密接监控方法，其特征在于，所述方法包括：获取摄像机拍摄的视频画面，所述视频画面中具有多个行人；基于预先训练得到的检测模型标定出所述视频画面中的各个行人，并基于所述检测模型确定各所述行人是否佩戴防传播物品；将每两个行人构建为一组行人对；针对各所述行人对，计算所述行人对中两个行人之间的距离；基于设置的第一判断阈值和第二判断阈值，判断所述两个行人之间的距离是否为安全距离，以确定所述两个行人是否处于密接状态，所述第二判断阈值为根据所述两个行人的防传播物品佩戴情况所确定的。2.根据权利要求1所述的出行密接监控方法，其特征在于，所述基于预先训练得到的检测模型标定出所述视频画面中的各个行人的步骤，包括：基于预先训练得到的检测模型确定出所述视频画面中的各个行人，并利用标定框标定出各所述行人，所述标定框为框定所述行人的最小外接框。3.根据权利要求2所述的出行密接监控方法，其特征在于，所述基于设置的第一判断阈值和第二判断阈值，判断所述两个行人之间的距离是否为安全距离的步骤，包括：检测所述两个行人之间的距离是否大于设置的第一判断阈值，所述第一判断阈值根据对所述视频画面进行缩放处理时的缩放尺寸所设置；若所述距离大于所述第一判断阈值，判定所述距离为安全距离；若所述距离小于或等于所述第一判断阈值，检测所述距离是否小于或等于所述第二判断阈值，所述第二判断阈值小于所述第一判断阈值；若所述距离小于或等于所述第二判断阈值，判定所述距离并非安全距离，确定所述两个行人处于密接状态。4.根据权利要求2所述的出行密接监控方法，其特征在于，所述方法还包括设置所述第二判断阈值的步骤，该步骤包括：获得所述两个行人中各所述行人的标定框的高度值；基于所述两个行人中各所述行人是否佩戴有防传播物品设置安全距离系数；根据各所述行人的标定框的高度值以及设置的安全距离系数，计算得到所述第二判断阈值。5.根据权利要求4所述的出行密接监控方法，其特征在于，若所述两个行人中各所述行人均佩戴有防传播物品，则将所述安全距离系数设置为第一数值；若所述两个行人中至少存在一个行人未佩戴防传播物品，则将所述安全距离系数设置为第二数值，所述第一数值小于所述第二数值。6.根据权利要求1所述的出行密接监控方法，其特征在于，所述方法还包括：针对每个行人，将所述行人的行人id、位置信息以及与其为密接状态的其他行人的行人id进行保存。7.根据权利要求6所述的出行密接监控方法，其特征在于，所述方法还包括：针对各所述行人对，在所述行人对中两个行人之间的距离为安全距离时，在所述视频画面中采用第一连接线连接所述两个行人，并在所述两个行人之间的距离并非安全距离时，在所述视频画面中采用第二连接线连接所述两个行人，以构建出行密接网络。
8.根据权利要求1-7任意一项所述的出行密接监控方法，其特征在于，所述方法还包括预先训练得到检测模型的步骤，该步骤包括：获取多个样本图像，所述多个样本图像包括正样本图像和负样本图像，所述正样本图像中包括佩戴有防传播物品的行人，各所述行人具有对应的真实标签；将所述多个样本图像导入构建的初始模型中进行处理，输出各所述样本图像中各所述行人的预测标签；基于由所述真实标签和预测标签构建的损失函数作为指导，对所述初始模型进行训练，直至满足预设要求时得到所述检测模型。9.根据权利要求8所述的出行密接监控方法，其特征在于，所述损失函数由第一子函数、第二子函数和第三子函数分别按对应的平衡系数加权后累加得到。10.一种出行密接监控装置，其特征在于，所述装置包括：获取模块，用于获取摄像机拍摄的视频画面，所述视频画面中具有多个行人；标定模块，用于基于预先训练得到的检测模型标定出所述视频画面中的各个行人，并基于所述检测模型确定各所述行人是否佩戴防传播物品；构建模块，用于将每两个行人构建为一组行人对；计算模块，用于针对各所述行人对，计算所述行人对中两个行人之间的距离；判断模块，用于基于设置的第一判断阈值和第二判断阈值，判断所述两个行人之间的距离是否为安全距离，以确定所述两个行人是否处于密接状态，所述第二判断阈值为根据所述两个行人的防传播物品佩戴情况所确定的。

技术总结
本申请提供一种出行密接监控方法和装置，通过获取摄像机拍摄的视频画面，并基于预先训练得到的检测模型标定出视频画面中的各个行人，且确定各个行人是否佩戴防传播物品。将每两个行人构建为一组行人对，计算各个行人对中两个行人之间的距离。基于设置的第一判断阈值和第二判断阈值，判断两个行人之间的距离是否为安全距离，以确定两个行人是否处于密接状态，而第二判断阈值为根据两个行人的防传播物品佩戴情况所确定。本方案中，在利用图像处理及人工智能算法实现行人标定和防传播物品佩戴情况确定的基础上，基于行人的防传播物品佩戴情况动态设置判断阈值来判断行人的密接状态，提高了距离度量的可靠性。提高了距离度量的可靠性。提高了距离度量的可靠性。


技术研发人员：董满生 张浩 孙昊宇 龙建成 石雷 张卫华
受保护的技术使用者：合肥工业大学
技术研发日：2023.05.16
技术公布日：2023/9/20