一种人群异常行为的识别方法和装置与流程

1.本发明涉及计算机视觉和智慧安防研究领域，具体涉及一种基于双流群体行为识别模型的人群异常行为识别方法和装置。


背景技术：

2.随着人工智能不断普及，人体姿态识别在各大领域都有应用，极大地提升了智慧安防、智慧城市的管理效率。然而，尽管深度模型在人体姿态识别任务中表现出色，但受到各种条件限制，精度和速度都有待提升。
3.深度学习行人姿态识别模型可以解决行人异常行为的识别问题。现有的模型或算法会依次识别图像中每个人的行为，再判断行为是否异常，然而实际使用的过程中，一些行为往往有着人数多，动作变化快等特征，对识别速度和行人之间的动作关联估计有着比较高的要求。


技术实现要素：

4.为了克服现有技术的不足，本发明旨在提出一种基于双流的群体行为识别方法和装置，可实现同时对行人个体和群体的行为识别，并且实现对密集人群的识别。技术方案如下：一种人群异常行为的识别方法，包括以下步骤：步骤1，从监控摄像头中获得视频，采集待检测的行人序列图像，形成样本集，优选为分别从上午、中午、下午、晚上四个时间段的视频中截取一定量的连续的视频帧作为样本集。
5.步骤2，制定异常行为评估标准，对样本集进行标注，标注出其中的行人框及行人行为；对于过于密集的行人，将重叠面积极大且行为类别一致的行人标在同一个框中。
6.步骤3，对样本集中的图像进行预处理；优选的预处理方法为计算样本集中图像数据的均值和方差，并将图像的像素值归一化到[0,1]，然后缩放到合适大小。
[0007]
步骤4，将图像数据送入模型，训练群体行为识别模型，所述模型包括以下结构：首先对一帧内的多个个体进行空间建模，对同一个个体在不同帧中的关系进行时间建模；再对所述空间建模的结果进行时间建模，对所述时间建模的结果进行空间建模，在分类器进行行为判别后分别输出空间流分流得分和时间流分流得分，在所述得分上进行融合得到融合后的行为分类结果。
[0008]
步骤5，采集监控场景下的行人视频流，设定输入时长，将视频流逐帧输入训练后的群体行为识别模型，得到个体和人群的行为识别输出，根据步骤2中的异常行为评估标准判断是否存在异常行为，如果有，则输出报警信息。
[0009]
一种人群异常行为的识别装置，包括图像采集单元、深度神经网络识别单元、异常行为判断单元、输出单元，所述深度神经网络识别单元为所述的训练后的群体行为识别模
型。
[0010]
与现有技术相比，本发明的有益效果为：通过建立基于双流的群体行为识别模型，使用空间建模和时间建模双通道判断，实现了对行人个体和群体的行为进行识别，增强了密集人群行为识别的效果，并可根据需求灵活定制异常行为类型。
附图说明
[0011]
图1为群体行为识别模型示意图。
实施方式
[0012]
为了阐明本发明的技术方案和工作原理，下面将对本公开实施方式做进一步的详细描述。上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
[0013]
本申请的说明书和权利要求书中的术语“步骤1”、“步骤2”、“步骤3”等类似描述是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里描述的那些以外的顺序实施。
[0014]
本公开实施例提供了一种人群异常行为的识别方法，包括以下步骤：步骤1，从监控摄像头中获得视频，采集待检测的行人序列图像，形成样本集。为了保证样本集在时间维度的完整性，分别从上午、中午、下午、晚上四个时间段的视频中截取一定量的连续的视频帧作为样本集。
[0015]
步骤2，制定异常行为评估标准，对样本集进行标注，标注出其中的行人框及行人行为，对于过于密集的行人，可以将重叠面积极大且行为类别一致的行人标在同一个框中。
[0016]
异常行为评估标准可根据实际应用中的行为识别需求制定。
[0017]
步骤3，对样本集中的图像进行预处理。
[0018]
本实施例提供一种预处理方法，具体为计算样本集中图像数据的均值和方差，并将图像的像素值归一化到[0,1]，然后缩放到合适大小。
[0019]
步骤4，将图像数据送入模型，训练基于双流的群体行为识别模型。
[0020]
群体行为识别模型如图1所示，包含两个建模通道：空间建模和时间建模。空间建模是仅对一帧内的多个个体进行关系建模，时间建模是建模同一个个体在不同帧中的关系。
[0021]
通过对空间建模和时间建模不同顺序的堆叠，再对空间建模的结果进行时间建模，对时间建模的结果进行空间建模，即可以得到互补的时空特征表达，在分类器得到行为判别后分别输出预测分数，在预测分数上进行融合得到融合后的行为分类结果，该过程为双流输出。
[0022]
步骤5，采集监控场景下的行人视频流，设定输入时长，将视频流逐帧输入群体行为识别模型，得到个体和人群的行为识别输出。根据步骤2中的异常行为评估标准判断是否存在异常行为，如果有，则输出报警信息。
[0023]
一种人群异常行为的识别装置，包括图像采集单元、深度神经网络识别单元、异常行为判断单元、输出单元，其中深度神经网络识别单元为所述训练后的基于双流的群体行
为识别模型。需要说明的是，本公开所涉及的信息（包括但不限于用户设备信息、用户个人信息等）、数据（包括但不限于用于分析的数据、存储的数据、展示的数据等）以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本公开中涉及到的多媒体资源等都是在充分授权的情况下获取的。
[0024]
以上对本发明进行了示例性描述，显然，本发明具体实现并不受上述方式的限制，凡是采用了本发明的方法构思和技术方案进行的各种非实质性的改进；或者未经改进、等同替换，将本发明的上述构思和技术方案直接应用于其他场合的，均在本发明的保护范围之内。


技术特征：
1.一种人群异常行为的识别方法，其特征在于，包括以下步骤：步骤1，从监控摄像头中获得视频，采集待检测的行人序列图像，形成样本集；步骤2，制定异常行为评估标准，对样本集进行标注，标注出其中的行人框及行人行为；步骤3，对样本集中的图像进行预处理；步骤4，将图像数据送入模型，训练群体行为识别模型，所述模型包括以下结构：首先对一帧内的多个个体进行空间建模，对同一个个体在不同帧中的关系进行时间建模；再对所述空间建模的结果进行时间建模，对所述时间建模的结果进行空间建模，在分类器进行行为判别后分别输出空间流分流得分和时间流分流得分，在所述得分上进行融合得到融合后的行为分类结果；步骤5，采集监控场景下的行人视频流，设定输入时长，将视频流逐帧输入训练后的群体行为识别模型，得到个体和人群的行为识别输出，根据步骤2中的异常行为评估标准判断是否存在异常行为，如果有，则输出报警信息。2.根据权利要求1所述的一种人群异常行为的识别方法，其特征在于，分别从上午、中午、下午、晚上四个时间段的视频中截取一定量的连续的视频帧作为样本集。3.根据权利要求2所述的一种人群异常行为的识别方法，其特征在于，对于过于密集的行人，将重叠面积极大且行为类别一致的行人标在同一个框中。4.根据权利要求3所述的一种人群异常行为的识别方法，其特征在于，预处理方法为计算样本集中图像数据的均值和方差，并将图像的像素值归一化到[0,1]，然后缩放到合适大小。5.一种人群异常行为的识别装置，包括图像采集单元、深度神经网络识别单元、异常行为判断单元、输出单元，其特征在于，所述深度神经网络识别单元为权利要求1的训练后的群体行为识别模型。

技术总结
本发明公开了一种人群异常行为的识别方法和装置，识别方法包括采集待检测的行人序列图像，对样本集进行标注，对样本集中的图像进行预处理，训练群体行为识别模型，采集监控场景下的行人视频流，将视频流逐帧输入训练后的群体行为识别模型，根据异常行为评估标准判断是否存在异常行为，其中群体行为识别模型包含空间建模和时间建模两个建模通道。本发明可实现同时对行人个体和群体的行为识别，并且实现对密集人群的识别。对密集人群的识别。对密集人群的识别。


技术研发人员：周金明 姜峰
受保护的技术使用者：南京视察者智能科技有限公司
技术研发日：2023.04.23
技术公布日：2023/8/1