一种深度学习驱动的背景滤除人体异常行为检测方法与流程

1.本发明涉及智能视频监控技术领域，尤其涉及一种深度学习驱动的背景滤除人体异常行为检测方法。


背景技术：

2.随着摄像机等监控设备成本的日益降低，视频监控系统已经广泛地应用于各种公共场所及军事基地等，在公共安全领域起着重要的作用。但是，现有的监控系统功能大多停留在监控人员对视频的人工监控和事后录像分析，或者只是简单对场景中的运动目标进行检查或跟踪。因此，能够实时的对场景中的异常事件或者人体异常行为检查和分析的智能监控系统具有重要意义。
3.传统的基于轮廓的人体行为识别方法，利用背景差分法和阴影消除技术提取运动人体轮廓，以成本函数为特征向量，利用谱系聚类方法提取行为序列的关键姿态。将关键姿态编码为行为字符串，最后利用编辑距离度量检测序列和标准序列间的相似性得出行为数据。上述传统方法在背景分割提取人体轮廓容易受外界背景环境的影响使得轮廓分割不完整，影响识别精度。
4.近些年人工智能技术的快速发展，深度学习引起了广泛的关注，凭借其优越的数据处理算法在计算机视觉(computer vision,cv)和自然语言处理中广泛应用。将深度学习和视频监控技术领域相结合的超/特高压输电线走廊多异常事件智能监控与预警系统，旨在减少或消除多异常事件对电网安全稳定运行的影响，提高智能化管理水平。


技术实现要素：

5.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
6.鉴于上述现有存在的问题，提出了本发明。
7.因此，本发明提供了一种深度学习驱动的背景滤除人体异常行为检测方法，能够解决传统的无法实时检测异常行为和异常事件、识别精度较低的问题。
8.为解决上述技术问题，本发明提供如下技术方案，一种深度学习驱动的背景滤除人体异常行为检测方法，包括：
9.基于yolo算法对样本数据进行目标识别，对识别出的roi区域框与摄像头的距离进行计算；
10.将所述距离小于阈值的roi区域进行处理，输出目标人体的行为数据；
11.对目标人体的所述行为数据进行异常行为评估；
12.完成目标区域的所述评估后，进行防外破人体异常行为在线监测，优化数据。
13.作为本发明所述的深度学习驱动的背景滤除人体异常行为检测方法的一种优选方案，其中：所述样本数据包括coco数据集以及外力破坏的视频帧数据。
14.作为本发明所述的深度学习驱动的背景滤除人体异常行为检测方法的一种优选方案，其中：所述距离的计算包括，
15.利用小孔成像原理的单目测距方法求解roi区域框与摄像头的距离，相机的内参矩阵与外参矩阵已知的前提下，进行目标距离计算，当所述目标距离小于警戒阈值时，开始对目标区域进行处理。
16.作为本发明所述的深度学习驱动的背景滤除人体异常行为检测方法的一种优选方案，其中：所述目标区域的处理包括，
17.人体目标roi区域进行基于u2net的背景滤除处理，然后将处理过背景后的roi图像再进行图像灰度化，将rgb三色通道压缩为8bit的灰度图，范围为0～255，最后对灰度图像进行边缘提取，得到人体边缘轮廓的二值图像；
18.将所述二值图像输入至标准人体行为边缘轮廓二值图像训练出的fc-dnn网络中，输出得到目标人体的行为数据。
19.作为本发明所述的深度学习驱动的背景滤除人体异常行为检测方法的一种优选方案，其中：所述图像灰度化包括，首先获取图像的[r,g,b]三色通道矩阵信息，rgb转gray图是寻找一个三维空间到一维空间的映射，即过rgb空间的一个点向直线r＝g＝b做垂线，具体为gray＝0.299*r+0.587*g+0.114*b。
[0020]
作为本发明所述的深度学习驱动的背景滤除人体异常行为检测方法的一种优选方案，其中：所述边缘提取包括，对灰度图像进行canny边缘提取，将灰度图image转换为list类型，计算梯度模值和方向(0
°
、45
°
、90
°
、135
°
)，采用城市距离的差分法计算g
x
、gy，合梯度为梯度方向为梯度方向为
[0021]
采用非极大值抑制，使得边缘更清晰，只在0
°
、45
°
、90
°
、135
°
四个梯度方向上进行，每个像素点梯度方向按照相近程度用这四个方向来代替；
[0022]
采用双阈值检测锐化图像：其中th-low、th-high分别代表区分图像边缘像素的低阈值和高阈值；
[0023]
对弱边缘点进行孤立滤除，同时链接强边缘点。
[0024]
作为本发明所述的深度学习驱动的背景滤除人体异常行为检测方法的一种优选方案，其中：训练出的所述fc-dnn网络包括，引入softmax激活函数，通过训练样本数据进行迭代，各隐含层神经元的权值和阈值将由网络层输出结果和目标实际结果间的差值通过交叉熵损失函数进行调整。
[0025]
作为本发明所述的深度学习驱动的背景滤除人体异常行为检测方法的一种优选方案，其中：所述评估包括，对各非法行为做定义，并给予相应权重，将当前帧网络输出的行为数据进行评估计算，公式表示为：
[0026][0027]
其中，为网络预测的行为数值，ωi为行为评分权重系数。
[0028]
作为本发明所述的深度学习驱动的背景滤除人体异常行为检测方法的一种优选方案，其中：当异常评估得分大于预设阈值时表现为低风险预警，当下一帧行为依然评估为异常则为中风险预警，连续多帧异常则判定为高风险预警，若评估结果正常，则完成人体异常行为检测。
[0029]
作为本发明所述的深度学习驱动的背景滤除人体异常行为检测方法的一种优选方案，其中：还包括，根据实际测试效果对距离预警阈值、行为评估权重的参数进行优化，最终选择最优参数下的系统模型代替传统的防外破人体异常行为监控系统。
[0030]
本发明的有益效果：本发明方法创新性地采用深度学习网络与传统目标测距和轮廓提取技术结合，以yolo算法进行目标检测、基于小孔成像的单目测距、u2net网络背景滤除和fc-dnn行为分析组成设计基于人体异常行为检测模型，进行人体行为检测与异常评估实现实时监测。此方法对于复杂背景环境中的人体异常识别相比于传统轮廓提取的识别方法能有较好的效果，同时无需采集大量行为数据样本的采集以及训练开销，更加适合当下的智能监控要求。
附图说明
[0031]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0032]
图1为本发明一个实施例提供的一种深度学习驱动的背景滤除人体异常行为检测方法流程示意图；
[0033]
图2为本发明一个实施例提供的一种深度学习驱动的背景滤除人体异常行为检测方法的yolo网络结构示意图；
[0034]
图3为本发明一个实施例提供的一种深度学习驱动的背景滤除人体异常行为检测方法的u2net网络结构示意图；
[0035]
图4为本发明一个实施例提供的一种深度学习驱动的背景滤除人体异常行为检测方法的fc-dnn网络结构示意图；
[0036]
图5为本发明一个实施例提供的一种深度学习驱动的背景滤除人体异常行为检测方法的人体异常行为识别效果示意图。
具体实施方式
[0037]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
[0038]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0039]
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方
式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
[0040]
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
[0041]
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0042]
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0043]
实施例1
[0044]
参照图1-4，为本发明的第一个实施例，该实施例提供了一种深度学习驱动的背景滤除人体异常行为检测方法，包括：
[0045]
s1：基于yolo算法对样本数据进行目标识别，对识别出的roi区域框与摄像头的距离进行计算；
[0046]
应说明的是，样本数据包括coco数据集以及外力破坏的视频帧数据，使用yolov5s预训练模型对yolo网络进行训练，其中5000张作为训练集、验证集和测试集各1000张，实现对人体进行目标检测的功能。
[0047]
更进一步的，将输出检测目标的roi区域，利用小孔成像原理的单目测距方法求解roi区域框与摄像头的距离，同时检测标签为“人”的roi区域的距离，当距离小于警戒阈值(根据实际情况确定)时，开始对人体行为进行异常评估。单目测距的相机标定方法采用张正友标定法，具体实施步骤如下：
[0048]
将棋盘格贴在地平面上，作为标定物，通过调整标定物或相机方向，为标定物拍摄不同方向下的图像，借助matlab工具箱中的camera calibration程序从照片中提取棋盘格角点。
[0049]
应说明的是，估算理想无畸变情况下的，五个内参和六个外参。其中相机内参矩阵和外参矩阵以及像素坐标系到世界坐标系的转换关系如下：
[0050]
为内参矩阵，其中f
x
、fy、c
x
、cy的单位为像素，c
x
、cy是原点的平移尺寸，
[0051]
为外参矩阵，其中r是一个3*3的旋转矩阵，t是一个3*1的平移矩阵。
[0052]
更进一步的，像素坐标系到世界坐标系的转换关系表示为：
[0053]
其中zc为任意尺度因子，xw、yw、zw分别代表世界坐标系中的x、y、z轴，
[0054]
使用最小二乘法估算实际存在径向畸变下的畸变系数，极大似然法，优化估计系数，提升估计精度。
[0055]
s2：将距离小于阈值的roi区域进行处理，输出目标人体的行为数据；
[0056]
更进一步的，检测到距离小于警戒阈值的人体目标roi区域进行基于u2net的背景滤除处理，其网络结构如图3所示。分割模型包括编码器、解码器以及与解码器和最后一级编码器相连的特征图融合模块。
[0057]
更进一步的，将处理过背景后的roi图像再进行图像灰度化，将rgb三色通道压缩为8bit的灰度图，范围为0(黑)～255(白)。最后对灰度图像进行边缘提取，得到人体边缘轮廓的二值图像。结合浅层和深层的语义信息，进行5次下采样和5次上采样，上采样的方式通过插值实现，下采样通过maxpool2d步长为2的最大平均池化实现背景滤除。将滤除背景之后的roi区域进行图像处理，具体包括以下步骤：
[0058]
灰度化处理，获取roi区域的[r,g,b]三色通道矩阵信息，rgb转gray图是寻找一个三维空间到一维空间的映射，即过rgb空间的一个点向直线r＝g＝b做垂线，具体为gray＝0.299*r+0.587*g+0.114*b；
[0059]
基于canny算子的边缘提取，将灰度图image转换为list类型，计算梯度模值和方向(0
°
、45
°
、90
°
、135
°
)，采用城市距离的差分法计算g
x
、gy，合梯度为梯度方向为其中g
x
、gy分别代表边缘差分算子计算得出的水平和垂直方向的距离；
[0060]
其中，利用非极大值抑制(non-maximum suppression)，使得边缘更清晰。只在0
°
、45
°
、90
°
、135
°
四个梯度方向上进行，每个像素点梯度方向按照相近程度用这四个方向来代替；
[0061]
用双阈值检测锐化图像，th-low、th-high分别代表区分图像边缘像素的低阈值和高阈值，一般情况下低阈值为30-50间，高阈值为80-100间。对弱边缘点进行孤立滤除，同时链接强边缘点，最终得到人体边缘轮廓的二值图像。
[0062]
更进一步的，采用标准人体行为边缘轮廓二值图像训练出的多层神经网络fc-dnn，引入softmax激活函数，通过训练样本数据进行迭代，各隐含层神经元的权值和阈值将由网络层输出结果和目标实际结果间的差值通过交叉熵损失函数进行调整。fc-dnn中每组特征参数经过一个子网络后都会输出行为数据向量其中由0和1组成的n*1列向量(n为
行为标签类别总数)。
[0063]
fc-dnn的训练过程包括以下步骤：
[0064]
将600张标准的人体行为边缘轮廓二值图像输入到fc-dnn网络中，利用adma优化器对fc-dnn网络的权值和偏置值进行优化，随着训练样本数据的迭代网络学习率将逐渐减少；
[0065]
将150张验证集图片对训练完毕后的fc-dnn网络进行验证；
[0066]
选用交叉熵损失函数：其中bi为实际行为数值，为网络预测的行为数值。
[0067]
s3：对目标人体的所述行为数据进行异常行为评估；
[0068]
更进一步的，首先需要对各非法行为做定义，并给予相应权重(根据实际需求选择)，将当前帧网络输出的行为数据进行评估计算，异常评估得分大于阈值时表现为低风险预警，当下一帧行为依然评估为异常则为中风险预警，连续多帧异常则判定为高风险预警，若评估结果正常，则完成人体异常行为检测。
[0069]
更进一步的，目标人体行为数据进行异常行为评估具体为：更进一步的，目标人体行为数据进行异常行为评估具体为：其中ωi为行为评分权重系数，为网络预测的行为数值。
[0070]
s4：完成目标区域的所述评估后，进行防外破人体异常行为在线监测，优化数据。
[0071]
更进一步的，根据实际测试效果对预警阈值、行为评估等参数进行优化。最终选择最优参数下的系统模型代替传统的防外破人体异常行为监控系统。
[0072]
实施例2
[0073]
参照图5，为本发明的一个实施例，提供了一种深度学习驱动的背景滤除人体异常行为检测方法，为了验证本发明的有益效果，通过实验进行科学论证。
[0074]
图5为人体异常行为识别效果，默认权重为：站(10)、走(20)、跑(30)、蹲(10)、躺(60)、爬(70)、打(80)。异常行为评估采用得分累计制，预设阈值根据实际需求可修改，默认为60，评估得分高于60判定为异常，分数越高相应危险系数越高。上述评分权重无固定数值，主要表达理念在于通过得分累计制体现当前图像中的所有目标的危险系数。
[0075]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
[0076]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本技术实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言java和直译式脚本语言javascript等。
[0077]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序
指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0078]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。

技术特征：
1.一种深度学习驱动的背景滤除人体异常行为检测方法，其特征在于：包括，基于yolo算法对样本数据进行目标识别，对识别出的roi区域框与摄像头的距离进行计算；将所述距离小于阈值的roi区域进行处理，输出目标人体的行为数据；对目标人体的所述行为数据进行异常行为评估；完成目标区域的所述评估后，进行防外破人体异常行为在线监测，优化数据。2.如权利要求1所述的深度学习驱动的背景滤除人体异常行为检测方法，其特征在于：所述样本数据包括coco数据集以及外力破坏的视频帧数据。3.如权利要求2所述的深度学习驱动的背景滤除人体异常行为检测方法，其特征在于：所述距离的计算包括，利用小孔成像原理的单目测距方法求解roi区域框与摄像头的距离，相机的内参矩阵与外参矩阵已知的前提下，进行目标距离计算，当所述目标距离小于警戒阈值时，开始对目标区域进行处理。4.如权利要求1～3任一所述的深度学习驱动的背景滤除人体异常行为检测方法，其特征在于：所述目标区域的处理包括，人体目标roi区域进行基于u2net的背景滤除处理，然后将处理过背景后的roi图像再进行图像灰度化，将rgb三色通道压缩为8bit的灰度图，范围为0～255，最后对灰度图像进行边缘提取，得到人体边缘轮廓的二值图像；将所述二值图像输入至标准人体行为边缘轮廓二值图像训练出的fc-dnn网络中，输出得到目标人体的行为数据。5.如权利要求4所述的深度学习驱动的背景滤除人体异常行为检测方法，其特征在于：所述图像灰度化包括，首先获取图像的[r,g,b]三色通道矩阵信息，rgb转gray图是寻找一个三维空间到一维空间的映射，即过rgb空间的一个点向直线r＝g＝b做垂线，具体为gray＝0.299*r+0.587*g+0.114*b。6.如权利要求1～3或5任一所述的深度学习驱动的背景滤除人体异常行为检测方法，其特征在于：所述边缘提取包括，对灰度图像进行canny边缘提取，将灰度图image转换为list类型，计算梯度模值和方向(0
°
、45
°
、90
°
、135
°
)，采用城市距离的差分法计算g
x
、g
y
，合梯度为梯度方向为梯度方向为g
x
、g
y
分别代表边缘差分算子计算得出的水平和垂直方向的距离；采用非极大值抑制，使得边缘更清晰，只在0
°
、45
°
、90
°
、135
°
四个梯度方向上进行，每个像素点梯度方向按照相近程度用这四个方向来代替；采用双阈值检测锐化图像：其中th-low、th-high分别代表区分图像边缘像素的低阈值和高阈值；对弱边缘点进行孤立滤除，同时链接强边缘点。7.如权利要求6所述的深度学习驱动的背景滤除人体异常行为检测方法，其特征在于：训练出的所述fc-dnn网络包括，引入softmax激活函数，通过训练样本数据进行迭代，各隐
含层神经元的权值和阈值将由网络层输出结果和目标实际结果间的差值通过交叉熵损失函数进行调整。8.如权利要求1～3、5或7所述的深度学习驱动的背景滤除人体异常行为检测方法，其特征在于：所述评估包括，对各非法行为做定义，并给予相应权重，将当前帧网络输出的行为数据进行评估计算，公式表示为：其中，为网络预测的行为数值，ω
i
为行为评分权重系数。9.如权利要求8所述的深度学习驱动的背景滤除人体异常行为检测方法，其特征在于：当异常评估得分大于预设阈值时表现为低风险预警，当下一帧行为依然评估为异常则为中风险预警，连续多帧异常则判定为高风险预警，若评估结果正常，则完成人体异常行为检测。10.如权利要求1～3、5、7或9任一所述的深度学习驱动的背景滤除人体异常行为检测方法，其特征在于：还包括，根据实际测试效果对距离预警阈值、行为评估权重的参数进行优化，最终选择最优参数下的系统模型代替传统的防外破人体异常行为监控系统。

技术总结
本发明公开了一种深度学习驱动的背景滤除人体异常行为检测方法包括，基于YOLO算法对样本数据进行目标识别，对识别出的ROI区域框与摄像头的距离进行计算；将所述距离小于阈值的ROI区域进行处理，输出目标人体的行为数据；对目标人体的所述行为数据进行异常行为评估，当异常评估得分大于预设阈值时表现为低风险预警，当下一帧行为依然评估为异常则为中风险预警，连续多帧异常则判定为高风险预警，若评估结果正常，则完成人体异常行为检测；完成目标区域的所述评估后，进行防外破人体异常行为在线监测，优化数据。本方法可以解决传统的无法实时检测异常行为和异常事件、识别精度较低的问题。的问题。的问题。


技术研发人员：刘庆 陈友坤 姜继彬 李康 李璘 张坤 王有军 聂晶 郑书毅
受保护的技术使用者：贵州电网有限责任公司
技术研发日：2022.11.18
技术公布日：2023/9/25