行为分析方法、装置、电子设备及存储介质与流程

1.本技术涉及计算机视觉技术领域，具体涉及一种行为分析方法、装置、电子设备及存储介质。


背景技术：

2.行为分析的主要任务是从视频或图像序列中分析出人体正在进行的行为类别。在实际生活场景中，面对大型聚会事件、群体暴力、恐怖活动等危险场景，可以通过对视频或图像序列中的一个或多个人体进行行为分析，以实现对危险事件的预警。目前，卷积神经网络等深度学习方法成为了行为分析的主流方法，但是由于视频或图像序列中存在人体姿态各异、时间尺度不一样以及遮挡等问题，使得现有的卷积神经网络无法充分提取出鲁棒性较好的特征，造成对人体的动作识别的准确率较低。


技术实现要素：

3.本技术实施例公开了一种行为分析方法、装置、电子设备及存储介质，能够充分提取人体特征，从而提高对人体行为分析的准确度。
4.本技术实施例公开一种行为分析方法，其特征在于，所述方法包括：
5.获取第一图像序列；所述第一图像序列包括多张待处理图像，每张所述待处理图像包括多个分析对象；
6.针对所述第一图像序列中的每张所述待处理图像，通过姿态估计模型对所述待处理图像进行特征提取，得到与所述待处理图像对应的第一目标特征图；
7.通过所述姿态估计模型从所述第一目标特征图中获取与所述第一目标特征图包括的各类关节点分别对应的预测置信度图，以及所述第一目标特征图对应的预测部分亲和字段；所述预测部分亲和字段包括各个所述分析对象中属于同一个分析对象的各类关节点之间的真实关联度；
8.利用所述预测部分亲和字段对所述第一目标特征图中各类关节点分别对应的所述预测置信度图进行聚类，以将各个所述预测置信图中属于同一个所述分析对象的各类关节点进行连接，得到与所述待处理图像对应的第二目标特征图；
9.生成与所述第一图像序列对应的第二图像序列；所述第二图像序列包括多张所述待处理图像分别对应的所述第二目标特征图；
10.根据所述第二图像序列对多个所述分析对象进行行为分析。
11.作为一种可选的实施方式，所述姿态估计模型包括：置信度估计网络和亲和字段估计网络；以及，所述通过所述姿态估计模型从所述第一目标特征图中获取与所述第一目标特征图中每类关节点对应的预测置信度图，以及所述第一目标特征图对应的预测部分亲和字段，包括：
12.通过所述置信度估计网络对所述第一目标特征图进行第一深度可分离处理，以及通过所述亲和字段估计网络对所述第一目标特征图进行第二深度可分离处理，得到与所述
第一目标特征图中每类关节点对应的所述预测置信度图，以及所述第一目标特征图对应的所述预测部分亲和字段；
13.其中，所述第一深度可分离处理用于估计所述第一目标特征图中多个所述分析对象对应的同类关节点出现在所述第一目标特征图中每个像素位置的真实概率；所述第二深度可分离处理用于估计各个所述分析对象中属于同一个分析对象的各类关节点之间的真实关联度。
14.作为一种可选的实施方式，所述置信度估计网络包括：第一置信度估计模块和第二置信度估计模块；所述亲和字段估计网络包括：第一亲和字段估计模块和第二亲和字段估计模块；以及，所述通过所述置信度估计网络对所述第一目标特征图进行第一深度可分离处理，以及通过所述亲和字段估计网络对所述第一目标特征图进行第二深度可分离处理，得到与所述第一目标特征图中每类关节点对应的所述预测置信度图，以及所述第一目标特征图对应的所述预测部分亲和字段，包括：
15.通过所述第一置信度估计模块对所述第一目标特征图进行第一深度可分离处理，得到第一阶段置信度输出值；以及，通过所述第一亲和字段估计模块对所述第一目标特征图进行第二深度可分离处理，得到第一阶段亲和字段输出值；
16.将所述第一阶段置信度输出值、所述第一阶段亲和字段输出值以及所述第一目标特征图进行串联，得到第二阶段输入特征图；
17.通过所述第二置信度估计模块对所述第二阶段输入特征图进行所述第一深度可分离处理，以及通过所述第二亲和字段估计模块对所述第二阶段输入特征图进行所述第二深度可分离处理，得到与所述第一目标特征图中每类关节点对应的所述预测置信度图，以及所述第一目标特征图对应的所述预测部分亲和字段。
18.作为一种可选的实施方式，所述根据所述第二图像序列对多个所述分析对象进行行为分析，包括：
19.通过图卷积网络从所述第二图像序列包括的每张所述第二目标特征图中提取骨骼特征；
20.通过所述图卷积网络根据目标分析对象在各张所述第二目标特征图中分别对应的骨骼特征对所述目标分析对象进行行为分析；所述目标分析对象是多个所述分析对象中的任意一个分析对象。
21.作为一种可选的实施方式，所述图卷积网络包括：第一注意力图卷积模块、共现特征模块和第二注意力图卷积模块；以及，所述通过图卷积网络从所述第二图像序列里的每张所述第二目标特征图中提取骨骼特征，包括：
22.根据所述第二图像序列里的每张所述第二目标特征图生成一个骨骼时空图；所述骨骼时空图包括所述目标分析对象的各个关节点在同一时刻的连接关系，以及同一个分析对象的同一个关节点在不同时刻的连接关系；
23.通过所述第一注意力图卷积模块确定所述骨骼时空图的第一特征权重，根据所述第一特征权重确定与所述骨骼时空图对应的第一特征图像；
24.通过所述共有特征模块对第一特征图像进行转置及图卷积处理，得到共现特征图像；
25.通过所述第二注意力图卷积模块确定所述共现特征图像的第二特征权重，根据所
述第二特征权重从所述共现特征图像中提取骨骼特征。
26.本技术实施例公开一种模型训练方法，其特征在于，所述方法包括：
27.通过姿态估计模型对样本图像序列中的每张样本图像进行特征提取，得到与所述样本图像对应的第一样本特征图；所述样本图像序列包括多张所述样本图像以及与各个所述样本图像对应的部分亲和字段标签和关节点置信度标签；
28.通过所述姿态估计模型从所述第一样本特征图中获取与所述第一样本特征图中每类关节点对应的训练置信度图，以及所述第一样本特征图对应的训练部分亲和字段；所述训练置信度图包括所述第一样本特征图中多个分析对象对应的同类关节点出现在所述第一样本特征图中每个像素位置的训练概率；所述训练部分亲和字段包括各个所述分析对象中属于同一个分析对象的各类关节点之间的训练关联度；
29.根据所述部分亲和字段标签、所述训练部分亲和字段、所述关节点置信度标签以及所述训练置信度图计算整体训练损失，根据所述整体训练损失对所述姿态估计模型的参数进行调整。
30.作为一种可选的实施方式，所述根据所述部分亲和字段标签、所述训练部分亲和字段、所述关节点置信度标签以及所述训练置信度图计算整体训练损失，包括：
31.根据二值掩膜、所述部分亲和字段标签以及所述训练部分亲和字段计算亲和字段训练损失；
32.根据所述二值掩膜、所述关节点置信度标签以及所述训练置信度图计算置信度训练损失；所述二值掩膜包括所述样本特征图中各个像素点对应的标注状态；所述样本特征图中不存在所述关节点置信度标签以及所述部分亲和字段标签的像素点在所述二值掩膜中的标注状态为0；
33.根据所述置信度训练损失和所述亲和字段训练损失计算整体训练损失。
34.本技术实施例公开一种行为分析装置，所述装置包括：
35.获取模块，用于获取第一图像序列；所述第一图像序列包括多张待处理图像，每张所述待处理图像包括多个分析对象；
36.提取模块，用于针对所述第一图像序列中的每张所述待处理图像，通过姿态估计模型对所述待处理图像进行特征提取，得到与所述待处理图像对应的第一目标特征图；
37.预测模块，用于通过所述姿态估计模型从所述第一目标特征图中获取与所述第一目标特征图包括的各类关节点分别对应的预测置信度图，以及所述第一目标特征图对应的预测部分亲和字段；所述预测部分亲和字段包括各个所述分析对象中属于同一个分析对象的各类关节点之间的真实关联度；
38.聚类模块，用于利用所述预测部分亲和字段对所述第一目标特征图中各类关节点分别对应的所述预测置信度图进行聚类，以将各个所述预测置信图中属于同一个所述分析对象的各类关节点进行连接，得到与所述待处理图像对应的第二目标特征图；
39.生成模块，用于生成与所述第一图像序列对应的第二图像序列；所述第二图像序列包括多张所述待处理图像分别对应的所述第二目标特征图；
40.分析模块，用于根据所述第二图像序列对多个所述分析对象进行行为分析。
41.本技术实施例公开一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现本技术实施例公开
的任意一种行为分析方法。
42.本技术实施例公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本技术实施例公开的任意一种行为分析方法。
43.与相关技术相比，本技术实施例具有以下有益效果：
44.本技术实施例通过姿态估计模型对包括多张待处理图像的第一图像序列进行特征提取，得到第一目标特征图；通过姿态估计模型从第一目标特征图中获取预测置信度图以及预测部分亲和字段；根据预测部分亲和字段对各个预测置信度图中属于同个分析对象的各类关节点连接，得到第二目标特征图；根据第二目标特征图生成与第一图像序列对应的第二图像序列；根据第二图像序列对多个分析对象进行行为分析。本技术实施例能够通过预测部分亲和字段，将预测置信度图中的各个关节点高效地进行聚类，从而充分地提取了人体骨骼特征，提高对人体行为分析的准确度。
附图说明
45.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
46.图1是本技术实施例公开的一种行为分析方法的流程示意图；
47.图2是本技术实施例公开的另一种行为分析方法的流程示意图；
48.图3是本技术实施例公开的一种姿态估计模型的结构示意图；
49.图4是本技术实施例公开的另一种行为分析方法的流程示意图；
50.图5是本技术实施例公开的一种图卷积网络的结构示意图；
51.图6是本技术实施例公开的一种模型训练方法的流程示意图；
52.图7是本技术实施例公开的一种行为分析装置的结构示意图；
53.图8是本技术实施例公开的一种电子设备的结构示意图。
具体实施方式
54.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
55.需要说明的是，本技术实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
56.本技术实施例公开了一种行为分析方法、装置、电子设备及存储介质，能够充分提取人体特征，从而提高对人体行为分析的准确度。以下分别进行详细说明。
57.请参阅图1，图1是本技术实施例公开的一种行为分析方法的流程示意图。其中，图1所描述的行为分析方法适用于笔记本电脑、平板电脑、便携式终端、服务器等电子设备，本
申请实施例不做限定。
58.如图1所示，该行为分析方法可以包括以下步骤：
59.101、获取第一图像序列。
60.第一图像序列包括多张待处理图像，每张待处理图像包括多个分析对象。通过摄像装置在公共场合等多人的场景中进行拍摄，将获取的视频生成多张待处理图像，多张待处理图像按照拍摄时间的顺序组成了第一图像序列。每张待处理图像往往包括多个分析对象，因此要对多人行为的种类和数量进行分析。
61.102、针对第一图像序列中的每张待处理图像，通过姿态估计模型对待处理图像进行特征提取，得到与待处理图像对应的第一目标特征图。
62.首先通过姿态估计模型中的一个卷积网络对将待处理图像进行特征提取，生成与待处理图像对应的第一目标特征图。
63.103、通过姿态估计模型从第一目标特征图中获取与第一目标特征图包括的各类关节点分别对应的预测置信度图，以及第一目标特征图对应的预测部分亲和字段。
64.预测置信度图包括第一目标特征图中多个分析对象对应的同类关节点出现在第一目标特征图中每个像素位置的真实概率；预测部分亲和字段包括各个分析对象中属于同一个分析对象的各类关节点之间的真实关联度。
65.为了对第一图像序列中多个分析对象进行多人姿态估计，姿态估计模型可以是基于自底向上的设计框架，先获取第一目标特征图中每类关节点对应的预测置信度图，再通过每类关节点对应的预测置信度图对第一目标特征图中的骨骼关节点进行检测。每个预测置信度图表示特定关节点出现在图片每个像素位置的可能性。理想情况下，如果图片中只有一个人，则每个预测置信度图中只有一个峰值。如果图片中有k个人，则研究特定关节点j的预测置信度图中存在对应的k个峰值。
66.104、利用预测部分亲和字段对第一目标特征图中各类关节点分别对应的预测置信度图进行聚类，以将各个预测置信图中属于同一个分析对象的各类关节点进行连接，得到与待处理图像对应的第二目标特征图。
67.在通过预测置信度图检测出第一目标特征图中的骨骼关节点后，可以利用预测部分亲和字段对骨骼关节点进行聚类，将各个预测置信图中属于同一个分析对象的各类骨骼关节点进行连接，得到与待处理图像对应的第二目标特征图。其中，聚类可以是在姿态估计模型中完成，也可以是通过姿态估计模型输出预测置信度图以及预测部分亲和字段后，再通过聚类算法完成。第二目标特征图中有多个分析对象，并且属于同一个分析对象的各类骨骼关节点都被连接起来。
68.对于单人姿态估计来讲，一旦确定了骨骼关节点的位置，也就解决了关节点的连接问题；对于多人姿态估计来讲，要利用部分亲和字段对骨骼关节点进行聚类，将属于同一个分析对象的各类骨骼关节点连接起来。通过利用部分亲和字段进行聚类，使得聚类变得高效、准确，能够充分地从第一图像序列中提取动态骨骼信息。
69.在一些实施例中，对分析对象进行姿态估计，可以是回归人体骨骼关节点的坐标，利用训练好的姿态估计模型直接输出各关节点的位置信息。作为另一种可选的实施方式，还可以把姿态估计当作检测问题，通过姿态估计模型输出热力图，每一个骨骼关节点有一个对应的热力图，热力图给出待处理图像中每个像素是该骨骼关节点的概率。
70.105、生成与第一图像序列对应的第二图像序列。
71.第二图像序列包括多张待处理图像分别对应的第二目标特征图。第二图像序列与第一图像序列的时间序列一致。
72.106、根据第二图像序列对多个分析对象进行行为分析。
73.可以通过深度学习算法对第二图像序列进行人体的动作识别以及行为分析。其中，深度学习算法可以包括光流法、3d卷积神经网络、2d卷积神经网络、自注意力、循环神经网络、图卷积网络等，具体不作限定。
74.本技术实施例通过姿态估计模型对包括多张待处理图像的第一图像序列进行特征提取，得到第一目标特征图；通过姿态估计模型从第一目标特征图中获取预测置信度图以及预测部分亲和字段；根据预测部分亲和字段对各个预测置信度图中属于同个分析对象的各类关节点连接，得到第二目标特征图；根据第二目标特征图生成与第一图像序列对应的第二图像序列；根据第二图像序列对多个分析对象进行行为分析。本技术实施例能够通过预测部分亲和字段，将预测置信度图中的各个关节点高效地进行聚类，从而充分地提取了人体骨骼特征，提高对人体行为分析的准确度。
75.请参阅图2，图2是本技术实施例公开的另一种行为分析方法的流程示意图。如图2所示的方法实施例中，姿态估计模型可以包括置信度估计网络和亲和字段估计网络。如图2所示，该方法包括以下步骤：
76.201、获取第一图像序列。
77.202、针对第一图像序列中的每张待处理图像，通过姿态估计模型对待处理图像进行特征提取，得到与待处理图像对应的第一目标特征图。
78.203、通过置信度估计网络对第一目标特征图进行第一深度可分离处理，以及通过亲和字段估计网络对第一目标特征图进行第二深度可分离处理，得到与第一目标特征图中每类关节点对应的预测置信度图，以及第一目标特征图对应的预测部分亲和字段。
79.其中，第一深度可分离处理用于估计第一目标特征图中多个分析对象对应的同类关节点出现在第一目标特征图中每个像素位置的真实概率；第二深度可分离处理用于估计各个分析对象中属于同一个分析对象的各类关节点之间的真实关联度。
80.作为一种可选的实施方式，姿态估计模型可以包括两个网络分支，分别是置信度估计网络和亲和字段估计网络。置信度估计网络可以输出每类关节点对应的预测置信度图，亲和字段估计网络可以输出第一目标特征图对应的预测部分亲和字段。这两个网络都是迭代级联结构，后续的阶段可以不断完善预测结果，最终所有阶段的损失共同监督网络训练。对于一张尺寸为w
×
h的待处理图像，它首先经过姿态估计模型中的一个卷积网络进行特征提取，生成第一目标特征图。之后第一目标特征图被输入到这两个网络分支。
81.置信度估计网络可以包括第一置信度估计模块和第二置信度估计模块；亲和字段估计网络可以包括第一亲和字段估计模块和第二亲和字段估计模块。在一些实施例中，第一置信度估计模块和第一亲和字段估计模块可以使用五层深度可分离卷积；第二置信度估计模块和第二亲和字段估计模块可以使用七层深度可分离卷积。此处对深度可分离卷积的层数不作限定。
82.在一些可选的实施方式中，置信度估计网络可以包括至少两个置信度估计模块，亲和字段估计网络可以包括至少两个亲和字段估计模块。
83.请参阅图3，图3是本技术实施例公开的一种姿态估计模型的结构示意图。
84.通过第一置信度估计模块对第一目标特征图进行第一深度可分离处理，得到第一阶段置信度输出值；以及，通过第一亲和字段估计模块对第一目标特征图进行第二深度可分离处理，得到第一阶段亲和字段输出值；将第一阶段置信度输出值、第一阶段亲和字段输出值以及第一目标特征图进行串联，得到第二阶段输入特征图；通过第二置信度估计模块对第二阶段输入特征图进行第一深度可分离处理，以及通过第二亲和字段估计模块对第二阶段输入特征图进行第二深度可分离处理，得到与第一目标特征图中每类关节点对应的预测置信度图，以及第一目标特征图对应的预测部分亲和字段。
85.其中第一深度可分离处理以及第二深度可分离处理都是通过深度分离卷积进行处理。深度可分离卷积主要分为两个过程，分别为逐通道卷积和逐点卷积。逐通道卷积是指一个卷积核负责一个通道，一个通道只被一个卷积核卷积，这个过程产生的特征图通道数和输入的通道数完全一样。逐点卷积的运算与常规卷积运算非常相似，它的卷积核尺寸为1x1xm，m为输入的特征图的通道数。逐点卷积会将逐通道卷积得到的特征图在深度方向上进行加权组合，生成新的特征图。逐点卷积运算有多少卷积核，输出的特征图就有多少通道。
86.定义预测置信度图为s，s＝(s1,s2,
…
,sj),它由j个子图组成。sj∈rw×h,j∈(1,2,
…
,j)，j是人体关节点的类别数。定义人体部分亲和字段为l，l＝(l1,l2,
…
,lc),它由c个向量图组成，每个向量图记录了一个骨骼连接的二维空间的方向，所以lc∈rw×h×2，c∈(1,2,
…
c)，c是骨骼连接数。通过第一置信度估计模块输出的第一阶段置信度输出值s1和通过第一亲和字段估计模块输出的第一阶段置信度输出值l1分别由下式表示：
87.s1＝ρ1(f)
88.l1＝w1(f)
89.其中ρ1和w1表示第一置信度估计模块和第一亲和字段估计模块的前向计算。将s1、l1以及第一目标特征图f串联在一起作为第二置信度估计模块和第二亲和字段估计模块输入。其公式如下：
90.st＝ρ
t
(s
t-1
,l
t-1
,f),
91.st＝w
t
(s
t-1
,l
t-1
,f),
92.t表示置信度估计模块和亲和字段估计模块的数量。
93.204、利用预测部分亲和字段对第一目标特征图中各类关节点分别对应的预测置信度图进行聚类，以将各个预测置信图中属于同一个分析对象的各类关节点进行连接，得到与待处理图像对应的第二目标特征图。
94.205、生成与第一图像序列对应的第二图像序列。
95.206、根据第二图像序列对多个分析对象进行行为分析。
96.自底向上的姿态估计模型中的深度可分离结构可以在降低计算量的同时充分提取骨骼特征，而且通过预测部分亲和字段可以将预测置信度图中的各个关节点高效地进行聚类，使得姿态估计模型获取的骨骼特征更加地准确。
97.请参阅图4，图4是本技术实施例公开的另一种行为分析方法的流程示意图。
98.401、获取第一图像序列。
99.402、针对第一图像序列中的每张待处理图像，通过姿态估计模型对待处理图像进
行特征提取，得到与待处理图像对应的第一目标特征图。
100.403、通过姿态估计模型从第一目标特征图中获取与第一目标特征图中每类关节点对应的预测置信度图，以及第一目标特征图对应的预测部分亲和字段。
101.404、利用预测部分亲和字段对第一目标特征图中各类关节点分别对应的预测置信度图进行聚类，以将各个预测置信图中属于同一个分析对象的各类关节点进行连接，得到与待处理图像对应的第二目标特征图。
102.405、生成与第一图像序列对应的第二图像序列。
103.406、通过图卷积网络从第二图像序列包括的每张第二目标特征图中提取骨骼特征。
104.作为一种可选的实施方式，图卷积网络可以包括第一注意力图卷积模块、共现特征模块和第二注意力图卷积模块。根据第二图像序列里的每张第二目标特征图生成一个骨骼时空图；骨骼时空图包括目标分析对象的各个关节点在同一时刻的连接关系，以及同一个分析对象的同一个关节点在不同时刻的连接关系；通过第一注意力图卷积模块确定骨骼时空图的第一特征权重，根据第一特征权重确定与骨骼时空图对应的第一特征图像；通过共有特征模块对第一特征图像进行转置及图卷积处理，得到共现特征图像；通过第二注意力图卷积模块确定共现特征图像的第二特征权重，根据第二特征权重从共现特征图像中提取骨骼特征。
105.请参阅图5，图5是本技术实施例公开的一种图卷积网络的结构示意图。
106.图卷积网络可以解决骨骼动作识别问题，并且识别精度高。本技术实施例提出的多任务框架可以进一步提升图卷积的性能，这个多任务框架引入了注意力机制以及共现特征模块的方法。具体来说，一方面使用注意力模块对更有判别力的特征给予更高的关注度。另一方面，通过共现特征模块来高效地全局地聚集所有关节点的骨骼特征。除此之外，形成的多任务框架可以探索这些模块之间的内在联系从而进一步提高识别性能以及加快图卷积网络的收敛速度。
107.图卷积网络中的空时图卷积网络可以作为多任务框架的图卷积网络的分支，将第二图像序列里的每张第二目标特征图中人体上相邻的关节点和不同时间下的同一关节点都连接起来，构成一个骨骼时空图。骨骼时空图中的每个点都有表示它的特征向量。对于时间t下的节点i,图卷积的公式如下：
[0108][0109]
其中，fin(vsj)是空时图中节点vsj的特征向量，b(vti)是节点vti的邻域，w(vsj,vti)是邻域节点vsj对节点vti的权重。使用空间配置划分方案将邻域分为3个子集：第一个子集是根节点，即当前参考结点vti，第二个子集中的节点是距离人体骨骼的重心比距离根节点近的，第三个子集中的节点是距离人体骨骼的质心比距离根节点远的。当图卷积滤波器在关节点中移动时，这个划分方案保证了有固定数量的子邻域数，并且在每个子邻域的所有节点共享权值w。在本部分中，将在空间域上距离vti为1并且在时间域不多于9帧的集合定义为vti的邻域。用公式表达为：
[0110][0111]
上述式子中，d(x,y)表示在构造的图中x到y的最短距离。
[0112]
第一注意力图卷积模块可以包括一个注意力模块和一个图卷积模块，第二注意力图卷积模块与第一注意力图卷积模块的结构相同。其中，对于图卷积模块的层数不作限定。
[0113]
注意力模块通过学习注意力掩模来对更具有判别力的特征给予更高的关注度。注意力分支的公式表达如下：
[0114]
m＝sigmoid(conv(relu(conv(fin))))
[0115]
在上述公式中，f是输入的骨骼时空图，两个卷积conv都是1
×
1卷积。内侧的卷积将输入f∈r映射成一个特征图f∈r，而外侧的卷积又再一次将特征图的通道数扩展成卷积的层数。
[0116]
图卷积网络包括至少两个注意力图卷积模块。对于每个注意力图卷积模块中的图卷积模块的层数可以是四层，可以是五层，具体不作限定。
[0117]
骨骼时空图首先被输入到第一注意力图卷积模块中的注意力模块去学习注意力掩模，学习到的注意力掩模代表对应骨骼时空图的特征权重，所以掩模与相应的输入的骨骼时空图具有相同的尺寸大小。它旨在对更具有判别力的特征分配更高的权重。一方面，注意力掩模与对应的骨骼时空图逐元素相乘，得到的结果又重新逐元素加到骨骼时空图上作为第二注意力图卷积模块的输入特征图。另一方面，可以利用注意力掩模与输入的骨骼时空图逐元素相乘的结果来计算训练损失。
[0118]
在一些实施例中，图卷积网络包括三个注意力图卷积模块，首先可以把骨骼时空图组织成一个三维的张量，具体来说，一个t帧，每帧n个骨骼关节点，每个关节点c个特征的骨骼序列将转换成一个尺寸是n
×
t
×
c的张量。三个注意力图卷积模块的输出特征图分别被池化为128，128，256维的特征向量。在整个过程中保持骨骼关节点n的值不变。通过池化可以压缩计算量，从骨骼时空图中提取最重要的像素点，比如是像素值最大的点，或者是像素平均值最大的图像区块。
[0119]
在一些实施例中，可以将第一注意力图卷积模块输出的第一特征图像作为共现特征模块的输入，共现特征模块可以高效地提取全部关节的共现特征。最终，注意力模块的损失值、共现特征模块的损失值和图卷积模块的损失值构成了这个多任务框架的全部损失。卷积神经网络虽然经过多层卷积后感受野覆盖了所有关节，但仅考虑了卷积核内的骨骼点的共现特征，而不能高效地挖掘所有关节的共现特征。卷积神经网络中卷积核只覆盖了少数关节点。换句话说，关节是局部聚集的，无法捕获远程关节相互作用。而图卷积网络中，关节点的维度被置换到通道的维度，卷积后的每一点都是所有关节的全局响应，在卷积的过程中，存在通道间的元素相加。
[0120]
图卷积在卷积过程中也只是优先考虑了图卷积核内的关节的共现特征。只不过相比于卷积神经网络来说，图卷积核内的关节是人体相邻的关节，而卷积神经网络卷积核内的关节是提前标号相邻的，关节间没有物理联系。这一点是图卷积的优越性。但是，图卷积仍然不能有效地高效聚集所有关节特征，尤其是长距离关节的共现特征的能力。针对这个问题，本技术实施例将第一注意力图卷积模块输出的第一特征图像进行转置，将关节点放置到通道的维度，从而高效地提取所有关节的共现特征，得到共现特征图。根据共现特征图
充分提取骨骼特征。
[0121]
407、通过图卷积网络根据目标分析对象在各张第二目标特征图中分别对应的骨骼特征对目标分析对象进行行为分析。目标分析对象是多个分析对象中的任意一个分析对象。
[0122]
在一些实施例中，在提取出骨骼特征后，可以通过softmax等回归模型将骨骼特征匹配到对应的行为类别，以实现对分析对象的行为分析。
[0123]
图卷积网络中，通过注意力模块对有判别力的特征给予更高的关注度。另一方面，通过共现特征模块转置特征图，将关节维度转置到通道上，从而高效地聚集所有关节的全局特征，提升行为分析的准确率。现有的深度学习算法没有充分提取骨骼特征，行为分析的准确率低；同时以往的深度学习算法存在计算量大，检测速度慢等问题，导致在各个领域的应用受限，难以发挥实际效果。本技术实施例通过姿态估计模型、图卷积网络充分提取骨骼特征，提升了行为分析的准确率。
[0124]
请参阅图6，图6是本技术实施例公开的一种模型训练方法的流程示意图。
[0125]
601、通过姿态估计模型对样本图像序列中的每张样本图像进行特征提取，得到与样本图像对应的第一样本特征图。
[0126]
样本图像序列包括多张样本图像以及与各个样本图像对应的部分亲和字段标签和关节点置信度标签。
[0127]
602、通过姿态估计模型从第一样本特征图中获取与第一样本特征图中每类关节点对应的训练置信度图，以及第一样本特征图对应的训练部分亲和字段。
[0128]
训练置信度图包括第一样本特征图中多个分析对象对应的同类关节点出现在第一样本特征图中每个像素位置的训练概率。训练部分亲和字段包括各个分析对象中属于同一个分析对象的各类关节点之间的训练关联度。
[0129]
603、根据部分亲和字段标签、训练部分亲和字段、关节点置信度标签以及训练置信度图计算整体训练损失，根据整体训练损失对姿态估计模型的参数进行调整。
[0130]
作为一种可选的实施方式，根据二值掩膜、部分亲和字段标签以及训练部分亲和字段计算亲和字段训练损失；根据二值掩膜、关节点置信度标签以及训练置信度图计算置信度训练损失。样本特征图中不存在关节点置信度标签以及部分亲和字段标签的像素点在二值掩膜中的取值为0。根据置信度训练损失和亲和字段训练损失计算整体训练损失，根据整体训练损失对姿态估计模型的参数进行调整。
[0131]
在一些实施例中，每一个置信度估计模块和每一个亲和字段估计模块都使用一个损失函数来迭代地更新预测置信度图和预测部分亲和字段。其中，损失函数可以是l2损失函数，具体不作限定。其中，损失函数中还引入了空间像素加权机制，对于训练集中漏标人体姿态的问题有很强的鲁棒性。假设有t个置信度估计模块和t个亲和字段估计模块，那么置信度估计网络的损失函数fs和亲和字段估计网络的损失函数fl如下：
[0132][0133]
[0134]
其中是标注的关节点置信度图，是标注的人体部分亲和字段。p是像素点，w是二值掩膜。当在像素点p没有标注时，w(p)＝0，这样可以避免惩罚标签漏标而网络正确检测的情况。最终各阶段损失构成了网络的整体损失函数f。
[0135][0136]
作为标签的关节点置信度图s*由标注的关节点位置产生。首先对样本图像中每个人k的每个关节j生成关节点置信度图其公式表示如下：
[0137][0138]
其中xj，k∈r2标注样本图像中第k个人第j个关节的像素位置，σ是标准方差，表征峰顶蔓延的程度。最后每个人的关节点置信度图通过取最大操作符聚合成多人关节点置信度图。
[0139]
通过引入部分亲和字段对姿态估计模型进行训练，并且引入了二值掩膜；同时，将各个置信度估计模块以及亲和字段估计模块的损失作为整体损失，有利于训练出精确的姿态估计模型，从而实现精准的姿态估计，提取出鲁棒性好的特征，以便后续实现快速且准确地进行行为分析。
[0140]
请参阅图7，图7是本技术实施例公开的一种行为分析装置的结构示意图。该装置可应用于笔记本电脑、平板电脑、便携式终端、服务器等电子设备，具体不做限定。如图7所示，行为分析装置700可包括：获取模块710、提取模块720、预测模块730、聚类模块740、生成模块750、分析模块760。
[0141]
获取模块710，用于获取第一图像序列；第一图像序列包括多张待处理图像，每张待处理图像包括多个分析对象；
[0142]
提取模块720，用于针对第一图像序列中的每张待处理图像，通过姿态估计模型对待处理图像进行特征提取，得到与待处理图像对应的第一目标特征图；
[0143]
预测模块730，用于通过姿态估计模型从第一目标特征图中获取与第一目标特征图包括的各类关节点分别对应的预测置信度图，以及第一目标特征图对应的预测部分亲和字段；预测部分亲和字段包括各个分析对象中属于同一个分析对象的各类关节点之间的真实关联度；
[0144]
聚类模块740，用于利用预测部分亲和字段对第一目标特征图中各类关节点分别对应的预测置信度图进行聚类，以将各个预测置信图中属于同一个分析对象的各类关节点进行连接，得到与待处理图像对应的第二目标特征图；
[0145]
生成模块750，用于生成与第一图像序列对应的第二图像序列；第二图像序列包括多张待处理图像分别对应的第二目标特征图；
[0146]
分析模块760，用于根据第二图像序列对多个分析对象进行行为分析。
[0147]
在一个实施例中，姿态估计模型包括置信度估计网络和亲和字段估计网络。预测模块730，还用于通过置信度估计网络对第一目标特征图进行第一深度可分离处理，以及通过亲和字段估计网络对第一目标特征图进行第二深度可分离处理，得到与第一目标特征图
中每类关节点对应的预测置信度图，以及第一目标特征图对应的预测部分亲和字段；其中，第一深度可分离处理用于估计第一目标特征图中多个分析对象对应的同类关节点出现在第一目标特征图中每个像素位置的真实概率；第二深度可分离处理用于估计各个分析对象中属于同一个分析对象的各类关节点之间的真实关联度。
[0148]
在一个实施例中，置信度估计网络包括第一置信度估计模块和第二置信度估计模块；亲和字段估计网络包括第一亲和字段估计模块和第二亲和字段估计模块。预测模块730，还用于通过第一置信度估计模块对第一目标特征图进行第一深度可分离处理，得到第一阶段置信度输出值；以及，通过第一亲和字段估计模块对第一目标特征图进行第二深度可分离处理，得到第一阶段亲和字段输出值；将第一阶段置信度输出值、第一阶段亲和字段输出值以及第一目标特征图串联起来，生成第二阶段输入特征图；通过第二置信度估计模块对第二阶段输入特征图进行第一深度可分离处理，以及通过第二亲和字段估计模块对第二阶段输入特征图进行第二深度可分离处理，得到与第一目标特征图中每类关节点对应的预测置信度图，以及第一目标特征图对应的预测部分亲和字段。
[0149]
在一个实施例中，分析模块760，还用于通过图卷积网络从第二图像序列里的每张第二目标特征图中提取骨骼特征；通过图卷积网络根据同一个分析对象在各张第二目标特征图中提取出的骨骼特征对分析对象进行行为分析。
[0150]
在一个实施例中，图卷积网络包括第一注意力图卷积模块、共现特征模块和第二注意力图卷积模块。分析模块760，还用于根据第二图像序列里的每张第二目标特征图生成一个骨骼时空图；骨骼时空图包括同一个分析对象的各个关节点在同一时刻的连接关系，以及同一个分析对象的同一个关节点在不同时刻的连接关系；通过第一注意力图卷积模块确定骨骼时空图的第一特征权重，根据第一特征权重确定与骨骼时空图对应的第一特征图像；通过共有特征模块对第一特征图像进行转置及图卷积处理，得到共现特征图像；通过第二注意力图卷积模块确定共现特征图像的第二特征权重，根据第二特征权重从共现特征图像中提取骨骼特征；通过图卷积网络根据同一个分析对象在各张第二目标特征图中提取出的骨骼特征对分析对象进行行为分析。
[0151]
本技术实施例公开了一种模型训练装置，该模型训练装置可用于通过姿态估计模型对样本图像序列中的每张样本图像进行特征提取，得到与样本图像对应的第一样本特征图；样本图像序列包括多张样本图像以及与各个样本图像对应的部分亲和字段标签和关节点置信度标签；
[0152]
通过姿态估计模型从第一样本特征图中获取与第一样本特征图中每类关节点对应的训练置信度图，以及第一样本特征图对应的训练部分亲和字段；训练置信度图包括第一样本特征图中多个分析对象对应的同类关节点出现在第一样本特征图中每个像素位置的训练概率；训练部分亲和字段包括各个分析对象中属于同一个分析对象的各类关节点之间的训练关联度；
[0153]
根据部分亲和字段标签、训练部分亲和字段、关节点置信度标签以及训练置信度图计算整体训练损失，根据整体训练损失对姿态估计模型的参数进行调整。
[0154]
在一个实施例中，该模型训练装置还可用于根据二值掩膜、部分亲和字段标签以及训练部分亲和字段计算亲和字段训练损失；
[0155]
根据二值掩膜、关节点置信度标签以及训练置信度图计算置信度训练损失；样本
特征图中不存在关节点置信度标签以及部分亲和字段标签的像素点在二值掩膜中的取值为0；
[0156]
根据置信度训练损失和亲和字段训练损失计算整体训练损失。
[0157]
请参阅图8，图8是本技术实施例公开的一种电子设备的结构示意图。
[0158]
如图8所示，该电子设备800可以包括：
[0159]
存储有可执行程序代码的存储器810；
[0160]
与存储器810耦合的处理器820；
[0161]
其中，处理器820调用存储器810中存储的可执行程序代码，执行本技术实施例公开的任一种行为分析方法。
[0162]
本技术实施例公开一种计算机可读存储介质，其存储计算机程序，其中，计算机程序被所述处理器执行时，使得所述处理器实现本技术实施例公开的任意一种行为分析方法。
[0163]
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本技术所必须的。
[0164]
在本技术的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0165]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0166]
另外，在本技术各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0167]
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本技术的各个实施例上述方法的部分或全部步骤。
[0168]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(read-only memory，rom)、随机存储器(random access memory，ram)、可编程只读存储器(programmable read-only memory，prom)、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、一次可编程只读存储器(one-time programmable read-only memory，otprom)、电子抹除式可复写只读存储器
(electrically-erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
[0169]
以上对本技术实施例公开的一种行为分析方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想。同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。

技术特征：
1.一种行为分析方法，其特征在于，所述方法包括：获取第一图像序列；所述第一图像序列包括多张待处理图像，每张所述待处理图像包括多个分析对象；针对所述第一图像序列中的每张所述待处理图像，通过姿态估计模型对所述待处理图像进行特征提取，得到与所述待处理图像对应的第一目标特征图；通过所述姿态估计模型从所述第一目标特征图中获取与所述第一目标特征图包括的各类关节点分别对应的预测置信度图，以及所述第一目标特征图对应的预测部分亲和字段；所述预测部分亲和字段包括各个所述分析对象中属于同一个分析对象的各类关节点之间的真实关联度；利用所述预测部分亲和字段对所述各类关节点分别对应的所述预测置信度图进行聚类，以将各个所述预测置信图中属于同一个所述分析对象的各类关节点进行连接，得到与所述待处理图像对应的第二目标特征图；生成与所述第一图像序列对应的第二图像序列；所述第二图像序列包括多张所述待处理图像分别对应的所述第二目标特征图；根据所述第二图像序列对多个所述分析对象进行行为分析。2.根据权利要求1所述的方法，其特征在于，所述姿态估计模型包括：置信度估计网络和亲和字段估计网络；以及，所述通过所述姿态估计模型从所述第一目标特征图中获取与所述第一目标特征图中每类关节点对应的预测置信度图，以及所述第一目标特征图对应的预测部分亲和字段，包括：通过所述置信度估计网络对所述第一目标特征图进行第一深度可分离处理，以及通过所述亲和字段估计网络对所述第一目标特征图进行第二深度可分离处理，得到与所述第一目标特征图中每类关节点对应的所述预测置信度图，以及所述第一目标特征图对应的所述预测部分亲和字段；其中，所述第一深度可分离处理用于估计所述第一目标特征图中多个所述分析对象对应的同类关节点出现在所述第一目标特征图中每个像素位置的真实概率；所述第二深度可分离处理用于估计各个所述分析对象中属于同一个分析对象的各类关节点之间的真实关联度。3.根据权利要求2所述的方法，其特征在于，所述置信度估计网络包括：第一置信度估计模块和第二置信度估计模块；所述亲和字段估计网络包括：第一亲和字段估计模块和第二亲和字段估计模块；以及，所述通过所述置信度估计网络对所述第一目标特征图进行第一深度可分离处理，以及通过所述亲和字段估计网络对所述第一目标特征图进行第二深度可分离处理，得到与所述第一目标特征图中每类关节点对应的所述预测置信度图，以及所述第一目标特征图对应的所述预测部分亲和字段，包括：通过所述第一置信度估计模块对所述第一目标特征图进行第一深度可分离处理，得到第一阶段置信度输出值；以及，通过所述第一亲和字段估计模块对所述第一目标特征图进行第二深度可分离处理，得到第一阶段亲和字段输出值；将所述第一阶段置信度输出值、所述第一阶段亲和字段输出值以及所述第一目标特征图进行串联，得到第二阶段输入特征图；通过所述第二置信度估计模块对所述第二阶段输入特征图进行所述第一深度可分离
处理，以及通过所述第二亲和字段估计模块对所述第二阶段输入特征图进行所述第二深度可分离处理，得到与所述第一目标特征图中每类关节点对应的所述预测置信度图，以及所述第一目标特征图对应的所述预测部分亲和字段。4.根据权利要求1所述的方法，其特征在于，所述根据所述第二图像序列对多个所述分析对象进行行为分析，包括：通过图卷积网络从所述第二图像序列包括的每张所述第二目标特征图中提取骨骼特征；通过所述图卷积网络根据目标分析对象在各张所述第二目标特征图中分别对应的骨骼特征对所述目标分析对象进行行为分析；所述目标分析对象是多个所述分析对象中的任意一个分析对象。5.根据权利要求4所述的方法，其特征在于，所述图卷积网络包括：第一注意力图卷积模块、共现特征模块和第二注意力图卷积模块；以及，所述通过图卷积网络从所述第二图像序列里的每张所述第二目标特征图中提取骨骼特征，包括：根据所述第二图像序列里的每张所述第二目标特征图生成一个骨骼时空图；所述骨骼时空图包括所述目标分析对象的各个关节点在同一时刻的连接关系，以及同一个分析对象的同一个关节点在不同时刻的连接关系；通过所述第一注意力图卷积模块确定所述骨骼时空图的第一特征权重，根据所述第一特征权重确定与所述骨骼时空图对应的第一特征图像；通过所述共有特征模块对第一特征图像进行转置及图卷积处理，得到共现特征图像；通过所述第二注意力图卷积模块确定所述共现特征图像的第二特征权重，根据所述第二特征权重从所述共现特征图像中提取骨骼特征。6.一种模型训练方法，其特征在于，所述方法包括：通过姿态估计模型对样本图像序列中的每张样本图像进行特征提取，得到与所述样本图像对应的第一样本特征图；所述样本图像序列包括多张所述样本图像以及与各个所述样本图像对应的部分亲和字段标签和关节点置信度标签；通过所述姿态估计模型从所述第一样本特征图中获取与所述第一样本特征图中每类关节点对应的训练置信度图，以及所述第一样本特征图对应的训练部分亲和字段；所述训练置信度图包括所述第一样本特征图中多个分析对象对应的同类关节点出现在所述第一样本特征图中每个像素位置的训练概率；所述训练部分亲和字段包括各个所述分析对象中属于同一个分析对象的各类关节点之间的训练关联度；根据所述部分亲和字段标签、所述训练部分亲和字段、所述关节点置信度标签以及所述训练置信度图计算整体训练损失，根据所述整体训练损失对所述姿态估计模型的参数进行调整。7.根据权利要求6所述的方法，其特征在于，所述根据所述部分亲和字段标签、所述训练部分亲和字段、所述关节点置信度标签以及所述训练置信度图计算整体训练损失，包括：根据二值掩膜、所述部分亲和字段标签以及所述训练部分亲和字段计算亲和字段训练损失；根据所述二值掩膜、所述关节点置信度标签以及所述训练置信度图计算置信度训练损失；所述样本特征图中不存在所述关节点置信度标签以及所述部分亲和字段标签的像素点
在所述二值掩膜中的取值为0；根据所述置信度训练损失和所述亲和字段训练损失计算整体训练损失。8.一种行为分析装置，其特征在于，所述装置包括：获取模块，用于获取第一图像序列；所述第一图像序列包括多张待处理图像，每张所述待处理图像包括多个分析对象；提取模块，用于针对所述第一图像序列中的每张所述待处理图像，通过姿态估计模型对所述待处理图像进行特征提取，得到与所述待处理图像对应的第一目标特征图；预测模块，用于通过所述姿态估计模型从所述第一目标特征图中获取与所述第一目标特征图包括的各类关节点分别对应的预测置信度图，以及所述第一目标特征图对应的预测部分亲和字段；所述预测部分亲和字段包括各个所述分析对象中属于同一个分析对象的各类关节点之间的真实关联度；聚类模块，用于利用所述预测部分亲和字段对所述第一目标特征图中各类关节点分别对应的所述预测置信度图进行聚类，以将各个所述预测置信图中属于同一个所述分析对象的各类关节点进行连接，得到与所述待处理图像对应的第二目标特征图；生成模块，用于生成与所述第一图像序列对应的第二图像序列；所述第二图像序列包括多张所述待处理图像分别对应的所述第二目标特征图；分析模块，用于根据所述第二图像序列对多个所述分析对象进行行为分析。9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至7任一所述的方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一所述的方法。

技术总结
本申请实施例公开一种行为分析方法、装置、电子设备及存储介质，该方法包括：获取第一图像序列；对第一图像序列中的每张待处理图像进行特征提取，得到与待处理图像对应的第一目标特征图；通过姿态估计模型从第一目标特征图中获取预测置信度图以及预测部分亲和字段；利用预测部分亲和字段对第一目标特征图中各类关节点分别对应的预测置信度图进行聚类，以将各个预测置信图中属于同一个分析对象的各类关节点进行连接，得到与待处理图像对应的第二目标特征图；生成与第一图像序列对应的第二图像序列；根据第二图像序列对多个分析对象进行行为分析。实施本申请实施例，能够充分提取人体特征，从而提高对人体行为分析的准确度。从而提高对人体行为分析的准确度。从而提高对人体行为分析的准确度。


技术研发人员：李圣京 李树斌 车满强 李铭 范存君
受保护的技术使用者：广州海格通信集团股份有限公司
技术研发日：2022.03.15
技术公布日：2023/9/22