一种基于选择性部分特征融合的步态识别方法

1.本发明涉及步态识别技术领域，具体涉及一种基于选择性部分特征融合的步态识别方法。


背景技术：

2.步态识别是一种生物特征识别技术，其核心思想是通过分析一个人行走的姿态来对比出数据库中人物的身份。然而，在实际应用场景中，步态识别的性能受到许多因素的影响，如视角变化、遮挡和穿着条件等。为克服这些困难，当前主流的步态识别方法借助深度学习技术，利用卷积神经网络从步态数据中提取时空信息，并进行处理和分类，以达到更加准确、稳定的识别效果。根据是否考虑帧的时间顺序，步态识别方法可分为基于集合和基于序列的两类。
3.基于集合的方法将步态序列视为无序集合，因此输入的顺序对于步态评估并不重要。然而，忽略步态序列的时间特性可能会导致丢失判别性的局部动作信息，这可能是步态识中最有用的特征。
4.基于序列的方法倾向于从多个空间和时间尺度探究个体的步态模式。由于输入序列通常是对齐的，使用输入图像的同一水平分割或中间层特征可以提高识别性能。但由于穿着条件或移动幅度的变化可能会导致定位错误，从而降低识别准确率，此外，相邻帧的冗余性限制了时空差异模式的识别。


技术实现要素：

5.本发明的目的在于提供一种基于选择性部分特征融合的步态识别方法，解决以下技术问题：
6.大多数现有的步态识别方法平等对待各个部位，忽略了不同部位在识别上的重要程度，从而降低了判别能力，由于穿着条件或移动幅度的变化可能会导致定位错误，从而降低识别准确率，此外，相邻帧的冗余性也限制了步态识别的效果。
7.因此本发明提出了一种新的选择性部分特征融合网络，以改善步态识别的性能，提高步态识别的准确率。
8.本发明的目的可以通过以下技术方案实现：
9.一种基于选择性部分特征融合的步态识别方法，包括以下步骤：
10.建立步态识别模型，所述步态识别模型包括3d卷积网络、多尺度局部时间聚合模块、空间注意力模块、全连接层；
11.对步态识别数据集样本进行预处理，生成步态视频轮廓序列，将所述步态识别视频轮廓序列分批次输入3d卷积网络中进行特征提取；
12.将提取到的特征输入到多尺度局部时间聚合模块中捕获区分性的运动特征；将所述运动特征再次输入3d卷积网络中提取细粒度的步态特征；将所述步态特征输入空间注意力模块中提取判别性的空间特征；将所述空间特征输入全连接层获取每个样本的预测概
率；
13.计算模型损失，并通过adam优化算法对模型参数进行优化，当训练次数达到预设次数时，输出符合要求的步态识别模型。
14.作为本发明进一步的方案：所述预处理的过程为：
15.逐帧提取步态视频中的每一帧，基于步态检测算法依次对每一帧进行识别，选取包含人体步态的区域，在步态区域内，通过边缘检测算法和图像分割网络提取人体的轮廓信息，对提取的人体轮廓依次进行降噪处理、平滑轮廓和填充空洞，对每个步态轮廓进行缩放、旋转和平移，使每个步态轮廓具有相同的尺寸、方向和位置。
16.作为本发明进一步的方案：所述3d卷积网络包括全局3d卷积网络和局部3d卷积网络，将全局3d卷积网络提取的特征和局部3d卷积网络提取的特征融合后进行输出。
17.作为本发明进一步的方案：所述多尺度局部时间聚合模块将时间维度缩减至三分之一，输出时间维度缩减后的特征，将多尺度局部时间聚合模块得到的特征与经过特征融合得到的特征进行拼接，输出拼接后的特征。
18.作为本发明进一步的方案：3d卷积网络提取特征的过程为：
19.输入的特征图表示为其中c1表示通道数，t表示时间维度，h和w表示特征图的长和宽，将输入的特征图沿着水平维度分割为k个部分，其中k为正整数，表示为i∈1,2,
…
,k，于是分割后的特征图部分表示为将选择性特征融合过程用以下公式表示：
[0020][0021]
其中代表一个3d卷积，卷积核大小为3
×3×
3，步长为1
×1×
1，αi是随网络训练可学习的参数，代表了每个部分对判别的重要程度，3d卷积网络的输出表示为每个部分的3d卷积之间参数共享；
[0022]
将所有部分的特征图沿着水平维度拼接在一起，公式如下表示：
[0023][0024]
其中表示拼接操作，表示spff操作后得到的特征图。
[0025]
作为本发明进一步的方案：多尺度局部时间聚合模块提取运动特征的过程为：
[0026]
中间的特征表示为多尺度局部时间聚合模块用公式表示为：
[0027][0028]
其中表示一个3d卷积，卷积核大小为a
×3×
3，步长为3
×1×
1；其中表示一个3d卷积，卷积核大小为b
×3×
3，步长为3
×1×
1；其中表示一个3d卷积，卷积核大小为c
×3×
3，步长为3
×1×
1，mlta的输
出表示为
[0029]
作为本发明进一步的方案：空间特征的提取过程为：
[0030]
通过时间池化后的特征表示为空间注意力模块用公式表示为：
[0031][0032]
其中代表一个2d卷积，卷积核大小为1
×
1，步长为1
×
1，softmax(
·
)表示softmax的激活函数。
[0033]
作为本发明进一步的方案：所述模型损失基于交叉熵损失函数和三元组损失函数进行计算。
[0034]
本发明的有益效果：
[0035]
本发明提供的基于选择性部分特征融合的步态识别方法，首先对数据集进行预处理得到步态轮廓的视频序列，通过选择性部分特征融合，多尺度局部时间聚合模块和空间注意力模块，得到的步态特征更具有判别性，从而大大提高了对于不同个体的识别效果。
附图说明
[0036]
下面结合附图对本发明作进一步的说明。
[0037]
图1是本发明一种基于选择性部分特征融合的步态识别方法的流程示意图；
[0038]
图2是本发明步态识别模型的模块示意图；
[0039]
图3是本发明选择性特征融合的结构示意图；
[0040]
图4是本发明空间注意力模块的结构示意图。
具体实施方式
[0041]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0042]
请参阅图1-4所示，本发明为一种基于选择性部分特征融合的步态识别方法，包括以下步骤：
[0043]
建立步态识别模型，所述步态识别模型包括3d卷积网络、多尺度局部时间聚合模块、空间注意力模块、全连接层；
[0044]
对步态识别数据集样本进行预处理，生成步态视频轮廓序列，将所述步态识别视频轮廓序列分批次输入3d卷积网络中进行特征提取；
[0045]
将提取到的特征输入到多尺度局部时间聚合模块中捕获区分性的运动特征；将所述运动特征再次输入3d卷积网络中提取细粒度的步态特征；将所述步态特征输入空间注意力模块中提取判别性的空间特征；将所述空间特征输入全连接层获取每个样本的预测概率；
[0046]
计算模型损失，并通过adam优化算法对模型参数进行优化，当训练次数达到预设次数时，输出符合要求的步态识别模型。
[0047]
本发明提供了一种基于步态序列的深度学习网络，用于步态识别和验证。该网络能够从输入的步态序列中提取关键特征，并映射到判别空间，以实现准确的身份识别和验证，具体的实施过程为：
[0048]
给定一个包含t帧的步态序列s作为网络的输入。该序列经过一系列的模块处理，以提取鲁棒且具有区分性的特征。
[0049]
首先，步态序列经过选择性部分特征融合模块和全局的3d卷积操作，得到的特征进行相加。这一步骤被执行两次，称为全局局部特征融合。全局局部特征融合通过对输入的特征进行部分融合和整体融合，以保留局部和全局的运动信息。
[0050]
接下来，经过一个多尺度的局部时间聚合模块，时间维度被缩减至t/3。该模块能够聚合序列中的相似帧，捕获区分性的运动信息。经过多尺度时间聚合后的特征与经过全局局部特征融合模块得到的特征进行拼接。
[0051]
随后，经过一次全局局部特征融合后，进行空间池化。空间池化操作有助于降低特征的维度，并保留重要的空间信息。将空间池化后得到的特征与经过多尺度时间聚合模块得到的特征相加，再次进行全局局部特征融合，这次采用拼接的方式进行特征融合。
[0052]
得到的特征经过时间池化，进一步降低时间维度，提取关键的运动信息。接着，经过空间注意力模块，对特征进行空间注意力加权处理，以突出感兴趣的区域。
[0053]
最后，经过广义平均池化将特征映射到判别空间。广义平均池化能够有效地提取特征的全局信息，并降低特征的维度。映射后的特征用于步态的识别和验证任务。
[0054]
为了训练模型，本发明采用了三元组损失和交叉熵损失的联合训练策略。三元组损失通过最小化同一身份特征之间的距离，并最大化不同身份特征之间的距离，来约束模型学习更好的特征表示。交叉熵损失用于优化步态的分类任务。
[0055]
在本发明的一种优选的实施例中，所述预处理的过程为：
[0056]
提取步态视频中的每一帧：使用视频处理库或工具，例如opencv，读取步态视频文件，并逐帧提取视频帧。
[0057]
进行步态检测和识别：对每一帧应用步态检测算法或步态识别模型，以确定包含人体步态的区域。这可以使用计算机视觉和深度学习技术，例如基于特征点或人体姿势估计的方法。
[0058]
提取人体轮廓：在步态区域内，提取人体的轮廓信息。可以使用图像分割算法或边缘检测算法来提取轮廓，例如canny边缘检测、grabcut、基于深度学习的分割网络等。
[0059]
清理和预处理：对提取的人体轮廓进行清理和预处理。这可能包括去除噪声、平滑轮廓、填充空洞等操作，以确保轮廓的准确性和一致性。
[0060]
标准化和归一化：对每个步态轮廓进行标准化和归一化，以确保它们具有相同的尺寸、方向和位置。这可以通过对每个轮廓进行缩放、旋转和平移等操作来实现。
[0061]
在本发明的另一种优选的实施例中，所述3d卷积网络包括全局3d卷积网络和局部3d卷积网络，将全局3d卷积网络提取的特征和局部3d卷积网络提取的特征融合后进行输出。
[0062]
值得注意的是，所述多尺度局部时间聚合模块将时间维度缩减至三分之一，输出时间维度缩减后的特征，将多尺度局部时间聚合模块得到的特征与经过特征融合得到的特征进行拼接，输出拼接后的特征。
[0063]
在本发明的另一种优选的实施例中，3d卷积网络提取特征的过程为：
[0064]
输入的特征图表示为其中c1表示通道数，t表示时间维度，h和w表示特征图的长和宽，将输入的特征图沿着水平维度分割为k个部分，其中k为正整数，表示为i∈1,2,
…
,k，于是分割后的特征图部分表示为将选择性特征融合过程用以下公式表示：
[0065][0066]
其中代表一个3d卷积，卷积核大小为3
×3×
3，步长为1
×1×
1，αi是随网络训练可学习的参数，代表了每个部分对判别的重要程度，3d卷积网络的输出表示为每个部分的3d卷积之间参数共享；
[0067]
将所有部分的特征图沿着水平维度拼接在一起，公式如下表示：
[0068][0069]
其中表示拼接操作，表示spff操作后得到的特征图。
[0070]
在本发明的另一种优选的实施例中，多尺度局部时间聚合模块提取运动特征的过程为：
[0071]
中间的特征表示为多尺度局部时间聚合模块用公式表示为：
[0072][0073]
其中表示一个3d卷积，卷积核大小为a
×3×
3，步长为3
×1×
1；其中表示一个3d卷积，卷积核大小为b
×3×
3，步长为3
×1×
1；其中表示一个3d卷积，卷积核大小为c
×3×
3，步长为3
×1×
1，mlta的输出表示为
[0074]
在本发明的另一种优选的实施例中，空间特征的提取过程为：
[0075]
通过时间池化后的特征表示为空间注意力模块用公式表示为：
[0076][0077]
其中代表一个2d卷积，卷积核大小为1
×
1，步长为1
×
1，softmax(
·
)表示softmax的激活函数。
[0078]
在本发明的另一种优选的实施例中，所述模型损失基于交叉熵损失函数和三元组损失函数进行计算。
[0079]
以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

技术特征：
1.一种基于选择性部分特征融合的步态识别方法，其特征在于，包括以下步骤：建立步态识别模型，所述步态识别模型包括3d卷积网络、多尺度局部时间聚合模块、空间注意力模块、全连接层；对步态识别数据集样本进行预处理，生成步态视频轮廓序列，将所述步态识别视频轮廓序列分批次输入3d卷积网络中进行特征提取；将提取到的特征输入到多尺度局部时间聚合模块中捕获区分性的运动特征；将所述运动特征再次输入3d卷积网络中提取细粒度的步态特征；将所述步态特征输入空间注意力模块中提取判别性的空间特征；将所述空间特征输入全连接层获取每个样本的预测概率；计算模型损失，并通过adam优化算法对模型参数进行优化，当训练次数达到预设次数时，输出符合要求的步态识别模型。2.根据权利要求1所述的一种基于选择性部分特征融合的步态识别方法，其特征在于，所述预处理的过程为：逐帧提取步态视频中的每一帧，基于步态检测算法依次对每一帧进行识别，选取包含人体步态的区域，在步态区域内，通过边缘检测算法和图像分割网络提取人体的轮廓信息，对提取的人体轮廓依次进行降噪处理、平滑轮廓和填充空洞，对每个步态轮廓进行缩放、旋转和平移，使每个步态轮廓具有相同的尺寸、方向和位置。3.根据权利要求1所述的一种基于选择性部分特征融合的步态识别方法，其特征在于，所述3d卷积网络包括全局3d卷积网络和局部3d卷积网络，将全局3d卷积网络提取的特征和局部3d卷积网络提取的特征融合后进行输出。4.根据权利要求3所述的一种基于选择性部分特征融合的步态识别方法，其特征在于，所述多尺度局部时间聚合模块将时间维度缩减至三分之一，输出时间维度缩减后的特征，将多尺度局部时间聚合模块得到的特征与经过特征融合得到的特征进行拼接，输出拼接后的特征。5.根据权利要求1所述的一种基于选择性部分特征融合的步态识别方法，其特征在于，3d卷积网络提取特征的过程为：输入的特征图表示为其中c1表示通道数，t表示时间维度，h和w表示特征图的长和宽，将输入的特征图沿着水平维度分割为k个部分，其中k为正整数，表示为i∈1,2,
…
,k，于是分割后的特征图部分表示为将选择性特征融合过程用以下公式表示：其中代表一个3d卷积，卷积核大小为3
×3×
3，步长为1
×1×
1，α
i
是随网络训练可学习的参数，代表了每个部分对判别的重要程度，3d卷积网络的输出表示为每个部分的3d卷积之间参数共享；将所有部分的特征图沿着水平维度拼接在一起，公式如下表示：
其中表示拼接操作，表示spff操作后得到的特征图。6.根据权利要求1所述的一种基于选择性部分特征融合的步态识别方法，其特征在于，多尺度局部时间聚合模块提取运动特征的过程为：中间的特征表示为多尺度局部时间聚合模块用公式表示为：其中表示一个3d卷积，卷积核大小为a
×3×
3，步长为3
×1×
1；其中表示一个3d卷积，卷积核大小为b
×3×
3，步长为3
×1×
1；其中表示一个3d卷积，卷积核大小为c
×3×
3，步长为3
×1×
1，mlta的输出表示为7.根据权利要求1所述的一种基于选择性部分特征融合的步态识别方法，其特征在于，空间特征的提取过程为：通过时间池化后的特征表示为空间注意力模块用公式表示为：其中代表一个2d卷积，卷积核大小为1
×
1，步长为1
×
1，softmax(
·
)表示softmax的激活函数。8.根据权利要求1所述的一种基于选择性部分特征融合的步态识别方法，其特征在于，所述模型损失基于交叉熵损失函数和三元组损失函数进行计算。

技术总结
本发明公开了一种基于选择性部分特征融合的步态识别方法，属于步态识别技术领域，具体包括以下步骤：对步态识别数据集样本进行预处理，生成步态视频轮廓序列，将所述步态识别视频轮廓序列分批次输入3D卷积网络中进行特征提取；将提取到的特征输入到多尺度局部时间聚合模块中捕获区分性的运动特征；将所述运动特征再次输入3D卷积网络中提取细粒度的步态特征；将所述步态特征输入空间注意力模块中提取判别性的空间特征；将所述空间特征输入全连接层获取每个样本的预测概率；当训练次数达到预设次数时，输出符合要求的步态识别模型；本发明得到的步态特征更具有判别性，大大提高了对于不同个体的识别效果。对于不同个体的识别效果。对于不同个体的识别效果。


技术研发人员：贾兆红 程建军 王科 叶鸿 郑辉
受保护的技术使用者：安徽大学
技术研发日：2023.07.03
技术公布日：2023/9/22