虚拟现实训练中手动操作评估方法、电子设备及介质

1.本发明涉及训练评估领域，更具体地，涉及一种虚拟现实训练中手动操作评估方法、电子设备及介质。


背景技术：

2.在电力行业中，虚拟现实技术已经被广泛应用于职业培训中。利用虚拟现实技术，可以构建电力系统仿真、模拟和实验，培训电力工程师的技能和操作规范。在这种情况下，手动操作评估技术在电力行业中的应用变得尤为重要。
3.目前，一些公司和机构都已经开发了专门的虚拟现实工具和训练系统，以提高电力工程师的操作技能和工作效率。虚拟现实训练可以为电力行业工作者提供一个更加安全、真实的学习环境，同时节约了时间和成本。
4.然而，虚拟现实训练中手动操作评估技术仍然存在一些限制和缺陷。其中一个主要问题是如何准确地识别和评估手部动作。这可能受到诸如系统精度、数据采集设备精度、动作识别模型质量等因素的影响。
5.目前，一些类似的研究已经涉及到虚拟现实环境中的手部操作、手部姿态检测、基于手势的交互、手部动作分析、手部运动的识别等方面，如基于神经网络的动作识别，基于深度学习的手势识别和文本输入等。
6.然而，这些技术仍然存在一些缺陷和限制。比如，在现实的应用场景中，手势和动作与不同的环境和交互方式(如语音控制、数据手套等)相关，且常常面临复杂的环境变化和多变的场景，这可能会影响到手势识别的准确性和性能。另外，手势识别和动作评估本身也存在信息缺失、动作重合等问题，这些因素都会影响到手势识别和动作评估的实时性、准确性和稳定性。
7.因此，有必要开发一种虚拟现实训练中手动操作评估方法、电子设备及介质。
8.公开于本发明背景技术部分的信息仅仅旨在加深对本发明的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。


技术实现要素：

9.本发明提出了一种虚拟现实训练中手动操作评估方法、电子设备及介质。
10.第一方面，本公开实施例提供了一种虚拟现实训练中手动操作评估方法，包括：
11.通过数据手套获得手部运动数据，并以手部结构序列为输入来构建手部矢量图，获得手部动作训练数据集；
12.建立时空图卷积深度学习模型，根据时空图卷积深度学习模型确定卷积操作；
13.根据所述手部动作训练数据集，通过所述时空图卷积深度学习模型提取所述手部矢量图中的深度特征，使动作识别准确性最大化，完成测试仪运动与标准运动的比较和评估。
14.优选地，构建手部矢量图包括：
15.在每个帧序列中，所有手关节点都以自然连接模式连接，以形成手部结构的空间映射；
16.对于手的不同关节点，连续帧中的相同关节点连接在一起，形成手部结构的时间图；
17.将空间映射和时间图连接起来，形成一个基于手部结构的石孔图；
18.将每个手节点的坐标视为一个通道，边集e由两个分子集组成，第一个子集是每帧中手关节点的连接线，表示为es＝{v
tivtj
|(i，j)∈h}，其中h是手部结构中的所有关节点，第二个子集是在帧之间相同的连接点连接，并且此帧间连接表示为ef＝{v
tiv(t+1)i
}，所有点集和边集组成手部矢量图。
19.优选地，通过数据手套获得手部运动数据，并以手部结构序列为输入来构建手部矢量图，获得手部动作训练数据集包括：
20.收集手部操作动作，以ntu rgb+d数据集格式记录手骨关键点，改变st-gcn网络的卷积核心，根据操作过程中的手部动作训练数据集。
21.优选地，在时空卷积图中，单个帧中的空间图由邻接矩阵a表示，自连接由单位矩阵i表示，则有：
[0022][0023]
其中，w是权重矩阵，f
in
是输入特征图，λ是用于归一化的单位矩阵，是归一化的二维邻接矩阵，f
out
是卷积后的输出，是标准的二维卷积乘以归一化邻接矩阵的结果。
[0024]
优选地，所述时空图卷积深度学习模型包括9个时空卷积层，其中，第4层和第7层设置为池化层。
[0025]
优选地，根据时空图卷积深度学习模型确定卷积操作包括：
[0026]
在τ时刻，空间图中存在n个关节点的点集，进而获得边缘集；
[0027]
使用k
×
k大小的图形卷积核和具有c通道的输入卷积图，特定通道上的图形节点x处的输出为：
[0028][0029]
其中，p表示采样函数，即为节点x的视野内的相邻节点集，w为权重函数，表示将一个维数为c的权重向量作为与采样的输入特征向量的内积功能；
[0030]
在图体积中，图节点位b(v
ti
)＝{v
tj
|d(v
tj
，v
ti
≤d)}，其中卷积模型d(v
ti
，v
tj
)设为v
ti
，即一个节点的相邻点都是距离为v
ti
的点，则采样函数p：b(v
ti
)
→
v卷积为：
[0031]
p(v
ti
，v
tj
)＝v
tj
ꢀꢀ
(3)；
[0032]
在构建图卷积权重函数的过程中，将节点v
ti
的点集b(v
ti
)划分为k个子集，每个子集都有对应的标签，建立起始点集合b(v
ti
)中每个点到其对应子集的映射，l
ti
：b(v
ti
)
→
{0，...，k-1}，其中，l
ti
表示相邻点集的映射规则，则张量(c，k)用于构造权重函数为w(v
ti
，v
tj
)：b(v
ti
)
→
rc.，则有
[0033]
w(v
ti
，v
tj
)＝w(l
ti
(υ
tj
))
ꢀꢀ
(4)
[0034]
将公式(2)应用于图卷积得到：
[0035][0036]
其中，z
ti
(v
tj
)＝|{v
tk
|l
ti
(v
tj
)}|等于相应子集的基数；
[0037]
由公式(3)-(5)得：
[0038][0039]
将邻域扩展到包括具有时间连接的关节，将空间域的模型扩展到时域，得到的采用函数为：
[0040][0041]
其中，γ是控制时域的卷积核大小；
[0042]
在st图上完成卷积操作需要直接修改标签映射l
st
为根据v
ti
生成时空邻域，得到权函数方程为：
[0043]
l
st
(v
qj
)＝i
ti
(v
tj
)+(q-t+[γ/2])
×
k.
ꢀꢀ
(8)
[0044]
其中l
ti
(v
tj
)断续器为v
ti
处单帧情况的标签映射。
[0045]
优选地，在所述时空图卷积深度学习模型加入注意力机制，引入图注意力模块后，图卷积在空间维度上的方程为：
[0046][0047]
优选地，在构建时空图的卷积核的过程中，涉及到一个根节点的相邻节点集的子集划分，划分策略为：
[0048]
手部运动提出的空间配置划分，将整个点集划分为三个子集，其中根节点为一个子集，将比根节点本身更靠近整个手部结构重心的相邻节点划分为一个子集，相邻的比根节点本身离整个手结构重心更远的节点被划分为一个子集，表示为：
[0049][0050]
其中ri表示图中所有节点到手部结构重心的平均距离，取自训练集中所有数据信息。
[0051]
第二方面，本公开实施例还提供了一种电子设备，该电子设备包括：
[0052]
存储器，存储有可执行指令；
[0053]
处理器，所述处理器运行所述存储器中的所述可执行指令，以实现所述的虚拟现实训练中手动操作评估方法。
[0054]
第三方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现所述的虚拟现实训练中手动操作评估方法。
[0055]
其有益效果在于：
[0056]
1.引入时空图卷积神经网络模型
[0057]
传统的卷积神经网络模型主要考虑了图像中像素点的位置关系，没有考虑时间序列的顺序。而本发明中引入了时空图卷积神经网络模型，利用了手部关节的时间信息，对时间序列的关键点序列进行卷积计算和池化操作，有效提取了时间序列特征和空间信息，从而提高了手势识别的准确性。
[0058]
2.结合注意力机制与划分策略
[0059]
利用注意力机制来预测每个关键点在手势中的重要性，并对不同的关键点赋予不同的权重，从而提高了模型对关键点的关注程度，进一步加强了手势识别的准确性和可靠性。划分策略则是为了优化卷积核的接收野，将复杂的手部动作分解成若干小动作，每个小动作都是比较简单的，这有利于深度学习模型的训练和运行，提高了模型的运行效率。
[0060]
3.构建手向量图输入模型
[0061]
对于手部关节的数据，需要将其转化为可以被深度学习模型处理的向量形式，本发明设计了一个更加复杂的手向量图输入模型，通过将手部关节的信息转换为图结构，每个节点表示一个关键点，将空间信息和时间序列信息融合在一起，提高了对手势识别的准确性。
[0062]
本发明的方法和装置具有其它的特性和优点，这些特性和优点从并入本文中的附图和随后的具体实施方式中将是显而易见的，或者将在并入本文中的附图和随后的具体实施方式中进行详细陈述，这些附图和具体实施方式共同用于解释本发明的特定原理。
附图说明
[0063]
通过结合附图对本发明示例性实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施例中，相同的参考标号通常代表相同部件。
[0064]
图1示出了根据本发明的一个实施例的虚拟现实训练中手动操作评估方法的步骤的流程图。
[0065]
图2示出了根据本发明的一个实施例的算法优化流程图的示意图。
[0066]
图3示出了根据本发明的一个实施例的图卷积网络模型结构的示意图。
[0067]
图4示出了根据本发明的一个实施例的手部动作矢量图的示意图。
具体实施方式
[0068]
下面将更详细地描述本发明的优选实施方式。虽然以下描述了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。
[0069]
为便于理解本发明实施例的方案及其效果，以下给出三个具体应用示例。本领域技术人员应理解，该示例仅为了便于理解本发明，其任何具体细节并非意在以任何方式限制本发明。
[0070]
实施例1
[0071]
图1示出了根据本发明的一个实施例的虚拟现实训练中手动操作评估方法的步骤的流程图。
[0072]
如图1所示，该虚拟现实训练中手动操作评估方法包括：步骤101，通过数据手套获得手部运动数据，并以手部结构序列为输入来构建手部矢量图，获得手部动作训练数据集；步骤102，建立时空图卷积深度学习模型，根据时空图卷积深度学习模型确定卷积操作；步骤103，根据手部动作训练数据集，通过时空图卷积深度学习模型提取手部矢量图中的深度特征，使动作识别准确性最大化，完成测试仪运动与标准运动的比较和评估。
[0073]
在一个示例中，构建手部矢量图包括：
[0074]
在每个帧序列中，所有手关节点都以自然连接模式连接，以形成手部结构的空间映射；
[0075]
对于手的不同关节点，连续帧中的相同关节点连接在一起，形成手部结构的时间图；
[0076]
将空间映射和时间图连接起来，形成一个基于手部结构的石孔图；
[0077]
将每个手节点的坐标视为一个通道，边集e由两个分子集组成，第一个子集是每帧中手关节点的连接线，表示为es＝{v
tivtj
|(i，j)∈h}，其中h是手部结构中的所有关节点，第二个子集是在帧之间相同的连接点连接，并且此帧间连接表示为ef＝{v
tiv(t+1)i
}，所有点集和边集组成手部矢量图。
[0078]
在一个示例中，通过数据手套获得手部运动数据，并以手部结构序列为输入来构建手部矢量图，获得手部动作训练数据集包括：
[0079]
收集手部操作动作，以ntu rgb+d数据集格式记录手骨关键点，改变st-gcn网络的卷积核心，根据操作过程中的手部动作训练数据集。
[0080]
在一个示例中，在时空卷积图中，单个帧中的空间图由邻接矩阵a表示，自连接由单位矩阵i表示，则有：
[0081][0082]
其中，w是权重矩阵，f
in
是输入特征图，λ是用于归一化的单位矩阵，是归一化的二维邻接矩阵，f
out
是卷积后的输出，是标准的二维卷积乘以归一化邻接矩阵的结果。
[0083]
在一个示例中，时空图卷积深度学习模型包括9个时空卷积层，其中，第4层和第7层设置为池化层。
[0084]
在一个示例中，根据时空图卷积深度学习模型确定卷积操作包括：
[0085]
在τ时刻，空间图中存在n个关节点的点集，进而获得边缘集；
[0086]
使用k
×
k大小的图形卷积核和具有c通道的输入卷积图，特定通道上的图形节点x处的输出为：
[0087][0088]
其中，p表示采样函数，即为节点x的视野内的相邻节点集，w为权重函数，表示将一个维数为c的权重向量作为与采样的输入特征向量的内积功能；
[0089]
在图体积中，图节点位b(v
ti
)＝{v
tj
|d(v
tj
，v
ti
≤d)}，其中卷积模型d(v
ti
，v
tj
)设为v
ti
，即一个节点的相邻点都是距离为v
ti
的点，则采样函数p：b(v
ti
)
→
v卷积为：
[0090]
p(v
ti
，v
tj
)＝v
tj
ꢀꢀ
(3)；
[0091]
在构建图卷积权重函数的过程中，将节点v
ti
的点集b(v
ti
)划分为k个子集，每个子集都有对应的标签，建立起始点集合b(v
ti
)中每个点到其对应子集的映射，l
ti
：b(v
ti
)
→
{0，...，k-1}.，其中，l
ti
表示相邻点集的映射规则，则张量(c，k)用于构造权重函数为w(v
ti
，v
tj
)：b(v
ti
)
→
rc.，则有
[0092]
w(v
ti
，v
tj
)＝w(l
ti
(v
tj
))
ꢀꢀ
(4)
[0093]
将公式(2)应用于图卷积得到：
[0094][0095]
其中，z
ti
(v
tj
)＝|{v
tk
|l
ti
(v
tj
)}|等于相应子集的基数；
[0096]
由公式(3)-(5)得：
[0097][0098]
将邻域扩展到包括具有时间连接的关节，将空间域的模型扩展到时域，得到的采用函数为：
[0099][0100]
其中，γ是控制时域的卷积核大小；
[0101]
在st图上完成卷积操作需要直接修改标签映射l
st
为根据v
ti
生成时空邻域，得到权函数方程为：
[0102]
l
st
(v
qj
)＝l
ti
(v
tj
)+(q-t+[γ/2)
×
k.
ꢀꢀ
(8)
[0103]
其中l
ti
(v
tj
)断续器为v
ti
处单帧情况的标签映射。
[0104]
在一个示例中，在时空图卷积深度学习模型加入注意力机制，引入图注意力模块后，图卷积在空间维度上的方程为：
[0105][0106]
在一个示例中，在构建时空图的卷积核的过程中，涉及到一个根节点的相邻节点集的子集划分，划分策略为：
[0107]
手部运动提出的空间配置划分，将整个点集划分为三个子集，其中根节点为一个子集，将比根节点本身更靠近整个手部结构重心的相邻节点划分为一个子集，相邻的比根节点本身离整个手结构重心更远的节点被划分为一个子集，表示为：
[0108][0109]
其中ri表示图中所有节点到手部结构重心的平均距离，取自训练集中所有数据信息。
[0110]
具体地，人体运动识别是计算机视觉的一个活跃研究领域，在各个领域得到了广泛的应用。然而，传统的运动识别和评估往往依赖于手动特征提取。这些方法将错过手部结构中包含的许多高级功能。动态手部运动包含重要的操作信息。在电网的运行训练中，手部
运动的评估需要更高的精度。因此，迫切需要一种能够提高动作识别准确性的学习模型。
[0111]
某个动作的动作识别的准确性通常用以下等式表示：
[0112][0113]
其中x是操作类型，n
correct
(x)是正确分类测试操作数据集中属于类型x的操作序列的次数，n
total
(x)是测试操作数据集中属于类型x的操作序列的总数，需要一个学习模型来最大化g
accuracy
(x)g
accuracy
(x)的值。
[0114]
本方法提出一种矢量图卷积深度学习模型，以解决传统运动识别和评估中存在的一些问题，提高运动识别的准确性。首先，通过数据手套获得手部运动数据，并以手部结构序列为输入来构建手部矢量图。然后，通过图卷积网络提取矢量图中的深度特征，并添加注意机制，使g
accuracy
(x)的值最大化，从而完成测试仪运动与标准运动的比较和评估。
[0115]
图2示出了根据本发明的一个实施例的算法优化流程图的示意图。
[0116]
利用从数据手套获得的数据构建数据集，帮助电网操作人员在自身训练中纠正非标操作。通过与业内相关专业人员的合作，使用ue4，结合蓝图编写3个基本的静态功能，收集手部操作动作，以ntu rgb+d数据集格式记录手骨关键点，最后改变st-gcn网络的卷积核心，根据操作过程中的手部动作训练数据集。所获得的训练模型可以完成手部动作识别，具有很强的泛化性能和鲁棒性。手部运动识别算法的详细流程图如图2所示。
[0117]
通过使用矢量化时空图卷积深度学习模型来学习g
accuracy
(x)最大值的价值。与2d或3d卷积神经网络不同，图体积的实现细节不同。在时空卷积图中，单个帧中的空间图由邻接矩阵a表示，图中的自连接由单位矩阵i表示。因此，在单帧空间图的体积中，可以使用公式(1)，对于时空图，方程中的f在是一个输入特征图，由张量(c，v，t)表示。卷积是标准二维卷积乘以归一化邻接矩阵的结果。
[0118]
由于图体积过程中接受场的除法总是涉及相邻节点子集的除法，因此不同的除法具有不同的作用，详细描述。对于非酉子集分区，原始相邻矩阵需要分解为多个矩阵进行操作：
[0119][0120]
在上面的等式中，邻接矩阵被分解为不同子集中邻接矩阵的总和。例如，在根据手部结构重心划分的策略模式下，a0＝i，a1＝a
centriptal
，和a2＝a
centrifual
，，上述等式更改为：
[0121][0122]
将多个输出通道的权重向量堆叠起来，形成权重矩阵w。实际上，时空输入的特征图被取为张量(c，v，t)维数。
[0123]
图3示出了根据本发明的一个实施例的图卷积网络模型结构的示意图。
[0124]
整个网络的模型由9个不同的时空卷积层组成，如图3所示。由于不同的节点在整个图卷积过程中需要共享权重，因此不同输入数据之间的一致性非常重要。当数据被发送到整个模型中时，它需要通过一个批量归一化层来规范化所有手部信息。为了防止数据过度拟合，本项目使用dropout方法随机丢弃一些数据单元，并将第四层和第七层设置为池化层。最后，通过全连接生成特征向量，并通过softmax函数进行分类，以解释什么是动作输入
手数据序列。
[0125]
图4示出了根据本发明的一个实施例的手部动作矢量图的示意图。
[0126]
在确定使用矢量化时空图卷积深度学习模型后，需要构建手向量图作为该学习模型的输入。数据手套获得的数据是一段时间内的一系列数据，包括不同时间点的手关节点信息。为了提取整个手部运动的运动特征，需要构建一个手部结构矢量图，这是一个无向图，如图4所示。g＝(v，e)由t帧组成，每个帧中有n个连接点。在这个矢量图中，来自不同帧的所有节点形成集合v＝{v
ti
|t＝1，...，t；i＝1，...，n}，其中t表示所有帧的序列号，i表示特定帧中关键点的序列号。因此，第t帧中第i个节点的特征向量f(v
ti
)是该点的三维坐标。将所有节点的特征向量用作卷积神经网络的输入，并进行卷积计算。构建整个手部运动卷积图可以分为两个步骤。在第一步中，在每个帧序列中，所有手关节点都以自然连接模式连接，以形成手部结构的空间映射。其次，对于手的不同关节点，如图4所示，连续帧中的相同关节点连接在一起，形成手部结构的时间图。
[0127]
然后，空间图和时间图连接起来，形成一个基于手部结构的石孔图。将图卷积与cnn卷积网络进行比较，可以将每个手节点的坐标视为一个通道，该模型应用于二维坐标或三维坐标。类似地，边集e由两个分子集组成。第一个子集是每帧中手关节点的连接线，表示为es＝{v
tivtj
|(i，j)∈h}，其中h是手部结构中的所有关节点。第二个子集是在帧之间，相同的连接点连接，并且此帧间连接表示为ef＝{v
tiv(t+1)i
}。因此，对于特定的关节点，连接其所有边es可以被视为连接点的空间运动轨迹。所有点集和边集都是手部矢量图。
[0128]
连接的手部运动矢量图可以与cnn中的输入图片进行比较。cnn中的图片相当于2d图像网格中排列的像素强度矢量，而骨架运动时空图是排列在3d坐标系中的关节坐标矢量。分类方法cnn大致相同。原始骨架时空图中的高级特征图通过多层卷积提取，最后由softmax分类器进行分类。
[0129]
处理输入后，下一步是使用学习模型构造图卷积核。在τ时刻，空间图中存在n个关节点的点集，并且从这些关节es＝{v
tivtj
|(i，j)∈h}获得边缘集。使用k
×
k大小的图形卷积核和具有c通道的输入卷积图，特定通道上的图形节点x处的输出可以显示为公式(2)，其中p表示采样函数，具体表示图中节点x的视野内的相邻节点集。它相当于z2×
z2→
z2.
[0130]
在传统的图像卷积中，这种采样过程可以表示为以采样函数为中心的p(x，h，w)＝x+p
′
(h，w)。
[0131]
将获得相邻的周围像素，加上x像素本身，这是可见的接受场。在图卷积中，如果指定了图节点v
ti
，则其接受域将定义为与该点相邻的点集。
[0132]
在图体积中，如果指定了图节点：b(v
ti
)＝{v
tj
|d(v
tj
，v
ti
≤d)}，其中卷积模型，d(v
ti
，v
tj
)设为v
ti
，即一个节点的相邻点都是距离为v
ti
的点。由此可以推导出图中的采样函数p：b(v
ti
)
→
v卷积为公式(3)。
[0133]
公式(2)中，w为权重函数，表示将一个维数为c的权重向量作为与采样的输入特征向量的内积功能。在构建图卷积权重函数的过程中，可以将节点v
ti
的点集b(v
ti
)划分为k个子集，每个子集都有对应的标签，可以简化繁重的添加任务每个相邻节点的不同标签。因此，可以建立起始点集合b(v
ti
)中每个点到其对应子集的映射，l
ti
：b(v
ti
)
→
{0，...，k-1}，其中l
ti
表示相邻点集的映射规则。根据这个规则，张量(c，k)可用于构造权重函数如下：w(v
ti
，v
tj
)：b(v
ti
)
→
rc然后：
[0134]
w(v
ti
，v
tj
)＝w(l
ti
(v
tj
)).
ꢀꢀ
(4)
[0135]
因此可以建立时空图的主要卷积核。
[0136]
由于重新定义采用了带有权重函数的函数，所以公式(2)可以应用于图卷积，则有公式(5)，这里，z
ti
(v
tj
)＝{v
tk
|l
ti
(v
tj
)}|等于相应子集的基数，
[0137]
该参数增加了不同子集的贡献。
[0138]
由公式(3)-(5)可得公式(6)。
[0139]
在定义了空间图cnn之后，现在开始对骨骼序列中的时空动态进行建模。回想一下，在图的构造中，图的时间方面是通过连接连续帧之间的相同关节来构造的。这使我们能够定义一个非常简单的策略来将空间图cnn扩展到时空域。本文将邻域的概念扩展到包括具有时间连接的关节。将空间域的模型扩展到时域，得到的采用函数为公式(7)。
[0140]
在st图上完成卷积操作也需要权重函数，这与空间图的唯一情况相同。因为时间线是有序的，直接修改标签映射l
st
为根据υ
ti
生成时空邻域，得到权函数方程(8)，其中l
ti
(v
tj
)断续器)为v
ti
处单帧情况的标签映射，这样就为构建的时空图定义了卷积操作。
[0141]
在锻炼的过程中，不同躯干的重要性是不同的。例如，腿部运动可能比颈部更重要。通过腿部动作，甚至可以判断跑、走、跳，但颈部动作可能没有多少有效信息。因此，可以对不同的躯干进行加权。
[0142]
通过变换式(5)得到图卷积在空间维度上的方程是：
[0143][0144]
对空间图卷积层进行了修改，引入了图注意力模块，使模型不仅可以学习网络的参数，还可以优化连通图，得到更适合描述动作的图结构，从而更好地预测动作。具体来说，加入graph attention模块后，空间图卷积方程可以表示为公式(9)。
[0145]
与式(14)相比，式(9)可以看出，图注意力模块包括两部分，其中a
′
是一个数据驱动的图矩阵。首先通过构建的图体核对参数进行初始化，然后在网络传播过程中更新参数。与等式(14)不同，是一个数值固定的邻接矩阵，m学习连接的强度。整个训练过程中不能产生新的连接结构。使用新的矩阵at可以完全替代与m相互作用的效果。矩阵a
′
可以不仅可以充分利用初始物理连接关系，还可以优化训练过程中连通图的拓扑结构，并更新边的权重，从而实现一个矩阵替换两个矩阵的效果。此外，a
′
在不同的卷积层中是唯一的，所以在每一层都是个性化的，包含不同的语义。
[0146]
模块的第二部分是图注意力矩阵b，可以帮助模型更好地对每个样本的动作进行建模，增加模型的个性化。具体来说，对于一个输入特征f(υ
ti
)(the feature of a node v
ti
)，首先使用两个卷积层将f(v
ti
)映射成向量k和q即：
[0147]kti
＝wkf(v
ti
)
ꢀꢀ
(15)
[0148]qti
＝wqf(v
ti
)
ꢀꢀ
(16)
[0149][0150]
α为内积u的归一化相似度，即公式(9)中矩阵b的元素。可以看出，矩阵b也是完全从不同的动作样本中学习的。它可以有效地学习不同动作中任意两个身体关节点的权重。这种数据驱动的方法增加了模型的灵活性和多功能性，使模型能够有效地预测面对多样化
数据的行为。通过加入上述图注意力模块，网络可以在训练过程中不断优化图结构，适应各种样本的变化，形成最适合描述动作的拓扑，从而最终提高模型的性能和使动作预测的结果更加准确。
[0151]
在构建时空图的卷积核的过程中，涉及到一个根节点的相邻节点集的子集划分。由于时空图与图像不相似，具有刚性的空间序列结构。因此，一个点的感受野大小和相邻点集的子集划分对完成整个卷积起着重要的作用。确定子set点集的划分策略，在确定映射时设计了以下划分策略：
[0152]
手部运动提出的空间配置划分。这种划分策略将整个点集划分为三个子集，其中根节点本身就是一个子集，将比根节点本身更靠近整个手部结构重心的相邻节点划分为一个子集，相邻的比根节点本身离整个手结构重心更远的节点被划分为一个子集。手部结构的重心由同一帧内所有关节点的平均三维坐标确定。这种划分策略的理论基础是，在手部运动的过程中，运动可以简单地分为向心运动和离心运动。这种划分策略可以表示为公式(10)。
[0153]
对不同的动作类型采用不同的划分策略，可以大幅度提高动作识别的准确率。
[0154]
本发明中采用了ntu rgb+d行为识别数据集进行实验，为了测试效果，并采用了交叉验证法来验证模型的有效性。结果表明，该模型的操作评估准确性随着识别的样本数量的增加而增加，样本数量是影响准确性的关键因素之一。
[0155]
本发明针对虚拟现实训练中手动操作评估的难点，提出了基于向量化时空图卷积的深度学习模型。该模型能够充分利用手部关节的时间和空间信息，结合注意力机制和划分策略，实现对手势操作的准确识别和评估。与传统的手势识别方法相比，本发明提出的算法具有更高的动作识别准确率，使虚拟现实训练更加真实和可靠。
[0156]
在数据采集方面，本发明采用了数据手套技术，能够有效地获取虚拟现实环境下手部运动的动态数据。在模型构建中，本发明还详细介绍了基于手部向量图的构建方法，使得模型对手部动作的识别更加准确。
[0157]
至于实验部分，本发明使用了数据手套在ntu rgb+d行为识别数据集进行训练及测试。在实验结果分析中，本发明认为样本数量是影响最大准确度的关键因素，而实验结果显示，手势识别的准确度随着样本数量的增加而增加。该结果证明，本文提出的基于向量化时空图卷积的深度学习模型对手势识别和操作评估的准确性具有显著的提升效果。
[0158]
本发明将研究对象定位在电力系统职业培训中的手动操作评估，这一领域还处于研究的初级阶段，本发明有利于填补相应的技术空缺。
[0159]
综上所述，本发明的主要创新点在于结合了时空图卷积神经网络模型、注意力机制、划分策略和手向量图输入模型，解决了在虚拟现实训练中手动操作评估的问题，提高了手势识别的准确性和稳定性，为电力系统职业培训提供了一种更加高效、可靠的方法。同时，本发明可推广到其他领域中手势识别和评估的情形，为未来研究提供了借鉴和参考。
[0160]
实施例2
[0161]
本公开提供一种电子设备包括，该电子设备包括：存储器，存储有可执行指令；处理器，处理器运行存储器中的可执行指令，以实现上述虚拟现实训练中手动操作评估方法。
[0162]
根据本公开实施例的电子设备包括存储器和处理器。
[0163]
该存储器用于存储非暂时性计算机可读指令。具体地，存储器可以包括一个或多
个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。
[0164]
该处理器可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制电子设备中的其它组件以执行期望的功能。在本公开的一个实施例中，该处理器用于运行该存储器中存储的该计算机可读指令。
[0165]
本领域技术人员应能理解，为了解决如何获得良好用户体验效果的技术问题，本实施例中也可以包括诸如通信总线、接口等公知的结构，这些公知的结构也应包含在本公开的保护范围之内。
[0166]
有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。
[0167]
实施例3
[0168]
本公开实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现所述的虚拟现实训练中手动操作评估方法。
[0169]
根据本公开实施例的计算机可读存储介质，其上存储有非暂时性计算机可读指令。当该非暂时性计算机可读指令由处理器运行时，执行前述的本公开各实施例方法的全部或部分步骤。
[0170]
上述计算机可读存储介质包括但不限于：光存储介质(例如：cd－rom和dvd)、磁光存储介质(例如：mo)、磁存储介质(例如：磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如：存储卡)和具有内置rom的媒体(例如：rom盒)。
[0171]
本领域技术人员应理解，上面对本发明的实施例的描述的目的仅为了示例性地说明本发明的实施例的有益效果，并不意在将本发明的实施例限制于所给出的任何示例。
[0172]
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。

技术特征：
1.一种虚拟现实训练中手动操作评估方法，其特征在于，包括：通过数据手套获得手部运动数据，并以手部结构序列为输入来构建手部矢量图，获得手部动作训练数据集；建立时空图卷积深度学习模型，根据时空图卷积深度学习模型确定卷积操作；根据所述手部动作训练数据集，通过所述时空图卷积深度学习模型提取所述手部矢量图中的深度特征，使动作识别准确性最大化，完成测试仪运动与标准运动的比较和评估。2.根据权利要求1所述的虚拟现实训练中手动操作评估方法，其中，构建手部矢量图包括：在每个帧序列中，所有手关节点都以自然连接模式连接，以形成手部结构的空间映射；对于手的不同关节点，连续帧中的相同关节点连接在一起，形成手部结构的时间图；将空间映射和时间图连接起来，形成一个基于手部结构的石孔图；将每个手节点的坐标视为一个通道，边集e由两个分子集组成，第一个子集是每帧中手关节点的连接线，表示为e
s
＝{v
ti
v
tj
|(i，j)∈h}，其中h是手部结构中的所有关节点，第二个子集是在帧之间相同的连接点连接，并且此帧间连接表示为e
f
＝{v
ti
v
(t+1)i
}，所有点集和边集组成手部矢量图。3.根据权利要求1所述的虚拟现实训练中手动操作评估方法，其中，通过数据手套获得手部运动数据，并以手部结构序列为输入来构建手部矢量图，获得手部动作训练数据集包括：收集手部操作动作，以ntu rgb+d数据集格式记录手骨关键点，改变st-gcn网络的卷积核心，根据操作过程中的手部动作训练数据集。4.根据权利要求1所述的虚拟现实训练中手动操作评估方法，其中，在时空卷积图中，单个帧中的空间图由邻接矩阵a表示，自连接由单位矩阵i表示，则有：其中，w是权重矩阵，f
in
是输入特征图，λ是用于归一化的单位矩阵，是归一化的二维邻接矩阵，f
out
是卷积后的输出，是标准的二维卷积乘以归一化邻接矩阵的结果。5.根据权利要求1所述的虚拟现实训练中手动操作评估方法，其中，所述时空图卷积深度学习模型包括9个时空卷积层，其中，第4层和第7层设置为池化层。6.根据权利要求1所述的虚拟现实训练中手动操作评估方法，其中，根据时空图卷积深度学习模型确定卷积操作包括：在τ时刻，空间图中存在n个关节点的点集，进而获得边缘集；使用k
×
k大小的图形卷积核和具有c通道的输入卷积图，特定通道上的图形节点x处的输出为：其中，p表示采样函数，即为节点x的视野内的相邻节点集，w为权重函数，表示将一个维数为c的权重向量作为与采样的输入特征向量的内积功能；在图体积中，图节点位b(v
ti
)＝{v
tj
|d(v
tj
,v
ti
≤d)}，其中卷积模型d(v
ti
,v
tj
)设为v
ti
，
即一个节点的相邻点都是距离为v
ti
的点，则采样函数p：b(v
ti
)
→
v卷积为：p(v
ti
,v
tj
)＝v
tj
ꢀꢀꢀ
(3)；在构建图卷积权重函数的过程中，将节点v
ti
的点集b(v
ti
)划分为k个子集，每个子集都有对应的标签，建立起始点集合b(v
ti
)中每个点到其对应子集的映射，l
ti
：b(v
ti
)
→
{0，...，k-1}，其中，l
ti
表示相邻点集的映射规则，则张量(c,k)用于构造权重函数为w(v
ti
，v
tj
)：b(v
ti
)
→
r
c
，则有w(v
ti
，v
tj
)＝w
′
(l
ti
(v
tj
))
ꢀꢀꢀꢀ
(4)将公式(2)应用于图卷积得到：其中，z
ti
(v
tj
)＝|{v
tk
|l
ti
(v
tj
)}|等于相应子集的基数；由公式(3)-(5)得：将邻域扩展到包括具有时间连接的关节，将空间域的模型扩展到时域，得到的采用函数为：其中，γ是控制时域的卷积核大小；在st图上完成卷积操作需要直接修改标签映射l
st
为根据v
ti
生成时空邻域，得到权函数方程为：其中l
ti
(v
tj
)断续器为v
ti
处单帧情况的标签映射。7.根据权利要求1所述的虚拟现实训练中手动操作评估方法，其中，在所述时空图卷积深度学习模型加入注意力机制，引入图注意力模块后，图卷积在空间维度上的方程为：8.根据权利要求1所述的虚拟现实训练中手动操作评估方法，其中，在构建时空图的卷积核的过程中，涉及到一个根节点的相邻节点集的子集划分，划分策略为：集划分为三个子集，其中根节点为一个子集，将比根节点本身更靠近整个手部结构重心的相邻节点划分为一个子集，相邻的比根节点本身离整个手结构重心更远的节点被划分为一个子集，表示为：
其中r
i
表示图中所有节点到手部结构重心的平均距离，取自训练集中所有数据信息。9.一种电子设备，其特征在于，所述电子设备包括：存储器，存储有可执行指令；处理器，所述处理器运行所述存储器中的所述可执行指令，以实现权利要求1-8中任一项所述的虚拟现实训练中手动操作评估方法。10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现权利要求1-8中任一项所述的虚拟现实训练中手动操作评估方法。

技术总结
本申请公开了一种虚拟现实训练中手动操作评估方法、电子设备及介质。该方法可以包括：通过数据手套获得手部运动数据，并以手部结构序列为输入来构建手部矢量图，获得手部动作训练数据集；建立时空图卷积深度学习模型，根据时空图卷积深度学习模型确定卷积操作；根据手部动作训练数据集，通过时空图卷积深度学习模型提取手部矢量图中的深度特征，使动作识别准确性最大化，完成测试仪运动与标准运动的比较和评估。本发明通过向量化时空图卷积深度学习模型，并结合注意力机制和划分策略，以提高手势识别的准确性。这个模型的实现方式建立在数据手套采集的实时数据之上，把手部动作数据转化为向量化时空图输入到深度学习模型中进行评估。评估。评估。


技术研发人员：何芳秋子 陈亮 陈莹燕
受保护的技术使用者：武汉轻工大学
技术研发日：2023.07.24
技术公布日：2023/10/19