基于情绪识别的身体运动状态监测方法、装置及设备与流程

1.本发明涉及数据处理的技术领域，特别涉及一种基于情绪识别的身体运动状态监测方法、装置、计算机设备和存储介质。


背景技术：

2.运动手环是目前常用的一种运动辅助监控装置，例如，可以测量用户的心率和出汗情况的手环等，检测使用者当前的生理特征信息的运动手环，并通过led灯的颜色来显示用户当前运动的生理特征参数，但是目前的运动手环仅仅用于监测用户的身体特征或者运动量的多少，并不能实时有效的监测用户运动的质量，导致盲目训练，甚至起到反作用；因此，找到最佳运动负荷后进行对应的行动是目前需要去解决的问题；参考专利号201610286712.3-一种测量运动目标生命体征的方法，其公开了一种测量运动目标生命体征的方法，包括如下步骤：步骤1，对待测量视频的第一帧图像进行人脸检测，如果检测不到人脸则认为本次心率检测失败，否则进行下一步；步骤2，根据步骤1得到的人脸检测结果进行人脸追踪，如果追踪过程中发现人脸追踪丢失，则返回步骤1重新进行人脸检测，否则进行下一步；步骤3，根据所得人脸追踪结果，进行生命体征信号的分离；步骤4，提取生命体征信号并进行功率谱分析，判定此生命体征信号是否为虚假信号，如果不是虚假信号则进行心率值的转换，从而能够在保证所得生命体征信号准确度的前提下，对运动的目标也能进行生命体征信号的提取；此现有专利技术能够对运动过程中的用户进行面部识别进而扫描出用户的生命体征信号，从而能进行进一步的最佳运动负荷推荐；在上述现有专利技术中，认为存在如下缺陷：（1）无法获知情绪数据，进而无法确认用户以何种目的进行运动。
3.（2）无法构建体态模型以及汗液模型，其仅实现了面部内血液光束变化得到生命特征信号的效果，该生命特征信号包括心率值，而心率值的最优标准因人而异，使用此现有专利技术获知的效果推荐不一定是最准确的。
4.基于此，本发明提出一种基于情绪识别的身体运动状态监测方法、装置、计算机设备和存储介质，通过视频3d建模且同时根据面部及汗液信息进行综合生命体征评估，进而进行身体运动状态监测的过程，以实现最佳运动负荷推荐的效果。


技术实现要素：

5.本发明的主要目的为提供一种基于情绪识别的身体运动状态监测方法、装置、计算机设备和存储介质，通过视频3d建模且同时根据面部及汗液信息进行综合生命体征评估，进而进行身体运动状态监测的过程，以实现最佳运动负荷推荐的效果。
6.为实现上述目的，本发明提供了一种基于情绪识别的身体运动状态监测方法，包括以下步骤：获取用户运动过程时的运动视频；
利用三角测距法对所述运动视频中的用户进行三维建模，通过所述三维建模识别出用户的体态信息，并从所述三维建模中抽帧获取到生命体征数据，所述生命特征数据包括用户面部信息以及皮肤汗液信息；采用情绪识别模型对用户面部信息进行识别以输出第一运动权重值；通过根据预设的评分模型分别对体态信息和皮肤汗液信息进行检测以输出第二运动权重值和第三运动权重值，并分别将所述第一运动权重值、第二运动权重值和第三运动权重值输入值评分模型中，输出运动状态监测结果。
7.进一步地，所述利用三角测距法对所述运动视频中的用户进行三维建模，通过所述三维建模识别出用户的体态信息，并从所述三维建模中抽帧获取到生命体征数据的步骤，包括：在所述运动视频中设置第一锚点至第四锚点，所述第一锚点设置于用户面朝正前方，所述第二锚点设置于用户腹部正前方，所述第三锚点以用户头部为中心做镜像后置于用户后方，所述第四锚点以用户躯干为中心做镜像后置于用户后方；利用所述第一锚点至第四锚点进行三角测距法以从运动视频中识别出与用户关联的三维建模；通过所述三维建模中的用户运动体态匹配对比预设的等身高体态数据，以获取到用户的当前体态信息；对运动态的三维建模进行暂停抽帧，以获取到具有面部图像和皮肤图像的生命体征数据。
8.进一步地，所述利用第一锚点至第四锚点进行三角测距法以从运动视频中识别出与用户关联的三维建模的步骤，包括：通过运动视频中用户的运动变化，导入三角测距算法，并且第一锚点至第四锚点分别设置三维坐标系，所述第一锚点至第四锚点分别与用户具有长度l，且所述长度l随着用户运动进行对应变化，具体三角测距算法为，,,,,,其中序号1~4为第一锚点至第四锚点，为用户身体x轴横线上的变化元素，为用户身体y轴横线上的变化元素，通过构建用户身体的横切面细节，为用户身体z轴纵线上的变化元素，通过、构建一锚点的用户局部三维模型，其中变化元素为用户身体部位的生物特征变化而非运动变化，而运动变化产生对比距离为l；通过整合第一锚点至第四锚点从运动视频中确定出用户的三维建模，且所述三维建模为实时的用户运动态。
9.进一步地，采用情绪识别模型对用户面部信息进行识别以输出第一运动权重值的步骤，包括：预先训练一个cnn模型，并将所述用户面部信息输入预设的cnn模型中；
获取所述cnn模型输出的子结果，具体cnn模型输出的方法为，对于一个面部图像,首先被所述cnn模型的3个卷积层提取图像特征,第1个卷积层为32个3
×3×
1的卷积核，第2个卷积层是具有32个大小为 3
×3×
32 的核，第3个卷积层有64个大小为3
×3×
32的核，提取出来的特征经过铺平后送到第4层与64个神经元完全连接，其中，所有卷积层和全连接层都应用 relu 激活函数；对所述子结果进行情绪回归计算以确定用户面部信息的情绪效价和唤醒度，具体方法为，第一个分支学习计算效价得分,它包含两个全连接的大小为64和1的层，然后将输出输入到 sigmoid函数中,并最大限度地减少交叉熵损失t1，，其中，其中,表示第i个用户面部信息效价的真实标签，m表示训练用户面部信息的大小，第二个分支是针对唤醒度进行预测的，其包含两个全连接i的大小为64和1的层，输出被馈送到 sigmoid 函数,再次最小化交叉熵损失t2，，其中,表示第i个用户面部信息中唤醒度的真实标签,然后最小化t1和的联合损失，其中为线性权重，最终通过输出值中得到情绪效价和唤醒度分类的结果如下，输出作为第一运动权重值。
10.进一步地，所述通过根据预设的评分模型分别对体态信息和皮肤汗液信息进行检测以输出第二运动权重值和第三运动权重值，并分别将所述第一运动权重值、第二运动权重值和第三运动权重值输入值评分模型中，输出运动状态监测结果的步骤，包括：对具有运动态的体态信息进行视频估分处理，其中所述运动态为由运动视频中用户3d建模后的实时运动图；将估分处理后的分值作为第二运动权重值s
body
，具体为，其中，为体态信息，为预设的等身高体态数据，而表示各个时态。
11.进一步地，所述通过根据预设的评分模型分别对体态信息和皮肤汗液信息进行检测以输出第二运动权重值和第三运动权重值，并分别将所述第一运动权重值、第二运动权重值和第三运动权重值输入值评分模型中，输出运动状态监测结果的步骤，包括：对所述皮肤汗液信息进行图像估分处理；将估分处理后的分值作为第三运动权重值s
skin
，具体为，其中，对比出汗量a、光谱透光率b分别与预设等比运动值出汗图进行比对，输出第三运动权重值s
skin
。
12.进一步地，所述通过根据预设的评分模型分别对体态信息和皮肤汗液信息进行检测以输出第二运动权重值和第三运动权重值，并分别将所述第一运动权重值、第二运动权
重值和第三运动权重值输入值评分模型中，输出运动状态监测结果的步骤，包括：将第一运动权重值、第二运动权重值s
body
和第三运动权重值进行累加判断是否大于1，若是，则分别等比下调至小于1；即为：s=+s
body+
，且判断s是否小于0.6，若是，则输出建议运动的所述运动状态监测结果。
13.本发明提出一种基于情绪识别的身体运动状态监测装置，包括：获取单元，用于获取用户运动过程时的运动视频；建模单元，用于利用三角测距法对所述运动视频中的用户进行三维建模，通过所述三维建模识别出用户的体态信息，并从所述三维建模中抽帧获取到生命体征数据，所述生命特征数据包括用户面部信息以及皮肤汗液信息；识别单元，用于采用情绪识别模型对用户面部信息进行识别以输出第一运动权重值；输出单元，用于通过根据预设的评分模型分别对体态信息和皮肤汗液信息进行检测以输出第二运动权重值和第三运动权重值，并分别将所述第一运动权重值、第二运动权重值和第三运动权重值输入值评分模型中，输出运动状态监测结果。
14.本发明还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
15.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
16.本发明提供的基于情绪识别的身体运动状态监测方法、装置、计算机设备和存储介质具有如下有益效果：（1）通过利用三角测距法对运动视频中的用户进行三维建模，通过三维建模识别出用户的体态信息，通过该三角测距法能够对图像的实时识别达到微米级，能够最精准的过去用户三维建模。
17.（2）采用情绪识别模型对用户面部信息进行识别以输出第一运动权重值并通过根据预设的评分模型分别对体态信息和皮肤汗液信息进行检测以输出第二运动权重值和第三运动权重值，并分别将所述第一运动权重值、第二运动权重值和第三运动权重值输入值评分模型中，输出运动状态监测结果的方式，进行综合生命体征评估，进而进行身体运动状态监测的过程，以实现最佳运动负荷推荐的效果。
18.（3）赋予情绪价值，能够充分获取用户在运动过程中的情绪状态，以判断运动状态监测结果的继续/终止的要素之一。
附图说明
19.图1是本发明一实施例中基于情绪识别的身体运动状态监测方法步骤示意图；图2是本发明一实施例中基于情绪识别的身体运动状态监测方法的第一运动权重值卷积原理图；图3是本发明一实施例中基于情绪识别的身体运动状态监测装置结构框图；图4是本发明一实施例的计算机设备的结构示意框图。
20.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
21.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
22.参照图1，为本发明提出的基于情绪识别的身体运动状态监测方法的流程示意图，其包括以下步骤：s1，获取用户运动过程时的运动视频；s2，利用三角测距法对所述运动视频中的用户进行三维建模，通过所述三维建模识别出用户的体态信息，并从所述三维建模中抽帧获取到生命体征数据，所述生命特征数据包括用户面部信息以及皮肤汗液信息；s3，采用情绪识别模型对用户面部信息进行识别以输出第一运动权重值；s4，通过根据预设的评分模型分别对体态信息和皮肤汗液信息进行检测以输出第二运动权重值和第三运动权重值，并分别将所述第一运动权重值、第二运动权重值和第三运动权重值输入值评分模型中，输出运动状态监测结果。
23.在本实施例中，获取用户运动过程时的运动视频；利用三角测距法对所述运动视频中的用户进行三维建模，通过所述三维建模识别出用户的体态信息，并从所述三维建模中抽帧获取到生命体征数据，所述生命特征数据包括用户面部信息以及皮肤汗液信息；采用情绪识别模型对用户面部信息进行识别以输出第一运动权重值；通过根据预设的评分模型分别对体态信息和皮肤汗液信息进行检测以输出第二运动权重值和第三运动权重值，并分别将所述第一运动权重值、第二运动权重值和第三运动权重值输入至评分模型中，输出运动状态监测结果，以达到以下有益效果：（1）通过利用三角测距法对运动视频中的用户进行三维建模，通过三维建模识别出用户的体态信息，通过该三角测距法能够对图像的实时识别达到微米级，能够最精准的过去用户三维建模。
24.（2）采用情绪识别模型对用户面部信息进行识别以输出第一运动权重值并通过根据预设的评分模型分别对体态信息和皮肤汗液信息进行检测以输出第二运动权重值和第三运动权重值，并分别将所述第一运动权重值、第二运动权重值和第三运动权重值输入至评分模型中，输出运动状态监测结果的方式，进行综合生命体征评估，进而进行身体运动状态监测的过程，以实现最佳运动负荷推荐的效果。
25.（3）赋予情绪价值，能够充分获取用户在运动过程中的情绪状态，以判断运动状态监测结果的继续/终止的要素之一。
26.在一个实施例中，所述利用三角测距法对所述运动视频中的用户进行三维建模，通过所述三维建模识别出用户的体态信息，并从所述三维建模中抽帧获取到生命体征数据的步骤，包括：在所述运动视频中设置第一锚点至第四锚点，所述第一锚点设置于用户面朝正前方，所述第二锚点设置于用户腹部正前方，所述第三锚点以用户头部为中心做镜像后置于用户后方，所述第四锚点以用户躯干为中心做镜像后置于用户后方；
利用所述第一锚点至第四锚点进行三角测距法以从运动视频中识别出与用户关联的三维建模；通过所述三维建模中的用户运动体态匹配对比预设的等身高体态数据，以获取到用户的当前体态信息；对运动态的三维建模进行暂停抽帧，以获取到具有面部图像和皮肤图像的生命体征数据。
27.在一个实施例中，所述利用第一锚点至第四锚点进行三角测距法以从运动视频中识别出与用户关联的三维建模的步骤，包括：通过运动视频中用户的运动变化，导入三角测距算法，并且第一锚点至第四锚点分别设置三维坐标系，所述第一锚点至第四锚点分别与用户具有长度l，且所述长度l随着用户运动进行对应变化，具体三角测距算法为，,,,,,其中序号1~4为第一锚点至第四锚点，为用户身体x轴横线上的变化元素，为用户身体y轴横线上的变化元素，通过构建用户身体的横切面细节，为用户身体z轴纵线上的变化元素，通过、构建一锚点的用户局部三维模型，其中变化元素为用户身体部位的生物特征变化而非运动变化，而运动变化产生对比距离为l；通过整合第一锚点至第四锚点从运动视频中确定出用户的三维建模，且所述三维建模为实时的用户运动态。
28.在一个实施例中，采用情绪识别模型对用户面部信息进行识别以输出第一运动权重值的步骤，包括：参考附图2，预先训练一个cnn模型，并将所述用户面部信息输入预设的cnn模型中；获取所述cnn模型输出的子结果，具体cnn模型输出的方法为，对于一个面部图像,首先被所述cnn模型的3个卷积层提取图像特征,第1个卷积层为32个3
×3×
1的卷积核，第2个卷积层是具有32个大小为 3
×3×
32 的核，第3个卷积层有64个大小为3
×3×
32的核，提取出来的特征经过铺平后送到第4层与64个神经元完全连接，其中，所有卷积层和全连接层都应用 relu 激活函数；对所述子结果进行情绪回归计算以确定用户面部信息的情绪效价和唤醒度，具体方法为，第一个分支学习计算效价得分,它包含两个全连接的大小为64和1的层，然后将输出输入到 sigmoid函数中,并最大限度地减少交叉熵损失t1，，其中，其中,表示第i个用户面部信息效价的真实标签，m表示训练用户面部信息的大小，第二个分支是针对唤醒度进行预测的，其包含两个全连接i的大小为64和1的层，输出被馈送到 sigmoid 函数,再次最小化交
叉熵损失t2，，其中,表示第i个用户面部信息中唤醒度的真实标签,然后最小化t1和的联合损失，其中为线性权重，最终通过输出值中得到情绪效价和唤醒度分类的结果如下，输出作为第一运动权重值。
29.在一个实施例中，所述通过根据预设的评分模型分别对体态信息和皮肤汗液信息进行检测以输出第二运动权重值和第三运动权重值，并分别将所述第一运动权重值、第二运动权重值和第三运动权重值输入值评分模型中，输出运动状态监测结果的步骤，包括：对具有运动态的体态信息进行视频估分处理，其中所述运动态为由运动视频中用户3d建模后的实时运动图；将估分处理后的分值作为第二运动权重值s
body
，具体为，其中，为体态信息，为预设的等身高体态数据，而表示各个时态。
30.在一个实施例中，所述通过根据预设的评分模型分别对体态信息和皮肤汗液信息进行检测以输出第二运动权重值和第三运动权重值，并分别将所述第一运动权重值、第二运动权重值和第三运动权重值输入值评分模型中，输出运动状态监测结果的步骤，包括：对所述皮肤汗液信息进行图像估分处理；将估分处理后的分值作为第三运动权重值s
skin
，具体为，其中，对比出汗量a、光谱透光率b分别与预设等比运动值出汗图进行比对，输出第三运动权重值s
skin
。
31.在一个实施例中，所述通过根据预设的评分模型分别对体态信息和皮肤汗液信息进行检测以输出第二运动权重值和第三运动权重值，并分别将所述第一运动权重值、第二运动权重值和第三运动权重值输入值评分模型中，输出运动状态监测结果的步骤，包括：将第一运动权重值、第二运动权重值s
body
和第三运动权重值进行累加判断是否大于1，若是，则分别等比下调至小于1；即为：s=+s
body+
，且判断s是否小于0.6，若是，则输出建议运动的所述运动状态监测结果。
32.参考附图3，本发明还提出一种基于情绪识别的身体运动状态监测装置，包括：获取单元1，用于获取用户运动过程时的运动视频；建模单元2，用于利用三角测距法对所述运动视频中的用户进行三维建模，通过所述三维建模识别出用户的体态信息，并从所述三维建模中抽帧获取到生命体征数据，所述生命特征数据包括用户面部信息以及皮肤汗液信息；识别单元3，用于采用情绪识别模型对用户面部信息进行识别以输出第一运动权
重值；输出单元4，用于通过根据预设的评分模型分别对体态信息和皮肤汗液信息进行检测以输出第二运动权重值和第三运动权重值，并分别将所述第一运动权重值、第二运动权重值和第三运动权重值输入值评分模型中，输出运动状态监测结果。
33.在本实施例中，上述装置实施例中的各个单元的具体实现，请参照上述方法实施例中所述，在此不再进行赘述。
34.参照图4，本发明实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、显示屏、输入装置、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储本实施例中对应的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现上述方法。
35.本领域技术人员可以理解，图4中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备的限定。
36.本发明一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法。可以理解的是，本实施例中的计算机可读存储介质可以是易失性可读存储介质，也可以为非易失性可读存储介质。
37.综上所述，本发明实施例中，通过获取用户运动过程时的运动视频；利用三角测距法对所述运动视频中的用户进行三维建模，通过所述三维建模识别出用户的体态信息，并从所述三维建模中抽帧获取到生命体征数据，所述生命特征数据包括用户面部信息以及皮肤汗液信息；采用情绪识别模型对用户面部信息进行识别以输出第一运动权重值；通过根据预设的评分模型分别对体态信息和皮肤汗液信息进行检测以输出第二运动权重值和第三运动权重值，并分别将所述第一运动权重值、第二运动权重值和第三运动权重值输入值评分模型中，输出运动状态监测结果，以达到（1）通过利用三角测距法对运动视频中的用户进行三维建模，通过三维建模识别出用户的体态信息，通过该三角测距法能够对图像的实时识别达到微米级，能够最精准的过去用户三维建模。（2）采用情绪识别模型对用户面部信息进行识别以输出第一运动权重值并通过根据预设的评分模型分别对体态信息和皮肤汗液信息进行检测以输出第二运动权重值和第三运动权重值，并分别将所述第一运动权重值、第二运动权重值和第三运动权重值输入值评分模型中，输出运动状态监测结果的方式，进行综合生命体征评估，进而进行身体运动状态监测的过程，以实现最佳运动负荷推荐的效果。（3）赋予情绪价值，能够充分获取用户在运动过程中的情绪状态，以判断运动状态监测结果的继续/终止的要素之一。
38.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器（rom）、可编程rom
（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram通过多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双速据率sdram（ssrsdram）、增强型sdram（esdram）、同步链路（synchlink）dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram等。
39.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
40.以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种基于情绪识别的身体运动状态监测方法，其特征在于，包括以下步骤：获取用户运动过程时的运动视频；利用三角测距法对所述运动视频中的用户进行三维建模，通过所述三维建模识别出用户的体态信息，并从所述三维建模中抽帧获取到生命体征数据，所述生命特征数据包括用户面部信息以及皮肤汗液信息；采用情绪识别模型对用户面部信息进行识别以输出第一运动权重值；通过根据预设的评分模型分别对体态信息和皮肤汗液信息进行检测以输出第二运动权重值和第三运动权重值，并分别将所述第一运动权重值、第二运动权重值和第三运动权重值输入至评分模型中，输出运动状态监测结果。2.根据权利要求1所述的基于情绪识别的身体运动状态监测方法，其特征在于，所述利用三角测距法对所述运动视频中的用户进行三维建模，通过所述三维建模识别出用户的体态信息，并从所述三维建模中抽帧获取到生命体征数据的步骤，包括：在所述运动视频中设置第一锚点至第四锚点，所述第一锚点设置于用户面朝正前方，第二锚点设置于用户腹部正前方，第三锚点以用户头部为中心做镜像后置于用户后方，第四锚点以用户躯干为中心做镜像后置于用户后方；利用所述第一锚点至第四锚点进行三角测距法以从运动视频中识别出与用户关联的三维建模；通过所述三维建模中的用户运动体态匹配对比预设的等身高体态数据，以获取到用户的当前体态信息；对运动态的三维建模进行暂停抽帧，以获取到具有面部图像和皮肤图像的生命体征数据。3.根据权利要求2所述的基于情绪识别的身体运动状态监测方法，其特征在于，所述利用第一锚点至第四锚点进行三角测距法以从运动视频中识别出与用户关联的三维建模的步骤，包括：通过运动视频中用户的运动变化，导入三角测距算法，并且第一锚点至第四锚点分别设置三维坐标系，所述第一锚点至第四锚点分别与用户具有长度l，且所述长度l随着用户运动进行对应变化，具体三角测距算法为，,,,,,其中序号1~4为第一锚点至第四锚点，为用户身体x轴横线上的变化元素，为用户身体y轴横线上的变化元素，通过构建用户身体的横切面细节，为用户身体z轴纵线上的变化元素，通过、构建一锚点的用户局部三维模型，其中变化元素为用户身体部位的生物特征变化而非运动变化，而运动变化产生对比距离为l；通过整合第一锚点至第四锚点从运动视频中确定出用户的三维建模，且所述三维建模
为实时的用户运动态。4.根据权利要求1所述的基于情绪识别的身体运动状态监测方法，其特征在于，采用情绪识别模型对用户面部信息进行识别以输出第一运动权重值的步骤，包括：预先训练一个cnn模型，并将所述用户面部信息输入预设的cnn模型中；获取所述cnn模型输出的子结果，具体cnn模型输出的方法为，对于一个面部图像,首先被所述cnn模型的3个卷积层提取图像特征,第1个卷积层为32个3
×3×
1的卷积核，第2个卷积层是具有32个大小为 3
×3×
32 的核，第3个卷积层有64个大小为3
×3×
32的核，提取出来的特征经过铺平后送到第4层与64个神经元完全连接，其中，所有卷积层和全连接层都应用 relu 激活函数；对所述子结果进行情绪回归计算以确定用户面部信息的情绪效价和唤醒度，具体方法为，第一个分支学习计算效价得分,它包含两个全连接的大小为64和1的层，然后将输出输入到 sigmoid函数中,并最大限度地减少交叉熵损失t1，，其中，其中,表示第i个用户面部信息效价的真实标签，m表示训练用户面部信息的大小，第二个分支是针对唤醒度进行预测的，其包含两个全连接i的大小为64和1的层，输出被馈送到 sigmoid 函数,再次最小化交叉熵损失t2，，其中,表示第i个用户面部信息中唤醒度的真实标签,然后最小化t1和的联合损失，其中为线性权重，最终通过输出值中得到情绪效价和唤醒度分类的结果如下，输出作为第一运动权重值。5.根据权利要求4所述的基于情绪识别的身体运动状态监测方法，其特征在于，所述通过根据预设的评分模型分别对体态信息和皮肤汗液信息进行检测以输出第二运动权重值和第三运动权重值，并分别将所述第一运动权重值、第二运动权重值和第三运动权重值输入值评分模型中，输出运动状态监测结果的步骤，包括：对具有运动态的体态信息进行视频估分处理，其中所述运动态为由运动视频中用户3d建模后的实时运动图；将估分处理后的分值作为第二运动权重值s
body
，具体为，其中，为体态信息，为预设的等身高体态数据，而表示各个时态。6.根据权利要求5所述的基于情绪识别的身体运动状态监测方法，其特征在于，所述通过根据预设的评分模型分别对体态信息和皮肤汗液信息进行检测以输出第二运动权重值和第三运动权重值，并分别将所述第一运动权重值、第二运动权重值和第三运动权重值输入值评分模型中，输出运动状态监测结果的步骤，包括：对所述皮肤汗液信息进行图像估分处理；
将估分处理后的分值作为第三运动权重值s
skin
，具体为，其中，对比出汗量a、光谱透光率b分别与预设等比运动值出汗图进行比对，输出第三运动权重值s
skin
。7.根据权利要求6所述的基于情绪识别的身体运动状态监测方法，其特征在于，所述通过根据预设的评分模型分别对体态信息和皮肤汗液信息进行检测以输出第二运动权重值和第三运动权重值，并分别将所述第一运动权重值、第二运动权重值和第三运动权重值输入值评分模型中，输出运动状态监测结果的步骤，包括：将第一运动权重值、第二运动权重值s
body
和第三运动权重值进行累加判断是否大于1，若是，则分别等比下调至小于1；即为：s=+s
body+
，且判断s是否小于0.6，若是，则输出建议运动的所述运动状态监测结果。8.一种基于情绪识别的身体运动状态监测装置，其特征在于，包括：获取单元，用于获取用户运动过程时的运动视频；建模单元，用于利用三角测距法对所述运动视频中的用户进行三维建模，通过所述三维建模识别出用户的体态信息，并从所述三维建模中抽帧获取到生命体征数据，所述生命特征数据包括用户面部信息以及皮肤汗液信息；识别单元，用于采用情绪识别模型对用户面部信息进行识别以输出第一运动权重值；输出单元，用于通过根据预设的评分模型分别对体态信息和皮肤汗液信息进行检测以输出第二运动权重值和第三运动权重值，并分别将所述第一运动权重值、第二运动权重值和第三运动权重值输入至评分模型中，输出运动状态监测结果。9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述基于情绪识别的身体运动状态监测方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于情绪识别的身体运动状态监测方法的步骤。

技术总结
本发明涉及一种基于情绪识别的身体运动状态监测方法、装置及设备，方法包括：获取用户运动过程时的运动视频；利用三角测距法对所述运动视频中的用户进行三维建模，通过所述三维建模识别出用户的体态信息，并从所述三维建模中抽帧获取到生命体征数据，所述生命特征数据包括用户面部信息以及皮肤汗液信息；采用情绪识别模型对用户面部信息进行识别以输出第一运动权重值；通过根据预设的评分模型分别对体态信息和皮肤汗液信息进行检测以输出第二运动权重值和第三运动权重值，并分别将所述第一运动权重值、第二运动权重值和第三运动权重值输入值评分模型中，输出运动状态监测结果。输出运动状态监测结果。输出运动状态监测结果。


技术研发人员：秦永生 申东范
受保护的技术使用者：深圳埃尔姆科技有限公司
技术研发日：2023.06.20
技术公布日：2023/8/28