一种基于深度学习的表情与动作捕捉方法及其系统

1.本发明涉及表情与动作捕捉领域，尤其涉及一种基于深度学习的表情与动作捕捉方法及其系统。


背景技术：

2.动作捕捉技术在影视动画、次世代游戏等领域里大行其道，获得了技术人士的青睐，也给观众带来了前所未有的视觉感受。面对越来越多的行业对面部捕捉的需求日益增加，用户迫切需要一种简单，易用，高效的面部动作捕捉系统。
3.而随着科技的发展表情与动作的捕捉已经广泛的应用在多种领域，如：康复健身、机器人姿态控制等多个领域。而现有的动作捕捉方法难以对自身所捕捉的的动作进行多种形式的成像，且动作捕捉一般通过固有算法进行，而不能根据具体情况的变化进行即使调整变化，存在误差率较大的问题。因此提出一种基于深度学习的表情与动作捕捉方法及其系统。


技术实现要素：

4.本发明的目的在于提供一种基于深度学习的表情与动作捕捉方法及其系统，解决了现有的动作及表情捕捉方法较为固定机械，不能够灵活应变，存在一定误差的问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于深度学习的表情与动作捕捉方法，包括以下步骤：
6.s1：在人体的四肢以及多个关节上均穿戴动作捕捉传感器，然后通过传感器分析模块对各个动作捕捉传感器上所获取的肢体关节动作进行分析，最后通过动作架构合成模块对分析的肢体关节的动作进行架构成像；
7.s2：由拍摄设备拍摄人体的相关动作以及面部表情，并分别通过人体姿态录入系统对肢体关节动作进行录入保存以及对面部表情进行录入保存；
8.s3：关节特征提取系统可以对录入的人体姿态主要特征进行提取，并通过动作姿态合成模块进行肢体姿态的合成成像，而面部特征提取系统可以对录入的面部表情的特征进行提取，并通过显示器呈现面部表情；
9.s4：动作姿态合成模块所合成的人体图像与动作架构合成模块对合成的人体架构将通过对比系统进行对比，以确认二者的关联度；
10.s5：对比系统还连接有姿态提取系统与架构提取系统，用于在大数据中提取相关的姿态成像以及其对应的架构成像之间的关系，并运用在对比系统中，让对比系统在对比时有更为精准的基础依据
11.s6：在动作姿态合成系统与动作架构合成系统二者之间的误差较大而关联度较小时，将通过修正系统对架构成像进行修正，然后在通过显示器对该修正后的架构进行成像。
12.一种基于深度学习的表情与动作捕捉系统，包括动作捕捉传感器、拍摄设备，所述动作捕捉传感器为多个，并共同连接有传感器分析模块，所述传感器分析模块依次连接有
动作架构合成模块、对比系统，所述拍摄设备分别连接有面部表情录入系统、人体姿态录入系统，所述人体姿态录入系统依次连接有关节特征提取系统、动作姿态合成模块与对比系统，所述对比系统依次连接有架构修正合成系统、显示器，所述面部表情录入系统依次连接有面部特征提取系统与显示器，所述对比系统还连接有对比学习系统，所述对比学习系统包括姿态提取系统、架构提取系统，且其二者通过连接有大数据库。
13.优选的，多个所述工作捕捉传感器分别穿戴在人体四肢与各个关节处用于收集姿态变化数据，所述传感器分析模块用于对各个动作捕捉传感器收集的数据进行分析，所述动作架构合成系统用于根据收集并分析的数据，对人体的四肢关节进行抽象化的节点合成成像。
14.优选的，所述人体姿态录入系统用于通过拍摄设备对人体的姿态变化进行实施拍摄并录入，所述面部表情录入系统用于通过拍摄设备对人体面部表情的变化进行实施拍摄并录入，所述特征提取系统用于对录入的面部表情特征进行提取，然后通过显示器对面部表情进行显示成像。
15.优选的，所述关节特征提取系统用于对录入的人体四肢关节变化的主要特征进行提取，所述动作姿态合成模块用于根据提取的特征对人体姿态进行三维拟人化的成像。
16.优选的，所述姿态提取系统用于在大数据库中提取不同的人体姿态，所述架构提取系统用于对提取对应人体姿态的抽象化的节点合成成像，所述对比学习系统用于分析对比人体姿态与该节点合成成像之间的关联度。
17.优选的，所述对比系统用于根据对比学习系统中涉及的关联度关系，应用在对动作架构合成系统中所合成的抽象化人体节点架构成像与动作姿态合成模块中拟人化的三维成像之间，而判断其二者的关联度，在关联度较小，而误差较大时，通过架构修正合成系统对抽象化人体节点架构成像与拟人化的三维成像进行共同的修正。
18.优选的，所述显示器用于对人体面部表情、抽象化人体节点架构成像与拟人化的三维成像进行显示。
19.与相关技术相比较，本发明提供的一种基于深度学习的表情与动作捕捉方法及其系统具有如下有益效果：
20.1、本发明提供一种基于深度学习的表情与动作捕捉方法及其系统，通过设置多个可供人体穿戴的动作捕捉传感器而可以对人体的姿态变化的数据进行采集，然后可以通过传感器分析模块对该数据进行综合分析，最后由动作架构合成系统对人体姿态进行实时抽象化的生成相关节点图像。
21.2、本发明提供一种基于深度学习的表情与动作捕捉方法及其系统，通过拍摄设备可以对人体的面部表情以及人体姿态的变化进行拍摄，并通过面部表情录入系统与人体姿态录入系统进行分别的录入，而面部特征提取系统可以对录入的面部表情进行特征提取，最后通过显示器进行显示成像。
22.3、本发明提供一种基于深度学习的表情与动作捕捉方法及其系统，通过关节特征提取系统可以对录入的人体姿态进行特征提取，进而通过动作姿态合成模块合成为三维拟人化的成像，而工作架构合成系统合成的架构成像与动作姿态合成模块所合成的三维拟人化成像均可以通过对比系统进行关联度对比，在二者的关联度较小以及误差较大时，需要通过架构修正合成系统分别进行合成修正，然后再由显示器对二者进行分别成像，提高了
精准度，同时可以显示多种形式的成像。
23.4、本发明提供一种基于深度学习的表情与动作捕捉方法及其系统，通过在对比系统上连接有对比学习系统，而对比学习系统内的姿态提取系统与架构提取系统可以的分别由大数据库中提取人体的姿态图像以及该人体的节点架构图像，然后由对比学习系统对其二者之间的关联度进行学习训练，并将该方法应用在对比系统中，而有效提高对比系统对比识别的精度，使得进一步提高了本系统成像的精度。
24.使得本系统具有可以对人体的姿态动作进行高精度识别成像，且成像形式多，同时还兼顾对面部表情的识别成像，降低的误差率的特点。
附图说明
25.图1为本发明的系统图。
26.图2为本发明的方法流程图。
具体实施方式
27.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
28.请参阅图1-2，本发明提供一种技术方案：一种基于深度学习的表情与动作捕捉方法，包括以下步骤：
29.s1：在人体的四肢以及多个关节上均穿戴动作捕捉传感器，然后通过传感器分析模块对各个动作捕捉传感器上所获取的肢体关节动作进行分析，最后通过动作架构合成模块对分析的肢体关节的动作进行架构成像；
30.s2：由拍摄设备拍摄人体的相关动作以及面部表情，并分别通过人体姿态录入系统对肢体关节动作进行录入保存以及对面部表情进行录入保存；
31.s3：关节特征提取系统可以对录入的人体姿态主要特征进行提取，并通过动作姿态合成模块进行肢体姿态的合成成像，而面部特征提取系统可以对录入的面部表情的特征进行提取，并通过显示器呈现面部表情；
32.s4：动作姿态合成模块所合成的人体图像与动作架构合成模块对合成的人体架构将通过对比系统进行对比，以确认二者的关联度；
33.s5：对比系统还连接有姿态提取系统与架构提取系统，用于在大数据中提取相关的姿态成像以及其对应的架构成像之间的关系，并运用在对比系统中，让对比系统在对比时有更为精准的基础依据
34.s6：在动作姿态合成系统与动作架构合成系统二者之间的误差较大而关联度较小时，将通过修正系统对架构成像进行修正，然后在通过显示器对该修正后的架构进行成像。
35.一种基于深度学习的表情与动作捕捉系统，包括动作捕捉传感器、拍摄设备，动作捕捉传感器为多个，并共同连接有传感器分析模块，传感器分析模块依次连接有动作架构合成模块、对比系统，拍摄设备分别连接有面部表情录入系统、人体姿态录入系统，人体姿态录入系统依次连接有关节特征提取系统、动作姿态合成模块与对比系统，对比系统依次
连接有架构修正合成系统、显示器，面部表情录入系统依次连接有面部特征提取系统与显示器，对比系统还连接有对比学习系统，对比学习系统包括姿态提取系统、架构提取系统，且其二者通过连接有大数据库。
36.多个工作捕捉传感器分别穿戴在人体四肢与各个关节处用于收集姿态变化数据，传感器分析模块用于对各个动作捕捉传感器收集的数据进行分析，动作架构合成系统用于根据收集并分析的数据，对人体的四肢关节进行抽象化的节点合成成像。
37.人体姿态录入系统用于通过拍摄设备对人体的姿态变化进行实施拍摄并录入，面部表情录入系统用于通过拍摄设备对人体面部表情的变化进行实施拍摄并录入，特征提取系统用于对录入的面部表情特征进行提取，然后通过显示器对面部表情进行显示成像。
38.关节特征提取系统用于对录入的人体四肢关节变化的主要特征进行提取，动作姿态合成模块用于根据提取的特征对人体姿态进行三维拟人化的成像。
39.姿态提取系统用于在大数据库中提取不同的人体姿态，架构提取系统用于对提取对应人体姿态的抽象化的节点合成成像，对比学习系统用于分析对比人体姿态与该节点合成成像之间的关联度。
40.对比系统用于根据对比学习系统中涉及的关联度关系，应用在对动作架构合成系统中所合成的抽象化人体节点架构成像与动作姿态合成模块中拟人化的三维成像之间，而判断其二者的关联度，在关联度较小，而误差较大时，通过架构修正合成系统对抽象化人体节点架构成像与拟人化的三维成像进行共同的修正。
41.显示器用于对人体面部表情、抽象化人体节点架构成像与拟人化的三维成像进行显示。
42.本实施方式中：
43.通过设置多个可供人体穿戴的动作捕捉传感器而可以对人体的姿态变化的数据进行采集，然后可以通过传感器分析模块对该数据进行综合分析，最后由动作架构合成系统对人体姿态进行实时抽象化的生成相关节点图像；
44.通过拍摄设备可以对人体的面部表情以及人体姿态的变化进行拍摄，并通过面部表情录入系统与人体姿态录入系统进行分别的录入，而面部特征提取系统可以对录入的面部表情进行特征提取，最后通过显示器进行显示成像；
45.通过关节特征提取系统可以对录入的人体姿态进行特征提取，进而通过动作姿态合成模块合成为三维拟人化的成像，而工作架构合成系统合成的架构成像与动作姿态合成模块所合成的三维拟人化成像均可以通过对比系统进行关联度对比，在二者的关联度较小以及误差较大时，需要通过架构修正合成系统分别进行合成修正，然后再由显示器对二者进行分别成像，提高了精准度，同时可以显示多种形式的成像；
46.通过在对比系统上连接有对比学习系统，而对比学习系统内的姿态提取系统与架构提取系统可以的分别由大数据库中提取人体的姿态图像以及该人体的节点架构图像，然后由对比学习系统对其二者之间的关联度进行学习训练，并将该方法应用在对比系统中，而有效提高对比系统对比识别的精度，使得进一步提高了本系统成像的精度。
47.进而本系统具有可以对人体的姿态动作进行高精度识别成像，且成像形式多，同时还兼顾对面部表情的识别成像，降低的误差率的特点。

技术特征：
1.一种基于深度学习的表情与动作捕捉方法，其特征在于，包括以下步骤：s1：在人体的四肢以及多个关节上均穿戴动作捕捉传感器，然后通过传感器分析模块对各个动作捕捉传感器上所获取的肢体关节动作进行分析，最后通过动作架构合成模块对分析的肢体关节的动作进行架构成像；s2：由拍摄设备拍摄人体的相关动作以及面部表情，并分别通过人体姿态录入系统对肢体关节动作进行录入保存以及对面部表情进行录入保存；s3：关节特征提取系统可以对录入的人体姿态主要特征进行提取，并通过动作姿态合成模块进行肢体姿态的合成成像，而面部特征提取系统可以对录入的面部表情的特征进行提取，并通过显示器呈现面部表情；s4：动作姿态合成模块所合成的人体图像与动作架构合成模块对合成的人体架构将通过对比系统进行对比，以确认二者的关联度；s5：对比系统还连接有姿态提取系统与架构提取系统，用于在大数据中提取相关的姿态成像以及其对应的架构成像之间的关系，并运用在对比系统中，让对比系统在对比时有更为精准的基础依据s6：在动作姿态合成系统与动作架构合成系统二者之间的误差较大而关联度较小时，将通过修正系统对架构成像进行修正，然后在通过显示器对该修正后的架构进行成像。2.根据权利要求1所述的一种基于深度学习的表情与动作捕捉系统，包括动作捕捉传感器、拍摄设备，其特征在于，所述动作捕捉传感器为多个，并共同连接有传感器分析模块，所述传感器分析模块依次连接有动作架构合成模块、对比系统，所述拍摄设备分别连接有面部表情录入系统、人体姿态录入系统，所述人体姿态录入系统依次连接有关节特征提取系统、动作姿态合成模块与对比系统，所述对比系统依次连接有架构修正合成系统、显示器，所述面部表情录入系统依次连接有面部特征提取系统与显示器，所述对比系统还连接有对比学习系统，所述对比学习系统包括姿态提取系统、架构提取系统，且其二者通过连接有大数据库。3.根据权利要求2所述的一种基于深度学习的表情与动作捕捉系统，其特征在于，多个所述工作捕捉传感器分别穿戴在人体四肢与各个关节处用于收集姿态变化数据，所述传感器分析模块用于对各个动作捕捉传感器收集的数据进行分析，所述动作架构合成系统用于根据收集并分析的数据，对人体的四肢关节进行抽象化的节点合成成像。4.根据权利要求3所述的一种基于深度学习的表情与动作捕捉系统，其特征在于，所述人体姿态录入系统用于通过拍摄设备对人体的姿态变化进行实施拍摄并录入，所述面部表情录入系统用于通过拍摄设备对人体面部表情的变化进行实施拍摄并录入，所述特征提取系统用于对录入的面部表情特征进行提取，然后通过显示器对面部表情进行显示成像。5.根据权利要求4所述的一种基于深度学习的表情与动作捕捉系统，其特征在于，所述关节特征提取系统用于对录入的人体四肢关节变化的主要特征进行提取，所述动作姿态合成模块用于根据提取的特征对人体姿态进行三维拟人化的成像。6.根据权利要求5所述的一种基于深度学习的表情与动作捕捉系统，其特征在于，所述姿态提取系统用于在大数据库中提取不同的人体姿态，所述架构提取系统用于对提取对应人体姿态的抽象化的节点合成成像，所述对比学习系统用于分析对比人体姿态与该节点合成成像之间的关联度。
7.根据权利要求6所述的一种基于深度学习的表情与动作捕捉系统，其特征在于，所述对比系统用于根据对比学习系统中涉及的关联度关系，应用在对动作架构合成系统中所合成的抽象化人体节点架构成像与动作姿态合成模块中拟人化的三维成像之间，而判断其二者的关联度，在关联度较小，而误差较大时，通过架构修正合成系统对抽象化人体节点架构成像与拟人化的三维成像进行共同的修正。8.根据权利要求7所述的一种基于深度学习的表情与动作捕捉系统，其特征在于，所述显示器用于对人体面部表情、抽象化人体节点架构成像与拟人化的三维成像进行显示。

技术总结
本发明公开了一种基于深度学习的表情与动作捕捉方法及其系统，涉及表情与动作捕捉领域，解决了现有的动作及表情捕捉方法较为固定机械，不能够灵活应变，存在一定误差的问题，现提出如下方案，其包括包括动作捕捉传感器、拍摄设备、传感器分析模块、动作架构合成模块、对比系统、面部表情录入系统、人体姿态录入系统、关节特征提取系统、动作姿态合成模块与对比系统、架构修正合成系统、显示器、面部特征提取系统、显示器、对比学习系统，所述对比学习系统包括姿态提取系统、架构提取系统，且其二者通过连接有大数据库。本系统具有可以对人体的姿态动作进行高精度识别成像，且成像形式多，同时还兼顾对面部表情的识别成像，降低的误差率的特点。特点。特点。


技术研发人员：蒋文汉 薛峰 李书杰 王杰 赵翰熙 吴成濮 方子轩
受保护的技术使用者：合肥工业大学
技术研发日：2023.03.27
技术公布日：2023/9/23