虚拟人动捕的模型切换方法和装置、电子设备及存储介质与流程

1.本发明涉及计算机技术领域，特别涉及一种虚拟人动捕的模型切换方法和装置、电子设备及存储介质。


背景技术：

2.虚拟人动捕（motion capture retargeting）是指将一个人的动作捕捉数据应用到虚拟人物模型（以下简称“虚拟数字人”）上，具体实施时，可以使用相机拍摄真人的人像视频，利用人像处理模型从人像视频的每一帧人像图片中解算出根节点的位置和关节点的角度，利用根节点的位置和关节点的角度驱动虚拟数字人动作。但是，人像图片中人像类型可能不同，比如有些人像图片中的人像是半身人像，而有些人像图片中的人像是全身人像，此时使用同一人像处理模型进行解算会使得解算精度较低。而如果在处理每一帧人像图片前都先对该帧人像图片中的人像类型进行识别，并根据识别结果选用相应类型的模型处理该帧人像图片，又会在不同类型的模型之间频繁切换，从而降低虚拟人动捕的效率。
3.有鉴于此，如何提供一种保证虚拟人动捕的精度和效率的模型切换方案，以在人像视频的人像图片中人像类型发生变化时，自动切换相应类型的模型进行处理，成为亟待解决的技术问题。


技术实现要素：

4.有鉴于此，本技术实施例提供一种虚拟人动捕的模型切换方法和装置、电子设备及存储介质，能够在人像视频的人像图片中人像类型发生变化时，自动切换相应类型的模型进行处理，并保证虚拟人动捕的精度和效率。
5.第一方面，本技术实施例提供了一种虚拟人动捕的模型切换方法，包括：获取真人的人像视频，利用第一人像处理模型对所述人像视频中第一连续多帧人像图片进行识别，得到第一识别结果，根据所述第一识别结果确定出第二人像处理模型；若所述第一人像处理模型和第二人像处理模型不同，则利用所述第二人像处理模型对所述人像视频中第二连续多帧人像图片进行识别，得到第二识别结果，利用所述第一识别结果对所述第二识别结果进行滤波，得到第三识别结果，利用所述第三识别结果驱动虚拟数字人。
6.第二方面，本技术实施例还提供了一种虚拟人动捕的模型切换装置，包括：确定单元，用于获取真人的人像视频，利用第一人像处理模型对所述人像视频中第一连续多帧人像图片进行识别，得到第一识别结果，根据所述第一识别结果确定出第二人像处理模型；驱动单元，用于若所述第一人像处理模型和第二人像处理模型不同，则利用所述第二人像处理模型对所述人像视频中第二连续多帧人像图片进行识别，得到第二识别结果，利用所述第一识别结果对所述第二识别结果进行滤波，得到第三识别结果，利用所述第三识别结果驱动虚拟数字人。
7.第三方面，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面所述的虚拟人动捕的模型切换方法的步骤。
8.第四方面，本技术实施例还提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如第一方面所述的虚拟人动捕的模型切换方法的步骤。
9.综上，本技术实施例提供的虚拟人动捕的模型切换和装置、电子设备及存储介质，根据第一人像处理模型对真人的人像视频中第一连续多帧人像图片进行识别得到的第一识别结果来确定模型是否需要切换，并在模型发生切换时利用切换前的第一人像处理模型的识别结果对切换后的第二人像处理模型的识别结果进行滤波，整个方案中，不需要针对每一帧人像图片的人像类型的识别结果执行是否切换的逻辑，使得模型不会在不同类型的模型之间频繁切换，能够兼顾虚拟人动捕的精度的同时，提高虚拟人动捕的效率，同时在模型发生切换时，利用切换前的模型的识别结果对切换后的模型的识别结果进行滤波，能够保证虚拟人动捕的稳定性。
附图说明
10.图1为本技术实施例提供的一种虚拟人动捕的模型切换方法的流程示意图；图2为本技术实施例提供的一种虚拟人动捕的模型切换装置的结构示意图；图3为本技术实施例提供的一种电子设备的结构示意图。
实施方式
11.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，应当理解，本技术中附图仅起到说明和描述的目的，并不用于限定本技术的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本技术中使用的流程图示出了根据本技术的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本技术内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
12.另外，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
13.需要说明的是，本技术实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
14.参照图1所示，为本技术实施例提供的一种虚拟人动捕的模型切换方法，包括：s10、获取真人的人像视频，利用第一人像处理模型对所述人像视频中第一连续多帧人像图片进行识别，得到第一识别结果，根据所述第一识别结果确定出第二人像处理模
型；本实施例中，需要说明的是，第一人像处理模型为处理一种类型人像图片的模型。利用第一人像处理模型对真人的人像视频中第一连续多帧人像图片进行识别，得到第一识别结果，根据第一识别结果确定出第二人像处理模型，其中，第二人像处理模型与第一人像处理模型相同或者为处理另一种类型（该类型与第一人像处理模型适于处理的人像图片的类型不同）人像图片的模型。第一连续多帧人像图片中人像图片的数量可以根据需要设置，比如设置成5、8等。第一人像处理模型和第二人像处理模型的识别结果可以包括人像图片是否是相应类型的人像图片，以及人像图片是相应类型的人像图片时识别出的用于驱动虚拟数字人的根节点的位置和关节点的角度。
15.s11、若所述第一人像处理模型和第二人像处理模型不同，则利用所述第二人像处理模型对所述人像视频中第二连续多帧人像图片进行识别，得到第二识别结果，利用所述第一识别结果对所述第二识别结果进行滤波，得到第三识别结果，利用所述第三识别结果驱动虚拟数字人。
16.本实施例中，需要说明的是，在确定出第二人像处理模型后，如果第二人像处理模型与第一人像处理模型不同，说明需要进行模型切换，此时需要利用第二人像处理模型对真人的人像视频中第二连续多帧人像图片进行识别，得到第二识别结果，并利用第一人像处理模型的识别结果对第二人像处理模型的识别结果进行滤波，以保证虚拟人动捕的稳定性，最终驱动虚拟数字人的是第一人像处理模型的识别结果以及对第二人像处理模型的识别结果进行滤波后的结果（即第三识别结果），包括最终用于驱动虚拟数字人的根节点的位置和关节点的角度，也就是说，真人的人像视频的不同部分分别使用了不同的模型进行切换识别。其中，第二连续多帧人像图片的获取时间晚于第一连续多帧人像图片，比如第二连续多帧人像图片可以为第一连续多帧人像图片获取后紧邻第一连续多帧人像图片获取的多张人像图片。第二连续多帧人像图片中人像图片的数量可以根据需要设置，比如设置成10、15等。
17.本技术实施例提供的虚拟人动捕的模型切换方法，根据第一人像处理模型对真人的人像视频中第一连续多帧人像图片进行识别得到的第一识别结果来确定模型是否需要切换，并在模型发生切换时利用切换前的第一人像处理模型的识别结果对切换后的第二人像处理模型的识别结果进行滤波，整个方案中，不需要针对每一帧人像图片的人像类型的识别结果执行是否切换的逻辑，使得模型不会在不同类型的模型之间频繁切换，因而能够兼顾虚拟人动捕的精度的同时，提高虚拟人动捕的效率，同时在模型发生切换时，利用切换前的模型的识别结果对切换后的模型的识别结果进行滤波，能够保证虚拟人动捕的稳定性。
18.在前述方法实施例的基础上，所述方法还可以包括：若所述第一人像处理模型和第二人像处理模型相同，则利用所述第二识别结果驱动所述虚拟数字人。
19.本实施例中，需要说明的是，如果第一人像处理模型和第二人像处理模型相同，则说明不需要进行模型切换，此时仍然使用原有的第一人像处理模型进行图片识别，即使用第一人像处理模型对第二连续多帧人像图片进行识别，并利用识别结果驱动虚拟数字人。
20.在前述方法实施例的基础上，所述第一人像处理模型为全身人像处理模型，所述
第二人像处理模型为所述全身人像处理模型和半身人像处理模型中的一个模型，对于所述全身人像处理模型和半身人像处理模型中的每一个人像处理模型，均预先设置有一个指向该人像处理模型的指针，所述指针为第一指针和第二指针中的一个指针，所述根据所述第一识别结果确定出第二人像处理模型，可以包括：若第一指针指向所述半身人像处理模型，则在所述第一识别结果指示所述第一连续多帧人像图片中每一帧人像图片均检测到人时，将所述第一指针和第二指针指向的模型进行交换，并将所述第一指针指向的模型确定为所述第二人像处理模型，否则，直接将所述第一指针指向的模型确定为所述第二人像处理模型；或者若第一指针指向所述全身人像处理模型，则在所述第一识别结果指示所述第一连续多帧人像图片中每一帧人像图片均未检测到人时，将所述第一指针和第二指针指向的模型进行交换，并将所述第一指针指向的模型确定为所述第二人像处理模型，否则，直接将所述第一指针指向的模型确定为所述第二人像处理模型。
21.本实施例中，需要说明的是，在第一人像处理模型和第二人像处理模型为全身人像处理模型和半身人像处理模型中的一个模型的情况下，在确定第二人像处理模型时，可以设置两个指针：第一指针和第二指针，该两个指针分别指向全身人像处理模型和半身人像处理模型中的一个模型，初始可以设置第一指针指向半身人像处理模型，第二指针指向全身人像处理模型，在识别真人的人像视频中的人像图片时，识别模型根据具体情况可能会在半身人像处理模型和全身人像处理模型之间切换，但是只使用第一指针指向的模型来获得驱动虚拟数字人的人像图片识别结果。具体地，可以将每一帧人像图片分别送入全身人像处理模型和半身人像处理模型进行识别，若第一指针指向半身人像处理模型，第二指针指向全身人像处理模型，则在全身人像处理模型的识别结果指示第一连续多帧人像图片中每一帧人像图片均检测到人时，将第一指针和第二指针指向的模型进行交换，并将第一指针指向的模型（即全身人像处理模型）确定为第二人像处理模型，否则，只要在全身人像处理模型的识别结果指示第一连续多帧人像图片中存在一帧人像图片未检测到人时，直接将第一指针指向的模型（即半身人像处理模型）确定为第二人像处理模型；而若第一指针指向全身人像处理模型，第二指针指向半身人像处理模型，则在全身人像处理模型的识别结果指示第一连续多帧人像图片中每一帧人像图片均未检测到人时，将第一指针和第二指针指向的模型进行交换，并将第一指针指向的模型（即半身人像处理模型）确定为第二人像处理模型，否则，只要在全身人像处理模型的识别结果指示第一连续多帧人像图片中存在一帧人像图片检测到人时，直接将第一指针指向的模型（即全身人像处理模型）确定为第二人像处理模型。
22.举例来说，假设第一连续多帧人像图片中人像图片的数量设置为5，第二连续多帧人像图片中人像图片的数量设置为10，第一指针记为front，第二指针记为back，初始设置front指向半身人像处理模型，back指向全身人像处理模型，始终使用front指向的模型来驱动虚拟人。记真人m的人像视频为v，v中的第i帧人像图片记为vi，将vi按顺序送入半身人像处理模型和全身人像处理模型，如果全身人像处理模型在人像图片v1、v2、
…
、v5中均检测到人，则需要交换front和back指向的模型，并利用front指向的模型（即全身人像处理模型）识别人像图片v6、v7、
…
、v15，利用半身人像处理模型对人像图片v1、v2、
…
、v5的识别结果对全身人像处理模型对人像图片v6、v7、
…
、v15的识别结果进行滤波，将滤波后的识别结
果作为人像图片v6、v7、
…
、v15对应的用于驱动虚拟数字人的信息。之后如果全身人像处理模型在人像图片v17中未检测到人，在人像图片v16、v18、v19和v20中均检测到人，则不交换front和back指向的模型，利用front指向的模型（即全身人像处理模型）识别人像图片v21、v22、
…
、v30，并将识别结果作为人像图片v21、v22、
…
、v30对应的用于驱动虚拟数字人的信息。之后，如果全身人像处理模型在人像图片v31、v32、
…
、v35中均未检测到人，则需要交换front和back指向的模型，并利用front指向的模型（即半身人像处理模型）识别人像图片v36、v37、
…
、v45，利用全身人像处理模型对人像图片v31、v32、
…
、v35的识别结果对半身人像处理模型对人像图片v36、v37、
…
、v45的识别结果进行滤波，将滤波后的识别结果作为人像图片v36、v37、
…
、v45对应的用于驱动虚拟数字人的信息。之后如果全身人像处理模型在人像图片v46、v47、
…
、v50中均未检测到人，则不交换front和back指向的模型，利用front指向的模型（即半身人像处理模型）识别人像图片v51、v52、
…
、v60，并将识别结果作为人像图片v51、v52、
…
、v60对应的用于驱动虚拟数字人的信息。之后如果全身人像处理模型在人像图片v61、v62、
…
、v65中均检测到人，则需要交换front和back指向的模型，并利用front指向的模型（即全身人像处理模型）识别人像图片v66、v67、
…
、v75，利用半身人像处理模型对人像图片v61、v62、
…
、v65的识别结果对全身人像处理模型对人像图片v66、v67、
…
、v75的识别结果进行滤波，将滤波后的识别结果作为人像图片v66、v67、
…
、v75对应的用于驱动虚拟数字人的信息。以此类推，可以对v中的每一帧人像图片进行模型的切换识别。
23.在前述方法实施例的基础上，所述利用所述第一识别结果对所述第二识别结果进行滤波，得到第三识别结果，可以包括：计算所述第二连续多帧人像图片中每一帧人像图片的根节点的位置si和关节点的角度θi，计算公式为：si=ki
×
p+ji
×
qi，θi=gi
×
α+hi
×
βi，其中，si表示所述第三识别结果中所述第二连续多帧人像图片中第i帧人像图片对应的虚拟数字人的根节点的位置，p表示所述第一识别结果中所述第一连续多帧人像图片中最后一帧人像图片对应的虚拟数字人的根节点的位置，qi表示所述第二识别结果中所述第二连续多帧人像图片中第i帧人像图片对应的虚拟数字人的根节点的位置，ki和ji表示所述第二连续多帧人像图片中第i帧人像图片对应的位置滤波系数，θi表示所述第三识别结果中所述第二连续多帧人像图片中第i帧人像图片对应的虚拟数字人的关节点的角度，α表示所述第一识别结果中所述第一连续多帧人像图片中最后一帧人像图片对应的虚拟数字人的关节点的角度，βi表示所述第二识别结果中所述第二连续多帧人像图片中第i帧人像图片对应的虚拟数字人的关节点的角度，gi和hi表示所述第二连续多帧人像图片中第i帧人像图片对应的角度滤波系数。
24.本实施例中，需要说明的是，每次模型切换时，第一连续多帧人像图片后相邻的第二连续多帧人像图片使用与第一连续多帧人像图片所使用的模型不同的模型进行识别，此时为了防止模型切换导致虚拟数字人的状态发生突变，需要利用第一连续多帧人像图片中最后一帧人像图片的识别结果对第二连续多帧人像图片的识别结果进行滤波，滤波包括根节点的位置和关节点的角度两个方面，具体可参见上述滤波公式，其中，根节点可以是虚拟数字人的髋关节点，关节点的角度指的是虚拟数字人的各个关节点运动的角度，根节点的位置和关节点的角度用于驱动虚拟数字人，使虚拟数字人做出相应动作。上述滤波公式中ki、ji、gi和hi可以根据需要设置，需要说明的是，为保证滤波的效果，ki和gi可以设置为随
着人像图片对应帧数增加而减少的滤波参数，ji和hi可以设置为随着人像图片对应帧数增加而增加的滤波参数，比如可以设置ki=gi=（n-i）/n，ji=hi=i/n，其中，n表示所述第二连续多帧人像图片中的人像图片的数量。另外，需要说明的是，如果从半身人像处理模型切换为全身人像处理模型，因为人体某些关节点的角度（比如膝关节点的角度、踝关节点的角度等）无法从半身人像图片中解算出来，所以α对应的这些关节点的角度可以取值为0，即对这些关节点的角度进行滤波时，这些关节点的角度对应的θi的计算公式中α取值为0。
25.参照图2所示，为本技术实施例提供的一种虚拟人动捕的模型切换装置，包括：确定单元20，用于获取真人的人像视频，利用第一人像处理模型对所述人像视频中第一连续多帧人像图片进行识别，得到第一识别结果，根据所述第一识别结果确定出第二人像处理模型；驱动单元21，用于若所述第一人像处理模型和第二人像处理模型不同，则利用所述第二人像处理模型对所述人像视频中第二连续多帧人像图片进行识别，得到第二识别结果，利用所述第一识别结果对所述第二识别结果进行滤波，得到第三识别结果，利用所述第三识别结果驱动虚拟数字人。
26.本技术实施例提供的虚拟人动捕的模型切换装置，根据第一人像处理模型对真人的人像视频中第一连续多帧人像图片进行识别得到的第一识别结果来确定模型是否需要切换，并在模型发生切换时利用切换前的第一人像处理模型的识别结果对切换后的第二人像处理模型的识别结果进行滤波，整个方案中，不需要针对每一帧人像图片的人像类型的识别结果执行是否切换的逻辑，使得模型不会在不同类型的模型之间频繁切换，因而能够兼顾虚拟人动捕的精度的同时，提高虚拟人动捕的效率，同时在模型发生切换时，利用切换前的模型的识别结果对切换后的模型的识别结果进行滤波，能够保证虚拟人动捕的稳定性。
27.在前述装置实施例的基础上，所述驱动单元，还可以用于：若所述第一人像处理模型和第二人像处理模型相同，则利用所述第二识别结果驱动所述虚拟数字人。
28.在前述装置实施例的基础上，所述第一人像处理模型为全身人像处理模型，所述第二人像处理模型为所述全身人像处理模型和半身人像处理模型中的一个模型，对于所述全身人像处理模型和半身人像处理模型中的每一个人像处理模型，均预先设置有一个指向该人像处理模型的指针，所述指针为第一指针和第二指针中的一个指针，所述确定单元，可以用于：若第一指针指向所述半身人像处理模型，则在所述第一识别结果指示所述第一连续多帧人像图片中每一帧人像图片均检测到人时，将所述第一指针和第二指针指向的模型进行交换，并将所述第一指针指向的模型确定为所述第二人像处理模型，否则，直接将所述第一指针指向的模型确定为所述第二人像处理模型；或者若第一指针指向所述全身人像处理模型，则在所述第一识别结果指示所述第一连续多帧人像图片中每一帧人像图片均未检测到人时，将所述第一指针和第二指针指向的模型进行交换，并将所述第一指针指向的模型确定为所述第二人像处理模型，否则，直接将所述第一指针指向的模型确定为所述第二人像处理模型。
29.本技术实施例提供的虚拟人动捕的模型切换装置，其实现过程与本技术实施例提
供的虚拟人动捕的模型切换方法一致，所能达到的效果也与本技术实施例提供的虚拟人动捕的模型切换方法相同，在此不再赘述。
30.本技术实施例提供的虚拟人动捕的模型切换方案，可以自动识别需要全身捕捉和半身捕捉的场景，在需要更精细的手部动作或面部表情来展现虚拟数字人时，方案可以自动切换到全身捕捉模式；而在运动较为剧烈或需要更高实时性的场景中，可以自动切换到半身捕捉模式，这样可以在保证捕捉精度的同时提高捕捉的效率，即在动作捕捉过程中，能够根据特定的需求和场景来进行动捕全身半身切换，从而调整捕捉的精度和效率，保证切换的效果。
31.如图3所示，本技术实施例提供的一种电子设备，包括：处理器30、存储器31和总线32，所述存储器31存储有所述处理器30可执行的机器可读指令，当电子设备运行时，所述处理器30与所述存储器31之间通过总线32通信，所述处理器30执行所述机器可读指令，以执行如上述虚拟人动捕的模型切换方法的步骤。
32.具体地，上述存储器31和处理器30能够为通用的存储器和处理器，这里不做具体限定，当处理器30运行存储器31存储的计算机程序时，能够执行上述虚拟人动捕的模型切换方法。
33.对应于上述虚拟人动捕的模型切换方法，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述虚拟人动捕的模型切换方法的步骤。
34.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本技术中不再赘述。在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
35.所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
36.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
37.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
38.以上仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种虚拟人动捕的模型切换方法，其特征在于，包括：获取真人的人像视频，利用第一人像处理模型对所述人像视频中第一连续多帧人像图片进行识别，得到第一识别结果，根据所述第一识别结果确定出第二人像处理模型；若所述第一人像处理模型和第二人像处理模型不同，则利用所述第二人像处理模型对所述人像视频中第二连续多帧人像图片进行识别，得到第二识别结果，利用所述第一识别结果对所述第二识别结果进行滤波，得到第三识别结果，利用所述第三识别结果驱动虚拟数字人。2.如权利要求1所述的方法，其特征在于，还包括：若所述第一人像处理模型和第二人像处理模型相同，则利用所述第二识别结果驱动所述虚拟数字人。3.如权利要求1或2所述的方法，其特征在于，所述第一人像处理模型为全身人像处理模型，所述第二人像处理模型为所述全身人像处理模型和半身人像处理模型中的一个模型，对于所述全身人像处理模型和半身人像处理模型中的每一个人像处理模型，均预先设置有一个指向该人像处理模型的指针，所述指针为第一指针和第二指针中的一个指针，所述根据所述第一识别结果确定出第二人像处理模型，包括：若第一指针指向所述半身人像处理模型，则在所述第一识别结果指示所述第一连续多帧人像图片中每一帧人像图片均检测到人时，将所述第一指针和第二指针指向的模型进行交换，并将所述第一指针指向的模型确定为所述第二人像处理模型，否则，直接将所述第一指针指向的模型确定为所述第二人像处理模型；或者若第一指针指向所述全身人像处理模型，则在所述第一识别结果指示所述第一连续多帧人像图片中每一帧人像图片均未检测到人时，将所述第一指针和第二指针指向的模型进行交换，并将所述第一指针指向的模型确定为所述第二人像处理模型，否则，直接将所述第一指针指向的模型确定为所述第二人像处理模型。4.如权利要求1所述的方法，其特征在于，所述利用所述第一识别结果对所述第二识别结果进行滤波，得到第三识别结果，包括：计算所述第二连续多帧人像图片中每一帧人像图片的根节点的位置si和关节点的角度θi，计算公式为：si=ki
×
p+ji
×
qi，θi=gi
×
α+hi
×
βi，其中，si表示所述第三识别结果中所述第二连续多帧人像图片中第i帧人像图片对应的虚拟数字人的根节点的位置，p表示所述第一识别结果中所述第一连续多帧人像图片中最后一帧人像图片对应的虚拟数字人的根节点的位置，qi表示所述第二识别结果中所述第二连续多帧人像图片中第i帧人像图片对应的虚拟数字人的根节点的位置，ki和ji表示所述第二连续多帧人像图片中第i帧人像图片对应的位置滤波系数，θi表示所述第三识别结果中所述第二连续多帧人像图片中第i帧人像图片对应的虚拟数字人的关节点的角度，α表示所述第一识别结果中所述第一连续多帧人像图片中最后一帧人像图片对应的虚拟数字人的关节点的角度，βi表示所述第二识别结果中所述第二连续多帧人像图片中第i帧人像图片对应的虚拟数字人的关节点的角度，gi和hi表示所述第二连续多帧人像图片中第i帧人像图片对应的角度滤波系数。5.如权利要求4所述的方法，其特征在于，ki=gi=（n-i）/n，ji=hi=i/n，其中，n表示所述第二连续多帧人像图片中的人像图片的数量。
6.一种虚拟人动捕的模型切换装置，其特征在于，包括：确定单元，用于获取真人的人像视频，利用第一人像处理模型对所述人像视频中第一连续多帧人像图片进行识别，得到第一识别结果，根据所述第一识别结果确定出第二人像处理模型；驱动单元，用于若所述第一人像处理模型和第二人像处理模型不同，则利用所述第二人像处理模型对所述人像视频中第二连续多帧人像图片进行识别，得到第二识别结果，利用所述第一识别结果对所述第二识别结果进行滤波，得到第三识别结果，利用所述第三识别结果驱动虚拟数字人。7.如权利要求6所述的装置，其特征在于，所述驱动单元，还用于：若所述第一人像处理模型和第二人像处理模型相同，则利用所述第二识别结果驱动所述虚拟数字人。8.如权利要求6或7所述的装置，其特征在于，所述第一人像处理模型为全身人像处理模型，所述第二人像处理模型为所述全身人像处理模型和半身人像处理模型中的一个模型，对于所述全身人像处理模型和半身人像处理模型中的每一个人像处理模型，均预先设置有一个指向该人像处理模型的指针，所述指针为第一指针和第二指针中的一个指针，所述确定单元，用于：若第一指针指向所述半身人像处理模型，则在所述第一识别结果指示所述第一连续多帧人像图片中每一帧人像图片均检测到人时，将所述第一指针和第二指针指向的模型进行交换，并将所述第一指针指向的模型确定为所述第二人像处理模型，否则，直接将所述第一指针指向的模型确定为所述第二人像处理模型；或者若第一指针指向所述全身人像处理模型，则在所述第一识别结果指示所述第一连续多帧人像图片中每一帧人像图片均未检测到人时，将所述第一指针和第二指针指向的模型进行交换，并将所述第一指针指向的模型确定为所述第二人像处理模型，否则，直接将所述第一指针指向的模型确定为所述第二人像处理模型。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至5任一项所述的虚拟人动捕的模型切换方法的步骤。10.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至5任一项所述的虚拟人动捕的模型切换方法的步骤。

技术总结
本申请提供了一种虚拟人动捕的模型切换方法和装置、电子设备及存储介质，方法包括：获取真人的人像视频，利用第一人像处理模型对所述人像视频中第一连续多帧人像图片进行识别，得到第一识别结果，根据所述第一识别结果确定出第二人像处理模型；若所述第一人像处理模型和第二人像处理模型不同，则利用所述第二人像处理模型对所述人像视频中第二连续多帧人像图片进行识别，得到第二识别结果，利用所述第一识别结果对所述第二识别结果进行滤波，得到第三识别结果，利用所述第三识别结果驱动虚拟数字人，通过该方案能够在人像视频的人像图片中人像类型发生变化时，自动切换相应类型的模型进行处理，并保证虚拟人动捕的精度和效率。并保证虚拟人动捕的精度和效率。并保证虚拟人动捕的精度和效率。


技术研发人员：戚德望
受保护的技术使用者：海马云（天津）信息技术有限公司
技术研发日：2023.07.26
技术公布日：2023/8/31