可塑身神经辐射表示的三维人体重建方法及系统

1.本文件涉及人体重建技术领域，尤其涉及一种可塑身神经辐射表示的三维人体重建方法及系统。


背景技术：

2.三维人体重建技术在电影、游戏等视觉领域应用广泛，它允许通过设备还原人体的三维姿态、几何和纹理信息。然而，传统的神经网络渲染方法需要多个视角的输入，并要求被重建的对象在受限环境下拍摄，在处理人体非刚性运动时效果较差。因此，现有研究通常使用具有约束运动空间、考虑非刚性衣物和复杂运动因素的smpl模型作为模板进行人体重建。但是，smpl模型只能建模裸露的身体，无法处理松散衣物等细节。因此，研究人员提出了利用神经网络表示动态细节的方法，其中神经辐射场被广泛应用于三维重建。神经辐射场利用神经网络学习关键点的颜色和密度来表现三维场景，实现了逼真的新视角渲染，成为许多三维重建工作的基线。目前面向人体重建表示的神经辐射场技术humannerf可以基于单个视角的视频进行渲染，从而实现了从任意摄像机视角来渲染人物，但不支持可塑身的功能，即对人体高矮和胖瘦的形态进行改变。


技术实现要素：

3.本发明提供了一种可塑身神经辐射表示的三维人体重建方法及系统，在humannerf的基础上添加可塑身的功能。
4.本发明提供了一种可塑身神经辐射表示的三维人体重建方法，包括：
5.s1、使用smplify工具进行姿态估计，得到视频中每一帧的姿态及身体形状；
6.s2、将从目标外观体到标准体拆分为由骨架运动驱动的变形和由身体形状驱动的变形，完成从目标外观体到标准体的映射；
7.s3、通过设置低维塑身参数去调整身体形状；
8.s4、根据预设的可塑身的神经辐射场模型，通过从目标外观体到标准体的映射对调整后的身体形状重表示，最终可生成任意视角下的塑身后的视频。
9.本发明提供了一种可塑身神经辐射表示的三维人体重建系统，包括：
10.姿态估计模块，用于使用smplify工具进行姿态估计，得到视频中每一帧的姿态及身体形状；
11.拆分模块，用于将从目标外观体到标准体拆分为由骨架运动驱动的变形和由身体形状驱动的变形，完成从目标外观体到标准体的映射；
12.调整身体形状模块，用于通过设置低维塑身参数去调整身体形状；
13.三维重建模块，用于根据预设的可塑身的神经辐射场模型，通过从目标外观体到标准体的映射对调整后的身体形状重表示，最终可生成任意视角下的塑身后的视频。
14.通过采用本发明实施例，将一个视频和一个低维的塑身参数当作输入，使用smplify工具进行姿态估计，得到视频中每一帧的姿态及身体形状。我们把从目标外观体到
标准体拆分为由骨架运动驱动的变形t
skel
和由身体形状驱动的变形t
shape
，那么一个点就可以通过这样的变形从目标外观体映射到标准体。在另一边，我们从输入的一个低维的塑身参数改变身体形状，去调整身体形状。最后，设计可塑身的神经辐射场的方法对三维人体重表示。通过渲染图像和具有从帧估计的姿态的给定帧来优化表示网络，最终可生成任意视角下的塑身后的视频。
附图说明
15.为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
16.图1为本发明实施例的可塑身神经辐射表示的三维人体重建方法的流程图；
17.图2为为本发明实施例的可塑身神经辐射表示的三维人体重建系统的示意图；
18.图3为本发明实施例的完成三维重塑的具体实现流程图；
19.图4为本发明实施例的一个具体实现的示意图。
具体实施方式
20.为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
21.方法实施例
22.根据本发明实施例提供了一种可塑身神经辐射表示的三维人体重建方法，图1为本发明实施例的可塑身神经辐射表示的三维人体重建方法的流程图，根据图1所示，本发明实施例的可塑身神经辐射表示的三维人体重建方法具体包括：
23.s1、使用smplify工具进行姿态估计，得到视频中每一帧的姿态及身体形状；
24.s2、将从目标外观体到标准体拆分为由骨架运动驱动的变形和由身体形状驱动的变形，完成从目标外观体到标准体的映射；
25.在该过程中中，从可见空间到标准空间的变形场包括两部分，分别为由骨架运动驱动的变形t
skel
和由身体形状驱动的变形t
shape
，即
26.t(x，p，β)＝t
skel
(x，p)+t
shape
(x，p，β)
27.其中，由骨架运动驱动的变形t
skel
运用线性蒙皮方法，其原理是根据骨架在可见空间当前位置相对于标准空间的位置的变换矩阵以及此顶点相对于该骨架的权重，来计算出该顶点在该骨架影响下的位置：
[0028][0029]
其中wi是使用个多层感知器生成的第i段骨骼的蒙皮权重。
[0030]
由于神经辐射场将会与身体网格对齐，可以通过控制身体网格来控制模型的形状，在由骨架运动驱动的变形的基础上，我们把身体形状表示成一个偏移量，它将会决定于
身体形状的参数如身高体型。用多层感知机解决这些身体形状的细节：
[0031][0032]
整体上，而在骨架运动和身体形状的影响下，一个关键点将从可见空间的某个位置被映射到标准空间的某个位置。
[0033]
s3、通过设置低维塑身参数去调整身体形状；
[0034]
为了实现通过控制参数b改变人的体态，需要将b映射到身体形状参数β上。使用smplify从图像中推断出骨架在三维空间中的位置，首先使用deepcut工具推断出图像上的二维关节，然后预测三维姿态p0和低维的身体形状表示β，包括每个关节的位移和旋转信息ω＝{《ri，ti》}。可以采用线性差值方法将参数b∈[0，1]映射到β∈[β
0-δ，β0+δ]上，本质上β是通过主成分分析取得的身体形状参数，通过改变b而间接改变β，我们可以获得编辑后人体。
[0035]
s4、根据预设的可塑身的神经辐射场模型，通过从目标外观体到标准体的映射对调整后的身体形状重表示，最终可生成任意视角下的塑身后的视频。
[0036]
我们希望构建一个可塑身的神经辐射场，给定空间中的位置x，姿态p以及低维塑身参数b，神经辐射场计算该点的颜色c和密度σ，最终的外观体定义为：
[0037]
f：(x，d，b)
→
(c，δ)
[0038]
为此，我们一定一个标准的t型外观体fc，通过对形变得到期望的观察：
[0039]
f(x，d，b)＝fc(t(x，p，b))
[0040]
其中，可以通过控制塑身参数b改变人的体态。
[0041]
给定输入的帧、身体姿态和视角，我们通过解决以下优化方程来优化神辐射场表示fc：
[0042][0043]
其中n是输入的图片数目，l是损失函数，γ是渲染器，ii是输入视频中第i个视角图片，pi是相应的姿态，bi为它的体态。
[0044]
图3为本发明实施例的完成三维重塑的具体实现流程图，我们的方法把一个视频和一个低维的塑身参数当作输入。使用smplify工具进行姿态估计，得到视频中每一帧的姿态p及身体形状β0。我们把从目标外观体到标准体拆分为由骨架运动驱动的变形t
skel
和由身体形状驱动的变形t
shape
，那么一个点就可以通过这样的变形从目标外观体映射到标准体。在另一边，我们从输入的一个低维的塑身参数b改变β，去调整身体形状。最后，设计可塑身的神经辐射场的方法对三维人体重表示。通过渲染图像和具有从帧估计的姿态的给定帧来优化表示网络，最终可生成任意视角下的塑身后的视频。
[0045]
图4为本发明实施例的一个具体实现的示意图，首先，输入单目视频和低维塑身参数。我们使用成熟的工具smplify来估计输入的单目视频中人体的姿态和形状。然后，我们根据输入的低维塑身参数，编辑此人体形状。在另一面，通过线性蒙皮和添加由身体形状贡献的偏移量，访问点将可以从目标外观提映射到标准体。最后，我们在标准体建立神经辐射场，并对其进行合成，以生成最终的图像。
[0046]
通过采用本发明实施例，具备如下有益效果：
[0047]
将一个视频和一个低维的塑身参数当作输入，使用smplify工具进行姿态估计，得
到视频中每一帧的姿态及身体形状。我们把从目标外观体到标准体拆分为由骨架运动驱动的变形t
skel
和由身体形状驱动的变形t
shape
，那么一个点就可以通过这样的变形从目标外观体映射到标准体。在另一边，我们从输入的一个低维的塑身参数改变身体形状，去调整身体形状。最后，设计可塑身的神经辐射场的方法对三维人体重表示。通过渲染图像和具有从帧估计的姿态的给定帧来优化表示网络，最终可生成任意视角下的塑身后的视频。
[0048]
系统实施例
[0049]
根据本发明实施例提供了一种可塑身神经辐射表示的三维人体重建系统，图2为本发明实施例的可塑身神经辐射表示的三维人体重建系统的示意图，根据图2所示，本发明实施例的可塑身神经辐射表示的三维人体重建系统具体包括：
[0050]
姿态估计模块20，用于使用smplify工具进行姿态估计，得到视频中每一帧的姿态及身体形状；
[0051]
拆分模块22，用于将从目标外观体到标准体拆分为由骨架运动驱动的变形和由身体形状驱动的变形，完成从目标外观体到标准体的映射；
[0052]
调整身体形状模块24，用于通过设置低维塑身参数去调整身体形状；
[0053]
三维重建模块26，用于根据预设的可塑身的神经辐射场模型，通过从目标外观体到标准体的映射对调整后的身体形状重表示，最终可生成任意视角下的塑身后的视频。
[0054]
拆分模块具体用于：
[0055]
将从目标外观体到标准体拆分为由骨架运动驱动的变形t
skel
和由身体形状驱动的变形t
shape
：
[0056]
t(x，p，β)＝t
skel
(x，p)+t
shape
(x，p，β)
ꢀꢀꢀ
公式1；
[0057]
通过线性蒙皮方法根据骨架姿态p在可见空间当前位置x相对于标准空间的位置的变换矩阵[ri；ti]以及此顶点相对于该骨架的权重wi，来计算出该顶点在第i个骨架影响下的位置，从而获取由骨架运动驱动的变形t
skel
：
[0058][0059]
其中，wi是使用个多层感知器生成的第i段骨骼的蒙皮权重。
[0060]
通过公式3获取身体形状驱动的变形：
[0061][0062]
调整身体形状模块用于：
[0063]
设置低维塑身参数b，使用smplify从图像中推断出骨架在三维空间中的位置，使用deepcut工具推断出图像上的二维关节，然后预测三维姿态p0和低维的身体形状表示β，采用线性差值方法将参数b映射到β上。
[0064]
三维重建模块模块用于：
[0065]
通过构建一个可塑身的神经辐射场，根据给定空间中的位置x，姿态p以及低维塑身参数b计算该点的颜色c和密度σ，外观体定义为：
[0066]
f：(x，d，b)
→
(c，δ)
ꢀꢀꢀ
公式4；
[0067]
定义一个标准的t型外观体fc，通过对形变得到期望的观察：
[0068]
f(x，d，b)＝fc(t(x，p，b))
ꢀꢀꢀ
公式5。
[0069]
系统进一步包括：
[0070]
优化模块，用于通过下列优化方程优化所述预设的可塑身的神经辐射场模型：
[0071][0072]
其中，n是输入的图片数目，l是损失函数，γ是渲染器，ii是输入视频中第i个视角图片，pi是相应的姿态，bi为它的体态。
[0073]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：
1.一种可塑身神经辐射表示的三维人体重建方法，其特征在于，包括s1、使用smplify工具进行姿态估计，得到视频中每一帧的姿态及身体形状；s2、将从目标外观体到标准体拆分为由骨架运动驱动的变形和由身体形状驱动的变形，完成从目标外观体到标准体的映射；s3、通过设置低维塑身参数去调整身体形状；s4、根据预设的可塑身的神经辐射场模型，通过从目标外观体到标准体的映射对调整后的身体形状重表示，最终可生成任意视角下的塑身后的视频。2.根据权利要求1所述的方法，其特征在于，所述s2具体包括：将从目标外观体到标准体拆分为由骨架运动驱动的变形t
skel
和由身体形状驱动的变形t
shape
：t(x，p，β)＝t
skel
(x，p)+t
shape
(x，p，β)
ꢀꢀꢀꢀꢀꢀ
公式1；通过线性蒙皮方法根据骨架姿态p在可见空间当前位置x相对于标准空间的位置的变换矩阵[r
i
；t
i
]以及此顶点相对于该骨架的权重w
i
，来计算出该顶点在第i个骨架影响下的位置，从而获取由骨架运动驱动的变形t
skel
：其中，w
i
是使用个多层感知器生成的第i段骨骼的蒙皮权重。通过公式3获取身体形状驱动的变形：3.根据权利要求1所述的方法，其特征在于，所述s3具体包括：设置低维塑身参数b，使用smplify从图像中推断出骨架在三维空间中的位置，使用deepcut工具推断出图像上的二维关节，然后预测三维姿态p0和低维的身体形状表示β，采用线性差值方法将参数b映射到β上。4.根据权利要求2所述的方法，其特征在于，所述s4具体包括：通过构建一个可塑身的神经辐射场，根据给定空间中的位置x，姿态p以及低维塑身参数b计算该点的颜色c和密度σ，外观体定义为：f：(x，d，b)
→
(c，δ)
ꢀꢀꢀꢀꢀꢀꢀꢀ
公式4；定义一个标准的t型外观体f
c
，通过对形变得到期望的观察：f(x,d,b)＝f
c
(t(x,p,b))
ꢀꢀꢀꢀꢀꢀꢀ
公式5。5.根据权利要求4所述的方法，其特征在于，所述方法进一步包括：通过下列优化方程优化所述预设的可塑身的神经辐射场模型：其中，n是输入的图片数目，l是损失函数，γ是渲染器，i
i
是输入视频中第i个视角图片，p
i
是相应的姿态，b
i
为它的体态。6.可塑身神经辐射表示的三维人体重建系统，其特征在于，包括：姿态估计模块，用于使用smplify工具进行姿态估计，得到视频中每一帧的姿态及身体形状；拆分模块，用于将从目标外观体到标准体拆分为由骨架运动驱动的变形和由身体形状
驱动的变形，完成从目标外观体到标准体的映射；调整身体形状模块，用于通过设置低维塑身参数去调整身体形状；三维重建模块，用于根据预设的可塑身的神经辐射场模型，通过从目标外观体到标准体的映射对调整后的身体形状重表示，最终可生成任意视角下的塑身后的视频。7.根据权利要求6所述的系统，其特征在于，所述拆分模块具体用于：将从目标外观体到标准体拆分为由骨架运动驱动的变形t
skel
和由身体形状驱动的变形t
shape
：t(x，pβ)＝t
skel
(x，p)+t
shape
(x，p，β)
ꢀꢀꢀꢀꢀꢀꢀꢀ
公式1；通过线性蒙皮方法根据骨架姿态p在可见空间当前位置x相对于标准空间的位置的变换矩阵[r
i
；t
i
]以及此顶点相对于该骨架的权重w
i
，来计算出该顶点在第i个骨架影响下的位置，从而获取由骨架运动驱动的变形t
skel
：其中，w
i
是使用个多层感知器生成的第i段骨骼的蒙皮权重。通过公式3获取身体形状驱动的变形：8.根据权利要求7所述的系统，其特征在于，所述调整身体形状模块用于：设置低维塑身参数b，使用smplify从图像中推断出骨架在三维空间中的位置，使用deepcut工具推断出图像上的二维关节，然后预测三维姿态p0和低维的身体形状表示β，采用线性差值方法将参数b映射到β上。9.根据权利要求7所述的系统，其特征在于，所述三维重建模块模块用于：通过构建一个可塑身的神经辐射场，根据给定空间中的位置x，姿态p以及低维塑身参数b计算该点的颜色c和密度σ，外观体定义为：f:(x，d，b)
→
(c，δ)
ꢀꢀꢀꢀꢀꢀꢀ
公式4；定义一个标准的t型外观体f
c
，通过对形变得到期望的观察：f(x,d,b)＝f
e
(t(x,p,b))
ꢀꢀꢀꢀꢀꢀꢀ
公式5。10.根据权利要求9所述的系统，其特征在于，所述系统进一步包括：优化模块，用于通过下列优化方程优化所述预设的可塑身的神经辐射场模型：其中，n是输入的图片数目，l是损失函数，γ是渲染器，i
i
是输入视频中第i个视角图片，p
i
是相应的姿态，b
i
为它的体态。

技术总结
本发明提供了一种可塑身神经辐射表示的三维人体重建方法及系统，涉及三维重建技术领域，其中，方法包括：使用SMPLify工具进行姿态估计，得到视频中每一帧的姿态及身体形状；将从目标外观体到标准体拆分为由骨架运动驱动的变形和由身体形状驱动的变形，完成从目标外观体到标准体的映射；通过设置低维塑身参数去调整身体形状；根据预设的可塑身的神经辐射场模型，通过从目标外观体到标准体的映射对调整后的身体形状重表示，最终可生成任意视角下的塑身后的视频。以解决三维人体重建的可塑身问题。题。题。


技术研发人员：彭伟龙 蔡宇生 汪洋涛 肖亚铁 谭恒良 范立生 方美娥
受保护的技术使用者：广州大学
技术研发日：2023.07.11
技术公布日：2023/9/26