一种基于特征点区域分割的人脸偏振三维重建方法

1.本发明属于三维重建技术领域，具体涉及一种基于特征点区域分割的人脸偏振三维重建方法。


背景技术：

2.三维重建技术能够提供二维图像无法获取的深度信息，是当今信息时代获取数据的重要方式。目前常用的人脸识别成像技术包括二维人脸识别技术和三维人脸识别技术。相比二维人脸识别，三维人脸识别更具优势，主要特点是在识别中利用了三维形状数据，通过三维重建技术获取包括结构、纹理、尺度等物体的完整三维信息，能够更准确地进行识别。人脸识别技术的应用主要集中在考勤门禁、安防以及金融三大领域。随着三维重建技术在人脸反欺骗、人脸识别、人脸表情动画和移动人脸支付等领域的广泛应用，尤其是在移动人脸支付领域，人们对于三维重建技术的重建结果的细节信息的丰富性、准确性和高精度的要求越来越高。然而在三维重建技术中，像飞行时间法(time of flight，tof)、双目、阴影恢复形状(shape from shading，sfs)和激光扫描等相对传统的三维成像方式的成像设备复杂、信息解译性差和成像条件苛刻等因素极大的限制其发展，此外传统的偏振三维成像技术通常需要借助其它深度获取技术来解决由偏振获取的法线方位角不确定导致畸变的问题。
3.相关技术中已存在一些三维重建方案，但是相关技术中的三维重建方案的重建精度都不高。


技术实现要素：

4.为了解决相关技术中存在的上述问题，本发明提供了一种基于特征点区域分割的人脸偏振三维重建方法。本发明要解决的技术问题通过以下技术方案实现：
5.本发明提供一种基于特征点区域分割的人脸偏振三维重建方法，包括：
6.获取真实场景下目标人脸的不同偏振角度下的多张偏振图像；
7.根据所述多张偏振图像和预设折射率，确定每张偏振图像的每个点的第一方位角和天顶角；
8.对所述目标人脸的任一张偏振图像进行特征点检测，根据检测得到的特征点对所述任一张偏振图像进行区域划分，得到多个不同子区域；
9.根据预设先验信息在每个子区域内设置方位角阈值；
10.根据每个子区域内每个点的第一方位角和每个子区域对应的方位角阈值，确定每个点的第二方位角；
11.根据每个点的第二方位角和所述天顶角确定每个点的梯度场，根据所述梯度场进行所述目标人脸的三维重建。
12.在一些实施例中，所述多个不同子区域包括：眼睛区域、鼻子区域、嘴部脸颊区域和背景区域；所述根据预设先验信息在每个子区域内设置方位角阈值，包括：
13.确定所述任一张偏振图像中的人脸区域的垂直中线；
14.将所述垂直中线右侧的背景区域和嘴部区域的方位角阈值均设为第一方位角阈值，将所述垂直中线左侧的背景区域和嘴部区域的方位角阈值均设为第二方位角阈值；
15.将所述垂直中线左侧的眼睛区域、鼻子区域和脸颊区域的方位角阈值均设为第三方位角阈值，将所述垂直中线右侧的眼睛区域、鼻子区域和脸颊区域的方位角阈值均设为第四方位角阈值。
16.在一些实施例中，所述第一方位角阈值为45
°
，所述第二方位角阈值为135
°
，所述第三方位角阈值为225
°
，所述第四方位角阈值为315
°
。
17.在一些实施例中，所述根据每个子区域内每个点的第一方位角和每个子区域对应的方位角阈值，确定每个点的第二方位角，包括：
18.确定每个子区域内每个点的第一方位角与该子区域内该点对应的方位角阈值之间的角度差值；
19.当所述角度差值的绝对值超过预设阈值时，对该点的第一方位角进行180
°
的角度校正，得到该点的第二方位角；
20.当所述角度差值的绝对值未超过所述预设阈值时，将该点的第一方位角直接作为该点的第二方位角。
21.在一些实施例中，所述预设阈值为π/4。
22.在一些实施例中，所述对所述目标人脸的任一张偏振图像进行特征点检测，根据检测得到的特征点对所述任一张偏振图像进行区域划分，得到多个不同子区域，包括：
23.对所述目标人脸的任一张偏振图像进行人脸检测和识别，得到多个人脸特征点的坐标信息；
24.对所述多个人脸特征点的坐标信息进行特征点聚类，得到多个特征点集合；
25.根据所述多个特征点集合将所述任一张偏振图像划分为多个不同子区域。
26.在一些实施例中，所述根据所述多张偏振图像和预设折射率，确定每张偏振图像的每个点的第一方位角和天顶角，包括：
27.根据所述多张偏振图像确定每张偏振图像的每个点的第一方位角；
28.根据所述多张偏振图像分别确定每张偏振图像的每个点的斯托克斯矢量中的i参量、u参量和q参量；
29.根据所述i参量、所述u参量和所述q参量，计算每个点的偏振度；
30.根据所述预设折射率和每个点的偏振度，确定每个点的天顶角。
31.在一些实施例中，每个点的梯度场包括：第一梯度信息和第二梯度信息；所述根据每个点的第二方位角和所述天顶角确定每个点的梯度场，根据所述梯度场进行所述目标人脸的三维重建，包括：
32.根据每个点的第二方位角和所述天顶角，分别确定每个点的第一梯度信息和第二梯度信息；
33.根据每个点的第一梯度信息和第二梯度信息，通过表面积分算法进行所述目标人脸的三维重建，得到所述目标人脸的三维信息。
34.本发明具有如下有益技术效果：
35.1、应用场景广，成本低。本发明仅仅需要一个偏振相机拍摄一次，在不借助其它深
度获取技术的辅助下，仅利用偏振就可以获取到人脸三维目标信息。省去了其他深度获取技术的需求，具有成本低、易于实现和适用范围广等优点。
36.2、提高了计算效率及准确度，克服了因法线方位角的二值性问题所导致的人脸重建结果畸变的问题。本方法通过对人脸特征进行检测与识别，划分区域进行法线方位角约束，继而决定法线的真实朝向，在重建前对法线方向进行了有效的校正。
37.3、克服了传统偏振三维人脸重建方法中受阴影、光强限制的短板。通过对人脸特征点进行检测定位和区域划分，直接采用偏振数据，从而让重建结果不再局限于照明光源的均匀性和方向，最终排除了由于照射不均匀产生的阴影干扰，在自然光场景下就可以实现人脸三维重建。
38.以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
39.图1为本发明实施例提供的基于特征点区域分割的人脸偏振三维重建方法的一个流程图；
40.图2为本发明实施例提供的示例性的通过摄像机拍摄目标人脸的偏振图像的示意图；
41.图3a为本发明实施例提供的示例性的对一张偏振图像进行人脸特征点检测所得到的检测结果示意图；
42.图3b为本发明实施例提供的示例性的根据人脸特征点进行聚类所得到的聚类结果示意图；
43.图3c为本发明实施例提供的示例性的根据聚类结果对偏振图像进行区域划分的结果示意图；
44.图4为本发明实施例提供的示例性的法线方位角歧义的原理示意图；
45.图5a为本发明实施例提供的示例性的方位角分布的范围象限的一个示意图；
46.图5b为本发明实施例提供的示例性的方位角分布的范围象限的另一个示意图
47.图6a为本发明实施例提供的示例性的人脸的方位角(真值)的分布与人脸的特征点之间的规律的示意图；
48.图6b为本发明实施例提供的示例性的根据图6a所示的两幅不同人脸图像的方位角的分布，对图像进行方位角四象限分割的示意图；
49.图7a为本发明实施例提供的示例性的各象限的方位角阈值的设置示意图；
50.图7b为本发明实施例提供的示例性的标准图的示意图。
具体实施方式
51.下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
52.在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
53.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
54.尽管在此结合各实施例对本发明进行了描述，然而，在实施所要求保护的本发明过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
55.目前相关技术中存在的一些三维重建方案如下：
56.方案一：获取待重建人脸的若干不同偏振角度的偏振图像；根据偏振图像得到待重建人脸的第一表面法线梯度场；利用卷积神经网络获取待重建人脸的第二表面法线梯度场；利用第二表面法线梯度场校正第一表面法线梯度场，得到待重建物体的第三表面法线梯度场；根据第三表面法线梯度场实现待重建物体的三维重建。
57.方案一的缺点：该方案利用现有的人脸数据库，通过不断优化训练卷积神经网络，做到丢进去一幅二维人脸图像，出来一个三维人脸结果，但毕竟这个结果是假的，是凭经验获取的；再有该技术在处理时需要耗费大量的时间，所以需要偏振技术提供真实数据。而且由于该技术将cnn的结果作为先验信息，进而利用梯度场逐像素对比去进行法线梯度场校正，导致最终结果会携带有人脸数据库信息而近似均脸。这种人脸三维数据公开库目前都是欧洲人脸，所以其重建出来的人脸鼻梁都会稍微偏高，影响了一定的重建精度。
58.方案二：首先，通过激光扫描仪获取物体表面的内部坐标数据，它不仅记录了扫描点的空间坐标，还记录了反射率的空间信息。为了得到模型的坐标，需要在点云数据进行建模前将扫描所得点云的扫描坐标转化为大地坐标。然后需要对所得的原始数据进行预处理，如消除杂点数据、平滑噪音等，这一步骤可以初步消除点云数据的误差，使点云数据更加完整。为了使获得的立体目标点云数据更加完整，往往需要设置不同角度从多个方位对目标进行多次测量，此时需要对多组点云数据进行拼接。接下来进行点云去噪和地面实物的提取，进一步删除杂点，目标提取正是删除除了目标物体以外的其他杂点来获得目标点云。之后通过点云精简减少数据量加快运算，并对一系列处理过后的点云数据进行三角网格化进一步增加建模结果的真实性。最后将目标扫描获得的图像信息与点云数据进行匹配，对模型进行纹理映射。
59.方案二的缺点：激光三维重建技术用于人脸识别依赖设备，需要使用特殊的设备进行扫描，而这些设备通常比较昂贵，且不能大规模应用。激光三维重建对环境有一定的要求，例如需要在光线较强、无遮挡的情况下进行扫描，否则可能会影响识别效果。激光三维重建应用环境受限较大，测量结果易受外界环境光的干扰且作用距离有限。成像结果及其依赖扫描获得的点云数据，而点云数据稀疏的情况下，分辨率相对较低，容易丢失细节纹理信息。
60.方案三：相机标定：使用相机标定算法，对左右两个摄像头进行标定，得到相机内参和外参；特征提取：在左右两个图像中，通过特征提取算法(如sift、surf等)提取出一些稳定的关键点；立体匹配：将左右两个图像中的特征进行匹配，得到它们之间的对应关系；构建深度图：根据左右图像中的像素点对应关系，利用三角测量或其他深度估计算法，算出每个像素点的深度信息；三维重建：将深度图转换为三维点云并对点云数据进行优化，并结合相机内参和外参，将点云转换为世界坐标系下的三维模型。
61.方案三的缺点：双目立体视觉三维重建基于左右相机图片的匹配，需要采集多个角度的图像以获取更精确的面部信息，这增加了时间和成本，此外匹配的误差会影响最终算法成像的效果，不利于人脸表面缺乏特征点的光滑区域的重建。图像质量受制于环境光线和阴影的影响，可能会导致重建结果不准确或者出现误差。双目深度的精度和基线长度即两台相机之间的距离有关，两台相机布放的距离越远，测距精度越高，但在实际应用中，放置相机的空间有限，因此双目测距在远距离条件下的精度较差。
62.方案四：选择相机和投影仪：首先需要选择适当的相机和投影仪，并确定它们的位置和方向；投影编码：通过相机拍摄投影仪发出的编码图案，以获取场景表面的深度信息；深度图像处理：对获取的深度图像进行噪声滤波和校准等处理，以获得更加精确的深度数据；点云生成：利用深度图像和相机的内参矩阵，将场景中的点转化为三维坐标点云；点云配准：将多个角度下获取的点云进行配准，以获得完整的场景模型；网格生成：基于点云数据，使用网格生成算法将点云转换为三角形网格模型；纹理贴图：将相机拍摄的纹理图像映射到三角形网格模型上，以产生逼真的场景模型。
63.方案四的缺点：首先，结构光三维重建需要使用专门的设备，如投影仪和红外摄像头，增加了成本和复杂度。其次，结构光三维重建受环境光照的影响，如果环境光照过强或过暗，会导致投影仪的光线无法被红外摄像头正确捕捉，从而影响三维重建的效果。结构光三维重建还对被拍摄人脸的姿态和表情有一定的限制，如果目标在投影过程中发生大幅度的运动或变化，会导致三维重建结果不准确或不完整。
64.图1是本发明实施例提供的基于特征点区域分割的人脸偏振三维重建方法的一个流程图，如图1所示，所述方法包括以下步骤：
65.s101、获取真实场景下目标人脸的不同偏振角度下的多张偏振图像。
66.这里，首先需要在自然光的环境中选定要拍摄的目标，之后，选取照相机清晰拍摄的合适位置，在其镜头前面加入偏振片并使偏振片与镜头等高同轴，调整好偏振片和镜头位置后整个拍摄过程都保持不同；之后，依次旋转偏振片在0
°
、45
°
、90
°
和135
°
位置处分别获取真实场景中目标人脸的的偏振图像i0、i
45
、i
90
、i
135
。
67.示例性的，通过摄像机拍摄目标人脸的偏振图像的示意图如图2所示。图2中偏振片与摄像机(探测器)等高同轴，用于在自然光的环境下拍摄目标人脸的不同偏振角度下的偏振图像，其中，si表示入射光，s'表示反射光，表示目标人脸表面上某一点处的法向量在像平面xy上的投影，表示目标人脸表面上该点的方位角，θ表示目标人脸表面上该点的方位角，x'y'z'为世界坐标系，xyz为像平面坐标系。
68.s102、根据多张偏振图像和预设折射率，确定每张偏振图像的每个点的第一方位角和天顶角。
69.这里，可以根据多张偏振图像确定每张偏振图像的每个点的第一方位角；根据多
张偏振图像分别确定每张偏振图像的每个点的斯托克斯矢量s中的i参量、u参量和q参量；根据i参量、u参量和q参量，计算每个点的偏振度；根据预设折射率和每个点的偏振度，确定每个点的天顶角。
70.具体的，斯托克斯矢量s中的i参量、u参量和q参量的计算公式为公式(1)：偏振度p的计算公式为公式(2)：天顶角θ的计算公式为公式(3)：其中，n为目标人脸的预设折射率，通常预设折射率在1.3-1.6，在本实施例中n的取值可以为1.5。第一方位角的计算公式为公式(4)：
[0071][0072]
s103、对目标人脸的任一张偏振图像进行特征点检测，根据检测得到的特征点对任一张偏振图像进行区域划分，得到多个不同子区域。
[0073]
这里，目标人脸的任一张偏振图像可以是i0、i
45
、i
90
或i
135
。
[0074]
具体的，可以先对选取的任一张偏振图像进行预处理(例如，去噪处理)，并对预处理后的偏振图像进行人脸检测和识别，例如，可以采用纯yolo系列的人脸检测106个关键点算法，对预处理后的图像进行处理，从而获得人脸区域的坐标信息和106个人脸特征点的坐标信息，示例性的如图3a所示。该方法在检测速度和准确率方面表现良好，并且，纯yolo方法不需要引入其他算法来进一步提取特征。在获取到所选的偏振图像中的106个人脸特征点的坐标后，可以对这106个人脸特征点进行如图3b所示的聚类，从而得到多个不同的特征点集合，根据得到的特征点集合将所选的偏振图像划分为眼睛区域、鼻子区域、嘴部脸颊区域和背景区域，例如如图3c所示。
[0075]
例如，所采用的聚类方法如下：设人脸特征点集合为p，需要分为4个簇。选择k个点作为初始质心(可以随机选择，也可以选择特定的特征点)。
①
对于每个特征点，计算其与k个质心之间的距离，将其分配到距离最近的簇中。
②
对于每个簇，重新计算其质心。重复
①
和
②
步骤，直到簇不再发生变化或者达到预定的迭代次数。
[0076]
s104、根据预设先验信息在每个子区域内设置方位角阈值。
[0077]
这里，预设先验信息可以为：对于一张人脸的偏振图像，该偏振图像的竖直中线右侧的背景区域和嘴部区域为区域1，偏振图像的竖直中线左侧的背景区域和嘴部区域为区
域2，偏振图像的竖直中线左侧的眼睛区域和脸颊区域为区域3，偏振图像的竖直中线右侧的眼睛区域和脸颊区域为区域4，并且，区域1中的各个点的方位角属于[0,90)范围内，区域2内的各个点的方位角属于[90,180)范围内，区域3内的各个点的方位角属于[180,270)范围内，区域4内的各个点的方位角属于[270,360)范围内。上述预设先验信息通过以下原理获得：
[0078]
假设人脸真实高度为z(x,y)，则其梯度场可以表示为公式(5)：物体表面一点的法向量与该点的反射光的方位角跟天顶角的关系如图4所示。因此，对于人脸曲面上任一点(x,y,z)所对应的法向量可以在球坐标系下表示为公式(6)：其中，p
polar
为该任一点的第一梯度信息(x方向上的梯度信息)，q
polar
为该任一点的第二梯度信息(y方向上的梯度信息)。但如图4所示，由于偏振片无法区分同一角度下具体法向量的朝向，使得方位角引入π的相位歧义，从而得到的法向量不同，即图4中的法向量n和n'。即两个不同方向的法向量具有同一个偏振角值，所以只能确定法向量的模值，尚不能确定其方向。利用公式(3)可以得到目标人脸表面的法向量跟p
polar
、q
polar
以及方位角和天顶角θ之间的关系，从而得到法向量的大小以及偏振信息获取的梯度场。为了消除由于法线方位角歧义所带来的不确定性，需要进行法线约束，使其满足特定的角度限制，并生成相应的约束条件。根据漫反射偏振三维成像模型可知，法向量的天顶角θ∈[0,90)，故若已知人脸的真实高度z
real
(x,y)则可唯一确定天顶角的值，如公式(7)所示：(7)。而对于法向量的方位角，由物理模型可知且由于θ∈[0,90)，故tanθ》0。因此，根据公式(8)可知，的取值范围仅由在x方向的真实梯度场信息p的正负情况决定，其将真实的限制在如图5a所示的范围内；同理，根据公式(8)可知，的取值范围仅由在y方向的真实梯度场信息q的正负情况决定，其将真实的限制在如图5b所示的范围内。公式(8)如下：(8)；因而，可以根据公式(8)分别求得和即得到了多张先验人脸偏振图像(这些先验人脸偏振图像的人脸真实高度
均已知)中每张先验人脸偏振图像中各个点的和之后，可以从该张先验人脸偏振图像中各个点的中寻找小于0的点，之后，对于小于0的点而言，采用2π减去该点的并将得到的角度值作为该点的真实方位角，对于大于或等于0的点而言，将该点的直接作为该点的真实方位角，如此，便可得到每张先验人脸偏振图像中每个点的真实方位角。通过对这多张先验人脸偏振图像的分析，发现对于不同人脸其方位角分布跟人脸的特征点之间具有稳定规律，例如，人脸的方位角(真值)的分布与人脸的特征点之间的规律如图6a，所以，根据此规律，可以对图像中各个点的方位角(真值)进行象限标记，即将所有点的方位角位于[0,90)范围内的区域标记为1，将所有点的方位角位于[90,180)范围内的区域标记为2，将所有点的方位角位于[180,270)范围内的区域标记为3，将所有点的方位角位于[270,360)范围内的区域标记为4，因此，对于图6a的两幅不同人脸图像而言，能够对应得到图6b所示的两幅区域分割示意图。显然，根据图6a和6b可知，整个区域分布呈现一定规律，能够通过特征点分割进行确定，即通过上述分析便可得到上述预设先验信息。
[0079]
这里，上述根据预设先验信息在每个子区域内设置方位角阈值，可以通过以下方法实现：确定该任一张偏振图像中的人脸区域的垂直中线；将垂直中线右侧的背景区域和嘴部区域的方位角阈值均设为第一方位角阈值(例如，45
°
)，将垂直中线左侧的背景区域和嘴部区域的方位角阈值均设为第二方位角阈值(例如，135
°
)；将垂直中线左侧的眼睛区域、鼻子区域和脸颊区域的方位角阈值均设为第三方位角阈值(例如，225
°
)，将垂直中线右侧的眼睛区域、鼻子区域和脸颊区域的方位角阈值均设为第四方位角阈值(例如，315
°
)；如此，可以实现将第一象限内的方位角对应的方位角阈值都设定为45
°
，将第二象限内的方位角对应的方位角阈值都设定为135
°
，将第三象限内的方位角对应的方位角阈值都设定为225
°
，将第四象限内的方位角对应的方位角阈值的都设定为315
°
，例如图7a所示。通过如此设置方位角阈值可以在划分出多个不同子区域的图像的基础上，构造出如图7b所示的标准图，如图7b所示，对于该标准图中的人脸区域的竖直中线左侧的背景区域的某一点的x、y坐标分别为141和19，并且该点的方位角阈值z为135
°
，其他区域中的点x、y和z的含义类似，对此不作一一解释。
[0080]
s105、根据每个子区域内每个点的第一方位角和每个子区域对应的方位角阈值，确定每个点的第二方位角。
[0081]
这里，可以确定每个子区域内每个点的第一方位角与该子区域内该点对应的方位角阈值之间的角度差值；当角度差值的绝对值超过预设阈值时，对该点的第一方位角进行180
°
的角度校正，得到该点的第二方位角；当角度差值的绝对值未超过预设阈值(π/4)时，将该点的第一方位角直接作为该点的第二方位角。即，对于通过上述公式(4)计算出的每个点的第一方位角而言，当该点的第一方位角越趋近于该点所对应的方位角阈值时，则说明通过公式(4)估计的方位角是准确的，从而利用目标反射光偏振特性直接求解得到的微面元法向量信息是准确的；相反，当该点的第一方位角与该点所对应的方位角阈值不接近时，则对利用偏振特性求解得到的方位角进行校正，实现对方位角的180
°
翻转，该具体原理如公式十(9)所示：其中，λ
sgn
∈[0,1]，ψ
pl
为采用公式四计算出的每个点的第一方位角，ψ
std
为每个点对应的方位角阈值。
[0082]
s106、根据每个点的第二方位角和天顶角确定每个点的梯度场，根据梯度场进行目标人脸的三维重建。
[0083]
这里，可以根据每个点的第二方位角和天顶角，通过和分别确定每个点的第一梯度信息p
polar
和第二梯度信息q
polar
；根据每个点的第一梯度信息p
polar
和第二梯度信息q
polar
，通过表面积分算法进行目标人脸的三维重建，得到目标人脸的三维信息。
[0084]
这里，表面积分frankot-chellappa的原理如公式(10)：其中，f{
·
}和f-1
{
·
}分别代表离散傅里叶变换和离散傅里叶逆变换。m、n分别为拍摄的偏振图像的横向像素与纵向像素的个数，(u,v)为离散傅里叶变换中的频率坐标，频率坐标(u,v)的取值范围为：(-[n/2],-[m/2])至([n/2],[m/2])。该算法假定物体的表面函数z(x,y)满足可积分条件，即表面函数z(x,y)在其正交的两个方向(x，y方向上)的偏导数都存在，如公式(5)所示。它将求表面积分的问题看作一个正交投影的过程，然后通过利用一系列的正交函数的组合来尽可能的逼近z(x,y)，从而得到真实的待重建物体的三维信息。
[0085]
根据上述对本发明提供的方法的介绍可知，本发明具有以下优势：
[0086]
(1)与现有的人脸三维成像技术相比，本发明采用了基于人脸特征检测的偏振获取的法线方位角约束方法，省去了其他深度获取技术的需求，具有成本低、易于实现和适用范围广等优点。同时，本发明还可实现对各个区域偏振获取的法线方位角进行约束，提高了人脸偏振的稳定性和精度。
[0087]
(2)本方法通过对人脸特征点进行识别与定位，将人脸进行区域分割，能够消除传统依靠数据库获取先验信息所引入的误差，不会再由于是欧洲人脸数据库而造成鼻梁变高，这是直接利用所实际拍摄的图像进行区域分割，因此误差更小，提高了计算效率及准确度。
[0088]
(3)本方法针对偏振固有的法线方位角具有180度模糊性问题，通过研究大量实例，通过判断分割后的区域位置，判定该区域方位角的取值范围，能够准确到90度之内的变化，因此在通过加减π进行调整时，足以解决方位角不确定问题，从而达到直接利用偏振信息进行人脸三维形貌复原的操作。
[0089]
(4)本方法基于光的偏振特性进行三维重建，可以排除由于光照不均匀产生的阴影干扰，在自然光场景下就可以实现人脸三维重建，并确保重建结果的精确性，使人脸识别能够应用于更为广泛的应用场景。
[0090]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

技术特征：
1.一种基于特征点区域分割的人脸偏振三维重建方法，其特征在于，包括：获取真实场景下目标人脸的不同偏振角度下的多张偏振图像；根据所述多张偏振图像和预设折射率，确定每张偏振图像的每个点的第一方位角和天顶角；对所述目标人脸的任一张偏振图像进行特征点检测，根据检测得到的特征点对所述任一张偏振图像进行区域划分，得到多个不同子区域；根据预设先验信息在每个子区域内设置方位角阈值；根据每个子区域内每个点的第一方位角和每个子区域对应的方位角阈值，确定每个点的第二方位角；根据每个点的第二方位角和所述天顶角确定每个点的梯度场，根据所述梯度场进行所述目标人脸的三维重建。2.根据权利要求1所述的基于特征点区域分割的人脸偏振三维重建方法，其特征在于，所述多个不同子区域包括：眼睛区域、鼻子区域、嘴部脸颊区域和背景区域；所述根据预设先验信息在每个子区域内设置方位角阈值，包括：确定所述任一张偏振图像中的人脸区域的垂直中线；将所述垂直中线右侧的背景区域和嘴部区域的方位角阈值均设为第一方位角阈值，将所述垂直中线左侧的背景区域和嘴部区域的方位角阈值均设为第二方位角阈值；将所述垂直中线左侧的眼睛区域、鼻子区域和脸颊区域的方位角阈值均设为第三方位角阈值，将所述垂直中线右侧的眼睛区域、鼻子区域和脸颊区域的方位角阈值均设为第四方位角阈值。3.根据权利要求2所述的基于特征点区域分割的人脸偏振三维重建方法，其特征在于，所述第一方位角阈值为45
°
，所述第二方位角阈值为135
°
，所述第三方位角阈值为225
°
，所述第四方位角阈值为315
°
。4.根据权利要求1所述的基于特征点区域分割的人脸偏振三维重建方法，其特征在于，所述根据每个子区域内每个点的第一方位角和每个子区域对应的方位角阈值，确定每个点的第二方位角，包括：确定每个子区域内每个点的第一方位角与该子区域内该点对应的方位角阈值之间的角度差值；当所述角度差值的绝对值超过预设阈值时，对该点的第一方位角进行180
°
的角度校正，得到该点的第二方位角；当所述角度差值的绝对值未超过所述预设阈值时，将该点的第一方位角直接作为该点的第二方位角。5.根据权利要求4所述的基于特征点区域分割的人脸偏振三维重建方法，其特征在于，所述预设阈值为π/4。6.根据权利要求1所述的基于特征点区域分割的人脸偏振三维重建方法，其特征在于，所述对所述目标人脸的任一张偏振图像进行特征点检测，根据检测得到的特征点对所述任一张偏振图像进行区域划分，得到多个不同子区域，包括：对所述目标人脸的任一张偏振图像进行人脸检测和识别，得到多个人脸特征点的坐标信息；
对所述多个人脸特征点的坐标信息进行特征点聚类，得到多个特征点集合；根据所述多个特征点集合将所述任一张偏振图像划分为多个不同子区域。7.根据权利要求1所述的基于特征点区域分割的人脸偏振三维重建方法，其特征在于，所述根据所述多张偏振图像和预设折射率，确定每张偏振图像的每个点的第一方位角和天顶角，包括：根据所述多张偏振图像确定每张偏振图像的每个点的第一方位角；根据所述多张偏振图像分别确定每张偏振图像的每个点的斯托克斯矢量中的i参量、u参量和q参量；根据所述i参量、所述u参量和所述q参量，计算每个点的偏振度；根据所述预设折射率和每个点的偏振度，确定每个点的天顶角。8.根据权利要求1所述的基于特征点区域分割的人脸偏振三维重建方法，其特征在于，每个点的梯度场包括：第一梯度信息和第二梯度信息；所述根据每个点的第二方位角和所述天顶角确定每个点的梯度场，根据所述梯度场进行所述目标人脸的三维重建，包括：根据每个点的第二方位角和所述天顶角，分别确定每个点的第一梯度信息和第二梯度信息；根据每个点的第一梯度信息和第二梯度信息，通过表面积分算法进行所述目标人脸的三维重建，得到所述目标人脸的三维信息。

技术总结
本发明公开了一种基于特征点区域分割的人脸偏振三维重建方法，包括：获取真实场景下目标人脸的不同偏振角度下的多张偏振图像；根据多张偏振图像和预设折射率，确定每张偏振图像的每个点的第一方位角和天顶角；对目标人脸的任一张偏振图像进行特征点检测，根据检测得到的特征点对任一张偏振图像进行区域划分，得到多个不同子区域；根据预设先验信息在每个子区域内设置方位角阈值；根据每个子区域内每个点的第一方位角和每个子区域对应的方位角阈值，确定每个点的第二方位角；根据每个点的第二方位角和天顶角确定每个点的梯度场，根据梯度场进行目标人脸的三维重建。度场进行目标人脸的三维重建。度场进行目标人脸的三维重建。


技术研发人员：蔡玉栋 李轩 邵晓鹏 宋家伟 刘志强 苏云 王杨云逗 黄彬
受保护的技术使用者：西安电子科技大学杭州研究院
技术研发日：2023.05.18
技术公布日：2023/9/23