一种基于视频人脸自动匹配粤剧化妆的系统及其方法

1.本发明涉及图像处理技术领域，具体涉及一种基于视频人脸自动匹配粤剧化妆的系统及其方法。


背景技术：

2.人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术。其主要是利用摄像机或摄像头采集含有人脸的图像或视频，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别。当前在人脸识别的基础上也衍生出一系列图像、短视频特效嵌入技术。
3.现有脸谱特效嵌入是通过获取不同面部结构的特征点，然后根据面部结构特征点将人脸剖分为多个三角形，建立脸谱的特征点与剖分得到的各三角形的映射关系，用脸谱的像素灰度对人脸各个三角区域进行插值实现脸谱特效嵌入。
4.由于脸谱和每个人脸区域的或大或小，故在由脸谱向人脸贴合平移时过程中，形变位置会对脸谱上非特征区域产生拖拽或者推动，从而导致非特征区域产生的形变，而现有技术中并没有考虑在脸谱特效根据人脸特征点进行贴合的过程中非特征区域的形变，使得在视频图像中的人脸表情多变时，使得脸谱的贴合效果生硬、死板，进而导致脸谱特效不好。


技术实现要素：

5.本发明提供一种基于视频人脸自动匹配粤剧化妆的系统及其方法，以解决现有在视频图像中的人脸表情多变时，使得脸谱的贴合效果生硬、死板，进而导致脸谱特效不好的问题。
6.本发明的一种基于视频人脸自动匹配粤剧化妆的方法采用如下技术方案：获取人脸图像及标准脸谱图像；获取人脸图像及标准脸谱图像对应的边缘图像，并获取边缘图像中每个轮廓曲线对应的脸部器官的质心点，根据质心点得到两个边缘图像融合后的目标边缘图像；将目标边缘图像中每个质心点对应的两个轮廓曲线分为围成区域面积小的第一轮廓曲线和围成区域面积大的第二轮廓曲线，获取每个第一轮廓曲线上每个边缘点的切线及切线的法线；获取法线与第一轮廓曲线的同质心点对应的第二轮廓曲线上的交点；通过相邻法线将目标边缘图像中每个质心点对应的两个轮廓曲线之间的区域分割为多个形变区域，获取形变区域对应的相邻法线、第二轮廓曲线与目标边缘图像的边缘围成的目标区域；根据第二轮廓曲线上相邻两个交点之间边缘点的个数及形变区域的面积，获取在标准脸谱图像向人脸图像贴合过程中对每个目标区域的影响程度；获取在标准脸谱图像向人脸图像贴合过程中受一个或者多个形变区域影响时的影响区域，获取同一第二轮廓曲线上每两个相邻交点对应的法线与预设的基准线的夹角，根据两个夹角获取每个影响区域受到每个形变区域影响时对应的影响程度方向；
根据每个目标区域的影响程度、影响区域与其所在的目标区域的面积获取每个影响区域在其对应的所有影响程度方向上的形变影响程度，根据每个影响区域对应的所有影响程度方向获取影响区域的形变跟随方向；根据影响区域面积及其对应的形变影响程度在影响区域内垂直于形变跟随方向进行像素扩充或者消除，得到每帧视频图像中人脸表情贴合标准脸谱图像的最终视频图像。
7.优选的，获取在标准脸谱图像向人脸图像贴合过程中对每个目标区域的影响程度包括：分别对某个脸部器官的质心点对应的第二轮廓曲线上相邻两个交点之间像素点的个数及形变区域的面积进行归一化，得到归一化的像素点的个数、归一化的形变区域的面积；计算归一化的像素点的个数和归一化的形变区域的面积的第一欧式范数；将第一欧式范数作为在标准脸谱图像向人脸图像贴合过程中每个目标区域的影响程度。
8.优选的，获取影响区域受到形变区域影响时的影响程度方向包括：获取两个相邻交点对应的法线与预设的基准线的夹角的第二欧式范数的中值；当质心点对应的第一轮廓曲线为人脸图像对应的边缘图像中的轮廓曲线时，则将预设角度值减去第二欧式范数的中值得到的角度值作为两个相邻交点对应法线之间的影响区域受到对应的形变区域影响时的影响程度方向；当质心点对应的第一轮廓曲线为标准脸谱图像对应的边缘图像中的轮廓曲线时，则将第二欧式范数的中值得到的角度值作为两个相邻交点对应法线之间的影响区域受到对应的形变区域影响时的影响程度方向。
9.优选的，获取每个影响区域在其对应的所有影响程度方向上的形变影响程度，根据每个影响区域对应的所有影响程度方向获取影响区域的形变跟随方向包括：获取影响区域和其所在的影响程度方向上的每个目标区域的对应的面积比值；获取每个形变区域对每个对应的目标区域的影响程度与对应的面积比值的乘积，将乘积作为每个影响区域在每个影响程度方向上的目标影响程度；计算所有目标影响程度第三欧式范数；根据第三欧式范数得到每个影响区域在所有影响程度方向上的形变影响程度。
10.优选的，将影响区域对应的所有影响程度方向的合力方向作为影响区域的形变跟随方向。
11.优选的，获取在标准脸谱图像向人脸图像贴合过程中受一个或者多个形变区域影响时的影响区域包括：当影响区域受一个形变区域影响时，影响区域为其所在的目标区域；当影响区域受多个形变区域影响时，影响区域为多个形变区域对应的法线所围成的区域。
12.优选的，得到两个边缘图像融合后的目标边缘图像包括：对标准脸谱图像和人脸图像对应的边缘图像中的脸部器官制作标签，其中，位置及名称均相同的脸部器官对应的标签相同；
将其中一个边缘图像进行平移至另一个边缘图像，平移时相同标签对应的脸部器官的质心点重合，得到平移后的目标图像；将目标图像的最大边缘调整为人脸图像的最大边缘得到两个边缘图像融合后的目标边缘图像。
13.优选的，当质心点对应的第一轮廓曲线为人脸图像对应的边缘图像中的轮廓曲线时，根据影响区域面积及其对应的形变影响程度在影响区域内，且垂直于形变跟随方向进行像素扩充；当质心点对应的第一轮廓曲线为标准脸谱图像对应的边缘图像中的轮廓曲线时，根据影响区域面积及其对应的形变影响程度在影响区域内，且垂直于形变跟随方向进行像素消除。
14.优选的，根据影响区域面积及形变影响程度获取扩充或者消除的像素数量，根据扩充的像素数量对影响区域内垂直于形变跟随方向进行像素扩充，或者根据消除的像素数量对影响区域内垂直于形变跟随方向进行像素消除。
15.一种基于视频人脸自动匹配粤剧化妆的系统，包括：图像采集模块，用于获取人脸图像及标准脸谱图像；图像处理模块，用于获取人脸图像及标准脸谱图像对应的边缘图像，并获取边缘图像中每个轮廓曲线对应的脸部器官的质心点，根据质心点得到两个边缘图像融合后的目标边缘图像；第一参数计算模块，用于将目标边缘图像中每个质心点对应的两个轮廓曲线分为围成区域面积小的第一轮廓曲线和围成区域面积大的第二轮廓曲线，获取每个第一轮廓曲线上每个边缘点的切线及切线的法线；获取法线与第一轮廓曲线的同质心点对应的第二轮廓曲线上的交点；用于通过相邻法线将目标边缘图像中每个质心点对应的两个轮廓曲线之间的区域分割为多个形变区域，获取形变区域对应的相邻法线、第二轮廓曲线与目标边缘图像的边缘围成的目标区域；根据第二轮廓曲线上相邻两个交点之间边缘点的个数及形变区域的面积，获取在标准脸谱图像向人脸图像贴合过程中对每个目标区域的影响程度；第二参数计算模块，用于获取在标准脸谱图像向人脸图像贴合过程中受一个或者多个形变区域影响时的影响区域，获取同一第二轮廓曲线上每两个相邻交点对应的法线与预设的基准线的夹角，根据两个夹角获取每个影响区域受到每个形变区域影响时对应的影响程度方向；第三参数计算模块，用于根据每个目标区域的影响程度、影响区域与其所在的目标区域的面积获取每个影响区域在其对应的所有影响程度方向上的形变影响程度，根据每个影响区域对应的所有影响程度方向获取影响区域的形变跟随方向；脸谱调整模块，用于根据影响区域面积及其对应的形变影响程度在影响区域内垂直于形变跟随方向进行像素扩充或者消除，得到每帧视频图像中人脸表情贴合标准脸谱图像的最终视频图像。
16.本发明的一种基于视频人脸自动匹配粤剧化妆的系统及其方法的有益效果是：通过将人脸图像及标准脸谱图像对应的边缘图像重合得到两个边缘图像融合后的目标边缘图像，实现将两个边缘图像放置在同一个图像内，方便标准脸谱图像的轮廓曲线向人脸图像对应的轮廓曲线平移，然后，在目标边缘图像中获取每个脸部器官对应第一轮廓曲线的边缘点的切线及切线的法线，获取标准脸谱图像向人脸图像贴合时的形变区域
及脸谱受一个或者多个形变区域影响时的影响区域，获取影响区域的目的是为了得到每个影响区域受到形变影响的形变区域的个数，从而方便后续精确计算每个影响区域受到形变影响程度，然后基于形变区域的面积及相邻法线对应的交点之间边缘点的数量来获取每个目标区域的影响程度，根据每个影响区域对应的所有目标区域的影响程度，由于影响区域的面积越大，且影响区域所在目标区域的面积越小越反映其受到的影响程度越大，故结合影响区域与每个目标区域的面积来综合获取每个影响区域在其对应的所有影响程度方向上的形变影响程度，根据每个影响区域对应的所有影响程度方向获取影响区域的形变跟随方向，基于形变影响程度、形变跟随方向、每个影响区域的面积实现对每个影响区域在受到形变影响时的进行像素扩充或者消除，从而得到每帧视频图像中人脸表情贴合标准脸谱图像的最终视频图像，通过像素扩充或者消除，使得脸谱在贴合人脸过程中形变区域改变时，影响区域也能跟随改变，从而极大提高脸谱与面部的贴合程度，并在人脸表情变化时，脸谱也可以实时跟随人脸进行变形，使脸谱的嵌入效果更为自然、生动，从而提高了脸谱贴合效果。
附图说明
17.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明的一种基于视频人脸自动匹配粤剧化妆的方法的实施例的流程图；图2为本发明的一种基于视频人脸自动匹配粤剧化妆的方法的实施例中目标边缘图像的示意图；图3为本发明的一种基于视频人脸自动匹配粤剧化妆的方法的实施例中对影响区域进行像素扩充时的示意图。
具体实施方式
19.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.本发明的一种基于视频人脸自动匹配粤剧化妆的方法的实施例，如图1所示，本实施包括：s1、获取人脸图像及标准脸谱图像；具体的，将视频影像转化为连续的静态帧图像，在静态帧图像中进行人脸检测；具体的，人脸检测时，首先然后将静态帧图像从rgb转换为灰度，因为在灰度中更容易检测人脸；然后利用图像处理对图像进行调整大小、裁剪、模糊和锐化；通过图像分割技术用于轮廓检测或分割单个图像中的多个对象，以便分类器可以快速检测到图片中的对象和人脸。即本实施例中采用使用哈尔特征（haar-like特征）算法，所有的人脸都具有人脸的一些普遍特性，例如眼睛区域比其相邻像素更暗，鼻子区域比眼睛区域更亮的图像特征；故每一个
哈尔特征（haar-like特征）都使用分类回归树（cart的二分类决策树）判别区域是否为人脸或者非人脸，从而实现提取静态帧图像中的人脸区域对应的人脸图像。
21.其中，获取标准连图图像包括：从人脸数据库获取标准人脸图像，按照标准人脸图像设计粤剧妆容的标准脸谱图像，其中，人脸数据库采用feret的人脸数据库，feret表示人脸识别技术，本实施例不再赘述。
22.s2、获取目标边缘图像；具体的，获取人脸图像及标准脸谱图像对应的边缘图像，并获取边缘图像中每个脸部器官的质心点，根据质心点将两个边缘图像重合得到两个边缘图像融合后的目标边缘图像。
23.其中，分别对人脸图像及标准脸谱图像进行边缘检测得到人脸图像及标准脸谱图像对应的边缘图像，检测得到的边缘图像中包括了人脸或者脸谱上的五官的轮廓曲线，其中，质心点公式为公知算法，本实施例不再赘述。
24.其中，得到两个边缘图像融合后的目标边缘图像包括：对标准脸谱图像和人脸图像对应的边缘图像中的脸部器官制作标签，其中，位置及名称均相同的脸部器官对应的标签相同，例如标签为：左眼、右眼、鼻子、嘴巴、左眉毛、右眉毛；将其中一个边缘图像进行平移至另一个边缘图像，平移时相同标签对应的脸部器官的质心点重合，即平移时，两个边缘图像中的左眼标签与左眼标签对应，右眼标签与右眼标签对应，鼻子标签与鼻子标签对应，嘴巴标签与嘴巴标签对应，左眉毛标签与左眉毛标签对应，右眉毛标签与右眉毛标签对应，然后使得对应标签所对应的脸部器官的质心点重合，从而得到平移后的目标图像；由于本发明需要给人脸匹配脸谱，即需要将脸谱调整到人脸大小，故将目标图像的最大边缘调整为人脸图像的最大边缘得到两个边缘图像融合后的目标边缘图像，在目标图像的最大边缘调整为人脸图像的最大边缘时，通过旋转、拉伸、放大缩小的常规手段实现。
25.其次，为了方便后续计算，对边缘图像进行闭合边缘的提取，以获取眉毛、眼睛、鼻子、嘴巴的轮廓曲线，利用阈值或者facenet（人脸识别）神经网络实现面部器官的边缘分割，阈值或者facenet神经网络的技术均为现有技术本实施例不再赘述。
26.s3、获取在标准脸谱图像向人脸图像贴合过程中每个目标区域的影响程度；基于s2步骤，得到了在目标边缘图像中每个质心点对应两个轮廓曲线，且两个轮廓曲线中的一个轮廓曲线为标准脸谱图像的边缘图像中的轮廓曲线，另一个轮廓曲线为人脸图像的边缘图像中的轮廓曲线，由于要使得脸谱贴合人脸，那么在贴合过程中必然会出现标准脸谱图像的边缘图像中的轮廓曲线向对应的人脸图像的边缘图像中的轮廓曲线的平移时的过程，然而在每个器官的轮廓曲线平移时，会存在人脸图像对应的轮廓曲线围成的面积比标准脸谱图像对应的器官的轮廓曲线的围成的面积大或者小，而平移时过程是从脸谱图相对应的轮廓曲线到人脸图像对应的轮廓曲线，故无论如何平移时，平移时过程都会对脸谱图像的其他非五官区域存在形变影响，即会对脸谱图像进行拖拽或者推动导致形变，该形变影响由点放大至整个脸谱图像的平面，因此我们需要根据人脸图像和标准脸谱图像对应的脸部器官的轮廓曲线的平移时关系，确定不同边缘点的形变时的影响程度，以便于基于影响程度对后续的脸谱平移时进行修正。
27.具体的，本实施例先将目标边缘图像中每个质心点对应的两个轮廓曲线分为围成区域面积小的第一轮廓曲线和围成区域面积大的第二轮廓曲线，获取每个第一轮廓曲线上
每个边缘点的切线及切线的法线；获取法线与第一轮廓曲线的同质心点对应的第二轮廓曲线上的交点；通过相邻法线将目标边缘图像中每个质心点对应的两个轮廓曲线之间的区域分割为多个形变区域，获取形变区域对应的相邻法线、第二轮廓曲线与目标边缘图像的边缘围成的目标区域；根据轮廓曲线上相邻两个交点之间边缘点的个数及形变区域的面积，获取在标准脸谱图像向人脸图像贴合过程中对每个目标区域的影响程度。
28.其中，不管是人脸图像与标准脸谱图像对应的器官的轮廓曲线的围成的面积哪个大或者哪个小，本实施例均以每个质心点对应的两个轮廓曲线中所围成区域面积小的轮廓曲线作为第一轮廓曲线。
29.其中，获取在标准脸谱图像向人脸图像贴合过程中对每个目标区域的影响程度包括：分别对第二轮廓曲线上相邻两个交点之间像素点的个数及形变区域的面积进行归一化，具体的，利用双曲正切函数对第二轮廓曲线上相邻两个交点之间像素点的个数及形变区域的面积进行归一化得到归一化的像素点的个数、归一化的形变区域的面积；计算归一化的像素点的个数和归一化的形变区域的面积的第一欧式范数；将第一欧式范数作为在标准脸谱图像向人脸图像贴合过程中每个目标区域的影响程度，其中，影响程度计算公式为：式中，表示在标准脸谱图像向人脸图像贴合过程中，其中一个脸部器官的质心点对应的第二轮廓曲线上的交点与交点对应的法线与两个轮廓曲线围成的形变区域，对交点与交点对应的法线与交点所在第二轮廓曲线与目标边缘图像的边缘围成的目标区域的影响程度；表示轮廓曲线上的相邻的交点与交点之间的边缘点的数量；表示其中一个质心点对应的第二轮廓曲线上的交点与交点对应的法线与两个轮廓曲线围成的形变区域；表示双曲正切函数，目的是为了进行归一化；表示求欧式范数；表示经过第二轮廓曲线上的交点的法线；表示经过第二轮廓曲线上的交点+1的法线；需要说明的是，当人脸图像的脸部器官的轮廓曲线围成的面积小于标准脸谱图像对应的脸部器官的轮廓曲线围成的面积时，在人脸图像的脸部器官的轮廓曲线向标准脸谱图像对应的脸部器官的轮廓曲线平移过程中，会丢失标准脸谱图像对应的脸部器官的边缘以及间隔部分的像素点，当人脸图像的脸部器官的轮廓曲线围成的面积大于标准脸谱图像对应的脸部器官的轮廓曲线围成的面积时，在人脸图像的脸部器官的轮廓曲线向标准脸谱图像对应的脸部器官的轮廓曲线平移过程中，会推动标准脸谱图像对应的脸部器官的边缘，使得脸部器官的边缘要增大，故在边缘要增大时需要在标准脸谱图像对应的脸部器官
的边缘上填补两相邻节点间隔部分的像素点，基于此，本实施例利用交点之间的边缘像素点个数、形变区域的面积，构建影响程度的计算公式，其次，轮廓曲线上两个节点之间的边缘点的数量越多，法线与两个轮廓曲线之间形成形变区域的面积越大，则人脸图像的脸部器官的轮廓曲线向标准脸谱图像对应的脸部器官的轮廓曲线平移过程的变形越剧烈，因此，本实施例利用双曲正切函数th将、进行归一化，并计算欧式范数，即欧式范数为，得到第二轮廓曲线上相邻的交点与交点对应的法线方向平移时，两条法线与两个轮廓曲线围成的形变区域，对两条法线与第二轮廓曲线及目标边缘图像的边缘所围成的目标区域产生的影响程度。
30.其中，如图2所示，本实施例以人脸图像的脸部器官的轮廓曲线围成的面积小于标准脸谱图像对应的脸部器官的轮廓曲线围成的面积时为例，即图2中，b轮廓为人脸图像的脸部器官的轮廓曲线，而a轮廓为标准脸谱图像对应的脸部器官的轮廓曲线，即每个对应器官的a轮廓围成的区域面积大于b轮廓围成的区域面积，此时，b轮廓对应的轮廓曲线即为第一轮廓曲线，在标准脸谱图像向人脸图像贴合过程中，即，a轮廓向b轮廓对应的轮廓曲线的平移时，会丢失a轮廓对应的轮廓曲线上的相邻交点之间的边缘点，本实施例中将b轮廓对应的轮廓曲线上的边缘点的切线上的法线与a轮廓对应的轮廓曲线上的交点记为形变点，即两个形变点之间丢失的边缘点越多对标准脸谱的其他非五官区域的影响越剧烈，导致脸谱严重变形，因此a轮廓上相邻形变点之间间隔的边缘像素点越多，则在该方向发生平移时，将脸谱上其他非五官区域向内拖拽的形变影响越剧烈，且当a轮廓、b轮廓及某两条法线之间围成的形变区域的面积越大时，则对其他非五官区域的形变影响也会越剧烈，将过每两个节点的法线与a轮廓对应的轮廓曲线及目标边缘图像的边缘构成的区域记为目标区域，目标边缘图像的边缘指的是目标边缘图像的最大边缘，本实施例将目标区域作为其他非五官区域，故，根据影响程度计算公式计算在标准脸谱图像向人脸图像贴合过程中每个形变区域对其对应的目标区域的影响程度，在a轮廓对应的轮廓曲线上的节点需要沿着法线方向移动至对应的b轮廓对应的轮廓曲线的边缘点处，该过程会使得a轮廓对应的轮廓曲线向法线方向拖拽脸谱图像上对应的目标区域，使得目标区域增大，故需要为目标区域增大的部分填充像素点，同理，在a轮廓为人脸图像的脸部器官的轮廓曲线，而b轮廓为标准脸谱图像对应的脸部器官的轮廓曲线时，节点在a轮廓对应的轮廓曲线上，唯一不同的是标准脸谱图像向人脸图像贴合过程中，标准脸谱图像对应的脸部器官的轮廓曲线需要调整到人脸图像对应的脸部器官的轮廓曲线大小，故在图2中，b轮廓对应的轮廓曲线上的边缘点需要沿着法线方向移动至对应的节点处，使得b轮廓对应的轮廓曲线向法线方向推动脸谱图像上的目标区域，即目标区域需要缩小，故需要通过消除目标区域的像素点达到标准脸谱贴合人脸的过程。
31.s4、获取每个影响区域受到对应的形变区域影响时的影响程度方向；具体的，获取在标准脸谱图像向人脸图像贴合过程中受一个或者多个形变区域影响时的影响区域，获取同一第二轮廓曲线上每两个相邻交点对应的法线与预设的基准线的夹角，根据两个夹角获取每个影响区域受到对应的形变区域影响时的影响程度方向。
32.其中，获取受形变区域影响的影响区域包括：当影响区域受一个形变区域影响时，
由于影响区域只受一个形变区域影响，故形变区域对应的目标区域中每个位置所受的影响都是相同的，故此时将目标区域作为影响区域；当影响区域受多个形变区域影响时，由于不同形变区域对影响区域的影响不同，需要对多个形变区域对应的法线所围成的区域进行影响分析，故将多个形变区域对应的法线所围成的区域作为影响区域。
33.其中，本实施例，在目标边缘图像上建立直角坐标系，同时将直角坐标系的横坐标方向作为基准线，然后获取同一第二轮廓曲线上每两个相邻交点对应的法线与预设的基准线的夹角，然后在根据两个夹角获取每个影响区域受到每个形变区域影响时对应的影响程度方向，具体的， 获取两个相邻交点对应的法线与预设的基准线的夹角的第二欧式范数的中值；当质心点对应的第一轮廓曲线为人脸图像对应的边缘图像中的轮廓曲线时，则预设角度值取180
°
，将180
°
减去第二欧式范数的中值得到的角度值作为两个相邻交点对应法线之间的影响区域受到对应的形变区域影响时的影响程度方向；当质心点对应的第一轮廓曲线为标准脸谱图像对应的边缘图像中的轮廓曲线时，则将第二欧式范数的中值得到的角度值作为两个相邻交点对应法线之间的影响区域受到对应的形变区域影响时的影响程度方向，即在目标区域作为影响区域时，其只受一个形变区域的影响，故其仅有一个影响程度方向，在目标区域为多个形变区域对应的法线所围成的区域时，其受到多个形变区域的影响，故其对应有多个影响程度方向。
34.其中，当质心点对应的第一轮廓曲线为人脸图像对应的边缘图像中的轮廓曲线时，影响程度方向计算公式为：当质心点对应的第一轮廓曲线为标准脸谱图像对应的边缘图像中的轮廓曲线时，影响程度方向计算公式为：式中，表示第个脸部器官的质心点对应的第一轮廓曲线为人脸图像对应的边缘图像中的轮廓曲线时的影响程度方向；表示第个脸部器官的质心点对应的第一轮廓曲线为标准脸谱图像对应的边缘图像中的轮廓曲线时的影响程度方向；表示经过第二轮廓曲线上的交点的法线；表示经过第二轮廓曲线上的交点+1的法线；表示经过第二轮廓曲线上的交点的法线与基准线的夹角；表示经过第二轮廓曲线上的交点的法线与基准线的夹角；
表示第个脸部器官对应的两条轮廓曲线中，经过第二轮廓曲线上的交点的法线与基准线的夹角，与经过第二轮廓曲线上的交点的法线与基准线的夹角的第二欧式范数；表示第个脸部器官对应的两条轮廓曲线中，经过轮廓曲线上的交点的法线与基准线的夹角，与经过轮廓曲线上的交点的法线与基准线的夹角的第二欧式范数取中值；需要说明的是，通过第二欧式范数的中值，来表征两条法线在标准脸谱图像上形成的目标区域在标准脸谱图像向人脸图像贴合过程中的趋势方向，即平移时过程中拖拽标准脸谱图像或者推动时的标准脸谱图像的目标区域受到的影响程度方向，以此来表征质心点对应的第一轮廓曲线为标准脸谱图像对应的边缘图像中的轮廓曲线时，对应的边缘图像中的轮廓曲线时的影响程度方向，当质心点对应的第一轮廓曲线为人脸图像对应的边缘图像中的轮廓曲线时，与当质心点对应的第一轮廓曲线为标准脸谱图像对应的边缘图像中的轮廓曲线时对应的影响程度方向正好相反，故，当质心点对应的第一轮廓曲线为人脸图像对应的边缘图像中的轮廓曲线时，通过180
°
减去第二欧式范数的中值得到角度值作为两个相邻交点对应法线之间的影响区域受到对应的形变区域影响时的影响程度方向。
35.s5、获取每个影响区域在所有影响程度方向上的形变影响程度及形变跟随方向；具体的，根据影响区域对应的所有质心点对应的两个轮廓曲线的形变区域对目标区域的影响程度、影响区域与每个目标区域的面积比值获取每个影响区域在所有影响程度方向上的形变影响程度，根据每个影响区域对应的所有影响程度方向获取影响区域的形变跟随方向。
36.在s4步骤中，获取了两条法线之间的影响区域受到对应的形变区域影响时的影响程度方向，由于目标区域有多个影响区域，每个影响区域并不是由一个脸部器官对应的第一轮廓曲线上的两条法线所构成，故对于目标区域中的每个影响区域其会受到多个影响程度方向的形变影响，即在标准脸谱图像向人脸图像贴合过程中，不是一个脸部器官对应的轮廓曲线需要平移时，故目标区域的影响区域会受到多个影响程度方向的拖拽、推动，故，为了计算影响区域在每个影响程度方向上分担的目标影响程度，本实施例中将“影响区域在每个影响程度方向上分担的目标影响程度”作为一个向量值，基于此，获取影响区域在所有影响程度方向上的形变影响程度及每个影响区域的形变跟随方向包括：获取影响区域和其所在的影响程度方向上的每个目标区域的对应的面积比值；获取每个形变区域对每个对应的目标区域的影响程度与对应的面积比值的乘积，将乘积作为每个影响区域在每个影响程度方向上的目标影响程度；计算所有目标影响程度第三欧式范数；根据第三欧式范数得到每个影响区域在所有影响程度方向上的形变影响程度，形变影响程度的计算公式为：
式中，表示第个影响区域在其对应的所有影响程度方向上的形变影响程度；表示在标准脸谱图像向人脸图像贴合过程中，第个脸部器官的质心点对应的两个轮廓曲线中的第二轮廓曲线上的交点与交点对应的法线与两个轮廓曲线围成的形变区域，对交点与交点对应的法线与交点所在的第二轮廓曲线与目标边缘图像的边缘围成的目标区域的影响程度；代表第个影响区域的面积；表示交点与交点所在的法线与第二轮廓曲线与目标边缘图像的边缘构成的目标区域的面积；表示求欧式范数；表示构成第个影响区域的所有法线对应的脸部器官的总数，即影响第个影响区域对应的所有形变区域的总数；需要说明的是，在每个目标区域中的影响区域受每两个节点对应的形变区域影响时，是需要两个节点所在的法线之间的目标区域共同承担，因此，根据影响区域及影响区域所在的目标区域内的面积比值作为权重，即来表示在目标区域对应的影响程度中的每个影响区域所占的权重，然后对每个影响区域在所有对应的目标区域的影响程度进行加权并求范数，得到该影响区域在所有影响程度方向上承担的形变影响程度，即以表征第个影响区域在对应的目标区域中所分担的影响程度，以来表征第个影响区域在影响程度方向时所分担的目标影响程度，即中的向量符号用来表示影响程度方向，故将构成第个影响区域的所有对应的影响程度方向时所分担的目标影响程度获取影响区域在所有影响程度方向上的形变影响程度，即通过表征第个影响区域在所有影响程度方向上的形变影响程度。
37.由于，计算影响区域在所有影响程度方向上的形变影响程度时，利用了影响程度方向，而影响程度方向在公式中表示了向量，影响程度方向为s4步骤中得到的或者，其中，质心点对应的第一轮廓曲线为标准脸谱图像对应的边缘图像中的轮廓曲线时的影响程度方向为，质心点对应的第一轮廓曲线为人脸图像对应的边缘图像中的轮廓曲线时的影响程度方向为，故根据每个影响区域对应的所有影响程度方向获取影响区域的形变跟随方向，即将每个影响区域对应的所有影响程度方向的合方向作为影响区域的形变跟随方
向，所有影响程度方向的合方向即为所有影响程度方向的矢量和对应的方向，本实施例中以表示第个影响区域的形变跟随方向。
38.s6、获取每帧视频图像中的人脸表情贴合标准脸谱图像的最终视频图像；具体的，根据影响区域面积及其对应的形变影响程度在影响区域内垂直于形变跟随方向进行像素扩充或者消除，得到每帧视频图像中人脸表情贴合标准脸谱图像的最终视频图像。
39.其中，当质心点对应的第一轮廓曲线为人脸图像对应的边缘图像中的轮廓曲线时，根据影响区域面积及其对应的形变影响程度在影响区域内垂直于形变跟随方向进行像素扩充；当质心点对应的第一轮廓曲线为标准脸谱图像对应的边缘图像中的轮廓曲线时，根据影响区域面积及其对应的形变影响程度在影响区域内垂直于形变跟随方向进行像素消除，具体的，根据影响区域面积及形变影响程度获取扩充或者消除的像素数量，根据扩充或者消除的像素数量对影响区域内垂直于形变跟随方向进行像素扩充或者消除；以第个影响区域为例，在第个影响区域向形变跟随方向方向进行形变跟随，即第个影响区域是向该形变跟随方向拉伸，拉伸程度为以上计算的形变影响程度，具体的，在进行像素扩充或者像素消除时，当质心点对应的第一轮廓曲线为人脸图像对应的边缘图像中的轮廓曲线时，以图2为例，在a轮廓对应的轮廓曲线上的节点需要沿着法线方向移动至对应的b轮廓对应的轮廓曲线的边缘点处，该过程会使得a轮廓对应的轮廓曲线向法线方向拖拽脸谱图像上对应的目标区域，使得目标区域增大，故需要为目标区域增大的部分填充像素点，故本实施例在第个影响区域内垂直于方向进行像素格扩充，扩充数量为，取值若存在小数则向下取整，扩充位置只要垂直于方向即可，代表第个影响区域的面积，表示第个影响区域在其对应的所有影响程度方向上的形变影响程度，具体扩充像素如图3所示，本实施例利用最近邻插值法对扩充像素格进行插值填充，最近邻插值法为公知技术，不再赘述，当质心点对应的第一轮廓曲线为标准脸谱图像对应的边缘图像中的轮廓曲线时，b轮廓对应的轮廓曲线上的边缘点需要沿着法线方向移动至对应的节点处，使得b轮廓对应的轮廓曲线向法线方向推动脸谱图像上的目标区域，即目标区域需要缩小，故需要通过消除目标区域的像素点达到标准脸谱贴合人脸的过程，故在影响区域形变跟随方向的垂直方向进行像素消值，即去除数量的像素点个数即可。
40.需要说明的是，在插值、消值后的影响区域发生形变，因此影响区域之间必然存在块效应，但由于每个影响区域内的像素信息较少，且形变程度由所有影响区域共同分担，每个影响区域的形变程度极小，因此对于块效应利用均值滤波对图像进行平滑，即可进行消除，从而保证图像的质量。
41.本发明的一种基于视频人脸自动匹配粤剧化妆的系统，包括：图像采集模块、图像处理模块、第一参数计算模块、第二参数计算模块、第三参数计算模块及脸谱调整模块。具体的，图像采集模块用于获取人脸图像及标准脸谱图像；图像处理模块用于获取人脸图像及标准脸谱图像对应的边缘图像，并获取边缘图像中每个轮廓曲线对应的脸部器官的质心点，根据质心点得到两个边缘图像融合后的目标边缘图像；第一参数计算模块用于将目标边缘图像中每个质心点对应的两个轮廓曲线分为围成区域面积小的第一轮廓曲线和围成区域面积大的第二轮廓曲线，获取每个第一轮廓曲线上每个边缘点的切线及切线的法线；
获取法线与第一轮廓曲线的同质心点对应的第二轮廓曲线上的交点；用于通过相邻法线将目标边缘图像中每个质心点对应的两个轮廓曲线之间的区域分割为多个形变区域，获取形变区域对应的相邻法线、第二轮廓曲线与目标边缘图像的边缘围成的目标区域；根据第二轮廓曲线上相邻两个交点之间边缘点的个数及形变区域的面积，获取在标准脸谱图像向人脸图像贴合过程中对每个目标区域的影响程度；第二参数计算模块用于获取在标准脸谱图像向人脸图像贴合过程中受一个或者多个形变区域影响时的影响区域，获取同一第二轮廓曲线上每两个相邻交点对应的法线与预设的基准线的夹角，根据两个夹角获取每个影响区域受到每个形变区域影响时对应的影响程度方向；第三参数计算模块用于根据每个目标区域的影响程度、影响区域与其所在的目标区域的面积获取每个影响区域在其对应的所有影响程度方向上的形变影响程度，根据每个影响区域对应的所有影响程度方向获取影响区域的形变跟随方向；脸谱调整模块用于根据影响区域面积及其对应的形变影响程度在影响区域内垂直于形变跟随方向进行像素扩充或者消除，得到每帧视频图像中人脸表情贴合标准脸谱图像的最终视频图像。
42.本发明的一种基于视频人脸自动匹配粤剧化妆的系统及其方法，通过将人脸图像及标准脸谱图像对应的边缘图像重合得到两个边缘图像融合后的目标边缘图像，实现将两个边缘图像放置在同一个图像内，方便标准脸谱图像的轮廓曲线向人脸图像对应的轮廓曲线平移，然后，在目标边缘图像中获取每个脸部器官对应第一轮廓曲线的边缘点的切线及切线的法线，获取标准脸谱图像向人脸图像贴合时的形变区域，及脸谱受一个或者多个形变区域影响时的影响区域，然后基于形变区域的面积及相邻法线对应的交点之间边缘点的数量来获取每个目标区域的影响程度，根据每个影响区域对应的所有目标区域的影响程度并结合影响区域与每个目标区域的面积比值来综合获取每个影响区域在其对应的所有影响程度方向上的形变影响程度，根据每个影响区域对应的所有影响程度方向获取影响区域的形变跟随方向，基于形变影响程度、形变跟随方向、每个影响区域的面积实现对每个影响区域在受到形变影响时的进行像素扩充或者消除，从而得到每帧视频图像中人脸表情贴合标准脸谱图像的最终视频图像，通过像素扩充或者消除，使得脸谱在贴合人脸过程中形变区域改变时，影响区域也能跟随改变，从而极大提高脸谱与面部的贴合程度，并在人脸表情变化时，脸谱也可以实时跟随人脸进行变形，使脸谱的嵌入效果更为自然、生动，从而提高了脸谱贴合效果。
43.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于视频人脸自动匹配粤剧化妆的方法，其特征在于，包括：获取人脸图像及标准脸谱图像；获取人脸图像及标准脸谱图像对应的边缘图像，并获取边缘图像中每个轮廓曲线对应的脸部器官的质心点，根据质心点得到两个边缘图像融合后的目标边缘图像；将目标边缘图像中每个质心点对应的两个轮廓曲线分为围成区域面积小的第一轮廓曲线和围成区域面积大的第二轮廓曲线，获取每个第一轮廓曲线上每个边缘点的切线及切线的法线；获取法线与第一轮廓曲线的同质心点对应的第二轮廓曲线上的交点；通过相邻法线将目标边缘图像中每个质心点对应的两个轮廓曲线之间的区域分割为多个形变区域，获取形变区域对应的相邻法线、第二轮廓曲线与目标边缘图像的边缘围成的目标区域；根据第二轮廓曲线上相邻两个交点之间边缘点的个数及形变区域的面积，获取在标准脸谱图像向人脸图像贴合过程中对每个目标区域的影响程度；获取在标准脸谱图像向人脸图像贴合过程中受一个或者多个形变区域影响时的影响区域，获取同一第二轮廓曲线上每两个相邻交点对应的法线与预设的基准线的夹角，根据两个夹角获取每个影响区域受到每个形变区域影响时对应的影响程度方向；根据每个目标区域的影响程度、影响区域与其所在的目标区域的面积获取每个影响区域在其对应的所有影响程度方向上的形变影响程度，根据每个影响区域对应的所有影响程度方向获取影响区域的形变跟随方向；根据影响区域面积及其对应的形变影响程度在影响区域内垂直于形变跟随方向进行像素扩充或者消除，得到每帧视频图像中人脸表情贴合标准脸谱图像的最终视频图像。2.根据权利要求1所述的一种基于视频人脸自动匹配粤剧化妆的方法，其特征在于，获取在标准脸谱图像向人脸图像贴合过程中对每个目标区域的影响程度包括：分别对某个脸部器官的质心点对应的第二轮廓曲线上相邻两个交点之间像素点的个数及形变区域的面积进行归一化，得到归一化的像素点的个数、归一化的形变区域的面积；计算归一化的像素点的个数和归一化的形变区域的面积的第一欧式范数；将第一欧式范数作为在标准脸谱图像向人脸图像贴合过程中每个目标区域的影响程度。3.根据权利要求1所述的一种基于视频人脸自动匹配粤剧化妆的方法，其特征在于，获取每个影响区域受到每个形变区域影响时对应的影响程度方向包括：获取两个相邻交点对应的法线与预设的基准线的夹角的第二欧式范数的中值；当质心点对应的第一轮廓曲线为人脸图像对应的边缘图像中的轮廓曲线时，则将预设角度值减去第二欧式范数的中值得到的角度值作为两个相邻交点对应法线之间的影响区域受到对应的形变区域影响时的影响程度方向；当质心点对应的第一轮廓曲线为标准脸谱图像对应的边缘图像中的轮廓曲线时，则将第二欧式范数的中值得到的角度值作为两个相邻交点对应法线之间的影响区域受到对应的形变区域影响时的影响程度方向。4.根据权利要求1所述的一种基于视频人脸自动匹配粤剧化妆的方法，其特征在于，获取每个影响区域在其对应的所有影响程度方向上的形变影响程度包括：获取影响区域和其所在的影响程度方向上的每个目标区域的对应的面积比值；获取每个形变区域对每个对应的目标区域的影响程度与对应的面积比值的乘积，将乘
积作为每个影响区域在每个影响程度方向上的目标影响程度；计算所有目标影响程度第三欧式范数；根据第三欧式范数得到每个影响区域在所有影响程度方向上的形变影响程度。5.根据权利要求1所述的一种基于视频人脸自动匹配粤剧化妆的方法，其特征在于，将影响区域对应的所有影响程度方向的合方向作为影响区域的形变跟随方向。6.根据权利要求1所述的一种基于视频人脸自动匹配粤剧化妆的方法，其特征在于，获取在标准脸谱图像向人脸图像贴合过程中受一个或者多个形变区域影响时的影响区域包括：当影响区域受一个形变区域影响时，影响区域为其所在的目标区域；当影响区域受多个形变区域影响时，影响区域为多个形变区域对应的法线所围成的区域。7.根据权利要求1所述的一种基于视频人脸自动匹配粤剧化妆的方法，其特征在于，得到两个边缘图像融合后的目标边缘图像包括：对标准脸谱图像和人脸图像对应的边缘图像中的脸部器官制作标签，其中，位置及名称均相同的脸部器官对应的标签相同；将其中一个边缘图像进行平移至另一个边缘图像，平移时相同标签对应的脸部器官的质心点重合，得到平移后的目标图像；将目标图像的最大边缘调整为人脸图像的最大边缘得到两个边缘图像融合后的目标边缘图像。8.根据权利要求1所述的一种基于视频人脸自动匹配粤剧化妆的方法，其特征在于，当质心点对应的第一轮廓曲线为人脸图像对应的边缘图像中的轮廓曲线时，根据影响区域面积及其对应的形变影响程度在影响区域内，且垂直于形变跟随方向进行像素扩充；当质心点对应的第一轮廓曲线为标准脸谱图像对应的边缘图像中的轮廓曲线时，根据影响区域面积及其对应的形变影响程度在影响区域内，且垂直于形变跟随方向进行像素消除。9.根据权利要求1所述的一种基于视频人脸自动匹配粤剧化妆的方法，其特征在于，根据影响区域面积及形变影响程度获取扩充或者消除的像素数量，根据扩充的像素数量对影响区域内垂直于形变跟随方向进行像素扩充，或者根据消除的像素数量对影响区域内垂直于形变跟随方向进行像素消除。10.一种基于视频人脸自动匹配粤剧化妆的系统，其特征在于，包括：图像采集模块，用于获取人脸图像及标准脸谱图像；图像处理模块，用于获取人脸图像及标准脸谱图像对应的边缘图像，并获取边缘图像中每个轮廓曲线对应的脸部器官的质心点，根据质心点得到两个边缘图像融合后的目标边缘图像；第一参数计算模块，用于将目标边缘图像中每个质心点对应的两个轮廓曲线分为围成区域面积小的第一轮廓曲线和围成区域面积大的第二轮廓曲线，获取每个第一轮廓曲线上每个边缘点的切线及切线的法线；获取法线与第一轮廓曲线的同质心点对应的第二轮廓曲线上的交点；用于通过相邻法线将目标边缘图像中每个质心点对应的两个轮廓曲线之间的区域分割为多个形变区域，获取形变区域对应的相邻法线、第二轮廓曲线与目标边缘图像的边缘围成的目标区域；根据第二轮廓曲线上相邻两个交点之间边缘点的个数及形变区域
的面积，获取在标准脸谱图像向人脸图像贴合过程中对每个目标区域的影响程度；第二参数计算模块，用于获取在标准脸谱图像向人脸图像贴合过程中受一个或者多个形变区域影响时的影响区域，获取同一第二轮廓曲线上每两个相邻交点对应的法线与预设的基准线的夹角，根据两个夹角获取每个影响区域受到每个形变区域影响时对应的影响程度方向；第三参数计算模块，用于根据每个目标区域的影响程度、影响区域与其所在的目标区域的面积获取每个影响区域在其对应的所有影响程度方向上的形变影响程度，根据每个影响区域对应的所有影响程度方向获取影响区域的形变跟随方向；脸谱调整模块，用于根据影响区域面积及其对应的形变影响程度在影响区域内垂直于形变跟随方向进行像素扩充或者消除，得到每帧视频图像中人脸表情贴合标准脸谱图像的最终视频图像。

技术总结
本发明涉及图像处理技术领域，具体涉及一种基于视频人脸自动匹配粤剧化妆的系统及其方法，该方法包括：获取人脸图像及标准脸谱图像，获取目标边缘图像，获取在标准脸谱图像向人脸图像贴合过程中每个目标区域的影响程度，获取每个影响区域受到每个形变区域影响时对应的影响程度方向，获取每个影响区域在其对应的所有影响程度方向上的形变影响程度及形变跟随方向，获取每帧视频图像中的人脸表情贴合标准脸谱图像的最终视频图像。本发明实现了将脸谱图像贴合视频图像中的人脸表情，从而提高脸谱贴合效果。脸谱贴合效果。脸谱贴合效果。


技术研发人员：刘炜
受保护的技术使用者：广州番禺职业技术学院
技术研发日：2023.04.24
技术公布日：2023/7/20