一种基于多阶段注意力相关性学习的跨域人脸生成方法

1.本发明涉及图像合成领域，尤其涉及一种基于多阶段注意力相关性学习的跨域人脸生成方法。


背景技术：

2.跨域人脸生成是指通过人工智能及机器学习技术，将人的面部特征应用到图像上，从而生成一个合成图像。跨域人脸生成是当今生成模型领域的热门研究课题，跨域人脸生成包括许多不同域的转换，如热成像人脸到可见光人脸，近红外人脸到可见光人脸，画像人脸到真实照片等等，是一项具有挑战性和现实性的研究课题。近年来，无论是传统方法还是深度学习方法，在跨域人脸生成方面都取得了很大的进展。传统方法通常依靠统计模型或特征表示来弥合不同领域之间的差距，一般包括三种类型:子空间学习方法，稀疏表示方法和贝叶斯推理方法。
3.近年来，基于深度学习模型的人脸生成方法逐渐成为跨域人脸生成的研究热点。深度学习模型包括对抗网络模型(gan模型)，对抗网络模型由一个生成器和一个判别器组成，生成器负责生成合成图像，判别器负责判断生成图像是否真实，通过不断迭代训练，生成器和判别器相互博弈，最终生成逼真的合成图像。
4.现有gan模型基于单阶段网络，由于跨域人脸生成在安防、娱乐以及医疗看护等各种实际应用领域的计算机视觉中发挥着重要的作用。然而，作为一项具有挑战性的任务，现有跨域人脸生成方法对人脸五官、面部轮廓以及色彩光照等条件的学习不够深入而存在一定的局限性，尤其是对于热成像人脸图像，其图像含义在于每个像素点指代的是温度信息，其图像与可见光人脸不能达到像素级对齐导致数据分布差异较大，因此热成像人脸图像能够提供的图像信息相对较少，故在实际应用中，上述跨域人脸生成效果一般不能达到理想的结果。


技术实现要素：

5.本发明实施例的目的在于提供一种基于多阶段注意力相关性学习的跨域人脸生成方法，先通过第一对抗网络模型对抗博弈学习热成像图像到可见光人脸图像的单向跨域映射关系，再通过第二对抗网络模型学习可见光人脸图像和热成像图像组成跨域图像对的跨域特征联系，减少跨域图像对的跨域特征差异，从而达到跨域特征对齐的目的。解决了现有对抗网络模型忽略跨域人脸特征之间差异和联系造成人脸合成图像质量不高问题。
6.具体技术方案如下：
7.一种基于多阶段注意力相关性学习的跨域人脸生成方法，包括：
8.将热成像人脸图像输入第一对抗网络模型中，基于构建的第一注意力相关性分析模块和第一通道-空间注意力交叉连接融合模块，所述第一对抗网络模型生成可见光人脸图像；
9.把所述可见光人脸图像和所述热成像人脸图像组成跨域图像对；
10.将所述跨域图像对输入第二对抗网络模型，所述第二对抗网络模型对所述跨域图像初步跨域人脸特征融合；
11.开启所述第一对抗网络模型和所述第二对抗网络模型的交替训练，基于构建的第二注意力相关性分析模块和第二通道-空间注意力交叉连接融合模块，所述第二对抗网络模型生成跨域可见光人脸合成图像。
12.在本发明的一个实施例中，所述热成像人脸图像输入第一对抗网络模型之前，先获取热成像图像并将其预处理成所述热成像人脸图像；
13.热成像图像的预处理包括：调整图像大小、划分训练集和测试集、图像数据增强。
14.在本发明的一个实施例中，热成像图像的预处理过程包括：
15.对热成像图像调整图像大小；
16.对热成像图像进行标准化处理以及数据增强；
17.结束对热成像图像的预处理，得到训练集和测试集。
18.在本发明的一个实施例中，所述构建第一注意力相关性分析模块和第一通道-空间注意力交叉连接融合模块，包括：
19.搭建对应第一注意力相关性分析模块中通道注意力模块和空间注意力模块的注意力分数打分，设置acl注意力相关性损失模块计算并通过反向传播提高两个特征分数图之间的相关性；
20.搭建第一通道-空间注意力交叉连接融合模块，在第一通道-空间注意力交叉连接融合模块中将通道注意力模块和空间注意力模块得到的两个所述特征分数图进行交叉连接，提取注意力信息；
21.结束第一注意力相关性分析模块和第一通道-空间注意力交叉连接融合模块的构建，获得第一对抗网络模型中生成器的核心模块。
22.在本发明的一个实施例中，所述第一对抗网络模型生成可见光人脸图像，包括：
23.所述第一对抗网络模型中输入的热成像人脸图像x，将所述第一对抗网络模型的生成器作为g，生成可见光人脸图像的公式如下：
[0024][0025]
公式(1)中，g(x)表示所述第一对抗网络模型生成的所述可见光人脸图像；x为输入图像，表示所述可见光人脸图像共有n种不同分辨率，当n＝3，其中为128*128分辨率的所述可见光人脸图像，为64*64分辨率的所述可见光人脸图像，为32*32分辨率的所述可见光人脸图像；
[0026]
所述第一对抗网络模型的鉴别器d有n个独立的鉴别器di，i＝1...n；
[0027]
所述第一对抗网络模型的生成器g与鉴别器d的对抗损失公式如下：
[0028][0029]
公式(2)中，mingmaxdv(d，g)表示从判别器的角度令损失最大化，从生成器的角度令损失最小化，让判别器和生成器在共享损失的情况下实现对抗；其中，e表示期望，表示所有x都是真实数据时logd(x)的期望；
表示所有数据都是生成数据时log(1-d(g(z))的期望；通过共享公式(2)的损失函数，所述第一对抗网络模型的生成器与判别器实现在训练过程中互相对抗。
[0030]
在本发明的一个实施例中，把所述可见光人脸图像和所述热成像人脸图像组成跨域图像对，包括：
[0031]
构建跨域融合块cdf进行初步跨域信息融合，将生成目标域图像与输入源域图像作为跨域输入对、分别作为辅助图像信息和主要图像信息在跨域融合块cdf中进行结合。
[0032]
在本发明的一个实施例中，开启所述第一对抗网络模型和所述第二对抗网络模型的交替训练，包括：
[0033]
第100轮之前，训练所述第一对抗网络模型；
[0034]
从第100轮开始，对所述第一对抗网络模型和所述第二对抗网络模型交替训练；
[0035]
所述第一对抗网络模型和所述第二对抗网络模型通过误差反向传播进行参数学习。
[0036]
在本发明的一个实施例中，构建的第二注意力相关性分析模块和第二通道-空间注意力交叉连接融合模块，包括：
[0037]
构建所述第二对抗网络模型的第二注意力相关性分析模块，第二注意力相关性分析模块采用注意力机制和相关性分析思想结合设计而成，第二注意力相关性分析模块包括两个结构一样的self-attentionblock注意力机制，通过计算acl并反向传播增加跨域图像特征之间的相关性；
[0038]
构建所述第二对抗网络模型的第二通道-空间注意力交叉连接融合模块；第二通道-空间注意力交叉连接融合模块通过通道注意力维度和空间注意力维度的注意力机制进行注意力打分；
[0039]
第二通道-空间注意力交叉连接融合模块通过注意力相关性损失计算不同注意力分数图之间的相关性。
[0040]
在本发明的一个实施例中，所述第一对抗网络模型生成与所述第二对抗网络模型相同尺读数的n个目标域人脸图像，公式为：
[0041][0042]
公式(3)中，g
′
(x)中g
′
()代表整个所述第二对抗网络模型，x代表输入的所述跨域图像；示所述跨域图像共有n种不同分辨率，当n＝3，其中为128*128分辨率的所述跨域图像，为64*64分辨率的所述跨域图像，为32*32分辨率的所述跨域图像。
[0043]
在本发明的一个实施例中，所述第二对抗网络模型生成跨域可见光人脸合成图像，包括：
[0044]
将所述第二对抗网络模型的目标域编码器得到的目标域特征和跨域可见光人脸合成图像一起输入到所述第二对抗网络模型的判别器进行判别；
[0045]
判别器的输出被分成两个分支，判别器将图像下采样得到的初步特征分别发送到两个分支；
[0046]
在第一个分支中，进一步对跨域可见光人脸合成图像的初步特征进行下采样以确定图像的真实性，在第二个分支中，在通道维度上拼接目标域特征和初步特征；
[0047]
判别器通过降采样判断图像的真实性和域分布匹配。
[0048]
与现有技术相比，本发明的有益效果是：
[0049]
1、本发明先通过第一对抗网络模型对抗博弈学习热成像图像到可见光人脸图像的单向跨域映射关系，再通过第二对抗网络模型学习可见光人脸图像和热成像图像组成跨域图像对的跨域特征联系，减少跨域图像对的跨域特征差异，从而达到跨域特征对齐的目的，解决了现有对抗网络模型忽略跨域人脸特征之间差异和联系造成人脸合成图像质量不高问题。
[0050]
2、本发明的第一对抗网络模型和第二对抗网络模型均将注意力机制和相关性分析思想进行结合构建第一注意力相关性分析模块、第一通道-空间注意力交叉连接融合模块、第二注意力相关性分析模块和第二通道-空间注意力交叉连接融合模块，去除人脸图像背景噪声干扰，提高五官之间的联系以及跨域特征之间的相关性。
[0051]
3、本发明的第一注意力相关性分析模块通过通道注意力和空间注意力两个不同维度的注意力机制进行注意力打分，通过注意力相关性损失计算不同注意力分数图之间的相关性，从而提高热成像输入人脸图像的五官和面部轮廓之间的联系；本发明的第二注意力相关性分析模块和第二通道-空间注意力交叉连接融合模块通过两个相同的自注意力模块对跨域人脸图像进行注意力打分，并通过注意力相关性损失增大跨域特征联系，从而减小跨域特征的差异。
附图说明
[0052]
图1为本发明提供的一种基于多阶段注意力相关性学习的跨域人脸生成方法流程图；
[0053]
图2为本发明提供的第一对抗网络模型ac-gan和第二对抗网络模型mac-gan结构图；
[0054]
图3为本发明提供的通道-空间注意力交叉连接融合模块csacf结构图；
[0055]
图4为本发明提供的跨域融合块cdf结构图；
[0056]
图5为本发明提供的判别器2流程图；
[0057]
图4中，ia为辅助图像信息，im为主要图像信息。
具体实施方式
[0058]
下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。
[0059]
实施例1：
[0060]
为了解决现有生成对抗式网络模型在单阶段的学习中只学习了单向跨域映射而没有充分地学习到跨域特征之间的差异和联系，以及对跨域人脸特征信息的学习较少的问题。请参阅图1，本发明实施例提供了一种基于多阶段注意力相关性学习的跨域人脸生成方法，包括：
[0061]
步骤s110、将热成像人脸图像输入第一对抗网络模型中，基于构建的第一注意力相关性分析模块和第一通道-空间注意力交叉连接融合模块，第一对抗网络模型生成可见光人脸图像。
[0062]
上述步骤s110中构建第一注意力相关性分析模块和第一通道-空间注意力交叉连接融合模块，包括：
[0063]
步骤s111、搭建对应第一注意力相关性分析模块中通道注意力模块和空间注意力模块的注意力分数打分，设置acl注意力相关性损失模块计算并通过反向传播提高两个特征分数图之间的相关性；
[0064]
步骤s112、搭建第一通道-空间注意力交叉连接融合模块，在第一通道-空间注意力交叉连接融合模块中将通道注意力模块和空间注意力模块得到的两个特征分数图进行交叉连接，提取注意力信息；
[0065]
步骤s113、结束第一注意力相关性分析模块和第一通道-空间注意力交叉连接融合模块的构建，获得第一对抗网络模型中生成器的核心模块。
[0066]
在实际应用时，步骤s110中构建注意力相关性分析模块hafca以及通道-空间注意力交叉连接融合模块csacf，包括以下步骤：
[0067]
步骤(1)搭建通道注意力模块cam和空间注意力模块sam两个不同维度的注意力分数打分，设置acl注意力相关性损失模块用于计算并通过反向传播提高两个特征分数图之间的相关性。在csacf中将cam和sam进行交叉连接，更大程度上提升获取到的注意力信息。
[0068]
若输入为x，设和表示提取的两组单域特征。其中b为批量大小，c，h，w分别为通道数、特征图的高度和宽度。将x1和x2分别输入到混合注意特征相关分析模块(hafca)下的空间注意模块(sam)和通道注意模块(cam)，分别用于模拟空间和通道维度上的语义依赖关系。在sam中，x1得到具有全局上下文语义信息和选择性聚合上下文的空间注意图，该空间注意图代表去除背景干扰后的人脸分布注意图。公式如下：
[0069][0070]
公式(4)中，α初始化为0，并逐渐学习分配更多权重，p，q，r为三个不同卷积层得到的特征图，其中i，j为每个特征图的位置索引；n＝h
·
w表示像素数。为空间注意图。
[0071]
在cam中，x2显式地对通道之间的相互依赖关系进行建模，并通过一系列操作改进特定语义的特征表示。公式如下：
[0072][0073]
其中β逐渐从零学习权重。表示通道注意图。
[0074]
为了更新cam、sam和编码器的权重参数，计算并反向传播两个注意图之间的注意相关性损失。设c
11
，c
22
为u和v的协方差，则u，v的交叉协方差为c
12
。设通过计算相关损失更新u，v，如下所示：
[0075][0076]
之后，可以通过最小化注意力cca损失，即最大化u和v之间的相关性来更新编码器、cam和sam参数。
[0077]
步骤(2)、搭建通道-空间注意力交叉连接融合模块csacf，将(1)中得到的特征图u
和v进行交叉连接提取注意力信息，公式如下：
[0078][0079][0080]
其中表示元素智能乘法；表示元素智能求和；e2是最终的聚变输出；c为通道注意模块；s为空间注意模块；hafca有一个sam一个cam这两个子模块输出的注意力分数图就是u和v。
[0081]
步骤(3)、结束注意力相关性分析模块hafca以及通道-空间注意力交叉连接融合模块csacf的构建，获得第一阶段中生成器的核心模块。
[0082]
上述步骤s110中第一对抗网络模型生成可见光人脸图像，包括：
[0083]
步骤s114、第一对抗网络模型中输入的热成像人脸图像x，将第一对抗网络模型的生成器作为g，生成可见光人脸图像的公式如下：
[0084][0085]
公式(1)中，g(x)表示第一对抗网络模型生成的可见光人脸图像；x为输入图像，表示可见光人脸图像共有n种不同分辨率，当n＝3，其中为128*128分辨率的可见光人脸图像，为64*64分辨率的可见光人脸图像，为32*32分辨率的可见光人脸图像；
[0086]
步骤s115、第一对抗网络模型的鉴别器d有n个独立的鉴别器di，i＝1...n；
[0087]
第一对抗网络模型的生成器g与鉴别器d的对抗损失公式如下：
[0088][0089]
公式(2)中，mingmaxdv(d，g)表示从判别器的角度令损失最大化，从生成器的角度令损失最小化，让判别器和生成器在共享损失的情况下实现对抗；其中，e表示期望，表示所有x都是真实数据时logd(x)的期望；表示所有数据都是生成数据时log(1-d(g(z))的期望；通过共享公式(2)的损失函数，第一对抗网络模型的生成器与判别器实现在训练过程中互相对抗。
[0090]
步骤s120、把可见光人脸图像和热成像人脸图像组成跨域图像对。
[0091]
上述步骤s120中把可见光人脸图像和热成像人脸图像组成跨域图像对，包括：构建跨域融合块cdf进行初步跨域信息融合，将生成目标域图像与输入源域图像作为跨域输入对、分别作为辅助图像信息和主要图像信息在跨域融合块cdf中进行结合。
[0092]
步骤s130、将跨域图像对输入第二对抗网络模型，第二对抗网络模型对跨域图像初步跨域人脸特征融合。
[0093]
本发明实施例中第一对抗网络模型生成与第二对抗网络模型相同尺读数的n个目标域人脸图像，公式为：
[0094][0095]
公式(3)中，g
′
(x)中g
′
()代表整个第二对抗网络模型，x代表输入的跨域图像；示跨域图像共有n种不同分辨率，当n＝3，其中为128*128分辨率的跨
域图像，为64*64分辨率的跨域图像，为32*32分辨率的跨域图像。
[0096]
步骤s140、开启第一对抗网络模型和第二对抗网络模型的交替训练，基于构建的第二注意力相关性分析模块和第二通道-空间注意力交叉连接融合模块，第二对抗网络模型生成跨域可见光人脸合成图像。
[0097]
上述步骤s140中开启第一对抗网络模型和第二对抗网络模型的交替训练，包括：
[0098]
步骤s141、第100轮之前，训练第一对抗网络模型；
[0099]
步骤s142、从第100轮开始，对第一对抗网络模型和第二对抗网络模型交替训练；
[0100]
步骤s143、第一对抗网络模型和第二对抗网络模型通过误差反向传播进行参数学习。
[0101]
上述步骤s140中构建的第二注意力相关性分析模块和第二通道-空间注意力交叉连接融合模块，包括：
[0102]
步骤s144、构建第二对抗网络模型的第二注意力相关性分析模块，第二注意力相关性分析模块采用注意力机制和相关性分析思想结合设计而成，第二注意力相关性分析模块包括两个结构一样的self-attentionblock注意力机制，通过计算acl并反向传播增加跨域图像特征之间的相关性；
[0103]
步骤s145、构建第二对抗网络模型的第二通道-空间注意力交叉连接融合模块；第二通道-空间注意力交叉连接融合模块通过通道注意力维度和空间注意力维度的注意力机制进行注意力打分；
[0104]
步骤s146、第二通道-空间注意力交叉连接融合模块通过注意力相关性损失计算不同注意力分数图之间的相关性。
[0105]
上述步骤s140中第二对抗网络模型生成跨域可见光人脸合成图像，包括：
[0106]
步骤s147、将第二对抗网络模型的目标域编码器得到的目标域特征和跨域可见光人脸合成图像一起输入到第二对抗网络模型的判别器进行判别；
[0107]
步骤s148、判别器的输出被分成两个分支，判别器将图像下采样得到的初步特征分别发送到两个分支；
[0108]
步骤s149、在第一个分支中，进一步对跨域可见光人脸合成图像的初步特征进行下采样以确定图像的真实性，在第二个分支中，在通道维度上拼接目标域特征和初步特征；
[0109]
步骤s1410、判别器通过降采样判断图像的真实性和域分布匹配。
[0110]
需要说明的是，本发明实施例步骤s110中热成像人脸图像输入第一对抗网络模型之前，先获取热成像图像并将其预处理成热成像人脸图像；其中，热成像图像的预处理包括：调整图像大小、划分训练集和测试集、图像数据增强。
[0111]
上述热成像图像的预处理过程包括：
[0112]
对热成像图像调整图像大小；
[0113]
对热成像图像进行标准化处理以及数据增强；
[0114]
结束对热成像图像的预处理，得到训练集和测试集。
[0115]
本发明实施例通过设计两阶段gan网络，生成更高质量的目标域人脸图像。第一阶段用来学习跨域单向映射关系，第二阶段用来在学到的跨域映射关系基础上进一步学习跨域特征之间的联系与差异，优化学习到的跨域映射关系。提出了将注意力机制和相关性分析思想进行结合，设计出混合注意力相关性分析模块，去除人脸图像背景噪音，将模型注意
力关注在人脸五官特征和面部轮廓。更具体的，(1)由于现有gan模型基于单阶段网络，训练生成器和判别器两个网络，只学习跨域人脸的单向映射关系，忽略了跨域人脸特征之间的差异和联系，故生成的目标域人脸图像质量不高。本发明实施例设计一个两阶段的gan模型，第一个阶段通过生成对抗博弈学习到热成像到可见光人脸的单向跨域映射关系，第二个阶段将生成的可见光人脸和输入的热成像人脸组成跨域输入对，学习跨域特征联系，减小跨域特征差异，从而达到跨域特征对齐的目的。(2)由于现有生成器的主要模块没有充分地学习到跨域特征之间的相关性，忽略了人脸图像背景噪声对跨域人脸生成的影响。本发明实施例将注意力机制和相关性分析思想进行结合设计了一个混合注意力相关性分析模块hafca，第一阶段的hafca通过通道注意力和空间注意力两个不同维度的注意力机制进行注意力打分，通过注意力相关性损失计算不同注意力分数图之间的相关性，从而提高热成像输入人脸图像的五官和面部轮廓之间的联系，第二阶段的hafca通过两个相同的自注意力模块对跨域人脸图像进行注意力打分，并通过注意力相关性损失增大跨域特征联系，从而减小跨域特征的差异。(3)由于判别器只用来对生成人脸和真实人脸进行判断，对人脸是否符合目标域特征分布缺乏一定的考量。同时公开的热成像到可见光人脸的跨域人脸数据集较少。本发明实施例将第二阶段的判别器增加了一个输出流，用来额外对图像的数据分布是否符合目标域特征分布进行判断，对生成器进行间接的约束，从而得到人脸五官更符合目标域分布的可见光人脸图像。
[0116]
通过本发明实施例的上述方案，可以生成更高质量的目标域人脸图像，并能够对五官特征以及面部轮廓进一步细化。实验证明，本发明很好的保证了人脸图像细节，实现高效的跨域人脸生成。
[0117]
实施例2：
[0118]
在实施例1公开方案的基础上，本实施例结合图2、图3、图4和图5，图2为本发明实施例提供的第一对抗网络模型ac-gan和第二对抗网络模型mac-gan结构图；图3为本发明实施例提供的通道-空间注意力交叉连接融合模块csacf结构图；图4为本发明实施例提供的跨域融合块cdf结构图，图4中，ia为辅助图像信息，im为主要图像信息；图5为本发明实施例提供的判别器2流程图。本发明实施例公开的一种基于多阶段的注意力相关性学习的跨域人脸生成方法。通过在第一阶段学习热成像到可见光的单向跨域映射关系，在第二阶段学习跨域特征之间的联系和差异。将注意力机制和相关性分析思想进行结合，去除人脸图像背景噪声干扰，提高五官之间的联系以及跨域特征之间的相关性。通过判别器的特征域鉴别，提升生成器的生成能力。包括以下步骤：
[0119]
步骤100、开始基于多阶段的注意力相关性分析生成对抗网络的跨域人脸生成。
[0120]
步骤200、构建注意力相关性分析模块，以及通道-空间注意力交叉连接融合模块，对将要输入的热成像人脸图像进行预处理如调整图像大小划分训练集和测试集等以及数据增强如增加高斯噪声、左右翻转以及调整对比度等方式。
[0121]
更具体的，步骤200包括如下步骤：
[0122]
步骤210、构建注意力相关性分析模块hafca以及通道-空间注意力交叉连接融合模块csacf。需要说明的是，步骤210包括：
[0123]
步骤211、搭建通道注意力模块cam和空间注意力模块sam两个不同维度的注意力分数打分，设置acl注意力相关性损失模块用于计算并通过反向传播提高两个特征分数图
之间的相关性。在csacf中将cam和sam进行交叉连接，更大程度上提升获取到的注意力信息。
[0124]
若输入为x，设和表示提取的两组单域特征。其中b为批量大小，c,h,w分别为通道数、特征图的高度和宽度。将x1和x2分别输入到混合注意特征相关分析模块(hafca)下的空间注意模块(sam)和通道注意模块(cam)，分别用于模拟空间和通道维度上的语义依赖关系。在sam中，x1得到具有全局上下文语义信息和选择性聚合上下文的空间注意图，该空间注意图代表去除背景干扰后的人脸分布注意图。公式如下:
[0125][0126]
其中α初始化为0，并逐渐学习分配更多权重,p,q,r为三个不同卷积层得到的特征图，其中i,j为每个特征图的位置索引。n＝
[0127]
h.w表示像素数，为空间注意图。
[0128]
在cam中，x2显式地对通道之间的相互依赖关系进行建模，并通过一系列操作改进特定语义的特征表示。公式如下:
[0129][0130]
其中β逐渐从零学习权重。表示通道注意图。
[0131]
为了更新cam、sam和编码器的权重参数，我们计算并反向传播两个注意图之间的注意相关性损失。设c
11
，c
22
为u和v的协方差，则u,v的交叉协方差为c
12
。设我们通过计算相关损失更新u,v,如下所示:
[0132][0133]
之后，可以通过最小化注意力cca损失，即最大化u和v之间的相关性来更新编码器、cam和sam参数。
[0134]
步骤212、搭建通道-空间注意力交叉连接融合模块csacf，将步骤2011中得到的特征图u和v进行交叉连接提取注意力信息，公式如下：
[0135][0136][0137]
其中表示元素智能乘法，表示元素智能求和，e2是最终的聚变输出，c为通道注意模块，s为空间注意模块。
[0138]
步骤213、结束注意力相关性分析模块hafca以及通道-空间注意力交叉连接融合模块csacf的构建，获得第一阶段中生成器的核心模块。
[0139]
步骤220、对待输入图像数据进行预处理。
[0140]
步骤230、对图像按通道进行标准化处理以及数据增强如人像的左右翻转、添加随机高斯噪声以及调整对比度亮度等。
[0141]
步骤240、结束对输入图像的预处理，得到训练集、测试集。
[0142]
步骤300、训练单阶段(第一阶段)ac-gan100轮，使得第一阶段生成的可见光人脸图像尽量接近目标域人脸，从而给第二阶段提供更多目标域特征信息。
[0143]
更具体的，步骤300包括：
[0144]
对于输入热成像人脸图像x，将ac-gan的生成器作为g，生成目标域人脸图像公式如下：
[0145][0146]
表示生成的目标域人脸共有n种不同分辨率，设置n＝3，其中为128*128人脸图像，为64*64,为32*32,x为输入图像。ac-gan鉴别器的结构无dropout。它需要区分生成的n种不同尺度的图像。所以我们设计了n个独立鉴别器di,i＝1
…
n。最后，判别器下采样得到的瓶颈特征映射的大小是一致的。阶段一的对抗损失如下：
[0147][0148]
步骤400、将第一阶段生成的可见光人脸与热成像输入人脸组成跨域人脸输入对，输入到第二阶段中并进行初步跨域特征融合，接下来开启第一阶段和第二阶段的交替训练。
[0149]
更具体的，步骤400包括：
[0150]
步骤410、构建跨域融合块cdf进行初步的跨域信息融合，将生成目标域图像与输入源域图像作为跨域输入对，分别作为辅助图像信息和主要图像信息在cdf中进行结合。
[0151]
步骤420、从第100轮开始，对mac-gan模型的第一阶段和第二阶段交替训练，整个网络模型通过误差反向传播进行参数学习。
[0152]
步骤500、构建第二阶段的注意力相关性分析模块，以及通道-空间注意力交叉连接融合模块，保留可见光编码器得到的目标域特征供判别器使用，最终得到第二阶段生成的可见光人脸图像。
[0153]
更具体的，步骤500包括：
[0154]
步骤510、构建第二阶段的注意力相关性分析模块，其中注意力模块由sam和cam改为了两个结构一样的self-attentionblock，通过计算acl并反向传播最后增加跨域图像特征之间的相关性，减小跨域特征差异，从而达到跨域特征对齐的目的。
[0155]
步骤520、mac-gan生成与ac-gan相同尺度数的n个目标域人脸图像；
[0156][0157]
最后，经过多阶段训练，mac-gan比ac-gan获得了更详细、更逼真的目标域人脸。
[0158]
步骤530、将目标域编码器得到的目标域特征和图像一起输入到判别器进行判别。这里，判别器的输出被分成两个分支。判别器将图像下采样得到的初步特征分别发送到两个分支。在第一个分支中，进一步对初步特征进行下采样以确定图像的真实性，在第二个分支中，在通道维度上拼接域特征和初步特征。最后，通过降采样得到patch，判断图像的真实性和域分布匹配。
[0159]
步骤540、训练整个mac-gan。
[0160]
步骤600、将测试热成像人脸图像数据输入训练好的网络模型mac-gan，结束基于多阶段的注意力相关性分析生成对抗网络的跨域人脸生成。
[0161]
更具体的，将测试热成像人脸图像数据输入步骤540训练好的网络模型，最终得到高质量的目标域人脸图像
[0162]
本发明实施例将多阶段学习思想引入到gan模型中，第一阶段用来学习跨域单向映射关系，第二阶段将生成图像与输入图像组成跨域输入对分析跨域特征联系，减小跨域特征差异，达到跨域特征对齐的效果，多阶段的学习可以得到更加高质量和细节的目标域人脸图像。本发明实施例将注意力机制和相关性分析思想结合，构建注意力相关性分析模块，第一阶段通过提升不同维度的注意力分数特征图之间的相关性，增强热成像人脸五官之间的联系，第二阶段通过提升跨域特征分数图之间的相关性，减小跨域特征差异，达到特征对齐。本发明实施例为了增强生成器的生成能力，由于gan是生成器和判别器的零和博弈的过程，因此对判别器能力的增强，间接地帮助了生成器增强生成能力，通过对图像五官特征的分布鉴定，提高生成器生成更加符合目标域分布的人脸图像，提高网络生成能力。
[0163]
本发明实施例借助多阶段学习的思想，对跨域单向映射关系进行优化，在此基础上增加对跨域特征之间联系的学习，提高网络生成能力，优化人脸五官面部轮廓细节，减小id差异。本发明实施例为了增加网络对于人脸五官细节的学习，以及五官之间的联系，从而减小生成五官出现错位模糊扭曲等问题，将注意力机制和相关性分析思想进行结合，去除了人脸图像背景噪声信息的影响，将学习重点放在了五官特征之间的联系以及跨域特征的相关性学习，从而提高网络的学习能力。本发明实施例具有跨数据泛化能力。由于跨域特征相关性的最大化和有效的特征表示，本发明实施例在跨数据集上具有良好的生成效果，同时该模型在扩展实验即近红外到可见光人脸任务中同样表现出色，体现了该模型的鲁棒性。本发明实施例将二阶段的判别器设计为三元组判别器，同时提升了生成器的生成能力，避免了简单地对输入人脸图像进行上色等风格迁移，而是专注于对目标域数据分布的学习和人脸特征以及跨域联系的学习，提高了网络模型的可解释性。
[0164]
本发明实施例可以生成五官特征更加明显，面部轮廓更加清晰，以及id差异更小的目标域人脸图像。
[0165]
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
[0166]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
[0167]
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

技术特征：
1.一种基于多阶段注意力相关性学习的跨域人脸生成方法，其特征在于，包括：将热成像人脸图像输入第一对抗网络模型中，基于构建的第一注意力相关性分析模块和第一通道-空间注意力交叉连接融合模块，所述第一对抗网络模型生成可见光人脸图像；把所述可见光人脸图像和所述热成像人脸图像组成跨域图像对；将所述跨域图像对输入第二对抗网络模型，所述第二对抗网络模型对所述跨域图像初步跨域人脸特征融合；开启所述第一对抗网络模型和所述第二对抗网络模型的交替训练，基于构建的第二注意力相关性分析模块和第二通道-空间注意力交叉连接融合模块，所述第二对抗网络模型生成跨域可见光人脸合成图像。2.根据权利要求1所述的一种基于多阶段注意力相关性学习的跨域人脸生成方法，其特征在于，所述热成像人脸图像输入第一对抗网络模型之前，先获取热成像图像并将其预处理成所述热成像人脸图像；热成像图像的预处理包括：调整图像大小、划分训练集和测试集、图像数据增强。3.根据权利要求2所述的一种基于多阶段注意力相关性学习的跨域人脸生成方法，其特征在于，热成像图像的预处理过程包括：对热成像图像调整图像大小；对热成像图像进行标准化处理以及数据增强；结束对热成像图像的预处理，得到训练集和测试集。4.根据权利要求1所述的一种基于多阶段注意力相关性学习的跨域人脸生成方法，其特征在于，所述构建第一注意力相关性分析模块和第一通道-空间注意力交叉连接融合模块，包括：搭建对应第一注意力相关性分析模块中通道注意力模块和空间注意力模块的注意力分数打分，设置acl注意力相关性损失模块计算并通过反向传播提高两个特征分数图之间的相关性；搭建第一通道-空间注意力交叉连接融合模块，在第一通道-空间注意力交叉连接融合模块中将通道注意力模块和空间注意力模块得到的两个所述特征分数图进行交叉连接，提取注意力信息；结束第一注意力相关性分析模块和第一通道-空间注意力交叉连接融合模块的构建，获得第一对抗网络模型中生成器的核心模块。5.根据权利要求1所述的一种基于多阶段注意力相关性学习的跨域人脸生成方法，其特征在于，所述第一对抗网络模型生成可见光人脸图像，包括：所述第一对抗网络模型中输入的热成像人脸图像x，将所述第一对抗网络模型的生成器作为g，生成可见光人脸图像的公式如下：公式(1)中，g(x)表示所述第一对抗网络模型生成的所述可见光人脸图像；x为输入图像，表示所述可见光人脸图像共有n种不同分辨率，当n＝3，其中为128*128分辨率的所述可见光人脸图像，为64*64分辨率的所述可见光人脸图像，为32*32分辨率的所述可见光人脸图像；
所述第一对抗网络模型的鉴别器d有n个独立的鉴别器d
i
，i＝1
…
n；所述第一对抗网络模型的生成器g与鉴别器d的对抗损失公式如下：公式(2)中，表示从判别器的角度令损失最大化，从生成器的角度令损失最小化，让判别器和生成器在共享损失的情况下实现对抗；其中，e表示期望，表示所有x都是真实数据时logd(x)的期望；表示所有数据都是生成数据时log(1-d(g(z))的期望；通过共享公式(2)的损失函数，所述第一对抗网络模型的生成器与判别器实现在训练过程中互相对抗。6.根据权利要求1所述的一种基于多阶段注意力相关性学习的跨域人脸生成方法，其特征在于，开启所述第一对抗网络模型和所述第二对抗网络模型的交替训练，包括：第100轮之前，训练所述第一对抗网络模型；从第100轮开始，对所述第一对抗网络模型和所述第二对抗网络模型交替训练；所述第一对抗网络模型和所述第二对抗网络模型通过误差反向传播进行参数学习。7.根据权利要求1所述的一种基于多阶段注意力相关性学习的跨域人脸生成方法，其特征在于，构建的第二注意力相关性分析模块和第二通道-空间注意力交叉连接融合模块，包括：构建所述第二对抗网络模型的第二注意力相关性分析模块，第二注意力相关性分析模块采用注意力机制和相关性分析思想结合设计而成，第二注意力相关性分析模块包括两个结构一样的self-attentionblock注意力机制，通过计算acl并反向传播增加跨域图像特征之间的相关性；构建所述第二对抗网络模型的第二通道-空间注意力交叉连接融合模块；第二通道-空间注意力交叉连接融合模块通过通道注意力维度和空间注意力维度的注意力机制进行注意力打分；第二通道-空间注意力交叉连接融合模块通过注意力相关性损失计算不同注意力分数图之间的相关性。8.根据权利要求1所述的一种基于多阶段注意力相关性学习的跨域人脸生成方法，其特征在于，所述第一对抗网络模型生成与所述第二对抗网络模型相同尺读数的n个目标域人脸图像，公式为：公式(3)中，g'(x)中g'()代表整个所述第二对抗网络模型，x代表输入的所述跨域图像；表示所述跨域图像共有n种不同分辨率，当n＝3，其中为128*128分辨率的所述跨域图像，为64*64分辨率的所述跨域图像，为32*32分辨率的所述跨域图像。9.根据权利要求1所述的一种基于多阶段注意力相关性学习的跨域人脸生成方法，其特征在于，所述第二对抗网络模型生成跨域可见光人脸合成图像，包括：将所述第二对抗网络模型的目标域编码器得到的目标域特征和跨域可见光人脸合成图像一起输入到所述第二对抗网络模型的判别器进行判别；
判别器的输出被分成两个分支，判别器将图像下采样得到的初步特征分别发送到两个分支；在第一个分支中，进一步对跨域可见光人脸合成图像的初步特征进行下采样以确定图像的真实性，在第二个分支中，在通道维度上拼接目标域特征和初步特征；判别器通过降采样判断图像的真实性和域分布匹配。

技术总结
本发明提供了一种基于多阶段注意力相关性学习的跨域人脸生成方法，包括：将热成像人脸图像输入第一对抗网络模型中，基于构建的第一注意力相关性分析模块和第一通道-空间注意力交叉连接融合模块，第一对抗网络模型生成可见光人脸图像；把可见光人脸图像和热成像人脸图像组成跨域图像对；将跨域图像对输入第二对抗网络模型，第二对抗网络模型对跨域图像初步跨域人脸特征融合；开启第一对抗网络模型和第二对抗网络模型的交替训练，基于构建的第二注意力相关性分析模块和第二通道-空间注意力交叉连接融合模块，第二对抗网络模型生成跨域可见光人脸合成图像。解决了现有对抗网络模型忽略跨域人脸特征之间差异和联系造成人脸合成图像质量不高问题。图像质量不高问题。图像质量不高问题。


技术研发人员：刘旭 焦李成 李东昊 孙其功 刘芳 唐旭 张轩铭 熊霖 赵鹏飞 呼延宁
受保护的技术使用者：西安电子科技大学
技术研发日：2023.07.27
技术公布日：2023/9/22