一种基于生成对抗网络的端到端图像隐写方法

1.本发明属于信息安全技术、深度学习、隐写及隐写分析的技术领域，公开了生成对抗网络在图像隐写方面的应用，主要涉及了一种基于生成对抗网络的端到端图像隐写方法。


背景技术：

2.隐写术是通过以不破坏载体原本样式的方法将秘密信息隐藏在载体当中的一种保证通信过程安全的技术。图像作为广泛流传的多媒体信息格式，使得以基于图像隐写的隐蔽通信可以具备良好的通用性和安全性。这样的隐蔽通信方式随着在一次通信过程中需要传递的秘密信息容量的增加，嵌入了秘密信息的隐写图像的图像质量会降低，从而降低通信过程的安全性。
3.传统的图像隐写方法，虽然利用变换域的知识如dwt系数相比于直接对像素进行隐写如最低比特位替换，可以提升生成的隐写图像的图像质量，同时通过自适应隐写的发展，也能提升生成的隐写图像抵抗统计分析的能力。但是难以应对在一次通信过程中就可以实现更多秘密信息传递的需求。基于端到端的深度学习结构可以充分利用网络结构自主地从数据中学习秘密信息嵌入载体图像特征的方式，同时生成对抗网络也可以通内部子网络之间的对抗训练自主地生成高质量的隐写图像。因此，将生成对抗网络用于图像隐写领域具有重要的意义。
4.基于生成对抗网络的端到端图像隐写方法能够提升隐写容量以适应日益增大的隐蔽通信的通信容量的需求，与此同时，通过提升生成的隐写图像的图像质量以提升隐蔽性，同时要保证图像隐写方法具备较强的抵抗隐写分析的能力以提升不可检测性，且要保证端到端的结构能够尽量少地损失信息以提升结构的通透度，即提高秘密信息提取的正确率，是提升基于图像隐写的隐蔽通信方法中亟待解决的问题。


技术实现要素：

5.本发明正是针对现有技术中存在的问题，提供一种基于生成对抗网络的端到端图像隐写方法，包括对抗训练和隐写部署两个阶段，所述对抗训练阶段包括用于构成生成器的秘密信息嵌入子网络和秘密信息提取子网络，还包括用于构成判别器的特征分布评估子网络；所述秘密信息嵌入子网络和秘密信息提取子网络分别通过三种不同方式引入dwt变换域知识，且三种秘密信息嵌入子网络与三种秘密信息提取子网络分别一一对应，使用判别器指导生成器的参数更新，交替更新判别器和生成器的参数，获得最佳生成对抗网络；所述隐写部署阶段中发送方和接收方直接使用对抗训练阶段获得的最佳生成对抗网络进行通信，完成隐蔽通信。本方法根据引入变换域知识的不同方法对应设计了秘密信息嵌入子网络和秘密信息提取子网络的三种不同结构，分别适用于效益优先和效率优先的场景，而且在部署阶段不再需要判别器，通信双发直接使用完成训练的网络即可进行隐蔽通信，具有较强的实用性。
6.为了实现上述目的，本发明采取的技术方案是：一种基于生成对抗网络的端到端图像隐写方法，包括对抗训练和隐写部署两个阶段，
7.所述对抗训练阶段：包括用于构成生成器的秘密信息嵌入子网络和秘密信息提取子网络，还包括用于构成判别器的特征分布评估子网络；所述秘密信息嵌入子网络和秘密信息提取子网络分别通过三种不同方式引入dwt变换域知识，且三种秘密信息嵌入子网络与三种秘密信息提取子网络分别一一对应，使用判别器指导生成器的参数更新，交替更新判别器和生成器的参数，获得最佳生成对抗网络；
8.所述隐写部署阶段：发送方和接收方直接使用对抗训练阶段获得的最佳生成对抗网络进行通信，完成隐蔽通信。
9.作为本发明的一种改进，所述对抗训练阶段具体包括如下步骤：
10.s1：对秘密信息进行预处理得到二值化秘密信息，并将其和载体图像输入到秘密信息嵌入子网络；
11.s2：秘密信息嵌入子网络通过三种方式将dwt变换域的知识引入到隐写图像的生成过程，得到不同的子网络，即：
12.emb1，使用卷积层对特征值进行dwt变换的方式；
13.emb2，使用传统的哈尔小波对特征值进行dwt变换的方式；
14.emb3，使用传统的哈尔小波获得载体图像的dwt系数的方式；
15.将秘密信息和载体图像输入秘密信息嵌入子网络(即，emb1,emb2，emb3)，该网络直接输出隐写图像，图像质量损失的计算方式为对载体图像和隐写图像所有对应位置的像素之间的均方误差和求均值；
16.s3：将步骤s2中生成的隐写图像输入到秘密信息提取子网络，该网络也通过三种方式将dwt变换域的知识引入到恢复秘密信息的过程，得到不同的子网络，其结构和对应于步骤s2中的秘密信息嵌入子网络相对应，将对应的子网络称为rec1，rec2和rec3；
17.将隐写图像输入秘密信息提取子网络(即，rec1，rec2，rec3)，该网络直接输出从隐写图像中提取的秘密信息，秘密信息提取正确率的计算方式为秘密信息和逆预处理恢复的秘密信息不相同的比特位占所有比特位的比例；
18.s4：将步骤s2中生成的隐写图像和载体图像输入到特征分布评估子网络，输出隐写图像的特征向量和载体图像的特征向量；所述特征分布评估子网络通过卷积层的方式引入dwt变换域知识，产生输出隐写图像的特征向量和载体图像的特征向量在分布上的差距，将此差距作为特征分布评估子网络的损失函数进行反向传播，对内部参数进行优化和更新，并在隐写图像上计算得到的期望值作为评估损失；
19.s5：将步骤s2得到的隐写图像和载体图像计算图像质量损失、步骤s3得到的从隐写图像中提取的秘密信息和原始用于嵌入的秘密信息计算秘密信息提取正确率损失及步骤s4得到的评估损失三者进行组合，构成生成器的损失函数，对该损失函数进行反向传播，对生成器的内部参数进行优化和更新；
20.s6：重复步骤s1-s5，根据特征分布评估子网络和生成器的损失函数，及秘密信息提取损失，确定最佳生成对抗网络。
21.作为本发明的一种改进，所述隐写部署阶段具体包括如下步骤：
22.s7：发送方将预处理后的二值化秘密信息和载体图像输入到对抗训练阶段获得的
秘密信息嵌入子网络中，得到隐写图像；
23.s8：发送方将步骤s7中得到的隐写图像发布到公开平台；
24.s9：接收方从公开平台以原图形式保存隐写图像，将其输入到对抗训练阶段获得的秘密信息提取子网络中，对二值化秘密信息进行逆预处理操作，得到秘密信息。
25.作为本发明的另一种改进，所述步骤s1的预处理过程包括将二值化秘密信息的维度改变成适合网络输入的维度并对序列长度不够的部分进行补零操作，具体为：
26.当秘密信息的长度小于维度为的特征值大小时，则将秘密信息补零至该特征值的维度；
27.当秘密信息的长度大于该特征图所能容纳的长度时，则将不足通道数为1的特征图的部分补零至特征图的大小；
28.当二进制秘密信息长度为时，则在二进制秘密信息之后补充个0；
29.当二进制秘密信息长度为时，秘密信息具有个通道，如果则对秘密信息的最后一个通道进行补0，补0的个数为
30.其中，h和w分别为载体图像维度通道数的高和宽，l为该嵌入率下可以嵌入载体图像的二值化秘密信息的最大长度。
31.作为本发明的另一种改进，所述步骤s2中，秘密信息嵌入子网络emb1结构包括三个卷积块、一个dwt模块和一个idwt模块；卷积块1对载体图像进行特征值提取后，dwt模块对该特征进行显式的变换域特征值提取并在此开始进行秘密信息的嵌入，卷积块2和卷积块3以当前块和之前块的输出作为输入进行秘密信息的反复嵌入，idwt模块先使用卷积层收集之前层的输出作为输入，输出4个通道的特征图，再使用不同的idwt方法完成变换域特征值到空间域像素值的域变换，获得修改概率图，最终，将修改概率图和载体图像相加得到隐写图像；其中，dwt模块和idwt模块使用卷积层实现；
32.秘密信息嵌入子网络emb2结构和emb1结构一样，区别在于emb2中dwt模块和idwt模块均由传统的一阶哈尔小波滤波器实现；
33.秘密信息嵌入子网络emb3结构包括三个卷积块，一个基于传统的一阶哈尔小波滤波器实现的dwt模块和一个基于传统的一阶哈尔小波滤波器实现的idwt模块；dwt模块对载体图像进行dwt系数的提取后，卷积块1对dwt系数进行特征值提取，卷积块2和卷积块3以当前块和之前块的输出作为输入进行秘密信息的反复嵌入，idwt模块先使用卷积层收集之前层的输出作为输入并输出4个通道的特征图，再使用传统的一阶哈尔小波滤波器进行idwt以完成变换域特征值到空间域像素值的域变换，获得修改图，最终，将修改图和载体图像相加得到隐写图像。
34.作为本发明的又一种改进，所述步骤s3中，秘密信息提取子网络rec1结构包括三
个卷积块，一个dwt模块和一个卷积层；卷积块1对隐写图像进行特征值提取后，dwt模块对该特征进行显式的变换域特征值提取，卷积块2和卷积块3以当前块和之前块的输出作为输入进行特征值提取，卷积层收集之前层的输出作为输入，输出二值秘密信息图，经过逆预处理，得到原始的秘密信息；其中dwt模块使用卷积层实现；
35.秘密信息嵌入子网络rec2结构和rec1结构一样，区别在于rec2中dwt模块由传统的一阶哈尔小波滤波器实现；
36.秘密信息嵌入子网络rec3结构包括三个卷积块，一个基于传统的一阶哈尔小波器滤波器实现的dwt模块和一个卷积层；dwt模块对隐写图像进行dwt系数的提取后，卷积块1对dwt系数进行特征值提取，卷积块2和卷积块3以当前块和之前块的输出作为输入进行特征值提取，卷积层收集之前层的输出作为输入，输出二值秘密信息图，经过逆预处理，得到原始的秘密信息；其逆预处理保留去除秘密信息特征图中补充的零后，重新恢复成秘密信息的原始维度。
37.作为本发明的又一种改进，所述步骤s2中图像质量损失的计算方式为对载体图像和隐写图像所有对应位置的像素之间的均方误差和求均值；所述步骤s3中秘密信息提取正确率的计算方式为秘密信息和逆预处理恢复的秘密信息不相同的比特位占所有比特位的比例。
38.作为本发明的又一种改进，所述步骤s4中特征分布评估子网络结构包括三个卷积块，一个dwt模块和一个卷积层；卷积块1分别对载体图像和隐写图像进行特征值提取后，dwt模块分别对来自载体图像和隐写图像的特征值进行显式的变换域特征值提取，卷积块2和卷积块3分别以来自载体图像和隐写图像的当前层的输出作为输入进行特征值提取，卷积层分别以来自载体图像和隐写图像的卷积块3输出进行特征提取输出通道数为1的特征图，利用一阶推土机距离计算二者之间的差距，作为特征分布评估子网络的损失，评估损失为特征分布评估子网络在隐写图像上计算得到的期望值。
39.与现有技术相比，本发明具有的有益效果：本发明提出了一种基于生成对抗网络的端到端图像隐写方法，本方法采用端到端的结构，可以实现在一次隐写过程中被传递的秘密信息的容量得到提升，同时，显式地在三个子网络中引入变换域的知识，在对抗训练阶段使用判别器指导生成器的参数更新，交替更新判别器和生成器的参数，可以实现生成的隐写图像的图像质量得到大幅度提升，同时也能保证每比特秘密信息以高正确率进行恢复，具有较强的安全性。
40.本方法根据引入变换域知识的不同方法对应设计了秘密信息嵌入子网络和秘密信息提取子网络的三种不同结构，分别适用于效益优先和效率优先的场景，即emb1和rec1，emb2和rec2更适用于效益优先的场景因为安全性和通透性提升效果更好，也需要更多的参数，其中emb2和rec2相比emb1和rec1可以减少一部分的计算资源取得效率，同时隐写效果会有损失，emb3和rec3更适用于效率优先的场景因为可以大幅度节省计算资源，同时也可以实现隐写效果的提升，而且在部署阶段不再需要判别器，通信双发直接使用完成训练的网络即可进行隐蔽通信，具有较强的实用性。
附图说明
41.图1为本发明方法对抗训练阶段和隐写部署阶段的步骤流程图；
42.图2为本发明实施例1中秘密信息嵌入子网络emb1的示意图；
43.图3为本发明实施例1中秘密信息嵌入子网络emb2的示意图；
44.图4为本发明实施例1中秘密信息嵌入子网络emb3的示意图；
45.图5为本发明实施例1中秘密信息提取子网络rec1的示意图；
46.图6为本发明实施例1中秘密信息提取子网络rec2的示意图；
47.图7为本发明实施例1中秘密信息提取子网络rec3的示意图；
48.图8为本发明的特征分布评估子网络的示意图。
具体实施方式
49.下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
50.实施例1
51.本实施例中的符号及其定义如表1所示：
52.表1
53.[0054][0055]
一种基于生成对抗网络的端到端图像隐写方法，秘密信息的嵌入和提取都是由经过对抗训练的基于深度学习的子网络完成，且每个子网络内部通过神经网络的结构模拟传统dwt变换的特征变换方式来进行秘密信息的嵌入、提取和评估。
[0056]
所述方法包括对抗训练和隐写部署两个阶段，对抗训练阶段生成最佳对抗网络，所述生成对抗网络内部包括三个子网络：秘密信息嵌入子网络，秘密信息提取子网络和特征分布评估子网络，其中秘密信息嵌入子网络和秘密信息提取子网络在训练的时候构成生成器，与作为判别器的特征分布评估子网络进行对抗训练，在隐写部署阶段仅需要训练完成的生成器结构即可完成隐写过程。根据不同的引入dwt变换域知识的方式设计的不同秘密信息嵌入子网络和秘密信息提取子网络的结构如图2-7所示，以下dwt变换域知识的引入以emb1和rec1结构为例，通过具体的步骤进一步详细说明本发明公开的技术方案。
[0057]
如图1所示，一种基于生成对抗网络的端到端图像隐写方法在对抗训练阶段和隐写部署阶段的示意图，其在对抗训练阶段，包括如下的步骤：
[0058]
步骤s1：对秘密信息进行预处理得到二值化秘密信息，预处理过程包括将二值化秘密信息的维度改变成适合网络输入的维度并对序列长度不够的部分进行补零的操作。
[0059]
根据设定的秘密信息嵌入率q，载体图像的维度以通道数
×
高
×
宽表示为1
×h×
w，计算得到该嵌入率下可以嵌入载体图像的二值化秘密信息的最大长度，具体计算如公式(1)所示：
[0060][0061]
当秘密信息的长度小于维度为的特征值的大小时，则将秘密信息补零至该特征值的维度，当秘密信息的长度大于该特征图所能容纳的长度时，则将不足通道数为1的特征图的部分补零至特征图的大小，当二进制秘密信息长度为时，则需要在二进制秘密信息之后补充个0，当二进制秘密信息长度为时，秘密信息具有个通道，如果则对秘密信息的最后一个通道进行补0，补0的个数为的最后一个通道进行补0，补0的个数为
[0062]
以嵌入率为0.7比特每像素，载体图像的宽和高为128为例，即q＝0.7，根据公式(1)计算得到该嵌入率下可以嵌入载体图像的二值化秘密信息的长度为秘密信息的维度为3
×
64
×
64，对秘密信息的最后一个通道在秘密信息之后进行补0，补0的个数为819。
[0063]
步骤s2：将预处理之后的秘密信息和载体图像输入到秘密信息嵌入子网络，该子网络输出嵌入了秘密信息的隐写图像。
[0064]
秘密信息嵌入子网络通过三种方式将dwt变换域的知识引入到隐写图像的生成过程，得到不同的子网络，即emb1，使用卷积层对特征值进行dwt变换的方式；emb2，使用传统的哈尔小波对特征值进行dwt变换的方式；emb3，使用传统的哈尔小波获得载体图像的dwt系数的方式。
[0065]
秘密信息嵌入子网络emb1结构包括，三个卷积块，一个dwt模块和一个idwt模块。首先，卷积块1对载体图像进行特征值提取；之后，dwt模块对该特征进行显式的变换域特征值提取并在此开始进行秘密信息的嵌入；接着，卷积块2和卷积块3以当前块和之前块的输出作为输入进行秘密信息的反复嵌入；然后，idwt模块先使用卷积层收集之前层的输出作为输入，输出4个通道的特征图，再使用不同的idwt方法完成变换域特征值到空间域像素值的域变换，获得修改图；最终，将修改图和载体图像相加得到隐写图像。其中dwt模块和idwt模块使用卷积层实现。
[0066]
dwt卷积层具有一阶dwt变换的功能，即可以对输入特征值提取出4个子带的物理特性且每个子带中dwt特征图的大小变成输入特征图的1/4，可以由卷积核为3
×
3，步长为2，填充为1的卷积层实现。idwt卷积层具有一阶idwt变换的功能，即可以从4个dwt子带恢复出通道数为1的空间域特征图且该特征图的大小和未经过dwt变换的输入特征图一致，即变成dwt特征图的4倍，可以由卷积核为2
×
2，步长为2，填充为0的转置卷积层实现。其他卷积层具有只改变输入特征值的通道数目而不改变输入特征图的大小的功能，可以由卷积核为3
×
3，步长为1，填充为1的卷积层实现。
[0067]
秘密信息嵌入子网络emb2结构和emb1结构一样，区别在于emb2中dwt模块和idwt模块均由传统的一阶哈尔小波滤波器实现。
[0068]
秘密信息嵌入子网络emb3，使用传统的一阶哈尔小波滤波器获得载体图像的dwt系数的方式，其结构包括，三个卷积块，一个基于传统的一阶哈尔小波滤波器实现的dwt模块和一个基于传统的一阶哈尔小波滤波器实现的idwt模块。首先，dwt模块对载体图像进行dwt系数的提取；之后，卷积块1对dwt系数进行特征值提取；接着，卷积块2和卷积块3以当前块和之前块的输出作为输入进行秘密信息的反复嵌入；然后，idwt模块先使用卷积层收集之前层的输出作为输入并输出4个通道的特征图，再使用传统的一阶哈尔小波滤波器进行idwt以完成变换域特征值到空间域像素值的域变换，获得修改图；最终，将修改图和载体图像相加得到隐写图像。
[0069]
本实施例中，步骤s2具体包括：
[0070]
(2.1)对选择的数据集进行训练集、验证集和测试集的划分。对于载体图像数据集，可以选取bossbasev1.01数据集的10000张灰度图像。为了提高模型的训练效率，将bossbasev1.01数据集中的图像缩小为128
×
128，按照训练集∶验证集∶测试集为3∶1∶1的比例对整个数据集进行划分，即训练集由6000张图像构成，验证集和测试集由2000张图像构成。
[0071]
(2.2)构建秘密信息嵌入子网络。秘密信息嵌入子网络emb1的示意图如图2所示，秘密信息嵌入子网络emb2的示意图如图3所示,秘密信息嵌入子网络emb3的示意图如图4所示。该子网络包括三个卷积块，一个dwt卷积层和idwt卷积块，其中dwt卷积层为3
×
3卷积核和步长为2的卷积层，卷积块1，2，3由3
×
3卷积核和步长为1的卷积层，批归一化层和leakyrelu激活层组成，emb1中的idwt卷积块由3
×
3卷积核，步长为1，填充为1的通道转换卷积层和2
×
2卷积核，步长为2，填充为0的转置卷积层构成的idwt卷积层，emb2和emb3中的idwt卷积模块中的使用传统的一阶哈尔滤波器来替代emb1中的idwt卷积层。
[0072]
dwt卷积层负责使用不同的3
×
3卷积核分别提取载体图像具备不同特性的特征值，由于在秘密信息嵌入子网络中对称设计了dwt卷积块和idwt卷积块，所提取的不同特征总体上刻画的是载体图像在时频域4个不同物理子带的特性，该特性与传统一阶dwt变换得到的4个不同物理子带的特性相似，参考dwt变换通过滤波器设计可以获取空间域图像的变换域特性的定义，将本dwt卷积模块提取的特征值称为变换域特征值。卷积块1，2，3负责在维持每个通道上特征图的大小不变的情况融合不同通道的特征。idwt模块中的通道转换卷积层负责将多维通道的变换域特征值融合为通道数为4的变换域特征值。idwt模块中的idwt卷积层负责完成4通道的变换域特征值到单通道的空间域特征值的转换。卷积块1的输出通道数表示为n
hid
，需要人为设定。以嵌入率为0.7比特每像素，载体图像的宽和高为128为例，即q＝0.7，经过更换不同的n
hid
值比较生成的隐写图像的图像质量和秘密信息提取的正确率，选择合适的n
hid
值为16，即所有子网络中均进行相应设置n
hid
＝16.
[0073]
秘密信息嵌入子网络可以用公式(2)表示：
[0074]
y＝f
emb
(x，m)
ꢀꢀꢀꢀ
(2)
[0075]
其中，载体图像表示为x，隐写图像表示为y，待嵌入的二值化秘密信息表示为m，秘密信息嵌入子网络表示为f
emb
(
·
)。具体来说，以输入维度为1
×
128
×
128的载体图像x和维度为n
sec
×
64
×
64的秘密信息的m为例，当嵌入率为0.7比特每像素时，n
sec
为3，当秘密信息
嵌入子网络为emb1和emb2时，载体图像经过卷积块1得到空间域特征值其维度为n
hid
×
128
×
128：emb1通过dwt卷积层4
×nhid
个不同的3
×
3卷积核的特征提取操作或者emb2通过传统的一阶哈尔滤波器的特征提取操作，得到变换域特征值其维度为4
×nhid
×
64
×
64；卷积块2以二值化秘密信息m和变换域特征值为输入，输出变换域特征值其维度为4
×nhid
×
64
×
64；卷积块3以二值化秘密信息m和变换域特征值为输入，输出变换域特征值其维度为4
×nhid
×
64
×
64；idwt模块的通道转换卷积层以二值化秘密信息m和变换域特征值和为输入，输出代表4变换域的特性的4通道的变换域特征值其维度为4
×
64
×
64；最后emb1通过idwt卷积层，emb2通过传统的一阶哈尔滤波器进行变换域到空间域的转换，得到的空间域特征值为在载体图像的实际修改图，维度为1
×
128
×
128，再和载体图像x相加就可以得到隐写图像y，其维度为1
×
128
×
128。
[0076]
当秘密信息嵌入子网络为emb3时，载体图像通过dwi模块的传统一阶哈尔滤波器的特征提取操作得到载体图像的dwt系数其维度为4
×
64
×
64，dwi系数通过卷积块1得到变换域特征值其维度为n
hid
×
64
×
64；卷积块2以二值化秘密信息m和变换域特征值为输入，输出变换域特征值其维度为n
hid
×
64
×
64；卷积块3以二值化秘密信息m和变换域特征值为，为输入，输出变换域特征值其维度为n
hid
×
64
×
64；idwt模块的通道转换卷积层以二值化秘密信息m和变换域特征值域特征值和为输入，输出代表4变换域的特性的4通道的变换域特征值其维度为4
×
64
×
64；最后输入idwt模块的传统一阶哈尔滤波器进行变换域到空间域的转换，得到的空间域特征值为在载体图像的实际修改图，其维度为1
×
128
×
128，再和载体图像x相加就可以得到隐写图像y，其维度为1
×
128
×
128。
[0077]
步骤s3：将生成的隐写图像输入到秘密信息提取子网络，该子网络输出提取到的秘密信息。
[0078]
秘密信息提取子网络的构建和秘密信息嵌入子网络的构建方式似，该网络也通过三种方式将dwt变换域的知识引入到恢复秘密信息的过程，得到不同的子网络，其结构和对应于步骤s2中的秘密信息嵌入子网络相对应，将对应的子网络称为rec1，rec2和rec3；
[0079]
根据不同的dwt变换域知识设计的秘密信息提取子网络为rec1，rec2和rec3，和秘密信息嵌入子网络emb1，emb2和emb3的对应关系为：当秘密信息嵌入子网络为emb1时，对应的秘密信息提取子网络为rec1；当秘密信息嵌入子网络为emb2时，对应的秘密信息提取子
网络为rec2；当秘密信息嵌入子网络为emb3时，对应的秘密信息提取子网络为rec3。
[0080]
秘密信息提取子网络为rec1，rec2和rec3的结构为：
[0081]
秘密信息提取子网络rec1，结构包括，三个卷积块，一个dwt模块和一个卷积层。首先，卷积块1对隐写图像进行特征值提取；之后，dwt模块对该特征进行显式的变换域特征值提取；接着，卷积块2和卷积块3以当前块和之前块的输出作为输入进行特征值提取；然后，卷积层收集之前层的输出作为输入，输出二值秘密信息图；最终，经过逆预处理，得到原始的秘密信息。其中dwt模块使用卷积层实现。
[0082]
dwt卷积层具有一阶dwt变换的功能，即可以对输入特征值提取出4个子带的物理特性且每个子带中dwt特征图的大小变成输入特征图的1/4，可以由卷积核为3
×
3，步长为2，填充为1的卷积层实现。其他卷积层具有只改变输入特征值的通道数目而不改变输入特征图的大小的功能，可以由卷积核为3
×
3，步长为1，填充为1的卷积层实现。
[0083]
秘密信息嵌入子网络rec2结构和rec1结构一样，区别在于rec2中dwt模块由传统的一阶哈尔小波滤波器实现。
[0084]
秘密信息嵌入子网络rec3，使用传统的一阶哈尔小波滤波器获得隐写图像dwt系数的方式，结构包括，三个卷积块，一个基于传统的一阶哈尔小波器滤波器实现的dwt模块和一个卷积层。首先，dwt模块对隐写图像进行dwt系数的提取；之后，卷积块1对dwt系数进行特征值提取；接着，卷积块2和卷积块3以当前块和之前块的输出作为输入进行特征值提取；然后，卷积层收集之前层的输出作为输入，输出二值秘密信息图；最终，经过逆预处理，得到原始的秘密信息。其逆预处理保留去除秘密信息特征图中补充的零后，重新恢复成秘密信息的原始维度
[0085]
本实施例中，秘密信息提取子网络包括三个卷积块，一个dwt模块和一个卷积层，卷积块1，2，3和由3
×
3卷积核和步长为1的卷积层，批归一化层和leakyrelu激活层组成，卷积层的实现方式为3
×
3卷积核和步长为1的卷积层，rec1的dwt模块为dwt卷积层，可由3
×
3卷积核和步长为2的卷积层构成，rec2和rec3的dwt模块由传统的一阶哈尔小波滤波器构成。秘密信息提取子网络rec1的示意图如图5所示，秘密信息提取子网络rec2的示意图如图6所示，秘密信息提取子网络rec3的示意图如图7所示。
[0086]
dwt卷积层负责使用不同的3
×
3卷积核分别提取载体图像具备不同特性的特征值，由于在秘密信息嵌入子网络中对称设计了dwt卷积块和idwt卷积块，所提取的不同特征总体上刻画的是载体图像在时频域4个不同物理子带的特性，该特性与传统一阶dwt变换得到的4个不同物理子带的特性相似，参考dwt变换通过滤波器设计可以获取空间域图像的变换域特性的定义，将本dwt卷积层提出的特征值称为变换域特征值。卷积块1，2，3负责在维持每个通道上特征图的大小不变的情况融合不同通道的特征，卷积层负责从输入的变换域特征值中获得嵌入的二值化秘密信息。
[0087]
秘密信息提取子网络可以用公式(3)表示：
[0088][0089]
其中，提取出的二值化秘密信息表示为隐写图像表示为y，秘密信息提取子网络表示为f
rec
(
·
)。以输入维度为1
×
128
×
128的隐写图像y为例，当嵌入率为0.7比特每像素时，需要提取的秘密信息m的维度为3
×
64
×
64。当秘密信息提取子网络为rec1时，隐写图
像经过卷积块1得到空间域特征值其维度为n
hid
×
128
×
128；经过dwt模块中的dwt卷积层4
×nhid
个不同的3
×
3卷积核的特征提取操作，得到变换域特征值其维度为4
×nhid
×
64
×
64；卷积块2以变换域特征值为输入，输出变换域特征值其维度为4
×nhid
×
64
×
64；卷积块3以变换域特征值64；卷积块3以变换域特征值为输入，输出变换域特征值其维度为4
×nhid
×
64
×
64；最后卷积层以变换域特征值64；最后卷积层以变换域特征值和为输入，输出提取出的二值化秘密信息序列其维度为3
×
64
×
64。
[0090]
当秘密信息提取子网络为rec2时，提取过程和上述rec1的一致，区别仅在于dwt模块中使用传统的一阶哈尔小波滤波器对空间域特征值处理，得到变换域特征值其维度仍为4
×nhid
×
64
×
64。当秘密信息提取子网络为rec3时，隐写图像通过dwt模块中的传统的一阶哈尔小波滤波器处理后得到dwt系数其维度为4
×
64
×
64；卷积块1以dwt系数为输入，输出变换域特征值其维度为n
hid
×
64
×
64；卷积块2以变换域特征值为输入，输出变换域特征值其维度为n
hid
×
64
×
64；卷积块3以变换域特征值64；卷积块3以变换域特征值为输入，输出变换域特征值其维度为n
hid
×
64
×
64；最后卷积层以变换域特征值和为输入，输出提取出的二值化秘密信息序列其维度为3
×
64
×
64。
[0091]
步骤s4：将生成的隐写图像和载体图像输入到特征分布评估子网络(判别器)，输出隐写图像的特征向量和载体图像的特征向量。特征分布评估子网络(判别器)的构建和秘密信息嵌入子网络、秘密信息提取子网络的构建方式相似。该网络包括三个卷积块，一个dwt卷积模块和一个卷积层，卷积块1，2，3和卷积层由3
×
3卷积核和步长为1的卷积层，批归一化层和leakyrelu激活层组成，dwt卷积层由3
×
3卷积核和步长为2的卷积层构成。特征分布评估子网络的示意图如图8所示。
[0092]
特征分布子网络也引入dwt变换域特征，结构包括三个卷积块，一个dwt卷积层和一个卷积层。首先，卷积块1分别对载体图像和隐写图像进行特征值提取；之后，dwt卷积层分别对来自载体图像和隐写图像的特征值进行显式的变换域特征值提取；接着，卷积块2和卷积块3分别以来自载体图像和隐写图像的当前层的输出作为输入进行特征值提取；然后，卷积层分别以来自载体图像和隐写图像的卷积块3输出进行特征提取输出通道数为1的特征图，利用一阶推土机距离计算二者之间的差距，作为判别器的损失，计算方法为，分别对来自载体图像和隐写图像的卷积层输出特征图求均值后求差值。评估损失为判别器在隐写图像上计算得到的期望值，计算方法为，对来自隐写图像的卷积层输出特征图求均值。
[0093]
使用卷积层实现dwt模块，dwt卷积层具有一阶dwt变换的功能，即可以对输入特征值提取出4个子带的物理特性且每个子带中dwt特征图的大小变成输入特征图的1/4，可以
由卷积核为3
×
3，步长为2，填充为1的卷积层实现。其他卷积层具有只改变输入特征值的通道数目而不改变输入特征图的大小的功能，可以由卷积核为3
×
3，步长为1，填充为1的卷积层实现。
[0094]
将判别器，即特征分布评估子网络在隐写图像得到的单通道输出特征图上计算得到的期望值作为评估损失。
[0095]
dwt卷积层负责使用不同的3
×
3卷积核分别提取载体图像具备不同特性的特征值，由于在秘密信息嵌入子网络中对称设计了dwt卷积块和idwt卷积块，所提取的不同特征总体上刻画的是载体图像在时频域4个不同物理子带的特性，该特性与传统一阶dwt变换得到的4个不同物理子带的特性相似，参考dwt变换通过滤波器设计可以获取空间域图像的变换域特性的定义，将本dwt卷积层提出的特征值称为变换域特征值。卷积块1，2，3负责维持每个通道上特征图的大小不变，且设置为输入通道数等于输出通道数。设置卷积块2和3是为了和嵌入秘密信息和提取对特征值处理的次数保持一致。卷积层负责将变换域特征值转换为单通道的特征值，以便计算一阶推土机距离。
[0096]
特征分布评估子网络可以用公式(4)表示：
[0097]
ld＝fd(x，y)
ꢀꢀ
(4)
[0098]
其中，载体图像和隐写图像的变换域特征的特征分布距离值表示为ld，载体图像表示为x，隐写图像表示为y，特征分布评估子网络表示为fd(
·
)。以输入维度为1
×
128
×
128的载体图像x和维度为1
×
128
×
128的隐写图像y为例，载体图像和隐写图像经过卷积块1分别得到空间域特征值和均具有维度n
hid
×
128
×
128；分别经过dwt卷积层4个不同的3
×
3卷积核的特征提取操作，得到对应变换域特征值和均具有维度4
×nhid
×
64
×
64；卷积块2分别以变换域特征值和为输入，输出对应的变换域特征值和均具有维度4
×nhid
×
64
×
64；卷积块3分别以变换域特征值为输入，输出对应的变换域特征值其维度为4
×nhid
×
64
×
64；最后卷积层分别以变换域特征值为输入，得到对应单通道的变换域特征值f
d，x
，f
d，y
，用于计算一阶推土机距离。
[0099]
对获得的隐写图像的变换域特征向量f
d，x
和载体图像的变换域特征向量f
d，y
，使用一阶推土机距离进行分布距离度量，具体计算如公式(5)所示：
[0100][0101]
使用ld构成判别器的损失，使用后向传播算法对判别器的网络参数进行优化和更新，判别器的内部参数在[-0.5，0.5]之间，常数k的取值为0.5，满足1-利普希茨条件。
[0102]
将生成的隐写图像输入到特征分布评估子网络(判别器)，将对输出特征向量求均值得到的标量作为评估损失值，用于构成生成器的损失函数，评估损失的具体计算如公式(6)所示：
[0103]
l
eva
＝mean(f
d，y
)
ꢀꢀ
(6)
[0104]
步骤s5：计算由图像质量损失、秘密信息提取损失和评估损失构成的生成器的损失函数。
[0105]
使用均方误差计算载体图像和生成的隐写图像之间的图像质量损失，使用秘密信息和逆预处理恢复的秘密信息不相同的比特位占所有比特位的比例作为秘密信息恢复正确率损失，使用步骤s4中得到的评估损失作为对抗损失，构成生成器，即秘密信息嵌入子网络和秘密信息提取子网络的损失函数，对该损失函数进行反向传播，对生成器的内部参数进行优化和更新。
[0106]
生成器损失函数的具体计算如公式(7)所示：
[0107]
lg＝100
·
mse(x，y)+l
sec
+l
eva
ꢀꢀ
(7)
[0108]
对该损失函数进行反向传播，对生成器的内部参数进行优化和更新。
[0109]
步骤s6：先对判别器的网络参数进行更新和优化，再对生成器的网络参数进行更新和优化，交替进行直至训练完成。根据判别器和生成器的损失函数，以及秘密信息提取损失，挑选出效果最佳的模型，最佳的生成对抗网络其生成器的损失函数值较为稳定在低水平，其判别器损失函数较为稳定在高水平。
[0110]
以输入载体图像的维度为1
×
128
×
128，秘密信息的嵌入率为0.7比特每像素为例，经过了130个周期迭代的训练完成的对抗训练网络的所有子网络满足，生成器损失能够较为稳定地达到一个低水平，判别器损失能够较为稳定地达到一个低水平，秘密信息的提取损失能够较为稳定地达到一个较低的水平。隐写部署阶段选择经过了130个周期迭代的秘密信息嵌入子网络和秘密信息提取子网络，分别表示为f
emb_130
(
·
)和f
rec_130
(
·
)。
[0111]
在完成了对抗训练阶段之后，进入到隐写部署阶段，以秘密信息嵌入率为0.7比特每像素为例，包括如下的步骤：
[0112]
s7：发送方将经过补零至合适维度后的二值化秘密信息m和载体图像x输入到训练完成的秘密信息嵌入子网络f
emb_130
(
·
)，得到隐写图像y。
[0113]
s8：发送方将隐写图像y发布到公开平台，例如公开网站。
[0114]
s9：接收方从公开平台以原图形式保存隐写图像，将其输入到训练完成的秘密信息提取子网络f
rec_130
(
·
)，去掉补充的零，得到二值化秘密信息m。
[0115]
综上，本案方法采用端到端的结构，可以实现在一次隐写过程中传递秘密信息的容量得到提升；根据引入变换域知识的不同方法对应设计了秘密信息嵌入子网络和秘密信息提取子网络的三种不同结构，可以实现大幅度提升生成的隐写图像的图像质量，也能保证每比特秘密信息以高正确率进行恢复，增强了隐写方法的容量和安全性；在部署阶段不再需要判别器，通信双发直接使用完成训练的网络即可进行隐蔽通信，具有较强的实用性。
[0116]
需要说明的是，以上内容仅仅说明了本发明的技术思想，不能以此限定本发明的保护范围，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰均落入本发明权利要求书的保护范围之内。

技术特征：
1.一种基于生成对抗网络的端到端图像隐写方法，其特征在于:包括对抗训练和隐写部署两个阶段，所述对抗训练阶段：包括用于构成生成器的秘密信息嵌入子网络和秘密信息提取子网络，还包括用于构成判别器的特征分布评估子网络；所述秘密信息嵌入子网络和秘密信息提取子网络分别通过三种不同方式引入dwt变换域知识，且三种秘密信息嵌入子网络与三种秘密信息提取子网络分别一一对应，使用判别器指导生成器的参数更新，交替更新判别器和生成器的参数，获得最佳生成对抗网络；所述隐写部署阶段：发送方和接收方直接使用对抗训练阶段获得的最佳生成对抗网络进行通信，完成隐蔽通信。2.如权利要求1所述的一种基于生成对抗网络的端到端图像隐写方法，其特征在于，所述对抗训练阶段具体包括如下步骤：s1：对秘密信息进行预处理得到二值化秘密信息，并将其和载体图像输入到秘密信息嵌入子网络；s2：秘密信息嵌入子网络通过三种方式将dwt变换域的知识引入到隐写图像的生成过程，得到不同的子网络并计算隐写图像和载体图像的图像质量损失；所述三种方式具体为：emb1，使用卷积层对特征值进行dwt变换的方式；emb2，使用传统的哈尔小波对特征值进行dwt变换的方式；emb3，使用传统的哈尔小波获得载体图像的dwt系数的方式；s3：将步骤s2中生成的隐写图像输入到秘密信息提取子网络，该网络也通过三种方式将dwt变换域的知识引入到恢复秘密信息的过程，得到不同的子网络，其结构和对应于步骤s2中的秘密信息嵌入子网络相对应，将对应的子网络称为rec1，rec2和rec3；同时计算秘密信息提取正确率；s4：将步骤s2中生成的隐写图像和载体图像输入到特征分布评估子网络，输出隐写图像的特征向量和载体图像的特征向量；所述特征分布评估子网络通过卷积层的方式引入dwt变换域知识，产生输出隐写图像的特征向量和载体图像的特征向量在分布上的差距，将此差距作为特征分布评估子网络的损失函数进行反向传播，对内部参数进行优化和更新，并在隐写图像上计算得到的期望值作为评估损失；s5：将步骤s2得到的隐写图像和载体图像计算图像质量损失、步骤s3得到的从隐写图像中提取的秘密信息和原始用于嵌入的秘密信息计算秘密信息提取正确率损失及步骤s4得到的评估损失三者进行组合，构成生成器的损失函数，对该损失函数进行反向传播，对生成器的内部参数进行优化和更新；s6：重复步骤s1-s5，根据特征分布评估子网络和生成器的损失函数，及秘密信息提取损失，确定最佳生成对抗网络。3.如权利要求2所述的一种基于生成对抗网络的端到端图像隐写方法，其特征在于，所述隐写部署阶段具体包括如下步骤：s7：发送方将预处理后的二值化秘密信息和载体图像输入到对抗训练阶段获得的秘密信息嵌入子网络中，得到隐写图像；s8：发送方将步骤s7中得到的隐写图像发布到公开平台；s9：接收方从公开平台以原图形式保存隐写图像，将其输入到对抗训练阶段获得的秘
密信息提取子网络中，对二值化秘密信息进行逆预处理操作，得到秘密信息。4.如权利要求2所述的一种基于生成对抗网络的端到端图像隐写方法，其特征在于：所述步骤s1的预处理过程包括将二值化秘密信息的维度改变成适合网络输入的维度并对序列长度不够的部分进行补零操作，具体为：当秘密信息的长度小于维度为的特征值大小时，则将秘密信息补零至该特征值的维度；当秘密信息的长度大于该特征图所能容纳的长度时，则将不足通道数为1的特征图的部分补零至特征图的大小；当二进制秘密信息长度为时，则在二进制秘密信息之后补充个0；当二进制秘密信息长度为时，秘密信息具有个通道，如果则对秘密信息的最后一个通道进行补0，补0的个数为其中，h和w分别为载体图像维度通道数的高和宽，l为该嵌入率下可以嵌入载体图像的二值化秘密信息的最大长度。5.如权利要求2所述的一种基于生成对抗网络的端到端图像隐写方法，其特征在于：所述步骤s2中，秘密信息嵌入子网络emb1结构包括三个卷积块、一个dwt模块和一个idwt模块；卷积块1对载体图像进行特征值提取后，dwt模块对该特征进行显式的变换域特征值提取并在此开始进行秘密信息的嵌入，卷积块2和卷积块3以当前块和之前块的输出作为输入进行秘密信息的反复嵌入，idwt模块先使用卷积层收集之前层的输出作为输入，输出4个通道的特征图，再使用不同的idwt方法完成变换域特征值到空间域像素值的域变换，获得修改概率图，最终，将修改概率图和载体图像相加得到隐写图像；其中，dwt模块和idwt模块使用卷积层实现；秘密信息嵌入子网络emb2结构和emb1结构一样，区别在于emb2中dwt模块和idwt模块均由传统的一阶哈尔小波滤波器实现；秘密信息嵌入子网络emb3结构包括三个卷积块，一个基于传统的一阶哈尔小波滤波器实现的dwt模块和一个基于传统的一阶哈尔小波滤波器实现的idwt模块；dwt模块对载体图像进行dwt系数的提取后，卷积块1对dwt系数进行特征值提取，卷积层2和卷积块3以当前块和之前块的输出作为输入进行秘密信息的反复嵌入，idwt模块先使用卷积层收集之前层的输出作为输入并输出4个通道的特征图，再使用传统的一阶哈尔小波滤波器进行idwt以完成变换域特征值到空间域像素值的域变换，获得修改图，最终，将修改图和载体图像相加得到隐写图像。6.如权利要求5所述的一种基于生成对抗网络的端到端图像隐写方法，其特征在于：所述步骤s3中，秘密信息提取子网络rec1结构包括三个卷积块，一个dwt模块和一个卷积层；
卷积块1对隐写图像进行特征值提取后，dwt模块对该特征进行显式的变换域特征值提取，卷积块2和卷积块3以当前块和之前块的输出作为输入进行特征值提取，卷积层收集之前层的输出作为输入，输出二值秘密信息图，经过逆预处理，得到原始的秘密信息；其中dwt模块使用卷积层实现；秘密信息嵌入子网络rec2结构和rec1结构一样，区别在于rec2中dwt模块由传统的一阶哈尔小波滤波器实现；秘密信息嵌入子网络rec3结构包括三个卷积块，一个基于传统的一阶哈尔小波器滤波器实现的dwt模块和一个卷积层；dwt模块对隐写图像进行dwt系数的提取后，卷积块1对dwt系数进行特征值提取，卷积块2和卷积块3以当前块和之前块的输出作为输入进行特征值提取，卷积层收集之前层的输出作为输入，输出二值秘密信息图，经过逆预处理，得到原始的秘密信息；其逆预处理保留去除秘密信息特征图中补充的零后，重新恢复成秘密信息的原始维度。7.如权利要求5或6所述的一种基于生成对抗网络的端到端图像隐写方法，其特征在于：所述步骤s2中图像质量损失的计算方式为对载体图像和隐写图像所有对应位置的像素之间的均方误差和求均值；所述步骤s3中秘密信息提取正确率的计算方式为秘密信息和逆预处理恢复的秘密信息不相同的比特位占所有比特位的比例。8.如权利要求7所述的一种基于生成对抗网络的端到端图像隐写方法，其特征在于：所述步骤s4中特征分布评估子网络结构包括三个卷积块，一个dwt模块和一个卷积层；卷积块1分别对载体图像和隐写图像进行特征值提取后，dwt模块分别对来自载体图像和隐写图像的特征值进行显式的变换域特征值提取，卷积块2和卷积块3分别以来自载体图像和隐写图像的当前层的输出作为输入进行特征值提取，卷积层分别以来自载体图像和隐写图像的卷积块3输出进行特征提取输出通道数为1的特征图，利用一阶推土机距离计算二者之间的差距，作为特征分布评估子网络的损失，评估损失为特征分布评估子网络在隐写图像上计算得到的期望值。

技术总结
本发明公开了一种基于生成对抗网络的端到端图像隐写方法，包括对抗训练和隐写部署两个阶段，所述对抗训练阶段包括用于构成生成器的秘密信息嵌入子网络和秘密信息提取子网络，还包括用于构成判别器的特征分布评估子网络；秘密信息嵌入子网络和秘密信息提取子网络分别通过三种不同方式引入DWT变换域知识，且三种秘密信息嵌入子网络与三种秘密信息提取子网络分别一一对应，使用判别器指导生成器的参数更新，交替更新判别器和生成器的参数，获得最佳生成对抗网络；所述隐写部署阶段中发送方和接收方直接使用对抗训练阶段获得的最佳生成对抗网络进行通信，完成隐蔽通信。本方法大幅度提升生成的隐写图像的图像质量，增强了隐写方法的容量和安全性。写方法的容量和安全性。写方法的容量和安全性。


技术研发人员：陈立全 李潇 马旸 施麟
受保护的技术使用者：东南大学
技术研发日：2023.07.31
技术公布日：2023/9/22