多信道图像语义通信方法及系统、计算机设备

1.本发明涉及计算机通讯技术领域，特别是涉及一种多信道图像语义通信方法及系统、计算机设备。


背景技术：

2.在计算机网络中，按照协议传输的可靠性来分类，可将传输环境分为可靠传输环境和不可靠传输环境，相比于可靠传输环境，不可靠传输环境下的数据传输速度更快，更加适合运作于对通信速度要求较高，对通信质量要求相对不高的场景，比如直播场景、在线语音聊天场景、网络游戏场景等。
3.现有技术中，由于不可靠传输环境下采用不可靠传输协议进行数据传输，如用户数据报协议udp等，如果网络质量不好，就很容易丢失包，导致通信数据的语义信息出现歧义，从而影响通信效果，具有不可靠，不稳定的问题。


技术实现要素：

4.有鉴于此，本发明提供一种多信道图像语义通信方法及系统、计算机设备，主要目的在于解决现有技术中采用不可靠传输协议进行数据传输时通信效果不稳定的问题。
5.依据本发明一个方面，提供了一种多信道图像语义通信方法，包括：
6.信息发送端获取待传输图像数据，并采用深度信源编码器对所述待传输图像数据进行特征提取处理，得到待传输特征语义信息；
7.所述信息发送端采用多信道协作传输的方式将所述待传输特征语义信息并行协作传输至信息接收端，得到多个接收端子信息；
8.所述信息接收端对所述接收端子信息进行多信道特征融合处理，得到多信道融合信息；
9.所述信息接收端基于生成对抗网络模型对所述多信道融合信息进行解码处理，得到目标图像数据。
10.进一步的，所述采用深度信源编码器对所述待传输数据进行特征提取处理，得到待传输特征语义信息包括：
11.采用残差网络模型对所述待传输图像数据进行初步特征提取处理，得到中间语义信息；
12.采用特征金字塔级联模型对所述中间语义信息进行精细特征提取处理，得到精炼语义信息；
13.采用二维卷积层对所述精炼语义信息进行通道数调整，得到所述待传输特征语义信息。
14.进一步的，所述特征金字塔级联模型包括多个并行的级联卷积层，所述级联卷积层包含多个扩张率逐渐衰减的空洞卷积；
15.所述采用特征金字塔级联模型对所述中间语义信息进行精细特征提取处理，得到
精炼语义信息包括：
16.采用多个并行的所述级联卷积层分别对所述中间语义信息进行卷积处理，得到多个卷积处理结果；
17.对所述卷积处理结果进行上采样处理，并采用通道拼接或元素相加的方式对上采样处理后的特征进行特征融合处理，得到所述精炼语义信息。
18.进一步的，所述采用多信道协作传输的方式将所述待传输特征语义信息并行协作传输至信息接收端，得到多个接收端子信息包括：
19.预设c条通信主信道；
20.将所述待传输特征语义信息分别通过所述c条通信主信道进行并行传输，得到c条与所述通信主信道对应的所述接收端子信息。
21.进一步的，所述接收端子信息包括接收导频和接收数据；
22.所述信息接收端对所述接收端子信息进行多信道特征融合处理，得到多信道融合信息之前，所述方法还包括：
23.获取与所述通信主信道对应的输入导频；
24.将所述接收导频、所述接收数据与所述输入导频进行拼接处理，得到拼接子信息。
25.进一步的，所述对所述接收端子信息进行多信道特征融合处理，得到多信道融合信息包括：
26.采用多个特征金字塔级联模型对多个所述拼接子信息分别进行特征提取处理，得到与所述接收端子信息相对应的多个子语义信息；
27.将多个所述子语义信息进行卷积处理，得到所述多信道融合信息。
28.进一步的，所述基于生成对抗网络模型对所述多信道融合信息进行解码处理，得到目标图像数据之前，所述方法还包括：
29.初始化所述生成对抗网络模型中的生成器和判别器；
30.采用训练图像数据集对所述生成器和所述判别器进行训练操作，得到目标生成对抗网络模型。
31.依据本发明另一个方面，提供了一种多信道图像语义通信系统，包括：
32.编码模块，用于获取待传输图像数据，并采用深度信源编码器对所述待传输图像数据进行特征提取处理，得到待传输特征语义信息；
33.多信道传输模块，用于采用多信道协作传输的方式将所述待传输特征语义信息并行协作传输至信息接收端，得到多个接收端子信息；
34.多信道特征融合模块，用于对所述接收端子信息进行多信道特征融合处理，得到多信道融合信息；
35.解码模块，用于基于生成对抗网络模型对所述多信道融合信息进行解码处理，得到目标图像数据。
36.进一步的，所述编码模块还用于：
37.采用残差网络模型对所述待传输图像数据进行初步特征提取处理，得到中间语义信息；
38.采用特征金字塔级联模型对所述中间语义信息进行精细特征提取处理，得到精炼语义信息；
39.采用二维卷积层对所述精炼语义信息进行通道数调整，得到所述待传输特征语义信息。
40.进一步的，所述所述特征金字塔级联模型包括多个并行的级联卷积层，所述级联卷积层包含多个扩张率逐渐衰减的空洞卷积；所述编码模块还用于：
41.采用多个并行的所述级联卷积层分别对所述中间语义信息进行卷积处理，得到多个卷积处理结果；
42.对所述卷积处理结果进行上采样处理，并采用通道拼接或元素相加的方式对上采样处理后的特征进行特征融合处理，得到所述精炼语义信息。
43.进一步的，所述多信道传输模块还用于：
44.预设c条通信主信道；
45.将所述待传输特征语义信息分别通过所述c条通信主信道进行并行传输，得到c条与所述通信主信道对应的所述接收端子信息。
46.进一步的，所述接收端子信息包括接收导频和接收数据；所述系统还包括单信道信息拼接模块，用于：
47.获取与所述通信主信道对应的输入导频；
48.将所述接收导频、所述接收数据与所述输入导频进行拼接处理，得到拼接子信息。
49.进一步的，所述多信道特征融合模块还用于：
50.采用多个特征金字塔级联模型对多个所述拼接子信息分别进行特征提取处理，得到与所述接收端子信息相对应的多个子语义信息；
51.将多个所述子语义信息进行卷积处理，得到所述多信道融合信息。
52.进一步的，所述系统还包括模型训练模块，用于：
53.初始化所述生成对抗网络模型中的生成器和判别器；
54.采用训练图像数据集对所述生成器和所述判别器进行训练操作，得到目标生成对抗网络模型。
55.依据本发明又一个方面，提供了一种计算机设备，包括处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
56.所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上述编码模块和多信道传输模块对应的操作。
57.依据本发明再一个方面，提供了另一种计算机设备，包括处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
58.所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上述多信道特征融合模块和解码模块对应的操作。
59.借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点：
60.本发明提供了一种多信道图像语义通信方法及系统、计算机设备，与现有技术相比，本发明通过信息发送端获取待传输图像数据，并采用深度信源编码器对所述待传输图像数据进行特征提取处理，得到待传输特征语义信息；所述信息发送端采用多信道协作传输的方式将所述待传输特征语义信息并行协作传输至信息接收端，得到多个接收端子信
息；所述信息接收端对所述接收端子信息进行多信道特征融合处理，得到多信道融合信息；所述信息接收端基于生成对抗网络模型对所述多信道融合信息进行解码处理，得到目标图像数据，实现了对不可靠传输环境中，图像数据传输的稳定性的提高。此外，本发明通过深度学习方法有效压缩了传输体积，从而减少了传输需要的时间，进一步提高了传输效率。
61.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
62.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
63.图1示出了本发明实施例提供的一种多信道图像语义通信方法的流程示意图；
64.图2示出了本发明实施例提供的另一种多信道图像语义通信方法的流程示意图；
65.图3示出了本发明实施例提供的又一种多信道图像语义通信方法的流程示意图；
66.图4示出了本发明实施例提供的再一种多信道图像语义通信方法的流程示意图；
67.图5示出了本发明实施例提供的一种多信道图像语义通信系统的结构示意图；
68.图6示出了本发明实施例提供的一种计算机设备的结构示意图；
69.图7示出了本发明实施例提供的一种卷积生成对抗网络模型的结构示意图；
70.图8示出了本发明实施例提供的一种多信道图像语义通信方法的训练结果；
71.图9示出了本发明实施例提供的一种多信道图像语义通信方法的测试结果；
72.图10示出了本发明实施例提供的一种多信道图像语义通信方法的另一种训练结果；
73.图11示出了本发明实施例提供的一种多信道图像语义通信方法的另一种测试结果。
具体实施方式
74.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
75.本发明实施例提供了一种多信道图像语义通信方法，如图1所示，该方法包括：
76.101、信息发送端获取待传输图像数据，并采用深度信源编码器对所述待传输图像数据进行特征提取处理，得到待传输特征语义信息；
77.本发明实施例中，信息发送端获取待传输图像数据后，采用深度信源编码器对待传输图像数据进行特征提取处理，得到待传输特征语义信息。其中，深度编码器由残差网络模型、特征金字塔级联模型和卷积层构成。其中，残差网络模型resnet包括一系列的网络模型，如resnet50、resnet10、resnet152等，本发明实施例不做具体限定。
78.102、所述信息发送端采用多信道协作传输的方式将所述待传输特征语义信息并
行协作传输至信息接收端，得到多个接收端子信息；
79.本发明实施例中，信息发送端采用多信道协作传输的方式将待传输特征语义信息并行协作传输至信息接收端，得到多个接收端子信息。其中，多信道协作传输用于表征通过多个传输信道进行信息传输处理，本发明实施例中，用于传输的多个信道为采用不可靠传输协议进行数据传输的信道，如用户数据报协议udp等，本发明实施例不做具体限定。其中，接收端子信息的数量与传输信道的数量相同，如传输信道的数量为5，则对应的接收端子信息的数量也为5；如传输信道的数量为3，则对应的接收端子信息的数量也为3等，本发明实施例不做具体限定。
80.103、所述信息接收端对所述接收端子信息进行多信道特征融合处理，得到多信道融合信息；
81.本发明实施例中，信息接收端接收到所述接收端子信息后，对所述接收端子信息进行多信道特征融合处理，得到多信道融合信息。其中，多信道特征融合处理用于表征对多个信道获取的数据和信息进行关联、相关和综合，以获得包含各个信道特征的多信道融合信息，所述多信道融合信息对待传输特征语义信息具有一致性解释和描述。
82.104、所述信息接收端基于生成对抗网络模型对所述多信道融合信息进行解码处理，得到目标图像数据。
83.本发明实施例中，信息接收端基于生成对抗网络模型对多信道融合信息进行解码处理，得到目标图像数据。其中，生成对抗网络模型(generative adversarial networks，gan)设计的解码器，包含一个生成器(generator)和一个判别器(discriminator)，通过学习训练数据的分布，实现对接收端接收信息的解码。生成对抗网络模型还包括条件生成对抗网络模型(cgan)、深度卷积生成对抗网络模型(dcgan)、半监督生成对抗网络模型(sgan)等，本发明实施例不做具体限定。
84.进一步的，作为上述实施例具体实施方式的细化和扩展，为了更加准确得提取待传输图像数据的语义特征，提供了另一种多信道图像语义通信方法，如图2所示，步骤采用深度信源编码器对所述待传输数据进行特征提取处理，得到待传输特征语义信息包括：
85.201、采用残差网络模型对所述待传输图像数据进行初步特征提取处理，得到中间语义信息；
86.本发明实施例中，信息发送端采用残差网络模型对待传输图像数据进行初步特征提取处理，得到中间语义信息；本发明实施例中，从残差网络模型系列中优选残差网络模型resnet152进行图像语义特征提取，所述残差网络模型resnet152是特征提取能力较强的一种模型，它由多个convblock组成，每个convblock中包含多个idblock，其中idblock都采用了残差连接的结构。
87.需要说明的是，待传输图像数据的初始特征包括高度、宽度、通道数3个维度，本发明实施例中采用残差网络模型resnet152进行图像语义特征提取时，将待传输图像数据上述高度、宽度、通道数3个维度的特征作为输入信息进行特征提取处理。
88.202、采用特征金字塔级联模型对所述中间语义信息进行精细特征提取处理，得到精炼语义信息；
89.本发明实施例中，信息发送端采用特征金字塔级联模型对中间语义信息进行精细特征提取处理，得到精炼语义信息。其中，特征金字塔级联模型包括多个并行的级联卷积
层，所述级联卷积层包含多个扩张率逐渐衰减的空洞卷积；如，本发明实施例中，采用3个并行的级联卷积层，每个级联卷积层的空洞卷积数量为3，其中一个级联卷积层的3个空洞卷积的扩张率依次为6、5、4，另一个级联卷积层的3个空洞卷积的扩张率依次为5、4、3，再一个级联卷积层的3个空洞卷积的扩张率依次为4、3、2，通过本发明实施例中并行的3个级联卷积层分别对中间语义信息进行卷积处理，得到了三种不同尺度的卷积处理结果，提高了模型的非线性表达能力。
90.需要说明的是，所述特征金字塔级联模型还包括一个池化层，在采用多个并行的级联卷积层进行卷积处理之前，还可以采用池化层对中间语义信息进行不同尺度的池化操作，从而获取到不同尺度的特征，减小特征图的尺寸，从而降低整体的计算量，还可以通过池化层扩张感受野，提高模型的非线性表达能力。如在扩张率依次为6、5、4的级联卷积层之前采用2
×
2的池化层进行池化操作，在扩张率依次为5、4、3的级联卷积层之前采用3
×
3的池化层进行池化操作，在扩张率依次为4、3、2的级联卷积层之前采用4
×
4的池化层进行池化操作等，本发明实施例不做具体限定。
91.需要说明的是，信息发送端在得到多个并行的级联卷积层的卷积处理结果之后，还需要对卷积处理结果进行上采样处理，以使得不同尺寸的卷积处理结果恢复至相同尺寸。由于，空洞卷积在扩大感受野的同时不可避免地破坏了待传输图像数据的原有特征，为此本发明实施例中先对上采样处理得到的相同尺寸的特征进行元素相加，能够在不扩大特征通道的前提下积累更多的语义信息。然后将输入的中间语义信息与元素相加后得到的特征信息进行通道拼接，得到精炼语义信息。
92.并通过卷积将通道数调整至输入时通道数，进一步提炼特征，这样构造出一个残差结构的好处是，既能够利用金字塔结构提取额外的语义信息，又能够保留原始输入中的原始特征。
93.203、采用二维卷积层对所述精炼语义信息进行通道数调整，得到所述待传输特征语义信息。
94.本发明实施例中，信息发送端在得到精炼语义信息之后，采用一个二维卷积层对所述精炼语义信息进行通道数调整，使得调整后的通道数等于待传输图像数据的通道数，即当待传输图像数据是彩色rgb图像时，通道数为3；当传输图像数据是灰度图像时，通道数为1。经通道数调整后的输出信息为待传输特征语义信息。
95.进一步的，作为上述实施例具体实施方式的细化和扩展，为了提高基于不可靠传输协议通信的通信效果，提供了另一种多信道图像语义通信方法，如图3所示，步骤采用多信道协作传输的方式将所述待传输特征语义信息并行协作传输至信息接收端，得到多个接收端子信息包括：
96.301、预设c条通信主信道；
97.本发明实施例中，在信息发送端与信息接收端之间预设c条通信主信道，每条通信主信道均为采用不可靠传输协议进行数据传输的信道，如用户数据报协议udp等，本发明实施例不做具体限定。其中，主信道的数量c可以根据需要进行设定，如设定为3条、5条、6条等，本发明实施例不做具体限定。
98.302、将所述待传输特征语义信息分别通过所述c条通信主信道进行并行传输，得到c条与所述通信主信道对应的所述接收端子信息。
99.本发明实施例中，信息发送端将待传输特征语义信息分别通过c条通信主信道进行并行传输，得到c条于通信主信道对应的接收端子信息，即接收端子信息的数量与通信主信道的数量相同，如通信主信道的数量为5，则对应的接收端子信息的数量也为5；如通信主信道的数量为3，则对应的接收端子信息的数量也为3等，本发明实施例不做具体限定。
100.需要说明的是，每条通信主信道采用正交频分复用技术(orthogonal frequency division multiplexing,ofdm)作为载体传输数据。在每条通信主信道内利用ofdm技术将信道重新划分为lc条子路径和mc个子载波。假设传输一副图像数据需要使用p帧，每一帧包含s个ofdm符号,循环前缀数为k。信息发送端将待传输特征语义信息经过ofdm编码器输出为频域符号，假设导频符号是已知的，记c条通信主信道的导频集合为y
p
＝{y
p，0
，y
p，1
，
…
，y
p，c-1
}。信息发送端将离散傅立叶逆变换应用于每个ofdm符号，并附加循环前缀(cp)，最后送入ofdm传输器进行传输。信息接收端获得有具有噪声信号的信道输出，首先去除cp，并应用离散傅里叶变换来产生频域导频和数据符号。如果没有削波(故意削波或放大器固有削波)，则以下适用于导频和数据符号：
[0101][0102][0103]
其中，hc代表第c条传输信道中第m个子载波的信道频率响应，wc和vc都表示第c条传输信道中的噪声样本。从而获得了经过ofdm在第c条通信主信道cc上传输后接收到的导频符号和数据符号，即接收端子信息包括接收导频和接收数据。当设置c条通信主信道时，经ofdm技术传输得到的接收导频的集合可以表示为，接收数据的集合可以表示为
[0104]
进一步的，作为上述实施例具体实施方式的细化和扩展，为了得到更加准确的语义信息，去除掉信息中的噪声，且减小计算量，提供了另一种多信道图像语义通信方法，如图4所示，步骤信息接收端对所述接收端子信息进行多信道特征融合处理，得到多信道融合信息之前，所述方法还包括：
[0105]
401、获取与所述通信主信道对应的输入导频；
[0106]
402、将所述接收导频、所述接收数据与所述输入导频进行拼接处理，得到拼接子信息。
[0107]
本发明实施例中，信息接收端获取与通信主信道对应的输入导频，并将接收导频、接收数据与输入导频进行拼接处理。如，对于一个通信主信道接收到的接收数据、接收导频以及输入导频y
p
，进行拼接处理后记为即得到拼接子信息。
[0108]
需要说明的是，信息接收端对所述接收端子信息进行多信道特征融合处理，得到多信道融合信息包括：
[0109]
403、采用多个特征金字塔级联模型对多个所述拼接子信息分别进行特征提取处理，得到与所述接收端子信息相对应的多个子语义信息；
[0110]
404、将多个所述子语义信息进行卷积处理，得到所述多信道融合信息。
[0111]
本发明实施例中，信息接收端采用多个特征金字塔级联模型对多个拼接子信息分
别进行特征提取处理，得到与接收端子信息相对应的多个子语义信息，即设置c条通信主信道时，采用c个独立的特征金字塔级联模型对每一组进一步提炼特征，并得到对应的，最后得到的提炼特征集合表示为当通信主信道的数量为5，则对应的接收端子信息的数量为5，相对应的子语义信息的数量也为5；如通信主信道的数量为3，则对应的接收端子信息的数量为3，相对应的接收端子信息的数量也为3等，本发明实施例不做具体限定。
[0112]
其中，特征金字塔级联模型包括多个并行的级联卷积层，所述级联卷积层包含多个扩张率逐渐衰减的空洞卷积；如，本发明实施例中，采用3个并行的级联卷积层，每个级联卷积层的空洞卷积数量为3，其中一个级联卷积层的3个空洞卷积的扩张率依次为6、5、4，另一个级联卷积层的3个空洞卷积的扩张率依次为5、4、3，再一个级联卷积层的3个空洞卷积的扩张率依次为4、3、2，通过本发明实施例中并行的3个级联卷积层分别对中间语义信息进行卷积处理，得到了三种不同尺度的卷积处理结果，提高了模型的非线性表达能力。
[0113]
需要说明的是，所述特征金字塔级联模型还包括一个池化层，在采用多个并行的级联卷积层进行卷积处理之前，还可以采用池化层对中间语义信息进行不同尺度的池化操作，从而获取到不同尺度的特征，减小特征图的尺寸，从而降低整体的计算量，还可以通过池化层扩张感受野，提高模型的非线性表达能力。如在扩张率依次为6、5、4的级联卷积层之前采用2
×
2的池化层进行池化操作，在扩张率依次为5、4、3的级联卷积层之前采用3
×
3的池化层进行池化操作，在扩张率依次为4、3、2的级联卷积层之前采用4
×
4的池化层进行池化操作等，本发明实施例不做具体限定。
[0114]
在得到多个子语义信息之后，信息接收端将多个子语义信息进行卷积处理，得到多信道融合信息，如将多个子语义信息通过卷积的形式进行特征融合，得到多信道融合信息等，本发明实施例不做具体限定。
[0115]
进一步的，作为上述实施例具体实施方式的细化和扩展，为了提高解码器的准确率，使得语义传输更加稳定，提供了另一种多信道图像语义通信方法，步骤基于生成对抗网络模型对所述多信道融合信息进行解码处理，得到目标图像数据之前，所述方法还包括：
[0116]
初始化所述生成对抗网络模型中的生成器和判别器；
[0117]
采用训练图像数据集对所述生成器和所述判别器进行训练操作，得到目标生成对抗网络模型。
[0118]
本发明实施例中，信息接收端对生成对抗网络模型中的生成器和判别器中的参数进行初始化，其中参数包括θ，κ，φ，ζ，依次表示深度信源编码器、特征金字塔级联模型、生成器和判别器的神经网络参数。本发明实施例中，优选深度卷积生成对抗网络模型(dcgan)进行训练操作，结构如图7所示，其结合了卷积神经网络的优点和生成对抗网络的优点，使得图像生成质量得到了大幅提升。卷积生成对抗网络模型(dcgan)包含包括一个生成器和一个判别器，生成器(generator)是由多个卷积层、反卷积层、批量归一化层(bn层)和激活函数(如relu)等组成。判别器(discriminator)是由多个卷积层、池化层、bn层和激活函数(如leakyrelu)以及最后的全连接层组成。判别器将真实图像和生成器生成的图像进行区分，判别器的输出值越接近1，则表示该图像为真实的图像，反之则是生成器生成的图像。步
骤404中的多信道融合信息输入进生成器generator并生成与真实图像相似的图像。并将获得的生成图像和原本的真实图像输入到判别器discriminator)中，再通过mse计算生成图像和真实图像的差距来作为生成器的损失l
φ
(θ，κ，φ)。对于判别器，其损失为错判真假的样本比例l
ζ
(θ，κ，φ，ζ)。在训练中，通过计算总损失函数l(θ，κ，φ，ζ)并反向传播来更新整个网络的参数，网络训练的目标是寻找能够使得损失函数最小化的最合适的参数θ，κ，φ，ζ，得到目标生成对抗网络模型。
[0119]
需要说明的是，本发明实施例在得到目标生成对抗网络模型后，还采用测试图像数据集对目标生成对抗网络模型进行测试操作，上述训练结果以及测试结果用图像峰值信噪比psnr进行评估，如图8、图9所示。对比图8和图9可以得到，训练过程没有发生过拟合现象。以单信道传输的“one-path snr5.00”,“one-path snr10.00”,“one-path snr15.00”作为参照，可以发现在多信道传输下，仅需snr1.67就可以达到与单信道snr5.00同样的传输质量。当多信道snr3.33的情况下已经领先于单信道snr5，而当多信道snr＝5.00时，其通信质量已经达到了单信道snr＝10.00的水平，且有逼近单信道snr15.00的趋势，在更长的训练波数下可以进一步拉近距离。
[0120]
此外，还可以采用生成器的损失变化进行评估，如图10、图11所示。对比图10和图11可以得到，训练过程没有发生过拟合现象，以单信道传输的“one-path snr5.00”,“one-path snr10.00”,“one-path snr15.00”作为参照，可以发现在多信道传输下，snr1.67的生成器损失略高于单信道snr5.00，多信道snr3.33的生成器损失与单信道snr5持平，而多信道snr5.00的生成器损失要低于单信道snr5.00，与单信道snr10.00相接近，但与单信道snr15.00仍有一定差距。由图8、图9可知，此时多信道snr1.67的psnr已经与单信道snr5相当，多信道snr3.33的psnr已经超过了单信道snr5.00，而多信道snr5.00的psnr更是远超单信道snr5.00，与单信道snr10.00持平。这也证明了多信道方法能够在有限的snr下提取更多的语义信息。
[0121]
本发明实施例提供了一种多信道图像语义通信方法，与现有技术相比，本发明通过信息发送端获取待传输图像数据，并采用深度信源编码器对所述待传输图像数据进行特征提取处理，得到待传输特征语义信息；所述信息发送端采用多信道协作传输的方式将所述待传输特征语义信息并行协作传输至信息接收端，得到多个接收端子信息；所述信息接收端对所述接收端子信息进行多信道特征融合处理，得到多信道融合信息；所述信息接收端基于生成对抗网络模型对所述多信道融合信息进行解码处理，得到目标图像数据，实现了对不可靠传输环境中，图像数据传输的稳定性的提高。此外，本发明通过深度学习方法有效压缩了传输体积，从而减少了传输需要的时间，进一步提高了传输效率。
[0122]
作为对上述图1所示方法的实现，本发明实施例提供了一种多信道图像语义通信系统，如图5所示，该系统包括：
[0123]
编码模块51，用于获取待传输图像数据，并采用深度信源编码器对所述待传输图像数据进行特征提取处理，得到待传输特征语义信息；
[0124]
多信道传输模块52，用于采用多信道协作传输的方式将所述待传输特征语义信息并行协作传输至信息接收端，得到多个接收端子信息；
[0125]
多信道特征融合模块53，用于对所述接收端子信息进行多信道特征融合处理，得到多信道融合信息；
[0126]
解码模块54，用于基于生成对抗网络模型对所述多信道融合信息进行解码处理，得到目标图像数据。
[0127]
进一步的，所述编码模块51还用于：
[0128]
采用残差网络模型对所述待传输图像数据进行初步特征提取处理，得到中间语义信息；
[0129]
采用特征金字塔级联模型对所述中间语义信息进行精细特征提取处理，得到精炼语义信息；
[0130]
采用二维卷积层对所述精炼语义信息进行通道数调整，得到所述待传输特征语义信息。
[0131]
进一步的，所述所述特征金字塔级联模型包括多个并行的级联卷积层，所述级联卷积层包含多个扩张率逐渐衰减的空洞卷积；所述编码模块51还用于：
[0132]
采用多个并行的所述级联卷积层分别对所述中间语义信息进行卷积处理，得到多个卷积处理结果；
[0133]
对所述卷积处理结果进行上采样处理，并采用通道拼接或元素相加的方式对上采样处理后的特征进行特征融合处理，得到所述精炼语义信息。
[0134]
进一步的，所述多信道传输模块52还用于：
[0135]
预设c条通信主信道；
[0136]
将所述待传输特征语义信息分别通过所述c条通信主信道进行并行传输，得到c条与所述通信主信道对应的所述接收端子信息。
[0137]
进一步的，所述接收端子信息包括接收导频和接收数据；所述系统还包括单信道信息拼接模块，用于：
[0138]
获取与所述通信主信道对应的输入导频；
[0139]
将所述接收导频、所述接收数据与所述输入导频进行拼接处理，得到拼接子信息。
[0140]
进一步的，所述多信道特征融合模块53还用于：
[0141]
采用多个特征金字塔级联模型对多个所述拼接子信息分别进行特征提取处理，得到与所述接收端子信息相对应的多个子语义信息；
[0142]
将多个所述子语义信息进行卷积处理，得到所述多信道融合信息。
[0143]
进一步的，所述系统还包括模型训练模块，用于：
[0144]
初始化所述生成对抗网络模型中的生成器和判别器；
[0145]
采用训练图像数据集对所述生成器和所述判别器进行训练操作，得到目标生成对抗网络模型。
[0146]
本发明实施例提供了一种多信道图像语义通信系统，与现有技术相比，本发明通过信息发送端获取待传输图像数据，并采用深度信源编码器对所述待传输图像数据进行特征提取处理，得到待传输特征语义信息；所述信息发送端采用多信道协作传输的方式将所述待传输特征语义信息并行协作传输至信息接收端，得到多个接收端子信息；所述信息接收端对所述接收端子信息进行多信道特征融合处理，得到多信道融合信息；所述信息接收端基于生成对抗网络模型对所述多信道融合信息进行解码处理，得到目标图像数据，实现了对不可靠传输环境中，图像数据传输的稳定性的提高。此外，本发明通过深度学习方法有效压缩了传输体积，从而减少了传输需要的时间，进一步提高了传输效率。
[0147]
图6示出了根据本发明一个实施例提供的一种计算机设备的结构示意图，本发明具体实施例并不对计算机设备的具体实现做限定。
[0148]
如图6所示，该计算机设备可以包括：处理器(processor)602、通信接口(communications interface)604、存储器(memory)606、以及通信总线608。
[0149]
其中：处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。
[0150]
通信接口604，用于与其它设备比如客户端或其它服务器等的网元通信。
[0151]
处理器602，用于执行程序610，具体可以执行上述实施例中编码模块和多信道传输模块的相关步骤。
[0152]
具体地，程序610可以包括程序代码，该程序代码包括计算机操作指令。
[0153]
处理器602可能是中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算机设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
[0154]
存储器606，用于存放程序610。存储器606可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
[0155]
程序610具体可以用于使得处理器602执行以下操作：
[0156]
获取待传输图像数据，并采用深度信源编码器对所述待传输图像数据进行特征提取处理，得到待传输特征语义信息；
[0157]
采用多信道协作传输的方式将所述待传输特征语义信息并行协作传输至信息接收端，得到多个接收端子信息。
[0158]
根据本发明一个实施例提供的另一种计算机设备，其结构与上述实施例中的计算机设备的结构相同，区别在于，其程序具体可以用于使得处理器执行以下操作：
[0159]
对所述接收端子信息进行多信道特征融合处理，得到多信道融合信息；
[0160]
基于生成对抗网络模型对所述多信道融合信息进行解码处理，得到目标图像数据。
[0161]
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
[0162]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

技术特征：
1.一种多信道图像语义通信方法，其特征在于，包括：信息发送端获取待传输图像数据，并采用深度信源编码器对所述待传输图像数据进行特征提取处理，得到待传输特征语义信息；所述信息发送端采用多信道协作传输的方式将所述待传输特征语义信息并行协作传输至信息接收端，得到多个接收端子信息；所述信息接收端对所述接收端子信息进行多信道特征融合处理，得到多信道融合信息；所述信息接收端基于生成对抗网络模型对所述多信道融合信息进行解码处理，得到目标图像数据。2.根据权利要求1所述的方法，其特征在于，所述采用深度信源编码器对所述待传输数据进行特征提取处理，得到待传输特征语义信息包括：采用残差网络模型对所述待传输图像数据进行初步特征提取处理，得到中间语义信息；采用特征金字塔级联模型对所述中间语义信息进行精细特征提取处理，得到精炼语义信息；采用二维卷积层对所述精炼语义信息进行通道数调整，得到所述待传输特征语义信息。3.根据权利要求2所述的方法，其特征在于，所述特征金字塔级联模型包括多个并行的级联卷积层，所述级联卷积层包含多个扩张率逐渐衰减的空洞卷积；所述采用特征金字塔级联模型对所述中间语义信息进行精细特征提取处理，得到精炼语义信息包括：采用多个并行的所述级联卷积层分别对所述中间语义信息进行卷积处理，得到多个卷积处理结果；对所述卷积处理结果进行上采样处理，并采用通道拼接或元素相加的方式对上采样处理后的特征进行特征融合处理，得到所述精炼语义信息。4.根据权利要求1所述的方法，其特征在于，所述采用多信道协作传输的方式将所述待传输特征语义信息并行协作传输至信息接收端，得到多个接收端子信息包括：预设c条通信主信道；将所述待传输特征语义信息分别通过所述c条通信主信道进行并行传输，得到c条与所述通信主信道对应的所述接收端子信息。5.根据权利要求1所述的方法，其特征在于，所述接收端子信息包括接收导频和接收数据；所述信息接收端对所述接收端子信息进行多信道特征融合处理，得到多信道融合信息之前，所述方法还包括：获取与所述通信主信道对应的输入导频；将所述接收导频、所述接收数据与所述输入导频进行拼接处理，得到拼接子信息。6.根据权利要求5所述的方法，其特征在于，所述对所述接收端子信息进行多信道特征融合处理，得到多信道融合信息包括：采用多个特征金字塔级联模型对多个所述拼接子信息分别进行特征提取处理，得到与
所述接收端子信息相对应的多个子语义信息；将多个所述子语义信息进行卷积处理，得到所述多信道融合信息。7.根据权利要求1～6任一项所述的方法，其特征在于，所述基于生成对抗网络模型对所述多信道融合信息进行解码处理，得到目标图像数据之前，所述方法还包括：初始化所述生成对抗网络模型中的生成器和判别器；采用训练图像数据集对所述生成器和所述判别器进行训练操作，得到目标生成对抗网络模型。8.一种多信道图像语义通信系统，其特征在于，包括：编码模块，用于获取待传输图像数据，并采用深度信源编码器对所述待传输图像数据进行特征提取处理，得到待传输特征语义信息；多信道传输模块，用于采用多信道协作传输的方式将所述待传输特征语义信息并行协作传输至信息接收端，得到多个接收端子信息；多信道特征融合模块，用于对所述接收端子信息进行多信道特征融合处理，得到多信道融合信息；解码模块，用于基于生成对抗网络模型对所述多信道融合信息进行解码处理，得到目标图像数据。9.一种计算机设备，包括处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求8中所述编码模块和所述多信道传输模块对应的操作。10.一种计算机设备，包括处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求8中所述多信道特征融合模块和所述解码模块对应的操作。

技术总结
本发明公开了一种多信道图像语义通信方法及系统、计算机设备，属于计算机通讯技术领域，主要解决现有技术中采用不可靠传输协议进行数据传输时通信效果不稳定的问题，包括信息发送端获取待传输图像数据，并采用深度信源编码器对所述待传输图像数据进行特征提取处理，得到待传输特征语义信息；所述信息发送端采用多信道协作传输的方式将所述待传输特征语义信息并行协作传输至信息接收端，得到多个接收端子信息；所述信息接收端对所述接收端子信息进行多信道特征融合处理，得到多信道融合信息；所述信息接收端基于生成对抗网络模型对所述多信道融合信息进行解码处理，得到目标图像数据。数据。数据。


技术研发人员：陈剑 夏嘉勒 贾杰 陈建民 翟凯利 王兴伟
受保护的技术使用者：东北大学
技术研发日：2023.05.19
技术公布日：2023/9/22