一种对于图像压缩的优化方法

1.本发明涉及图像压缩技术领域，具体涉及一种对于图像压缩的优化方法。


背景技术：

2.随着5g通信的成功商用，带动了如自动驾驶、车联网等技术的飞速发展，随着新型产业和服务业的出现，如远程医疗等，现有的5g技术已不能满足其通信性能的要求，因此学术界及工业界提出了6g网络的愿景，无人机有着高移动性、低成本、易部署、配置灵活等优点，成为辅助6g通信不可缺少的技术，但其存储空间及带宽有限，回传数据量大时会导致清晰度不高。
3.随着数字化时代的来临，给图像压缩算法也带来了更大的挑战，在保证更高压缩比的同时也需平衡效率。传统的图像压缩方法已不能满足现如今的要求，其大多数都是在固定压缩比的条件下进行压缩，而且在高压缩比时不能满足对解压缩图像质量的需求。深度学习的发展使图像压缩算法得到了提高，在高压缩的条件下也可以满足对图像质量的需求，但网络的复杂度高(如：参数量较大)会导致压缩速率变慢，在很多场景下，例如无人机场景，不能只考虑高压缩这一需求，也要考虑实时回传对效率的要求。


技术实现要素：

4.针对现有技术大多数都是在固定压缩比的条件下进行压缩，在高压缩比时不能满足对解压缩图像质量的需求，压缩速率慢的不足，本发明提供了一种对于图像压缩的优化方法，在保证图像压缩质量的前提下，引入图像拼接模块，可实现更高的压缩比，引入扩展卡尔曼滤波器模块训练网络，大幅提高压缩速率，从而解决在高压缩比时不能满足对解压缩图像质量的需求，压缩速率慢的问题。
5.一种对于图像压缩的优化方法，包括以下步骤：
6.获取图像数据集；
7.通过以结构相似性为标准对图像数据进行拼接，得到原始输入矩阵；
8.构建神经网络模型，引入扩展卡尔曼滤波器模块对神经网络进行训练；
9.将原始输入矩阵输入训练后的神经网络模型的编码层中，得到输出矩阵；
10.将输出矩阵输入至训练后的神经网络模型的解码层中，获得解压缩后的像素矩阵；
11.其中，所述引入扩展卡尔曼滤波器模块对神经网络进行训练，训练过程包括以下步骤：
12.采用扩展卡尔曼滤波器的状态向量表示神经网络中的权重和偏置；
13.根据扩展卡尔曼滤波器的状态向量计算出其预测状态和预测误差的协方差矩阵；
14.根据测量协方差、状态的误差协方差矩阵以及输出矩阵解压后的像素矩阵对神经网络参数的偏导来确定扩展卡尔曼滤波器的卡尔曼增益；
15.通过卡尔曼增益对扩展卡尔曼滤波器的预测状态和预测误差的协方差矩阵进行
更新，直至达到设定的迭代次数或设定的误差大小后，输出最终的解压缩后的像素矩阵。
16.进一步地，所述通过以结构相似性为标准对图像数据进行拼接，得到原始输入矩阵，其具体包括以下步骤：
17.通过二维矩阵x＝[x1x2…
xn]表示原始图像，拼接后的图像通过原始输入矩阵表示；
[0018]
采用ssim衡量两张图像p1和p2之间的相似度，其计算公式为：
[0019][0020]
其中，是p1的平均值，是p2的平均值，是p1的方差，是p2的方差，是p1、p2的协方差，c1＝(k1l)2，c2＝(k2l)2是用来维持稳定的常数，l是像素值的动态范围，k1、k2是常数。
[0021]
进一步地，所述将原始输入矩阵输入训练后的神经网络模型的编码层中，得到输出矩阵，其具体包括以下步骤：
[0022]
将输入到神经网络的编码层中，层和层之间由权重w1、w2和偏置b1、b2连接；其中第一编码层的输出为c＝[c1c2…cj
]；
[0023]
将c＝[c1c2…cj
]作为第二编码层的输入，得出第二编码层的输出为d＝[d1d2…di
]，其中i＜j，其表达式为
[0024][0025][0026]
其中，pa表示的第a列，ca表示c＝[c1c2…cj
]的第a列，sigmoid为激活函数，被用作神经网络的阈值函数，将变量归一化处理，映射到[0,1]之间。
[0027]
进一步地，所述将输出矩阵输入至神经网络的解码层中，获得解压缩矩阵，其具体包括以下步骤：
[0028]
将编码层的输出d输入到解码层中，层和层间由权重w
21
、w
22
和偏置b
21
、b
22
连接；其中第一层解码层的输出为e＝[e1e2…ej
]；
[0029]
将第一解码层的输出e＝[e1e2…ej
]输入第二解码层得到解压缩矩阵其表达式为：
[0030][0031][0032]
其中，da表示d＝[d1d2…di
]的第a列，ea表示e＝[e1e2…ej
]的第a列。
[0033]
进一步地，所述采用扩展卡尔曼滤波器的状态向量表示神经网络中的权重和偏
置，其表达式为：
[0034]
wk＝[{w
l
,b
l
}
1≤l≤2
]
t
[0035]
其中，w
l
和b
l
分别表示神经网络的权重和偏置，t表示矩阵转置。
[0036]
进一步地，所述根据扩展卡尔曼滤波器的状态向量计算出其预测状态和预测误差的协方差矩阵，其计算公式为：
[0037][0038]
p
k+1
＝pk+qk[0039]
其中，w
k+1
表示预测状态，p
k+1
表示预测误差的协方差矩阵，l是重构误差，α为学习率，qk是过程噪声误差的协方差矩阵，pk是状态的误差协方差矩阵。
[0040]
进一步地，所述重构误差通过计算解压缩矩阵与原始输入矩阵之间的误差大小得到。
[0041][0042]
其中，ya表示的第a列，为拼接后图像的维度大小。
[0043]
进一步地，所述解压后的像素矩阵对神经网络参数的偏导hk，其计算公式为：
[0044][0045]
其中，y
k+1
为解压缩后的像素矩阵。
[0046]
进一步地，所述根据测量协方差、状态的误差协方差矩阵以及解压后的像素矩阵对神经网络参数的偏导来确定扩展卡尔曼滤波器的卡尔曼增益，其计算过程为：
[0047][0048]
pk＝e[(w
k+1-wk)(w
k+1-wk)
t
]
[0049][0050]
其中，kk表示卡尔曼增益，rk是测量协方差，p为经拼接后输入到神经网络压缩算法中图像的像素矩阵，r
k+1
表示测量协方差的下一状态，e表示期望值，k表示当前状态。
[0051]
进一步地，所述通过卡尔曼增益对扩展卡尔曼滤波器的预测状态和预测误差的协方差矩阵进行更新，其更新后的预测状态和误差协方差矩阵的计算公式为：
[0052][0053][0054]
本发明提供了一种对于图像压缩的优化方法，具备以下有益效果：
[0055]
本发明在保证图像压缩质量的前提下，通过引入图像拼接模块，实现更高的压缩比，同时由于传统bp算法效率较低，训练神经网络时需较大循环迭代次数才可以保证误差大小趋于稳定，因此本发明引入扩展卡尔曼滤波器模块来代替传统bp算法，大幅提高压缩速率。
附图说明
[0056]
图1为本发明实施例中扩展卡尔曼滤波器与bp算法训练网络时循环次数的对比图；
[0057]
图2为本发明的流程图。
具体实施方式
[0058]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
[0059]
本发明提出了一种对于图像压缩的优化方法，引入图像拼接模块和扩展卡尔曼滤波器模块，在保证图像压缩质量的前提下，图像拼接模块可以实现更高的压缩比，扩展卡尔曼滤波器模块可大幅提高训练网络的速率；其具体包括以下步骤：
[0060]
图像拼接模块：对需要压缩的图像数据集在输入到压缩算法前进行预处理，以结构相似性(ssim)为标准进行拼接，图像拼接张数及格式可根据目标需求进行设置。以4张图像为例，原始图像由二维矩阵x＝[x1x2…
xn]来表示，大小为m
×
n，可拼接为2
×
2维度，拼接后大小为2m
×
2n，也可拼接为1
×
4维度，拼接后的大小为m
×
4n。拼接后的图像由表示。
[0061]
ssim是衡量两张图像p1和p2之间相似度的指标，由下列公式计算；
[0062][0063]
其中，是p1的平均值，是p2的平均值，是p1的方差，是p2的方差，是p1、p2的协方差。c1＝(k1l)2，c2＝(k2l)2是用来维持稳定的常数。l是像素值的动态范围。k1、k2是常数。
[0064]
深度神经网络对图像压缩：
①
编码层。
[0065]
将输入到神经网络的编码层中，层和层之间由权重w1(w1、w2)和偏置b1(b1、b2)连接，第一编码层的输出为c＝[c1c2…cj
]，作为第二编码层的输入，第二编码层的输出为d＝[d1d2…di
]，其中i＜j。c、d由下列公式计算得出，
[0066][0067]
sigmoid为激活函数，常被用作神经网络的阈值函数，将变量归一化处理，映射到[0,1]之间，由右式定义：
[0068]
②
解码层。
[0069]
将编码层的输出d输入到解码层中，层和层间由权重w2(w
21
、w
22
)和偏置b2(b
21
、b
22
)连接。第一层解码层的输出为e＝[e1e2…ej
]，第二层解码层的输出为e、y可由下列公式计算得出，
[0070][0071]
误差：解压缩矩阵y与原始输入矩阵p之间的误差大小由均方误差(mse)来衡量，重构误差大小l由下式计算得出，
[0072][0073]
训练网络：为了使重构误差尽可能小，需要对神经网络进行训练，传统bp算法效率较低，训练网络时需较大循环迭代次数才可以保证误差大小趋于稳定，因此引入扩展卡尔曼滤波器模块来代替传统bp算法，在保证图像压缩质量的前提下，提高压缩效率。
[0074]
神经网络中的权重和偏置可以用扩展卡尔曼滤波器的状态向量w表示为下式：
[0075]
wk＝[{w
l
,b
l
}
1≤l≤2
]
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0076]
神经网络可以由非线性离散时间系统表述，如公式所示：
[0077]wk+1
＝f(wk)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0078]yk+1
＝sigmoid[w2(sigmoid(w1p)+b1)+b2]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0079]
1)预测状态。
[0080]
扩展卡尔曼滤波器的预测状态w
k+1
和预测误差的协方差矩阵p
k+1
由下式表述：
[0081][0082]
p
k+1
＝pk+qkꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0083]
其中，l是经权重和偏置为初始化状态的深度神经网络解压缩后的矩阵与原输入图像矩阵间的均方误差大小，α为学习率，一般可以设置为0.01，qk是过程噪声误差的协方差矩阵。
[0084]
2)更新状态。
[0085]
扩展卡尔曼滤波器训练参数首先要确定卡尔曼增益，卡尔曼增益kk表示如下：
[0086]kk
＝p
khk
[rk+h
kt
p
khk
]-1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0087]
其中，rk是测量协方差，pk是状态的误差协方差矩阵，分别由下式计算，其中p为经拼接后输入到神经网络压缩算法中图像的像素矩阵，y
k+1
为解压缩后的像素矩阵。
[0088][0089]
pk＝e[(w
k+1-wk)(w
k+1-wk)
t
]
ꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0090]hk
可由下式计算，表示解压缩后的像素矩阵对神经网络参数求偏导：
[0091][0092]
对预测状态w
k+1
和其误差协方差矩阵p
k+1
的更新公式如下：
[0093]
[0094][0095]
每一次的迭代过程都会更新网络参数，迭代的停止条件可以为达到设定的迭代次数或是达到设定的误差大小，此时网络会输出最终的输出y
k+1
和l。
[0096]
解拼接：解压缩完成后，对图像按原始拼接方式进行解拼接。
[0097]
评价参数：性能指标：通过结构相似性(ssim)和峰值信噪比(psnr)进行衡量。
[0098]
压缩比cr的计算公式如下：
[0099][0100]
以visdrone数据集中的四张图片为例，分别验证了图像拼接模块与扩展卡尔曼滤波器模块对算法的作用。
[0101]
图像拼接模块：在street view场景下基于ssim标准选取4张图像拼接为两行两列，在与单张压缩比为2：1的ssim值相-0.1的条件下(即相对误差re(ssim)≥-0.1)，通过实验得到拼接压缩可以实现的最大压缩比。相对误差re(ssim)是由拼接压缩拆分后图像的平均ssim值与单张压缩的平均ssim值相减得到的。相对误差re(psnr)与re(ssim)类似，实验结果如下表所示：
[0102]
表1在单张图像的压缩比为2:1的条件下拼接压缩可以实现的最大压缩比
[0103] streetview单张压缩2：1拼接压缩8：1re(ssim)+0.035(+4.3％)re(psnr)+2.644
[0104]
在预设的平均ssim的相对误差在≥-0.1的情况下，拼接压缩可以实现更大的压缩比，在两个衡量标准下保证了压缩质量。
[0105]
扩展卡尔曼滤波器模块：训练网络时所需的循环迭代次数如图1所示。由图1可以看出，扩展卡尔曼滤波器训练网络时，在循环次数相同的时候(x＝30)，相比于bp算法误差更小；在误差基本一样时(y＝0.000986)，扩展卡尔曼滤波器调参时循环次数在30次左右，bp算法则需要4000多次。所以，基于扩展卡尔曼滤波器训练神经网络时，相比于bp算法速度会更快而且不会影响图像压缩的质量。
[0106]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种对于图像压缩的优化方法，其特征在于，包括以下步骤：获取图像数据集；通过以结构相似性为标准对图像数据进行拼接，得到原始输入矩阵；构建神经网络模型，引入扩展卡尔曼滤波器模块对神经网络进行训练；将原始输入矩阵输入训练后的神经网络模型的编码层中，得到输出矩阵；将输出矩阵输入至训练后的神经网络模型的解码层中，获得解压缩后的像素矩阵；其中，所述引入扩展卡尔曼滤波器模块对神经网络进行训练，训练过程包括以下步骤：采用扩展卡尔曼滤波器的状态向量表示神经网络中的权重和偏置；根据扩展卡尔曼滤波器的状态向量计算出其预测状态和预测误差的协方差矩阵；根据测量协方差、状态的误差协方差矩阵以及输出矩阵解压后的像素矩阵对神经网络参数的偏导来确定扩展卡尔曼滤波器的卡尔曼增益；通过卡尔曼增益对扩展卡尔曼滤波器的预测状态和预测误差的协方差矩阵进行更新，直至达到设定的迭代次数或设定的误差大小后，输出最终的解压缩后的像素矩阵。2.根据权利要求1所述的一种对于图像压缩的优化方法，其特征在于，所述通过以结构相似性为标准对图像数据进行拼接，得到原始输入矩阵，其具体包括以下步骤：通过二维矩阵x＝[x1x2…
x
n
]表示原始图像，拼接后的图像通过原始输入矩阵表示；采用ssim衡量两张图像p1和p2之间的相似度，其计算公式为：其中，μ
p1
是p1的平均值，μ
p2
是p2的平均值，是p1的方差，是p2的方差，σ
p1p2
是p1、p2的协方差，c1＝(k1l)2，c2＝(k2l)2是用来维持稳定的常数，l是像素值的动态范围，k1、k2是常数。3.根据权利要求2所述的一种对于图像压缩的优化方法，其特征在于，所述将原始输入矩阵输入训练后的神经网络模型的编码层中，得到输出矩阵，其具体包括以下步骤：将输入到神经网络的编码层中，层和层之间由权重w1、w2和偏置b1、b2连接；其中第一编码层的输出为c＝[c1c2…
c
j
]；将c＝[c1c2…
c
j
[作为第二编码层的输入，得出第二编码层的输出为d＝[d1d2…
d
i
]，其中i＜j，其表达式为i＜j，其表达式为其中，p
a
表示的第a列，c
a
表示c＝[c1c2…
c
j
]的第a列，sigmoid为激活函数，被用作神经网络的阈值函数，将变量归一化处理，映射到[0,1]之间。4.根据权利要求3所述的一种对于图像压缩的优化方法，其特征在于，所述将输出矩阵
输入至神经网络的解码层中，获得解压缩矩阵，其具体包括以下步骤：将编码层的输出d输入到解码层中，层和层间由权重w
21
、w
22
和偏置b
21
、b
22
连接；其中第一层解码层的输出为e＝[e1e2…
e
j
]；将第一解码层的输出e＝[e1e2…
e
j
]输入第二解码层得到解压缩矩阵其表达式为：其表达式为：其中，d
a
表示d＝[d1d2…
d
i
]的第a列，e
a
表示e＝[e1e2…
e
j
]的第a列。5.根据权利要求4所述的一种对于图像压缩的优化方法，其特征在于，所述采用扩展卡尔曼滤波器的状态向量表示神经网络中的权重和偏置，其表达式为：w
k
＝[{w
l
,b
l
}
1≤l≤2
]
t
其中，w
l
和b
l
分别表示神经网络的权重和偏置，t表示矩阵转置。6.根据权利要求5所述的一种对于图像压缩的优化方法，其特征在于，所述根据扩展卡尔曼滤波器的状态向量计算出其预测状态和预测误差的协方差矩阵，其计算公式为：p
k+1
＝p
k
+q
k
其中，w
k+1
表示预测状态，p
k+1
表示预测误差的协方差矩阵，l是重构误差，α为学习率，q
k
是过程噪声误差的协方差矩阵，p
k
是状态的误差协方差矩阵。7.根据权利要求6所述的一种对于图像压缩的优化方法，其特征在于，所述重构误差通过计算解压缩矩阵与原始输入矩阵之间的误差大小得到。其中，y
a
表示的第a列，为拼接后图像的维度大小。8.根据权利要求6所述的一种对于图像压缩的优化方法，其特征在于，所述解压后的像素矩阵对神经网络参数的偏导h
k
，其计算公式为：其中，y
k+1
为解压缩后的像素矩阵。9.根据权利要求8所述的一种对于图像压缩的优化方法，其特征在于，所述根据测量协方差、状态的误差协方差矩阵以及解压后的像素矩阵对神经网络参数的偏导来确定扩展卡尔曼滤波器的卡尔曼增益，其计算过程为：
p
k
＝e[(w
k+1-w
k
)(w
k+1-w
k
)
t
]其中，k
k
表示卡尔曼增益，r
k
是测量协方差，p为经拼接后输入到神经网络压缩算法中图像的像素矩阵，r
k+1
表示测量协方差的下一状态，e表示期望值，k表示当前状态。10.根据权利要求9所述的一种对于图像压缩的优化方法，其特征在于，所述通过卡尔曼增益对扩展卡尔曼滤波器的预测状态和预测误差的协方差矩阵进行更新，其更新后的预测状态和误差协方差矩阵的计算公式为：测状态和误差协方差矩阵的计算公式为：

技术总结
本发明公开了一种对于图像压缩的优化方法，涉及图像压缩技术领域，该方法包括获取图像数据集，通过以结构相似性为标准对图像数据进行拼接，得到原始输入矩阵，构建神经网络模型，引入扩展卡尔曼滤波器模块对神经网络进行训练，将原始输入矩阵输入训练后的神经网络模型的编码层中，得到输出矩阵；将输出矩阵输入至神经网络的解码层中，获得解压缩矩阵。获得解压缩矩阵。获得解压缩矩阵。


技术研发人员：梁彦霞 赵萌 刘欣 姜静 卢光跃 贾彤 何华 金蓉
受保护的技术使用者：西安邮电大学
技术研发日：2023.07.25
技术公布日：2023/10/20