一种数据压缩方法

1.本发明涉及无线通信领域的数据传输/数据存储技术。


背景技术：

2.真实场景下，无线通信系统中的传输带宽受限制(4g是20m，5g是100m)，如果需要传输的数据量很大，很难实现实时传输的功能。此外，数据量很大时，不利于存储到接收信号的设备里，进行后续的处理(比如数据存储到手机，手机内存受限制)。数据压缩技术主要针对信源编码数据的低交互压缩，现存的数据压缩方法主要集中在两个方向：
3.(1)通过压缩感知方法进行数据压缩：如文献“maximum likelihood tdoa estimation from compressed sensing samples without reconstruction”提出了基于压缩感知的数据压缩方法，通过设计压缩感知矩阵来有效减少传输数据量。其缺点是算法复杂度高。
4.(2)量化压缩：如文献“coarse quantization for data compression in coherent location systems”提出了两种块自适应量化技术：第一种针对数据实/虚部分量使用相同比特/采样数进行量化，通过放缩法块内的信号样本，逐块填充所使用的位数；第二种针对幅度/相位分量使用不同比特/采样数进行量化，根据两个分量的测量动态范围来确定最佳分配位以逐块进行适应。又如文献“quantized directional cosine measurements based localization”阐述了传统的均匀量化和非均匀量化方法。均匀量化方法：输入信号的取值域等间隔分割的量化称为均匀量化；非均匀量化方法：根据信源符号的概率分布函数值大的时候，减小量化区间，在函数值小的时候，增大量化区间，简单来说就是密的地方，细量化；疏的地方，粗量化。其缺点是较难获得理想的量化区间，量化区间选取不合适导致量化精度低。
5.上述技术存在的问题：(1)由于压缩算法复杂度大，压缩耗时较长，从而导致无法实时传输数据；(2)压缩后数据精度下降较多，往往影响后续对数据精度的要求。
6.目前，采样后的iq信号在数字通信系统中进行快速传输以及无线通信终端设备(如手机)存储受限：
7.(1)当调制后的iq信号需要传输时，由于数据量很大时，难以实现实时传输的问题，同时尽可能地减少了数据精度的下降。
8.(2)4g/5g通信终端设备需要对接收到的数据进行后处理，数据量过大会导致终端设备系统的磁盘存储消耗增大，且数据处理时需要的内存容量也较大、设备的功耗也会变大，从而限制商业化应用。


技术实现要素：

9.为了解决上述问题，本发明提出了一种数据压缩方法，可以在数据精度损失很小的前提下，大幅度降低信息传输量。
10.本发明技术方案：
11.概括的说，将模拟信号经过抽样后的iq复数信号的实部和虚部分别看作二维坐标系中的横坐标和纵坐标，通过聚类算法将坐标点分配到不同的簇中，簇的中心坐标代表这一个簇中所有点坐标。聚类压缩后的数据仅用聚类中心数据表示，每个原始数据对应一个聚类中心的编码，形成量化信号。
12.进一步方法描述为：
13.模拟信号为xk(t)，首先抽样模块需要对连续的模拟信号进行采样转换成离散信号，转换后的离散信号为xk(n)，经过离散采样后的数据流表示如下：
14.xk＝[xk(0),xk(1),
…
,xk(n)]∈cn×1[0015]
其中，各复数数据表示为xk(n)＝ak(n)+bk(n)i。其中n个数据在坐标系中坐标为[(ak(1),bk(1)),(ak(2),bk(2)),
…
,(ak(n),bk(n))]。
[0016]
在量化模块采用聚类算法实现数据压缩，具体流程包括：
[0017]
(1)初始化聚类中心；
[0018]
(2)分配各个数据对象到距离最近的类中；
[0019]
(3)重新计算各个类的中心，判断算法是否收敛；
[0020]
(4)若不收敛，进入步骤(3)继续执行；
[0021]
(5)若收敛，则输出聚类结果，算法结束。
[0022]
得到聚类后的信号：
[0023]
yk＝[yk(0),yk(1),
…
,yk(n)]∈cn×1[0024]
其中yk(0),yk(1),
…
,yk(n)为xk(0),xk(1),
…
,xk(n)聚类后的数据，yk中仅含有m个数值编号，m为聚类后的簇的个数。
[0025]
本发明的有益效果：
[0026]
本发明方案研究数据精度微损下的通信数据压缩技术。对于信号传输而言，引入本发明数据压缩技术可以起到两方面的作用：第一，因为数据压缩后数据量变少，传输过程中可以节省能耗。因此，利用压缩技术减少所需传输的数据量，很大程度上降低了通信网络的能耗。第二，提高数据传输效率。通信数据的相关性带来了数据传输的冗余，在满足精度要求的前提下，对庞大的原始信息进行压缩处理，可以有效解决无线通信网络拥塞的问题，提高带宽利用率及数据的传输效率。
[0027]
本发明方法基于数据量化，可以有效地缩短数据长度，并按比例降低传输带宽，从而大大缓解网络中的流量限制和数据冗余。
附图说明
[0028]
图1为数据通信系统框图。
[0029]
图2为通用的聚类算法。
具体实施方式
[0030]
下面将结合具体实施例及其附图对本技术提供的技术方案作进一步说明。结合下面说明，本技术的优点和特征将更加清楚。
[0031]
本发明算法运行在数据通信系统中发送端无线通信终端设备(如手机)抽样模块和量化模块，如图1所示。
[0032]
本发明技术方案思路：
[0033]
将模拟信号经过抽样后的iq复数信号的实部和虚部分别看作二维坐标系中的横坐标和纵坐标，通过聚类算法将这些坐标点分配到不同的簇中，簇的中心坐标代表这一个簇中所有点坐标。压缩前原始数据需要用大量不同的复数表示，而聚类压缩后的数据则可以仅用聚类中心数据表示，每个原始数据对应一个聚类中心的编码，形成量化信号。
[0034]
本发明压缩方法主要基于数据量化，可以有效地缩短数据长度，实现了在损失少量精度的情况下大幅度降低信息传输量。本发明数据压缩的方法，采用k-means聚类压缩这类复数类型的数据。原始数据需要用大量不同的数值表示，而压缩后的数据仅含有聚类中心，只需要用少量数值即可表示。因此可以降低传输带宽，从而大大缓解通信网络中的流量限制和数据冗余。
[0035]
无线通信终端设备(举例而非限定，如手机)接收的模拟信号经调制后的空口信号为xk(t)，首先抽样模块需要对连续的模拟信号进行采样转换成离散信号，转换后的离散信号为xk(n)，经过离散采样后的数据流表示如下：
[0036]
xk＝[xk(0),xk(1),
…
,xk(n)]∈cn×1[0037]
其中，各复数数据表示为xk(n)＝ak(n)+bk(n)i。其中n个数据在坐标系中坐标为[(ak(1),bk(1)),(ak(2),bk(2)),
…
,(ak(n),bk(n))]。
[0038]
在量化模块采用聚类算法实现数据压缩，具体流程包括：
[0039]
(1)初始化聚类中心；
[0040]
(2)分配各个数据对象到距离最近的类中；
[0041]
(3)重新计算各个类的中心，判断算法是否收敛；
[0042]
(4)若不收敛，进入步骤(3)继续执行；
[0043]
(5)若收敛，则输出聚类结果，算法结束。
[0044]
得到聚类后的信号：
[0045]
yk＝[yk(0),yk(1),
…
,yk(n)]∈cn×1[0046]
其中yk(0),yk(1),
…
,yk(n)为xk(0),xk(1),
…
,xk(n)聚类后的数据，yk中仅含有m个数值编号，m为聚类后的簇的个数。
[0047]
上述描述仅是对本技术较佳实施例的描述，并非是对本技术范围的任何限定。任何熟悉该领域的普通技术人员根据上述揭示的技术内容做出的任何变更或修饰均应当视为等同的有效实施例，均属于本技术技术方案保护的范围。

技术特征：
1.一种数据压缩方法，其特征在于，将模拟信号抽样后的iq复数信号的实部和虚部分别看作二维坐标系中的横坐标和纵坐标,通过聚类算法将坐标点分配到不同的簇中，簇的中心坐标代表这一个簇中所有点坐标；聚类压缩后的数据仅用聚类中心数据表示，每个原始数据对应一个聚类中心的编码，形成量化信号。2.如权利要求1所述的方法，其特征在于，运行在数据通信系统中的抽样模块和量化模块。3.如权利要求2所述的方法，其特征在于：模拟信号为x
k
(t)，首先抽样模块需要对连续的模拟信号进行采样转换成离散信号，转换后的离散信号为x
k
(n)，经过离散采样后的数据流表示如下：x
k
＝[x
k
(0),x
k
(1),
…
,x
k
(n)]∈c
n
×1其中，各复数数据表示为x
k
(n)＝a
k
(n)+b
k
(n)i；其中n个数据在坐标系中坐标为[(a
k
(1),b
k
(1)),(a
k
(2),b
k
(2)),
…
,(a
k
(n),b
k
(n))]；在量化模块采用聚类算法实现数据压缩，得到聚类后的信号：y
k
＝[y
k
(0),y
k
(1),
…
,y
k
(n)]∈c
n
×1其中y
k
(0),y
k
(1),
…
,y
k
(n)为x
k
(0),x
k
(1),
…
,x
k
(n)聚类后的数据，y
k
中仅含有m个数值编号，m为聚类后的簇的个数。4.如权利要求3所述的方法，其特征在于：量化模块采用聚类算法实现数据压缩，具体流程包括以下步骤：(1)初始化聚类中心；(2)分配各个数据对象到距离最近的类中；(3)重新计算各个类的中心，判断算法是否收敛；(4)若不收敛，进入步骤(2)继续执行；(5)若收敛，则输出聚类结果，算法结束。5.如权利要求3所述的方法，其特征在于：所述聚类算法采用k-means算法。

技术总结
本发明属于无线通信领域，提出一种数据压缩方法，将模拟信号经过抽样后的IQ复数信号的实部和虚部分别看作二维坐标系中的横坐标和纵坐标，通过聚类算法将坐标点分配到不同的簇中，簇的中心坐标代表这一个簇中所有点坐标；聚类压缩后的数据仅用聚类中心数据表示，每个原始数据对应一个聚类中心的编码，形成量化信号。本发明方法在数据精度损失很小的前提下，大幅度降低信息传输量，很大程度上降低了通信网络的能耗，提高数据传输效率。提高数据传输效率。提高数据传输效率。


技术研发人员：余淼 陈佳静 周凌云 史清江
受保护的技术使用者：同济大学
技术研发日：2023.06.30
技术公布日：2023/9/22