基于WiFi多反射路径图像的室内人员定位方法及系统

基于wifi多反射路径图像的室内人员定位方法及系统
技术领域
1.本发明属于人体感知、信号处理技术领域，尤其涉及基于wifi多反射路径图像的室内人员定位方法及系统。


背景技术：

2.室内定位系统在室内导航、增强现实、灾难救援、养老等诸多新兴应用中发挥着越来越重要的作用。近年来，由于wifi在公共场所、企业、大学和家庭中无处不在，因此基于wi-fi的定位系统被认为是最有前途的。
3.现有的室内定位系统主要借助于传感器、视频的方法和基于射频的方法。这些传统方法主要依赖于专用设备，具有许多不足之处，基于传感器的部署必须要穿戴相关的传感器设备，这会对使用者带来诸多不便、基于视频的方法需要在光线较好的地方才能实现，而且存在侵犯用户隐私的问题、基于射频的方法成本较高，不便普及。
4.随着无线设备的日益普及，wifi增长非常迅速。wifi成功的一项重要技术是多输入多输出（mimo，指多进多出，是为极大地提高信道容量，在发送端和接收端都使用多根天线，在收发之间构成多个信道的天线系统），它提供高吞吐量以满足无线数据流量不断增长的需求。与正交频分复用（ofdm）一起，mimo为每个载波频率上的每个发射和接收天线对提供信道状态信息（channel state information，简称csi，是通信链路的信道属性）。最近，来自wifi系统的csi测量被用于不同的传感目的。wifi传感重用了用于无线通信的基础设施，因此易于部署且成本低。此外，与基于传感器和基于视频的解决方案不同，wifi 传感不具有侵入性或对照明条件不敏感。
5.近些年来基于wifi的定位系统主要依靠接收信号强度（received signal strength，rss）、信号到达角（angle of arrival，aoa）和指纹。rss由于其接收设备简单，容易捕获的特性，是最早被用来进行室内定位的方法。但是基于rss的定位系统有以下缺陷，接收到的rss值仅包含环境与被测信号之间的粗略信息，不能提供更多路径信息，并且rss随时间变化较大，信号强度受环境影响即多径效应影响较大。基于aoa的定位系统，主要通过使用多信号分类算法进行aoa的估计，基于aoa的定位系统面临的主要挑战是受到多径因素的影响，其主要思想是从多个路径信息中找到收发设备之间的直接路径，但是该方法需要用到三台及以上数量的设备进行定位。随着机器学习的快速发展，基于指纹和机器学习相结合的定位系统就被提了出来。通常的指纹定位方法使用rss作为特征信息，但是该rss信息极其不稳定，会随着时间变化出现明显的差别。
6.通过上述分析，现有技术存在的问题及缺陷为：现有技术中，仅使用aoa用于定位的系统需要从多个反射路径信息中找出直达径信息，而且现有技术生成的多反射路径图像特征不明显，不利于反射路径图像的区分和位置特征的识别。


技术实现要素：

7.为克服相关技术中存在的问题，本发明公开实施例提供了一种基于wifi多反射路
径图像的室内人员定位方法及系统。
8.所述技术方案如下：基于wifi多反射路径图像的室内人员定位方法，包括以下步骤：s1、利用多台三天线设备进行无线数据的收发；s2、对接收的csi数据进行预处理，消除由接收天线之间间距带来的相位误差；s3、对预处理后csi数据中的数据包运用分割算法，切割获得更多的子数据包组；s4、每个子数据包使用矩阵平滑算法对三天线设备进行模拟扩展为多天线设备，获取多反射信号路径信息；s5、对多反射信号路径信息，利用二维music算法计算出目标位置发射出的所有反射路径和直达路径对应的角度信息和飞行时间信息，利用角度信息和飞行时间信息生成二维反射路径信息图像用作特征图像；s6、将多个位置下的所有反射路径的图片导入网络分类模型进行训练，生成训练模型；s7、使用生成的训练模型对新的位置信息生成的二维反射路径信息图像进行分类，进行人员的定位。
9.在步骤s2中，对接收的csi数据进行预处理包括：使用功率分配器连接发射端和接收器，分别计算接收设备第二天线、第三天线与第一天线之间的相位差，通过采集的数据进行相位的线性加减运算弥补消除相位差。
10.在步骤s3中，对预处理后csi数据中的数据包运用分割算法，获得更多的子数据包包括：在数据采集过程中，一个数据文件在发射时会设置接收数据的发射速率，数据包的总长度，数据的发送间隔；所述数据文件发射的数据包总数为1500个包；生成反射路径图像需要的数据为每100个包生成一张图像；将每次发射的数据文件数据包长度设置为1500个包，后续对每个数据文件进行分割为100个包一个文件，得到15个100数据包的数据文件。
11.在步骤s4中，矩阵平滑算法对三天线设备进行模拟扩展为多天线设备包括：通过使用矩阵平滑算法将3
×
30的信道状态信息矩阵重组为30
×
32的数据矩阵，获取多反射信号路径信息。
12.在一个实施例中，获取多反射信号路径信息包括：n个非相干远场窄带信号入射到由m根天线组成的阵列上，此时接收信号表达式为：；式中，为阵列的接收信号，为发射信号，为m维噪声数据，为一个导向向量；其中，第m根天线的csi值表示为：；式中，为阵列的接收信号，为发射信号，为m维噪声数据，为空间阵列的维导向矩阵；
为intel 5300无线网卡为3根天线和30个子载波组成的csi矩阵，表达式为：；上式中不同根天线和不同子载波组成的csi值通式为，表示第m个天线的第n个子载波的csi值，csi值为一个复数形式；取值1~3；取值1~30；通过计算接收设备不同天线之间的初始相位差值，对每根天线的30个子载波进行初始相位的线性补偿，将接收机的第二天线、第三天线与第一天线进行校准，对接收机不同天线的相位校正；对输入的csi测量值进行结构重组获得平滑的csi矩阵；重新组合生成的平滑csi矩阵直接通过music算法得到所有反射传播路径的信息。
13.在一个实施例中，通过music算法得到所有反射传播路径的信息包括：基于经典的music算法扩展为二维2d-music算法，并结合不同信号的到达角和飞行时间，将不同位置不同反射路径的信息在图像中展现出来，将到达角和飞行时间结合music的谱图峰值结合，每个峰值代表了一个路径，每个峰值的横轴代表了到达角信息，纵轴代表了对应的飞行时间信息；经典的music算法中谱估计公式为：；式中，为通过music算法得到的谱值；若x为平滑处理后的得到的数据矩阵，则代表数据矩阵x的协方差矩阵为：；分解为：；式中，e代表自相关矩阵，h为共轭矩阵，为的导向矩阵，为正定的厄米特矩阵为的信号相关矩阵，a为空间阵列的维导向矩阵，对特征分解得到的m个特征值均为非负实数，有d个大的特征值和个小的特征值，大特征值对应的特征向量组成的空间为信号子空间，小特征值对应的特征向量组成的空间为噪声子空间。
14.在步骤s5中，利用二维music算法计算出目标位置发射出的所有反射路径和直达路径对应的角度信息和飞行时间信息包括：将一维music算法提升到二维music算法，将扩展为；；
；式中，，，为子载波频率间隔，m为第几根天线，为第p条路径的飞行时间，为第p个反射路径的角度信息，为第p路径m维度的相位，，p为第p个反射路径，为相位信息，d为天线间距，为信号的波长；为携带角度信息和飞行时间信息的导向向量矩阵，为不同路径的相位偏移矩阵；由二维music算法谱估计公式得到角度信息以及飞行时间信息，二维music算法谱估计公式为：；式中，为得到的角度信息；表示接收信号经过平滑处理后得到的矩阵的导向向量，其中包含了到达角信息和飞行时间信息，为信号的噪声子空间，为的共轭矩阵，是通过music算法得到的谱值。
15.在步骤s6中，将多个位置下的所有反射路径的图片导入网络分类模型进行训练包括：使用alexnet轻量型神经网络和分类网络支持向量机svm的方式进行测试；首先输入特征图像，划分数据集将数据分为7:3的比例，将70%的数据用于训练，并且将30%的数据用于测试，使用动量的随机梯度下降算法sgdm对alexnet轻量型神经网络和分类网络进行优化，使用gpu加速模型训练，并进行预测标签与真实标签的对比；训练时网络参数学习优化原则包括：梯度下降原则，初始学习率设置为0.0001设置单次打包图像数目为16，迭代次数为15，使用gpu加速模型的训练；训练模型包含所有训练位置图像的特征信息，对新接收的测试照片提取特征与模型的数据进行对比预测位置。
16.在步骤s7中，使用生成的训练模型对新的位置信息生成的二维反射路径信息图像进行分类包括：利用神经网络/机器学习模型，采集的多个位置的多反射路径图像进行特征提取训练并保存alexnet轻量型神经网络和分类网络，将测试样本输入训练完成的alexnet轻量型神经网络和分类网络，根据预测类别的比例，确定位置，使用多数投票原则，测试一次数据采集生成的15张图片中，这15张图片被分类为占比最高的位置被预测为最终位置；错误识别位置坐标的平均误差被用来分析系统的性能；错误识别坐标的平均误差的表达式为：平均误差；
17.其中，代表的是计算累计和，是通过网络模型估计的位置，是实际采集数据的位置，n为错误分类的数量，e,f分别设置的位置的横纵坐标的最大值。
18.本发明的另一目的在于提供一种基于wifi多反射路径图像的室内人员定位系统，
实施所述的基于wifi多反射路径图像的室内人员定位方法，该系统包括：三天线设备，用于进行无线数据的收发；相位误差消除模块，用于首先对接收的csi数据进行预处理，消除由接收天线之间间距带来的相位误差；子数据包获取模块，对数据包运用分割算法，获得更多的子数据包组；数据矩阵重组模块，用于对每个子数据包使用矩阵平滑算法，将3
×
30的信道状态信息矩阵重组为30
×
32的数据矩阵；二维反射路径信息图像生成模块，用于对经过数据矩阵进行二维music算法的使用，计算出目标位置发射出的所有反射路径和直达路径对应的角度信息和飞行时间信息，结合二者生成二维反射路径信息图像用作特征图像；模型的训练模块，用于将多个位置下的多反射路径图片导入网络分类模型进行训练，生成训练模型；人员定位模块，用于通过使用生成的训练模型对新的位置信息生成的二维反射路径信息图像进行分类从而进行人员的定位。
19.在一个实施例中，该系统搭载在配置linux14.04系统并且安装了csi tool（channel state information tool，信道状态信息工具箱，csitool是基于802.11n协议基础上，测量信道状态信息csi的开源工具包）的计算机上，该计算机配置用于收发2.4g/5g csi（主要是指wifi的频段，也就是说手机支持2.4g和5g两个频段wifi信号）信号的设备。
20.结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提出的使用csi的相位信息得到的反射路径图像与现有技术存在着明显的不同。本发明提出的方法不会随着时间的改变而发生相位的改变。并且本特征结合了到达角信息和飞行时间信息，更多的到达角信息和飞行时间信息被展示在反射路径图像中。不同于仅使用aoa用于定位的系统需要从多个反射路径信息中找出直达信息，本发明中到达角和飞行时间对应的谱峰值越多，生成的多反射路径图像特征越明显，越有利于反射路径图像的区分和位置特征的识别。
附图说明
21.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理；图1是本发明实施例提供的基于wifi多反射路径图像的室内人员定位方法流程图；图2是本发明实施例提供的应用该定位方法的实验室环境1示意图；图3是本发明实施例提供的应用该定位方式的实验室环境2示意图；图4是本发明实施例提供的功率分配器连接示意图；图5是本发明实施例提供的使用线性相位校正算法之前的三天线相位示意图；图6是本发明实施例提供的使用线性相位校正算法之后的三天线相位示意图；图7是本发明实施例提供的使用扩展的2d-music算法生成的结合到达角和飞行时间的二维多反射信号路径图像一；图8是本发明实施例提供的使用扩展的2d-music算法生成的结合到达角和飞行时
间的二维多反射信号路径图像二；图9是本发明实施例提供的使用扩展的2d-music算法生成的结合到达角和飞行时间的二维多反射信号路径图像三；图10是本发明实施例提供的使用卷积神经网络使用本发明方法得到的实验室环境1的测试结果混淆矩阵示意图；图11是本发明实施例提供的使用两种网络结构使用本发明方法在实验室环境2得到的累计概率分布曲线图。
具体实施方式
22.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施的限制。
23.基于物体对无线信号的反射路径信息，本发明实施例提供了一种基于wifi多反射路径图像的室内人员定位方法。通过软件无线电设备或者配置了csi tool工具箱的可收发csi数据设备进行收发数据，对接受到的csi数据进行预处理，使用扩展到二维的2d-music（multiple signal classification algorithm，多信号分类）算法生成一种对实验环境内所有存在的信号反射路径信息的图像，并通过区分不同位置的反射路径图像对人员进行室内的定位。并且在对人员定位之前进行数据的模型训练，实现高精度的人员定位。其可按照如下步骤实现：对室内人员携带的wifi设备进行数据采集；对收到的数据进行线性相位消除算法、数据包分割算法、矩阵平滑算法和2d-music算法；对重组后的数据信道状态信息（channel state information，csi）矩阵进行使用2d-music算法生成二维的反射路径图像（一种未被使用过的特征图像）；通过使用神经网络训练的方式对不同位置的反射路径信息图像进行训练得到训练模型；后续对收到的csi数据进行测试并且位置分类。本方法结合了反射路径信息图像特征，使得训练之后的模型在测试时实现的高精度定位。
24.实施例1，如图1所示，本发明实施例提供一种基于wifi多反射路径图像的室内人员定位方法使用了一种全新的深度学习特征作为网络训练的输入，包括以下步骤：s101、利用两台修改设计的三天线设备进行无线数据的收发；s102、对接收的csi数据进行预处理，消除由接收天线之间间距带来的相位误差；s103、对数据包运用分割算法，获得更多的子数据包组；示例性的，在数据采集过程中，一个数据文件在发射时会设置接收数据的发射速率，数据包的总长度，数据的发送间隔。在本发明中用到的数据文件，发射的数据包总数为1500个包。生成反射路径图像需要的数据为每100个包生成一张图像。为了节省数据采集时每100个包采集一次麻烦浪费时间，将每次发射的数据文件数据包长度设置为1500个包，后续对每个数据文件进行分割为100个包一个文件，这样1个1500数据包的数据文件就最多可以得到15个100数据包的数据文件，每次收发就多生成了14张图像；s104、对步骤s103每个子数据包使用矩阵平滑算法，将3
×
30的信道状态信息矩阵重组为30
×
32的数据矩阵；示例性的，矩阵平滑算法包括：收到的原始csi数据为3
×
30矩阵截取原始csi数据
的第一个天线的1-16个子载波和第二个天线的1-16个子载波作为重置矩阵的第一行；将原始csi数据的第一个天线的2-17个子载波和第二根天线的2-17个子载波作为重置矩阵的第二行；直至第十五行都是通过第一个天线和第二个天线的数据通过相同子载波排列的组成；第16-30行同时是通过第二根天线和第三根天线的相同子载波组成；s105、对经过步骤s104的数据矩阵进行二维music算法的使用，计算出目标位置发射出的所有反射路径和直达路径对应的角度信息和飞行时间信息，结合二者生成二维反射路径信息图像用作特征图像；s106、将多个位置下所有的反射路径图像导入网络分类模型进行网络分类模型的训练；生成训练模型；示例性的，将多个位置下所有的反射路径图像导入网络分类模型进行网络分类模型的训练包括：原图输入224
×
224，池化核大小3
×
3，dropout操作会将概率小于0.5的每个隐层神经元的输出设为0，即去掉了一些神经节点，达到防止过拟合。图像在训练过程中加一些旋转平移等操作，为了增强训练结果的鲁棒性。训练时网络参数学习优化原则：梯度下降原则，初始学习率设置为0.0001设置单次打包图像数目为16，迭代次数为15，使用gpu加速模型的训练；训练模型包含所有训练位置图像的特征信息，可以对新接收的测试照片提取特征与模型的数据进行对比预测位置；s107、通过使用步骤s106生成的训练模型对新的位置信息生成的二维反射路径信息图像进行分类从而进行人员的定位。
25.在本发明实施例步骤s102中，使用功率分配器连接发射端的一口和接收器的三个口，分别计算接收设备第二天线、第三天线与第一天线之间的相位差，通过后续采集的数据都进行相位的线性加减运算来弥补消除相位差。
26.在本发明实施例步骤s102中，由于发射设备每次开关机产生的晶振频率不同导致的接收天线的相位不同，需要通过计算初始天线之间的相位差来消除相位影响。该线性相位消除方法以后续music算法主要用到的相位为切入点，相位的差距会严重影响到music算法的精度，因此使用线性相位消除方法是必要的。
27.可以理解，现有的线性相位消除算法是通过天线之间的间距和得到的一个计算的模拟值，并非真值。而本发明通过使用功率分配器得到的为一个真值，即：实际测算得到相位误差，初始系统相位差测量如图4所示。
28.在本发明实施例步骤s104中，由于使用music算法得到的信号路径信息是小于天线数量的，其数量关系为：得到的信号路径数《天线数量，所以本发明通过使用矩阵平滑算法对三天线设备进行了模拟扩展为多天线设备，以此达到获取多反射信号路径信息的目的。在2d-music算法中得到的图像会展现出更多的路径信息。
29.在本发明实施例步骤s105中，经典的music算法中谱估计公式为：（4）式中，表示平滑矩阵的导向向量；若x为平滑处理后的得到的数据矩阵，则
为接收数据的协方差矩阵，分解为；其中是正定的厄米特矩阵为的信号相关矩阵，a为空间阵列的m
×
n维导向矩阵，即范德蒙德矩阵，对特征分解得到的m个特征值均为非负实数，有d个大的特征值和m-d个小的特征值，大特征值对应的特征向量组成的空间为信号子空间，小特征值对应的特征向量组成的空间；为信号的噪声子空间，为的共轭矩阵，是通过music算法得到的谱值。
30.在本发明实施例步骤s105中为了得到二维music算法（2d-music）多反射路径图像，需要给将一维music算法提升到二维music算法，将扩展为；其中，；；式中，，，为子载波频率间隔，m为第几根天线；为携带角度信息和飞行时间信息的导向向量矩阵，为导向向量矩阵每行元素的值；二维music算法谱估计公式为：；式中，为得到的角度信息；表示接收信号经过平滑处理后得到的矩阵的导向向量，其中包含了到达角信息和飞行时间信息，为信号的噪声子空间，表示平滑矩阵协方差矩阵的导向向量，为的共轭矩阵，是通过music算法得到的谱值。
31.由二维music算法谱估计公式得到角度信息以及飞行时间信息。
32.在本发明实施例步骤s105中，使用二维music算法将使用平滑后的csi矩阵生成多反射路径图像用于训练模型。
33.在本发明实施例中，步骤s106中，构建机器学习模型，利用采集的多个位置的谱图训练并保存模型，将测试样本输入训练完成的分类模型，确定最终位置。
34.实施例2，作为本发明实施例另一种实施方式，提供一种配置了linux14.04系统并且安装了csi tool的计算机，可使用其实现实施例1的步骤s101-步骤s107步骤命令，并且该计算机配置了可用于收发2.4g/5g csi信号的设备。
35.实施例3，作为本发明实施例另一种实施方式，本发明实施例提供了一种基于wifi多反射路径图像的室内人员定位方法中，由intel 5300无线网卡通过802.11n协议接收到信息被称为csi，该值为一个复数形式，其中包含了每个天线的每个子载波上的信道信息和由于环境引入的整体衰减和相移。假设n个非相干远场窄带信号入射到由m根天线组成的阵列上，此时接收信号为：
（1）式中，为阵列的接收信号，为发射信号，为m维噪声数据，为一个导向向量；其中，第m根天线的csi值表示为：（2）式中，为阵列的接收信号，为发射信号，为m维噪声数据，为空间阵列的维导向向量；为intel 5300无线网卡为3根天线和30个子载波组成的csi矩阵，表达式为：（3）公式（3）中不同根天线和不同子载波组成的csi值通式为，表示第m个天线的第n个子载波的csi值，csi值为一个复数形式；取值1~3；取值1~30。
36.intel 5300无线网卡具有三个通道，通道接收到信号后结合晶振产生的频率完成下变频过程。其下变频频率由主机中同一个晶振产生，经过锁相环后分配到各通道上，在主机断电后再次通电这一过程中，锁定的频率存在一定差异。该误差具有一定的随机性，造成通道间的初始相位存在误差。因此，为了准确的完成估计，需要对通电后各通道之间的初始相位误差进行消除。以均匀线阵为例，假设相邻两根天线间距为，信号入角为，为波长，则有：。其中导致第n个子载波的csi值的相位加了。
37.采样时间偏移（sampling time offset,sto）在同一个wifi网卡下引起的附加相位在特定子载波的天线之间是相同的。由于接收设备天线之间的误差无法通过机器直接获取，因此可以通过计算接收设备不同天线之间的初始相位差值，对每根天线的30个子载波进行初始相位的线性补偿，将接收机的第二天线、第三天线与第一天线进行校准，以此来对接收机不同天线的相位校正。但是需要注意：功率分配器到wi-fi nic卡三个不同接口的馈线需要相同，这将为信号引入相同的相移。直接得到不同wi-fi nic接口的相位并计算出端口间的相位差进行相位补偿。
38.由于收到的数据为3
×
30矩阵类型，获取的最大路径数量与天线数量关系为获取的最大路径数量=天线数量-1。为了获得更多的路径信息，对输入的csi测量值进行结构重组获得平滑的csi矩阵。重新组合生成的平滑csi矩阵直接通过music算法得到所有反射传播路径的信息。
39.在本发明实施例中，实例性的，通过music算法得到所有反射传播路径的信息包
括：基于经典的music算法扩展为二维2d-music算法，并结合不同信号的到达角和飞行时间，将不同位置不同反射路径的信息在图像中展现出来，将到达角和飞行时间结合music的谱图峰值结合，每个峰值代表了一个路径，每个峰值的横轴代表了到达角信息，纵轴代表了对应的飞行时间信息；经典的music算法中谱估计公式为：；式中，为通过music算法得到的谱值；若x为平滑处理后的得到的数据矩阵，则代表数据矩阵x的协方差矩阵为：；分解为：；式中，e为自相关矩阵，h为共轭矩阵，为的导向矩阵，为正定的厄米特矩阵为的信号相关矩阵，a为空间阵列的维导向矩阵，对特征分解得到的m个特征值均为非负实，有d个大的特征值和个小的特征值，大特征值对应的特征向量组成的空间为信号子空间，小特征值对应的特征向量组成的空间为噪声子空间。
40.实施例4，作为本发明实施例另一种实施方式，本发明实施例提供的基于wifi多反射路径图像的室内人员定位方法实施方式包括：截取原始csi数据的第一个天线的1-16个子载波和第二个天线的1-16个子载波作为重置矩阵的第一行；将原始csi数据的第一个天线的2-17个子载波和第二根天线的2-17个子载波作为重置矩阵的第二行；直至第十五行都是通过第一个天线和第二个天线的数据通过相同子载波排列的组成；第16-30行同时是通过第二根天线和第三根天线的相同子载波组成。
41.在经典music算法中首先通过空间矩阵分解得到噪声子空间找到到达角，然后寻找music谱的谱峰值对应的路径位置作为直达路径，将频谱的谱峰值对应的到达角作为直达路径的角度，以此来寻找该角度路径上的信号端。但是该方法存在一定的缺陷，该方法进能找到已知信源的真实角度。由于实际环境中存在着大量的反射信号，反射信号的强度有可能是远大于直达径信号的，通过寻找最大谱峰值来找到实际信号的位置是不可行的，谱峰值对应的最大角度有可能是反射信号的路径位置。基于此想法本发明提出了使用某位置对应的所有直达信号和反射信号路径信息生成的图像来定位该位置。图像中的到达角和飞行时间对应了一个峰值，该峰值即为不同反射路径的信息。该方法可以取消从复杂的多反射路径中找到直达径，避免繁琐的路径寻找过程。
42.经典的music算法中谱估计公式为：
（4）式中，为得到的music频谱值，表示平滑处理后的矩阵的导向向量；若x为采集收到的数据矩阵，则为接收数据的协方差矩阵，分解为；其中为正定的厄米特矩阵，是的信号相关矩阵，a为空间阵列的维导向矩阵，对特征分解得到的特征值均为非负实数，其中有d个大的特征值和m-d个小的特征值，大特征值对应的特征向量组成的空间为信号子空间，小特征值对应的特征向量组成的空间为噪声子空间。
43.为了得到2d-music反射路径图像，需要给将一维music算法提升到二维music算法，其中，；；式中，，，为子载波频率间隔，m为第几根天线；为第p条路径的飞行时间，为第p个反射路径的角度信息，为第p路径m维度的相位，，p为第p个反射路径，为相位信息，d为天线间距，信号的波长，为不同路径的相位偏移矩阵；由二维music算法谱估计公式得到角度信息以及飞行时间信息，二维music算法谱估计公式为：；式中，为得到的角度信息；表示接收信号经过平滑处理后得到的矩阵的导向向量，其中包含了到达角信息和飞行时间信息，为信号的噪声子空间，为的共轭矩阵，是通过music算法得到的谱值。
44.既可以从中得到角度信息，又可以得到飞行时间信息。从连续的100个数据包绘制为一个反射路径图像，可以获取几个相对较强的路径。
45.在本发明实施例中，由于软件无线电设备昂贵，使用了同样可以发送csi数据的平替设备，即配置了linux 802.11n csi tool工具箱的两台联想台式电脑作为发射器和接收器。两者使用了配备intel 5300网卡（csi软件官方指定的网卡型号）的64位ubuntu 14.04.03 lts（主打云计算，在云平台和伸缩环境的可靠性、性能和交互性都有大幅提升，同时提供5年的支持和维护服务）操作系统。
46.将一台pc机配置为发射机，另一台pc机配置为接收机，所有pc机工作在5ghz，信号带宽为40mhz。接收设备保持不动，发送设备模拟人体进行位置的改变。
47.在本发明实施例中，本发明衡量结果的一项指标是使用了出现的错误识别坐标的平均误差，用于计算从（1，1）点到（e,f）点出现的所有的分类错误点的误差之和的平均值；平均误差；其中，代表的是计算累计和，是通过网络模型估计的位置，是实际采集数据的位置，n为错误分类的数量，e,f分别设置的位置的横纵坐标的最大值。
48.另外本发明还分别通过50%置信区间误差和80%置信区间误差进行误差对比测试。
49.利用神经网络/机器学习模型，采集的多个位置的多反射路径图像进行特征提取训练并保存神经网络/机器学习模型，将测试样本输入训练完成的alexnet轻量型神经网络和分类网络，根据预测类别的比例，确定动作类别，预测占比最高的即为当前位置类别。
50.实施例5，作为本发明实施例另一种实施方式，本发明实施例提供一种基于wifi多反射路径图像的室内人员定位方法包括以下步骤：第一步，数据采集：可以利用软件无线电或其他可替代设备进行数据的采集训练需要的csi数据时，发射和接收机为台式机，必须配置三个接受天线。由于软件无线电造价昂贵，本发明中使用了同样可以收发csi数据的安装了商用网卡的台式主机，收发机需要安装linux 14.04.03系统，并且配备了csi tool工具箱用于数据的发射和接收，并将内核替换为4.2版本。
51.发射测试时，需要将收发设备调整为监控模式，这样有助于本发明对数据发送的大小和长度进行更改，发射端通过终端命令设置包长和大小。接收机可以接收到一个数据文件，该文件包含了实验所用的数据。（注意：收发设备应该在同一水平高度）在实验环境内的多个位置进行数据的采集和发射。测试人员通过携带wifi设备在指定地点进行数据的发送，接收设备置于某一定点进行人员位置数据信息的接受。对于发送数据的要求，本发明设定在每次发送1500个包，每个位置发送了30次数据收集csi信息。本发明将这每1500个包进行拆分，本发明将实际包数每100个包生成一个csi数据文件，这样仅通过一次数据收发就可以获得多张反射路径图像。本发明的实验数据是通过在如图2、图3所示的两种实验环境中得到的。本发明在两个实验室中进行测试，图2为一个空旷的实验室中，存在两列整齐摆放的桌椅，并且还存在两台实验室机器；图3中的实验室存在两个半环形铁质桌架，由于铁架的存在，该实验室存在较多的信号反射路径。
52.第二步，数据的处理：该数据文件为.dat类型文件，需要用到matlab软件进行文件的解析一次得到csi数据矩阵。该数据矩阵为3
×
30的矩阵类型。具体包括：（1）对数据进行分割，将每个数据包截取为每100个数据包为一个文件。后面对每100个数据包进行后续处理。接下来对每个文件进行相位的纠正。本发明首先通过功率分配器连接接收设备的三个通道和发射设备一个通道，计算接收天线的2号天线、3号天线与1号天线的相位差。功率分配器连接示意图如图4所示，通过直接计算天线之间的相位差距可以得到相位差的真值，后续可以通过对每100个包的文件进行相位的线性加减进行相位恢复，避免相位偏差对2d-music算法的影响，以下是对相位纠正前后的数据相位对比，如图5、图6所示。
53.图5为未经过线性相位校正算法之前的三天线的原始相位，可以看出三根天线的
相位是存在明显的相位差别的，图5中共有3
×
30个相位值，为三根天线30个子载波的相位值，此为相位纠正前的相位。
54.如图6所示，可以看出经过处理之后的相位数据得到了明显的改善，三个天线的相位明显的重合在了一起，说明了该设备相位得到了有效改善。图6中共有3
×
30个相位值，为三根天线的30个子载波的相位值，可以看到三个天线30个子载波都重合在了一起说明纠正后的三天线的30个子载波的相位保持了一致。此为相位纠正后的相位。
55.（2）对接收到的信号进行数据的平滑扩展。由于接收到的设备只能获得三根天线的数据得到的，为了获得更多了天线数据信息，本发明将数据矩阵进行了扩展，将3
×
30的数据矩阵扩展为了30
×
32的数据矩阵，方法就是通过对数据的重新排列组合，数据矩阵前后变化如下所示：。
56.第三步，谱图生成：使用经过矩阵平滑算法扩展后的csi矩阵得到了二维的转向向量，其中，；；，，为子载波频率间隔，m为第几根天线。
57.可以理解，将信号的飞行时间引入到了music算法中，将一维数据扩展到了二维空间，由原来的只能通过music算法得到信号的到达角信息，得到到达角和飞行时间的联合信息。每个反射路径图像的横纵坐标信息为对应的到达角和飞行时间信息。每个位置的到达角和飞行时间对应了一个峰值，该峰值即为不同反射路径的信息，本发明将不同的峰值作为反射路径图像的特征信息。
58.得到扩展之后二维music算法：；式中，为信号的噪声子空间，表示平滑矩阵协方差矩阵的导向向量，为的共轭矩阵，是通过music算法得到的谱值，通过对平滑扩展之后的csi矩阵运用二维music算法可以得到二维music（2d-music）多反射路径图像，如图7-图9为一个位置得到的三个图像信息。此图7-图9为通过2d-music算法得到的三个反射路径图像，图7-图9中波峰表示为一个路径，可以看到有两个明显的路径和一个较弱的路径。图7-图9三张图像为一个1500数据包得到的15个图像的其中3张，可以看到每个位置的一个数据文件得到的图像非常相似。
59.第四步，模型训练分类：为了验证该图像方法的可行性，在构建分类模型时，本发明使用了两种机器学习算法/神经网络的方法进行对比测试。以下本发明以使用alexnet轻量型神经网络和分类网络支持向量机svm的方式进行测试。首先输入特征图像，划分数据集将数据分为7:3的比例，将70%的数据用于训练，并且将30%的数据用于测试，使用动量的随机梯度下降算法（stochastic gradient descent algorithm，sgdm）对模型进行优化，使用gpu加速模型的训练。通过预测标签与真实标签的对比得到最终的准确率。
60.实施例5，本发明实施例提供一种基于wifi多反射路径图像的室内人员定位系统包括：三天线设备，用于进行无线数据的收发；相位误差消除模块，用于首先对接收的csi数据进行预处理，消除由接收天线之间间距带来的相位误差；子数据包获取模块，对数据包运用分割算法，获得更多的子数据包；数据矩阵重组模块，用于对每个子数据包使用矩阵平滑算法，将3
×
30的信道状态信息矩阵重组为30
×
32的数据矩阵；二维反射路径信息图像生成模块，用于对经过数据矩阵进行二维music算法的使用，计算出目标位置发射出的所有反射路径和直达路径对应的角度信息和飞行时间信息，结合二者生成二维反射路径信息图像用作特征图像；模型的训练模块，用于将多个位置下的所有反射路径的图片导入网络分类模型进行训练，生成训练模型；人员定位模块，用于通过使用生成的训练模型对新的位置信息生成的二维反射路径信息图像进行分类从而进行人员的定位。
61.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
62.上述装置/单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
63.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上
描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程。
64.基于上述本发明实施例记载的技术方案，进一步的可提出以下应用例。
65.根据本技术的实施例，本发明还提供了一种计算机设备，该计算机设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
66.本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。
67.本发明实施例还提供了一种信息数据处理终端，所述信息数据处理终端用于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中的步骤，所述信息数据处理终端不限于手机、电脑、交换机。
68.本发明实施例还提供了一种服务器，所述服务器用于实现于电子装置上执行时，提供用户输入接口以实施如上述各方法实施例中的步骤。
69.本发明实施例还提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时可实现上述各个方法实施例中的步骤。
70.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一种计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一种计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（read-only memory，rom）、随机存取存储器（random access memory，ram）、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。
71.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
72.为进一步证明上述实施例的积极效果，本发明基于上述技术方案进行如下实验。
73.实验结果分析：通过对最终数据的测试，得到如图10所示的混淆矩阵的实验数据结果，根据混淆矩阵可以看出所有位置的数据都实现了90%的测试准确度，可以说明使用2d-music多反射路径图像方法的可用性。
74.如图11所示，使用alexnet网络和svm分类结构得到概率分布曲线图，其中下部代表的使用svm结构得到的曲线，上部代表使用alexnet神经网络的到的曲线。可以看出使用两者的50%误差都在1.5m左右，两种网络对使用该反射路径图像方法得到的分类结果差别微乎其微，说明即使使用不同的网络依然能够得到较好的准确度和较为相近的测试误差。
75.表1展示了使用两种不同的分类算法得到的数据，其中平均误差测算是通过如下
公式得到的：平均误差；其中n代表的是出现的所有的误差个数。代表的是计算累计和。该公式含义为：计算从（1，1）点到（e,f）点出现的所有的分类错误点的误差之和的平均值。是实际采集数据的位置，n为错误分类的数量，e,f分别设置的位置的横纵坐标的最大值。
76.本发明的实验过程中不仅使用了平均误差作为测试精度的标准，还使用了50%置信区间误差作为训练结果的标准测试。表1的数据更加直观的展示了使用该2d-music反射信号图像的方法得到的位置估计即使使用不同的网络仍然都达到了可接受的范围内，不同的学习模型都能达到相似的测试水平，证明了该方法的可用性。由表2可以看出使用该方法通过两种不同的分类模型分别在两种实验环境下都可以达到93%及以上的测试准确度，与当前主流的指纹定位方法达到了旗鼓相当的精度，说明了该方法的可用性。
77.表1使用卷积神经网络使用本发明方法在实验室环境1得到的测试精度。
78.表2两种网络结构使用本发明方法在两个不同实验室环境得到的测试准确率。
79.本发明的实验过程中不仅使用了平均误差作为测试精度的标准，还使用了50%置信区间和80%置信区间误差作为训练结果的标准测试。通过表1的数据更加直观的展示了使
用该2d-music反射信号图像的方法得到的位置估计即使使用不同的网络仍然都达到了可接受的范围内，不同的学习模型都能达到相似的测试水平，证明了该方法的可用性。通过表2可以看出使用该方法通过两种不同的分类模型分别在两种实验环境下都可以达到93%及以上的测试准确度，与当前主流的指纹定位方法达到了相当的精度，说明了该方法的可用性。
80.通过本发明可以为行动不便用户的检测和活动识别提供方便。本发明的技术方案将music算法和指纹定位方案结合，为室内定位方法提供了全新的解决方案。原有的基于music算法的定位方法都是通过寻找直达径角度进行三角定位，并且传统的基于信号强度的指纹定位方法并不稳定，信号强度容易随着时间的改变而发生改变；本发明将music算法与指纹结合起来，不再使用传统的三角定位和信号强度定位方法，但是由于室内环境几乎不变，通过反射路径图像几乎不会发生改变，用指纹方法通过反射路径图像更稳定。
81.以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种基于wifi多反射路径图像的室内人员定位方法，其特征在于，该方法包括以下步骤：s1、利用多台三天线设备进行无线数据的收发；s2、对接收的csi数据进行预处理，消除由接收天线之间间距带来的相位误差；s3、对预处理后csi数据中的数据包运用分割算法，获得更多子数据包组；s4、每个子数据包使用矩阵平滑算法对三天线设备进行模拟扩展为多天线设备，获取多反射信号路径信息；s5、对多反射信号路径信息，利用二维music算法计算出目标位置发射出的所有反射路径和直达路径对应的角度信息和飞行时间信息，利用角度信息和飞行时间信息生成二维反射路径信息图像用作特征图像；s6、将多个位置下的所有反射路径的图片导入网络分类模型进行训练，生成训练模型；s7、使用生成的训练模型对新的位置信息生成的二维反射路径信息图像进行分类，进行人员的定位。2.根据权利要求1所述的基于wifi多反射路径图像的室内人员定位方法，其特征在于，在步骤s2中，对接收的csi数据进行预处理包括：使用功率分配器连接发射端和接收器，分别计算接收设备第二天线、第三天线与第一天线之间的相位差，通过采集的数据进行相位的线性加减运算弥补消除相位差；在步骤s3中，对预处理后csi数据中的数据包运用分割算法，获得子数据包包括：在数据采集过程中，一个数据文件在发射时会设置接收数据的发射速率，数据包的总长度，数据的发送间隔；所述数据文件发射的数据包总数为1500个包；生成反射路径图像需要的数据为每100个包生成一张图像；将每次发射的数据文件数据包长度设置为1500个包，后续对每个数据文件进行分割为100个包一个文件，得到15个100数据包的数据文件。3.根据权利要求1所述的基于wifi多反射路径图像的室内人员定位方法，其特征在于，在步骤s4中，矩阵平滑算法对三天线设备进行模拟扩展为多天线设备包括：通过使用矩阵平滑算法将3
×
30的信道状态信息矩阵重组为30
×
32的数据矩阵，获取多反射信号路径信息。4.根据权利要求3所述的基于wifi多反射路径图像的室内人员定位方法，其特征在于，获取多反射信号路径信息包括：n个非相干远场窄带信号入射到由m根天线组成的阵列上，此时接收信号表达式为：；式中，为阵列的接收信号，为发射信号，为m维噪声数据，为一个导向向量；其中，第m根天线的csi值表示为：；式中，为阵列的接收信号，为空间阵列的维导向向量矩阵；
为intel 5300无线网卡为3根天线和30个子载波组成的csi矩阵，表达式为：；式中，不同根天线和不同子载波组成的csi值通式为，表示第m个天线的第n个子载波的csi值，csi值为一个复数形式；取值1~3；取值1~30；通过计算接收设备不同天线之间的初始相位差值，对每根天线的30个子载波进行初始相位的线性补偿，将接收机的第二天线、第三天线与第一天线进行校准，对接收机不同天线的相位校正；对输入的csi测量值进行结构重组获得平滑的csi矩阵；重新组合生成的平滑csi矩阵直接通过music算法得到所有反射传播路径的信息。5.根据权利要求4所述的基于wifi多反射路径图像的室内人员定位方法，其特征在于，通过music算法得到所有反射传播路径的信息包括：基于经典的music算法扩展为二维2d-music算法，并结合不同信号的到达角和飞行时间，将不同位置不同反射路径的信息在图像中展现出来，将到达角和飞行时间结合music的谱图峰值结合，每个峰值代表了一个路径，每个峰值的横轴代表了到达角信息，纵轴代表了对应的飞行时间信息；经典的music算法中谱估计公式为：；式中，为通过music算法得到的谱值；若x为平滑处理后的得到的数据矩阵，则代表数据矩阵x的协方差矩阵为：；分解为：；式中，e代表自相关矩阵，h为共轭矩阵，为的导向矩阵，为正定的厄米特矩阵为的信号相关矩阵，a为空间阵列的维导向矩阵，对特征分解得到的m个特征值均为非负实数，有d个大的特征值和个小的特征值，大特征值对应的特征向量组成的空间为信号子空间，小特征值对应的特征向量组成的空间为噪声子空间。6.根据权利要求1所述的基于wifi多反射路径图像的室内人员定位方法，其特征在于，在步骤s5中，利用二维music算法计算出目标位置发射出的所有反射路径和直达路径对应的角度信息和飞行时间信息包括：将一维music算法提升到二维music算法，将扩展为；
；；式中，为携带角度信息和飞行时间信息的导向向量矩阵，为不同路径的相位偏移矩阵，为第p条路径的飞行时间，，，为子载波频率间隔，m为第几根天线，为第p个反射路径的角度信息，为第p路径m维度的相位，，p为第p个反射路径，为相位信息，d为天线间距，为信号的波长；由二维music算法谱估计公式得到角度信息以及飞行时间信息，二维music算法谱估计公式为：；式中，为得到的角度信息；表示接收信号经过平滑处理后得到的矩阵的导向向量，其中包含了到达角信息和飞行时间信息，为信号的噪声子空间，表示平滑矩阵协方差矩阵的导向向量，为的共轭矩阵，是通过music算法得到的谱值。7.根据权利要求1所述的基于wifi多反射路径图像的室内人员定位方法，其特征在于，在步骤s6中，将多个位置下的所有反射路径的图片导入网络分类模型进行训练包括：使用alexnet轻量型神经网络和分类网络支持向量机svm的方式进行测试；首先输入特征图像，划分数据集将数据分为7:3的比例，将70%的数据用于训练，并且将30%的数据用于测试，使用动量的随机梯度下降算法sgdm对alexnet轻量型神经网络和分类网络进行优化，使用gpu加速模型训练，并进行预测标签与真实标签的对比；训练时网络参数学习优化原则包括：梯度下降原则，初始学习率设置为0.0001设置单次打包图像数目为16，迭代次数为15，使用gpu加速模型的训练；训练模型包含所有训练位置图像的特征信息，对新接收的测试照片提取特征与模型的数据进行对比预测位置。8.根据权利要求1所述的基于wifi多反射路径图像的室内人员定位方法，其特征在于，在步骤s7中，使用生成的训练模型对新的位置信息生成的二维反射路径信息图像进行分类包括：利用神经网络/机器学习模型，采集的多个位置的多反射路径图像进行特征提取训练并保存alexnet轻量型神经网络和分类网络，将测试样本输入训练完成的alexnet轻量型神经网络和分类网络，根据预测类别的比例，确定位置，使用多数投票原则，测试一次数据采集生成的15张图片，这15张图片被分类为占比最高的位置被预测为最终位置；错误识别坐标的平均误差被用来分析系统的性能；错误识别坐标的平均误差的表达式为：
平均误差；式中，代表的是计算累计和，是通过网络模型估计的位置，是实际采集数据的位置，n为错误分类的数量，e,f分别设置的位置的横纵坐标的最大值。9.一种基于wifi多反射路径图像的室内人员定位系统，其特征在于，实施权利要求1-8任意一项所述的基于wifi多反射路径图像的室内人员定位方法，该系统包括：三天线设备，用于进行无线数据的收发；相位误差消除模块，用于首先对接收的csi数据进行预处理，消除由接收天线之间间距带来的相位误差；子数据包获取模块，对数据包运用分割算法，获得更多的子数据包；数据矩阵重组模块，用于对每个子数据包使用矩阵平滑算法，将3
×
30的信道状态信息矩阵重组为30
×
32的数据矩阵；二维反射路径信息图像生成模块，用于对经过数据矩阵进行二维music算法的使用，计算出目标位置发射出的所有反射路径和直达路径对应的角度信息和飞行时间信息，结合二者生成二维反射路径信息图像用作特征图像；模型的训练模块，用于将多个位置下的多反射路径图片导入网络分类模型进行训练，生成训练模型；人员定位模块，用于通过使用生成的训练模型对新的位置信息生成的二维反射路径信息图像进行分类从而进行人员的定位。10.根据权利要求9所述的基于wifi多反射路径图像的室内人员定位系统，其特征在于，该系统搭载在配置linux14.04系统并且安装了csi tool的计算机上，该计算机配置用于收发2.4g/5g csi信号的设备。

技术总结
本发明属于人体感知、信号处理技术领域，公开了基于WiFi多反射路径图像的室内人员定位方法及系统。对接收的CSI数据进行预处理，消除由接收天线之间间距带来的相位误差；对预处理后CSI数据中的数据包运用分割算法，获得更多的子数据包；对每个子数据包使用矩阵平滑算法，对三天线设备进行模拟扩展为多天线设备，获取多反射信号路径信息并利用二维MUSIC算法计算出目标位置发射出的所有反射路径和直达路径对应的角度信息和飞行时间信息，利用角度信息和飞行时间信息生成二维反射路径信息图像用作特征图像。本发明通过两种不同的分类模型分别在两种实验环境下都可以达到93%及以上的测试准确度。的测试准确度。的测试准确度。


技术研发人员：梁泉泉 吴庆哲 张琨 王文华 于智杰
受保护的技术使用者：山东科技大学
技术研发日：2023.06.13
技术公布日：2023/8/31