一种基于手环和长短时记忆神经网络的肢体语言控制系统

1.本发明涉及一种基于手环和长短时记忆神经网络的肢体语言控制系统及控制方法，属于无人机控制方法技术领域。


背景技术：

2.传统的无人机多为遥控手柄或手机等控制方式，这些控制方式复杂繁琐，控制体验不佳。
3.此外，微型无人机已逐渐开始大面积使用，遥控手柄等控制器体积较大，便携性较差，也不利于微型无人机的推广使用。
4.由于上述原因，有必要提出一种新的无人机控制方法。


技术实现要素：

5.为了克服上述问题，本发明人进行了深入研究，设计出一种基于手环和长短时记忆神经网络的肢体语言控制系统，该系统包括手环和无人机，
6.所述手环上设置有三轴加速度传感器，用于采集手臂运动信息，
7.所述手环上设置有信息发射芯片，将采集的信息向外发送，
8.所述无人机上设置有信息接收芯片，用于接收手环向外发送的信息，
9.所述无人机上设置有机载计算机，在机载计算机中设置有手臂运动识别模块，用于将接收的信息转化为无人机控制指令。
10.在一个优选的实施方式中，所述发射芯片和接收芯片为蓝牙芯片。
11.在一个优选的实施方式中，所述手臂运动识别模块为神经网络模型，包括填充层、掩码层、长短时记忆单元层和全连接层。
12.本发明还提供了一种基于手环和长短时记忆神经网络的肢体语言控制方法，通过在手环中设置三轴加速度传感器，采集操作者的手臂动作，将手臂动作信息发送至无人机机载计算机，由机载计算机中设置的手臂运动识别模块将手臂动作信息转化为无人机控制指令，从而实现操作者对无人机的控制。
13.在一个优选的实施方式中，所述手臂运动识别模块为神经网络模型，通过多种手臂动作信息对神经网络模型进行训练，使得神经网络模型能够将不同的手臂动作与控制指令信息进行对应。
14.在一个优选的实施方式中，在对神经网络模型进行训练时，重复进行多组手臂动作，采集获得多组手臂动作信息，所述多组手臂动作包括手臂上抬、下压、左移、右移、前移、后移。
15.在一个优选的实施方式中，每组动作重复100次及以上，由手环中设置的三轴加速度传感器输出采集的数据，所述手臂动作信息为多次重复动作时采集到的连续数据。
16.在一个优选的实施方式中，采集完成后，使用滑动窗口将连续数据分割为长度为n的数据序列，将分割后的数据序列以及对应的手臂动作作为一个训练样本。
17.在一个优选的实施方式中，进行无人机控制时，手臂运动识别模块将采集到的数据全部发送至无人机机载计算机中，形成连续数据，机载计算机将连续数据分割为长度为n的数据序列，每一个数据序列对应一次检测数据，将检测数据输入训练好的神经网络模型。
18.在一个优选的实施方式中，所述手臂运动识别模块包括填充层、掩码层、长短时记忆单元层和全连接层，
19.使用填充层检查检测数据的长度，若检测数据长度不足n，则采用0将检测数据长度填充至n长度，
20.使用掩码层屏蔽填充的数据，使得填充数据不影响识别结果。
21.本发明所具有的有益效果包括：
22.(1)通过手环实现对无人机的控制，使得操作者能通过手臂的动作便捷操控无人机的同时，更直观地观察无人机周围飞行环境，面对突发状况能及时做出飞行命令指令的变更；
23.(2)使操作者运用身体更直观地代入无人机飞行的同时，便于操作者学习，时间效益良好；
24.(3)指令的识别精度高、准确度高；
25.(4)控制用手环小巧便携，价格实惠。
附图说明
26.图1示出根据本发明一种优选实施方式的基于手环和神经网络的肢体语言控制系统示意图；
27.图2示出根据本发明一种优选实施方式的无人机机载计算机的手臂运动识别模块即训练后的神经网络模型处理数据的结构流程示意图；
28.图3示出实施例1中批训练后神经网络模型的训练结果即损失函数变化的示意图。
具体实施方式
29.下面通过附图和实施例对本发明进一步详细说明。通过这些说明，本发明的特点和优点将变得更为清楚明确。
30.在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
31.本发明提供的一种基于手环和长短时记忆神经网络的肢体语言控制系统，如图1所示，该系统包括手环和无人机，
32.所述手环上设置有三轴加速度传感器，用于采集手臂运动信息，
33.所述手环上设置有信息发射芯片，将采集的信息向外发送，
34.所述无人机上设置有信息接收芯片，用于接收手环向外发送的信息，
35.所述无人机上设置有机载计算机，在机载计算机中设置有手臂运动识别模块，用于将接收的信息转化为无人机控制指令。
36.在一个优选的实施方式中，所述发射芯片和接收芯片为蓝牙芯片。
37.在本发明中，对所述三轴加速度传感器的具体型号不做特别限制，可以采用任何
已知的三轴加速度传感器，例如bma423。
38.在一个优选的实施方式中，所述手环为基于arduino的可编程手环。
39.在本发明中，采用手环采集肢体姿态进而对无人机进行控制，摆脱了传统无人机控制的复杂繁琐方式，使得控制方式越来越简便，也更加贴合人们日常生活。
40.此外，采用手环检测人体肢体动作的方式，相对于其它可穿戴设备，又进一步降低了设备造价成本，降低了设备重量，不影响操作者的正常行动。简单小巧的手环将允许操作者使用简单的手臂动作给无人机飞行发送姿态运动指令，让他们可以更自由地观察四周环境，并且降低用户精神集中时间，使得操作者将精神集中在更重要的任务执行上。
41.进一步地，通过手环中设置三轴加速度传感器的方式采集肢体动作，相比于其它采集方式，例如视觉采集等，其数据准确率更高，指令识别度更高。
42.所述手臂运动识别模块为神经网络模型，在一个优选的实施方式中，所述神经网络模型包括填充层、掩码层、长短时记忆单元层和全连接层，如图1所示。
43.所述填充层用于对采集到的检测数据进行处理，使得检测数据具有统一的长度，
44.所述掩码层用于屏蔽填充的数据，使得填充的数据不影响识别结果，
45.所述长短时记忆单元层包括两个lstm层，lstm层又称为长短时记忆网络层，是具有长期记忆能力的一种时间递归神经网络，为一种常用的神经网络层，其具体结构在本发明中不做赘述。
46.进一步地，第二个lstm层与全连接层之间使用softmax函数为激活函数，softmax是分类任务常见的激活函数。
47.另一方面，本发明还提供了一种基于手环和长短时记忆神经网络的肢体语言控制方法，通过在手环中设置三轴加速度传感器，采集操作者的手臂动作，将手臂动作信息发送至无人机机载计算机，由机载计算机中设置的手臂运动识别模块将手臂动作信息转化为无人机控制指令，从而实现操作者对无人机的控制。
48.进一步地，所述手臂运动识别模块为神经网络模型，通过多种手臂动作信息对神经网络模型进行训练，使得神经网络模型能够将不同的手臂动作与控制指令信息进行对应。
49.根据本发明一个优选的实施方式，在对神经网络模型进行训练时，重复进行多组手臂动作，采集获得多组手臂动作信息，所述多组手臂动作包括手臂上抬、下压、左移、右移、前移、后移。
50.优选地，所述上抬是指：手心向上垂直上抬；所述下压是指：手心向下垂直下压；所述左移是指：手心向左挥舞；所述右移是指：手心向右挥舞；所述前移是指：手心向右，手向前方推动；所述后移是指：手心向上，旋转肘关节使手臂旋转90
°
。
51.进一步地，发明人发现，若只有上述动作，训练后的神经网络会出现大量的误识别，导致准确率偏低，在一个优选的实施方式中，所述多组手臂动作还包括干扰动作，所述干扰动作是指除上述动作意外的其它任意动作。
52.进一步地，操作者每次的动作都存在一定的偏差，例如上抬时的动作幅度、速度等均不相同，实际操作时，还会出现两组动作连续进行的现象，如何设置神经网络模型的训练样本，以及采用何种数据方式作为手臂动作信息输入神经网络模型才能获得更为准确的指令是本发明的难点所在。
53.根据本发明，每组动作重复100次及以上，由手环中设置的三轴加速度传感器输出采集的数据，所述手臂动作信息为多次重复动作时采集到的连续数据。
54.进一步地，采集完成后，使用滑动窗口将连续数据分割为长度为n的数据序列，将分割后的数据序列以及对应的手臂动作作为一个训练样本。
55.由于训练样本为连续数据分割后形成，使得分割后得到的训练样本能够表征一个手臂动作不同阶段的特点，从而提高肢体动作的识别准确度。
56.进一步地，将连续数据分割为多个训练样本，还提高了识别灵敏度，提高了对无人机控制的细腻程度。
57.优选地，n为100-200，更优选为150。
58.根据本发明，进行无人机控制时，手臂运动识别模块将采集到的数据全部发送至无人机机载计算机中，按队列的数据结构形成连续数据进行存储，机载计算机将连续数据分割为长度为n的数据序列，每一个数据序列对应一次检测数据，将检测数据输入训练好的神经网络模型。进一步地，当新的数据输入时，清除最早输入的数据。
59.根据本发明，使用填充层检查检测数据的长度，由于连续数据按长度n分割，分割后末尾的数据序列往往存在长度不够的情况，若检测数据长度不足n，则采用0将检测数据长度填充至长度为n，使得检测数据的长度保持统一，便于神经网络模型对输入数据的识别。
60.所述手臂运动识别模块包括填充层、掩码层、长短时记忆单元层和全连接层，填充层完成对检测数据的识别与填充后，进一步地，使用掩码层屏蔽填充的数据，使得填充数据不影响识别结果。
61.掩码层是长短时记忆神经网络中常用的一种网络层结构，在本发明中对其具体结构不再赘述。
62.所述长短时记忆单元层包括两个lstm层，所述lstm层以及全连接层均为经典的神经网络模型，在本发明中对其具体结构不再赘述。
63.在本发明中，采用两层lstm层作为手臂运动识别模块的长短时记忆单元层，相比于其它类型的神经网络层，在更长的序列中有更好的表现，能够解决长序列训练过程中的梯度消失和梯度爆炸问题。
64.进一步地，全连接层的输出为1
×
7的向量，每个元素表征一个动作指令，即上抬、下压、前移、后移、左移、右移、干扰，对应无人机的上升、下降、前移、后移、左移、右移、无动作的姿态控制指令，无人机根据姿态控制指令进行飞行姿态的调整。
65.在一个优选的实施方式中，当全连接层输出向量中最大元素大于0.99时，以最大元素对应的姿态控制指令为识别结果，若最大元素小于等于0.99，无人机不进行动作，避免出现控制指令误识别。
66.在一个优选的实施方式中，全连接层使用softmax函数为激活函数，softmax是分类任务常见的激活函数。
67.在一个优选的实施方式中，训练过程中，损失函数使用categorical_crossentropy(交叉熵)函数进行计算，优化器为adam。
68.在一个优选的实施方式中，当识别出的控制指令为上升、下降、前移、后移、左移、右移时，将无人机机载计算机中存储的连续数据删除，避免历史数据对后续控制指令的识
别出现干扰。
69.实施例
70.实施例1
71.采用手环对无人机进行控制，所述手环上设置有三轴加速度传感器和信息发射芯片，所述无人机上设置有信息接收芯片和机载计算机，在机载计算机中设置有手臂运动识别模块。
72.通过三轴加速度传感器采集操作者的手臂动作，将手臂动作信息发送至无人机机载计算机，由机载计算机中设置的手臂运动识别模块将手臂动作信息转化为无人机控制指令，从而实现操作者对无人机的控制。
73.在对神经网络模型进行训练时，重复进行多组手臂动作，采集获得多组手臂动作信息，所述多组手臂动作包括手臂上抬、下压、左移、右移、前移、后移和干扰动作。
74.每组动作重复100次，由手环中设置的三轴加速度传感器输出采集的数据，所述手臂动作信息为多次重复动作时采集到的连续数据，使用滑动窗口将连续数据分割为长度为150的数据序列，将分割后的数据序列以及对应的手臂动作作为一个训练样本。
75.所述手臂运动识别模块为神经网络模型，包括填充层、掩码层、第一lstm层、第二lstm层和全连接层。
76.全连接层使用softmax函数为激活函数，训练过程中，损失函数使用categorical_crossentropy(交叉熵)函数进行计算，优化器为adam。
77.使用批训练方法进行训练，批次长度为100，共训练30个回合，训练效果图2如所示，图中横轴为回合数，纵轴为损失函数的值，蓝色实线表示训练误差，红色虚线表示测试误差。
78.训练完成后，损失函数结果为5.8116-9
，表明识别误差非常小，识别准确度很高。
79.在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”、“前”、“后”等指示的方位或位置关系为基于本发明工作状态下的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性。
80.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”“相连”“连接”应作广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体的连接普通；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
81.以上结合了优选的实施方式对本发明进行了说明，不过这些实施方式仅是范例性的，仅起到说明性的作用。在此基础上，可以对本发明进行多种替换和改进，这些均落入本发明的保护范围内。

技术特征：
1.一种基于手环和长短时记忆神经网络的肢体语言控制系统，其特征在于，该系统包括手环和无人机，所述手环上设置有三轴加速度传感器，用于采集手臂运动信息，所述手环上设置有信息发射芯片，将采集的信息向外发送，所述无人机上设置有信息接收芯片，用于接收手环向外发送的信息，所述无人机上设置有机载计算机，在机载计算机中设置有手臂运动识别模块，用于将接收的信息转化为无人机控制指令。2.根据权利要求1所述的基于手环和长短时记忆神经网络的肢体语言控制系统，其特征在于，所述发射芯片和接收芯片为蓝牙芯片。3.根据权利要求1所述的基于手环和长短时记忆神经网络的肢体语言控制系统，其特征在于，所述手臂运动识别模块为长短时记忆神经网络模型，包括填充层、掩码层、长短时记忆单元层和全连接层。4.一种基于手环和长短时记忆神经网络的肢体语言控制方法，其特征在于，通过在手环中设置三轴加速度传感器，采集操作者的手臂动作，将手臂动作信息发送至无人机机载计算机，由机载计算机中设置的手臂运动识别模块将手臂动作信息转化为无人机控制指令，从而实现操作者对无人机的控制。5.根据权利要求4所述的基于手环和长短时记忆神经网络的肢体语言控制方法，其特征在于，所述手臂运动识别模块为长短时记忆神经网络模型，通过多种手臂动作信息对神经网络模型进行训练，使得神经网络模型能够将不同的手臂动作与控制指令信息进行对应。6.根据权利要求4所述的基于手环和长短时记忆神经网络的肢体语言控制方法，其特征在于，在对神经网络模型进行训练时，重复进行多组手臂动作，采集获得多组手臂动作信息，所述多组手臂动作包括手臂上抬、下压、左移、右移、前移、后移。7.根据权利要求4所述的基于手环和长短时记忆神经网络的肢体语言控制方法，其特征在于，每组动作重复100次及以上，由手环中设置的三轴加速度传感器输出采集的数据，所述手臂动作信息为多次重复动作时采集到的连续数据。8.根据权利要求4所述的基于手环和长短时记忆神经网络的肢体语言控制方法，其特征在于，采集完成后，使用滑动窗口将连续数据分割为长度为n的数据序列，将分割后的数据序列以及对应的手臂动作作为一个训练样本。9.根据权利要求4所述的基于手环和长短时记忆神经网络的肢体语言控制方法，其特征在于，进行无人机控制时，手臂运动识别模块将采集到的数据全部发送至无人机机载计算机中，形成连续数据，机载计算机将连续数据分割为长度为n的数据序列，每一个数据序列对应一次检测数据，将检测数据输入训练好的神经网络模型。
10.根据权利要求4所述的基于手环和长短时记忆神经网络的肢体语言控制方法，其特征在于，所述手臂运动识别模块包括填充层、掩码层、长短时记忆单元层和全连接层，使用填充层检查检测数据的长度，若检测数据长度不足n，则采用0将检测数据长度填充至n长度，使用掩码层屏蔽填充的数据，使得填充数据不影响识别结果。

技术总结
本发明公开了一种基于手环和长短时记忆神经网络的肢体语言控制系统，通过在手环中设置三轴加速度传感器，采集操作者的手臂动作，将手臂动作信息发送至无人机机载计算机，由机载计算机中设置的手臂运动识别模块将手臂动作信息转化为无人机控制指令，从而实现操作者对无人机的控制。本发明公开的基于手环和长短时记忆神经网络的肢体语言控制系统，通过手环实现对无人机的控制，使得操作者能通过手臂的动作便捷操控无人机的同时，更直观地观察无人机周围飞行环境，面对突发状况能及时做出飞行命令指令的变更。命令指令的变更。命令指令的变更。


技术研发人员：何绍溟 邢孝锋 刘子超 柴剑铎 金天宇 王江 林德福
受保护的技术使用者：北京理工大学
技术研发日：2023.06.13
技术公布日：2023/9/20