多模态人机交互操控方法、手柄、设备、介质及助行器

1.本发明涉及助行器控制技术领域，特别涉及多模态人机交互操控方法、手柄、设备、介质及助行器。


背景技术：

2.随着经济的发展与社会文明程度的提高，老年人与残疾人的生活条件和生活质量越来越受社会的关注。电动轮椅可以辅助老年人和残疾人出行，对于改善其生活质量有重要意义。当前的轮椅控制方式主要为操纵杆控制、按键控制、方向盘控制等控制方式，这些控制方式都能够让用户很轻松地使用轮椅。但是，对于一些身体严重瘫痪的残障人士，想要完成一些正常人只需花费很少力气的动作，往往都十分困难，并且由于操作强度、难度或视力等因素造成部分用户无法完成轮椅的控制，因此探索新的控制方式十分必要。


技术实现要素：

3.为了实现本发明的上述目的和其他优点，本发明的第一目的是提供一种多模态人机交互操控方法，包括以下步骤：s1、连接助行器本体所在的局域网；s2、初始化多模态人机交互操控手柄的节点，并初始化速度话题；s3、判断是否是摇杆模式；s4、若判定是摇杆模式，则读取摇杆xy数据，并设置所述速度话题的数据；s5、若判定不是摇杆模式，则判断是否是手势模式；s6、若判定是手势模式，则读取手势识别结果，并设置所述速度话题的数据；s7、若判定不是手势模式，则判断是否是语音模式；s8、若判定是语音模式，则读取语音识别结果，并设置所述速度话题的数据；s9、若判定不是语音模式，则设置所述速度话题的数据全为0；s10、发布所述速度话题；s11、判断是否结束操控模式；s12、是则结束；否则延时预设时间，然后返回所述s3步骤继续执行。
4.进一步地，所述s4步骤包括以下步骤：s41、采集读取摇杆的模拟电压信号，所述模拟电压信号为所述摇杆在xy轴方向偏离中心的位置量转化成0~3.3v的模拟电压；s42、将在y轴方向偏离中心的位置y转化赋值为所述速度话题中沿着y轴的线速度，将在x轴方向偏离中心的位置x转化赋值为所述速度话题中绕着z轴的角速度。
5.进一步地，所述s6步骤包括以下步骤：s61、读取手势识别结果；s62、通过手势控制指令表匹配所述手势识别结果对应的速度话题中各个参数的值；其中，所述手势控制指令表内存储若干手势名称与速度话题中各个参数的值之间的对
应关系；s63、根据匹配结果设置所述速度话题中各个参数的值。
6.进一步地，所述手势识别结果包括前进、后退、往左、往右、停止小车运动。
7.进一步地，所述s8步骤包括以下步骤：s81、读取离线语音识别模块的识别结果产生的id；s82、查找预设的语音控制指令表，获得读取到的id对应的速度话题中各个参数的值；其中，所述语音控制指令表内存储若干控制命令词、id以及速度话题中各个参数的值之间的对应关系；s83、根据查找结果设置所述速度话题中各个参数的值。
8.进一步地，所述控制命令词包括低速前进、低速后退、低速左转、低速右转、高速前进、高速后退、高速左转、高速右转、停止运动。
9.本发明的第二目的是提供一种电子设备，包括：存储器，其上存储有程序代码；处理器，其与所述存储器连接，并且当所述程序代码被所述处理器执行时，实现上述的方法。
10.本发明的第三目的是提供一种计算机可读存储介质，其上存储有程序指令，所述程序指令被执行时实现上述的方法。
11.本发明的第四目的是提供一种实现上述的方法的多模态人机交互操控手柄，包括：主控单元、摇杆、模式转换开关；所述摇杆用于将摇杆转动的角度转换为模拟电压信号，所述主控单元用于与助行器本体控制模块通过无线局域网通信连接，离线语音识别模块及手势识别模块的集成，所述摇杆的模拟电压信号的采集，以及建立节点，定时读取摇杆、离线语音识别模块、手势识别模块的数据，整理并发布速度话题，所述离线语音识别模块用于识别语音，并将语音识别结果传输给所述主控单元，所述手势识别模块用于识别手势，并将手势识别结果传输给所述主控单元，所述模式转换开关用于切换操控手柄的人机交互模式。
12.进一步地，所述速度话题的数据内容包括沿着x、y、z方向的线速度和角速度。
13.进一步地，所述速度话题是ros系统中预先定义的geometry_msgs/msg/twist类型的数据格式。
14.进一步地，所述摇杆为两轴霍尔摇杆。
15.进一步地，所述两轴霍尔摇杆在x、y轴方向偏离中心的位置量转化成0~3.3v的模拟电压。
16.进一步地，所述主控单元通过adc外设采集读取所述两轴霍尔摇杆的模拟电压，并将所述两轴霍尔摇杆在y轴方向偏离中心的位置y转化赋值为所述速度话题中沿着y轴的线速度，将所述两轴霍尔摇杆在x轴方向偏离中心的位置x转化赋值为所述速度话题中绕着z轴的角速度。
17.进一步地，所述离线语音识别模块的识别结果产生一个字节的id，并将产生的id发送至所述主控单元。
18.进一步地，所述主控单元内预置有语音控制指令表，所述语音控制指令表内存储若干控制命令词、id以及速度话题中各个参数的值之间的对应关系，所述主控单元在接收到所述离线语音识别模块发送的 id之后，查找所述语音控制指令表，设置所述速度话题中各个参数的值，然后发布速度话题。
19.进一步地，所述控制命令词包括低速前进、低速后退、低速左转、低速右转、高速前进、高速后退、高速左转、高速右转、停止运动。
20.进一步地，所述主控单元内预置有手势控制指令表，所述手势控制指令表内存储若干手势名称与速度话题中各个参数的值之间的对应关系，所述主控单元在接收到所述手势识别模块发送的识别结果之后，查找所述手势控制指令表，设置所述速度话题中各个参数的值进而控制助行器的运动。
21.进一步地，所述手势识别模块的识别结果包括前进、后退、往左、往右、停止小车运动。
22.本发明的第五目的是提供一种助行器，包括助行器本体，还包括上述的多模态人机交互操控手柄，所述多模态人机交互操控手柄与助行器本体控制模块通过无线局域网通信连接，所述多模态人机交互操控手柄可拆卸地安装在所述助行器本体上。
23.与现有技术相比，本发明的有益效果是：本发明针对当前电控轮椅控制方式单一，对身体严重瘫痪者不够友好等问题，设计了一种面向轮椅，基于ros2系统的多模态人机交互操控手柄及方法，该手柄除了集成传统摇杆操控方式之外，还集成了手势交互和语音交互的操控轮椅方式，使用者可以根据自身情况灵活选择不同的操控方式，使得面向人群更广，适应性更强；同时，该手柄基于无线通信，采用可拆卸的设计方式，可以方便患者在床上或者座椅上时，通过无线遥控的方式来控制轮椅移动到身边。
24.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。
附图说明
25.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：图1为实施例1的助行器通信原理示意图；图2为实施例1的多模态人机交互操控手柄原理示意图；图3为实施例1的多模态人机交互操控手柄示意图；图4为实施例3的多模态人机交互操控方法流程图；图5为实施例4的电子设备示意图；图6为实施例5的存储介质示意图。
具体实施方式
26.下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
实施例1
27.一种多模态人机交互操控手柄，如图1、图2所示，包括：主控单元、摇杆、模式转换
开关；摇杆用于将摇杆转动的角度转换为模拟电压信号，主控单元用于与助行器本体控制模块通过无线局域网通信连接，离线语音识别模块及手势识别模块的集成，摇杆的模拟电压信号的采集，以及建立节点，定时读取摇杆、离线语音识别模块、手势识别模块的数据，整理并发布速度话题，即/cmd_vel话题，离线语音识别模块用于识别语音，并将语音识别结果传输给主控单元，手势识别模块用于识别手势，并将手势识别结果传输给主控单元，模式转换开关用于切换操控手柄的人机交互模式。
28.本实施例中，摇杆为两轴霍尔摇杆；主控单元采用esp32芯片，该芯片支持无线连接wifi，能够简洁地将该操控手柄和助行器本体组成在同一个局域网内，用udp协议和助行器本体进行无线通信；其次，该芯片还有adc、iic、uart等外设，能够用于离线语音识别模块及手势识别模块的集成和霍尔双轴摇杆模拟信号的采集。如图1所示为操控手柄和助行器本体的通信示意图，助行器本体运行一个用于底盘驱动的ros2节点，并且订阅/cmd_vel话题，在接收到/cmd_vel话题数据之后，控制轮椅两个差速轮实现平面内的任意运动。
29.如图2所示为该人机交互操控手柄的电气原理图。供电电源为两块18650串联组成的电池组，通过dc-dc减压模块转为5v和3.3v的电压给各个模块供电。两轴霍尔摇杆能够将摇杆转动的角度转变为两路0-3.3v的模拟电压信号，然后通过esp32芯片的adc外设采集读取。离线语音识别模块运行独立的语音识别算法，能够将识别结果通过uart传输给主控单元。手势识别模块选用paj7620u2，能够识别多种手势，并将手势识别结果通过iic总线传输给主控单元。模式转换开关为三档开关，通过模式转换开关，可以选择当前操控手柄所处的模式。
30.操控手柄建立一个节点之后，定时读取三种交互模块的数据，整理并发送/cmd_vel话题。/cmd_vel话题是ros系统中预先定义的geometry_msgs/msg/twist类型的数据格式，其数据内容包括沿着x、y、z方向的线速度和角速度，共六个值。由于助行器在平面运动，并根据助行器实际行动轨迹分析，故该数据格式中，只有沿着y轴的线速度和绕着z轴的角速度不为0，其余全部为0。
31.如图3所示，两轴霍尔摇杆可以在平面内任意活动，其在x、y轴方向偏离中心的位置量会转化成0-3.3v的模拟电压，然后通过esp32芯片的adc外设读取。其中，在y方向偏离中心的位置y将会最终转化赋值为/cmd_vel话题中沿着y轴的线速度，在x轴方向偏离中心的位置x将会最终转化赋值为/cmd_vel话题中绕着z轴的角速度。
32.该操控手柄采用型号为asr-three的离线语音识别模块，该模块内置专用于语音处理的人工智能芯片，可以支持300多条命令词以内的本地语音识别，其识别结果会产生一个字节的id，通过uart发送给主控单元。在该操控手柄中，提前设置了9个控制命令词，分别为：低速前进、低速后退、低速左转、低速右转、高速前进、高速后退、高速左转、高速右转、停止运动。控制命令词分别对应的id号设置为10~18。主控单元内预置有语音控制指令表，语音控制指令表内存储若干控制命令词、id以及速度话题中各个参数的值之间的对应关系，主控单元在接收到离线语音识别模块发送的 id之后，查找预设的语音控制指令表，设置/cmd_vel话题中各个参数的值，然后向系统发布该话题。控制命令词、id、/cmd_vel话题的对应关系如表1所示。
33.表1 控制命令词、id、/cmd_vel话题的对应关系
34.操控手柄采用的手势识别模块为paj7260u2,其可以识别9种手势，包括最常用的上下左右前后等。这些手势信息可以通过i2c总线简单访问，并根据访问结果设置/cmd_vel话题的值，进而控制助行器的运动。具体地，主控单元内预置有手势控制指令表，手势控制指令表内存储若干手势名称与速度话题中各个参数的值之间的对应关系，主控单元在接收到手势识别模块发送的识别结果之后，查找手势控制指令表，设置速度话题中各个参数的值进而控制助行器的运动。为了提高系统的安全性和稳定性，本实施例只识别和利用9种手势中的前后左右控制助行器的移动，并将识别到的其他手势结果识别为停止小车运动，具体地，手势识别模块的识别结果包括前进、后退、往左、往右、其他5种手势，其他5种手势识别为停止小车运动。其手势和对应的/cmd_vel话题表2所示。
35.表2 手势名称与/cmd_vel话题的对应关系
36.本发明针对当前电控轮椅控制方式单一，对身体严重瘫痪者不够友好等问题，设计了一种面向轮椅，基于ros2系统的多模态人机交互操控手柄，该手柄除了集成传统摇杆操控方式之外，还集成了手势交互和语音交互的操控轮椅方式，使用者可以根据自身情况灵活选择不同的操控方式，使得面向人群更广，适应性更强；同时，本手柄基于无线通信，采用可拆卸的设计方式，可以方便患者在床上或者座椅上时通过无线遥控的方式来控制轮椅移动到身边。
实施例2
37.一种助行器，如图1所示，包括助行器本体，还包括上述的多模态人机交互操控手柄，多模态人机交互操控手柄与助行器本体控制模块通过无线局域网通信连接，多模态人机交互操控手柄可拆卸地安装在助行器本体上。助行器本体运行一个用于底盘驱动的ros2节点，并且订阅/cmd_vel话题，在接收到/cmd_vel话题数据之后，控制轮椅两个差速轮实现平面内的任意运动。关于多模态人机交互操控手柄的详细描述，可以参照上述多模态人机交互操控手柄实施例中的对应描述，在此不再赘述。
实施例3
38.上述多模态人机交互操控手柄对应的多模态人机交互操控方法，关于手柄的详细描述，可以参照上述手柄实施例中的对应描述，在此不再赘述。如图4所示，该方法包括以下步骤：s1、连接助行器本体所在的局域网；s2、初始化多模态人机交互操控手柄的节点，并初始化速度话题，即/cmd_vel话题；由于用户可以通过模式转换开关选择当前操控手柄所处的模式，即摇杆模式、手势模式、语音模式，需要对手柄当前所处的模式进行判断；s3、判断是否是摇杆模式；s4、若判定是摇杆模式，则读取摇杆xy数据，并设置速度话题的数据；具体包括以下步骤：s41、采集读取摇杆的模拟电压信号，模拟电压信号为摇杆在xy轴方向偏离中心的位置量转化成0~3.3v的模拟电压；s42、将在y轴方向偏离中心的位置y转化赋值为速度话题中沿着y轴的线速度，将在x轴方向偏离中心的位置x转化赋值为速度话题中绕着z轴的角速度。
39.s5、若判定不是摇杆模式，则判断是否是手势模式；s6、若判定是手势模式，则读取手势识别结果，并设置速度话题的数据；具体包括以下步骤：s61、读取手势识别结果；本实施例可以识别9种手势，包括最常用的上下左右前后等。为了提高系统的安全性和稳定性，本实施例只识别和利用9种手势中的前后左右控制助行器的移动，并将识别到的其他手势结果识别为停止小车运动，具体地，手势识别模块的识别结果包括前进、后退、往左、往右、其他5种手势，其他5种手势识别为停止小车运动。
40.s62、通过手势控制指令表匹配手势识别结果对应的速度话题中各个参数的值；其中，手势控制指令表内存储若干手势名称与速度话题中各个参数的值之间的对应关系，此处可以参照实施例1中的表2；s63、根据匹配结果设置速度话题中各个参数的值。
41.s7、若判定不是手势模式，则判断是否是语音模式；s8、若判定是语音模式，则读取语音识别结果，并设置速度话题的数据；具体包括以下步骤：s81、读取离线语音识别模块的识别结果产生的id；离线语音识别模块内置专用于
语音处理的人工智能芯片，可以支持300多条命令词以内的本地语音识别，其识别结果会产生一个字节的id，通过uart发送给主控单元。在该操控手柄中，提前设置了9个控制命令词，分别为：低速前进、低速后退、低速左转、低速右转、高速前进、高速后退、高速左转、高速右转、停止运动。控制命令词分别对应的id号设置为10~18。此处可以参照实施例1中的表1。
42.s82、查找预设的语音控制指令表，获得读取到的id对应的速度话题中各个参数的值；其中，语音控制指令表内存储若干控制命令词、id以及速度话题中各个参数的值之间的对应关系；s83、根据查找结果设置速度话题中各个参数的值。
43.s9、若判定不是语音模式，则设置速度话题的数据全为0；s10、发布速度话题；s11、判断是否结束操控模式；s12、是则结束；否则延时预设时间，如延时5ms，然后返回s3步骤继续执行。
实施例4
44.一种电子设备200，如图5所示，包括但不限于：存储器201，其上存储有程序代码；处理器202，其与存储器联接，并且当程序代码被处理器执行时，实现一种多模态人机交互操控方法。关于方法的详细描述，可以参照上述方法实施例中的对应描述，在此不再赘述。
实施例5
45.一种计算机可读存储介质，如图6所示，其上存储有程序指令，程序指令被执行时实现的一种多模态人机交互操控方法。关于方法的详细描述，可以参照上述方法实施例中的对应描述，在此不再赘述。
46.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
47.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
48.以上仅为本说明书实施例而已，并不用于限制本说明书一个或多个实施例。对于本领域技术人员来说，本说明书一个或多个实施例可以有各种更改和变换。凡在本说明书一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的权利要求范围之内。

技术特征：
1.一种多模态人机交互操控方法，其特征在于，包括以下步骤：s1、连接助行器本体所在的局域网；s2、初始化多模态人机交互操控手柄的节点，并初始化速度话题；s3、判断是否是摇杆模式；s4、若判定是摇杆模式，则读取摇杆xy数据，并设置所述速度话题的数据；s5、若判定不是摇杆模式，则判断是否是手势模式；s6、若判定是手势模式，则读取手势识别结果，并设置所述速度话题的数据；s7、若判定不是手势模式，则判断是否是语音模式；s8、若判定是语音模式，则读取语音识别结果，并设置所述速度话题的数据；s9、若判定不是语音模式，则设置所述速度话题的数据全为0；s10、发布所述速度话题；s11、判断是否结束操控模式；s12、是则结束；否则延时预设时间，然后返回所述s3步骤继续执行。2.如权利要求1所述的一种多模态人机交互操控方法，其特征在于：所述s4步骤包括以下步骤：s41、采集读取摇杆的模拟电压信号，所述模拟电压信号为所述摇杆在xy轴方向偏离中心的位置量转化成0~3.3v的模拟电压；s42、将在y轴方向偏离中心的位置y转化赋值为所述速度话题中沿着y轴的线速度，将在x轴方向偏离中心的位置x转化赋值为所述速度话题中绕着z轴的角速度。3.如权利要求1所述的一种多模态人机交互操控方法，其特征在于：所述s6步骤包括以下步骤：s61、读取手势识别结果；s62、通过手势控制指令表匹配所述手势识别结果对应的速度话题中各个参数的值；其中，所述手势控制指令表内存储若干手势名称与速度话题中各个参数的值之间的对应关系；s63、根据匹配结果设置所述速度话题中各个参数的值。4.如权利要求3所述的一种多模态人机交互操控方法，其特征在于：所述手势识别结果包括前进、后退、往左、往右、停止小车运动。5.如权利要求1所述的一种多模态人机交互操控方法，其特征在于：所述s8步骤包括以下步骤：s81、读取离线语音识别模块的识别结果产生的id；s82、查找预设的语音控制指令表，获得读取到的id对应的速度话题中各个参数的值；其中，所述语音控制指令表内存储若干控制命令词、id以及速度话题中各个参数的值之间的对应关系；s83、根据查找结果设置所述速度话题中各个参数的值。6.如权利要求5所述的一种多模态人机交互操控方法，其特征在于：所述控制命令词包括低速前进、低速后退、低速左转、低速右转、高速前进、高速后退、高速左转、高速右转、停止运动。7.一种电子设备，其特征在于，包括：存储器，其上存储有程序代码；处理器，其与所述
存储器连接，并且当所述程序代码被所述处理器执行时，实现如权利要求1~6任一项所述的方法。8.一种计算机可读存储介质，其特征在于，其上存储有程序指令，所述程序指令被执行时实现如权利要求1~6任一项所述的方法。9.一种多模态人机交互操控手柄，实现如权利要求1~6任一项所述的方法，其特征在于，包括：主控单元、摇杆、模式转换开关；所述摇杆用于将摇杆转动的角度转换为模拟电压信号，所述主控单元用于与助行器本体控制模块通过无线局域网通信连接，离线语音识别模块及手势识别模块的集成，所述摇杆的模拟电压信号的采集，以及建立节点，定时读取摇杆、离线语音识别模块、手势识别模块的数据，整理并发布速度话题，所述离线语音识别模块用于识别语音，并将语音识别结果传输给所述主控单元，所述手势识别模块用于识别手势，并将手势识别结果传输给所述主控单元，所述模式转换开关用于切换操控手柄的人机交互模式。10.如权利要求9所述的一种多模态人机交互操控手柄，其特征在于：所述速度话题的数据内容包括沿着x、y、z方向的线速度和角速度。11.如权利要求10所述的一种多模态人机交互操控手柄，其特征在于：所述速度话题是ros系统中预先定义的geometry_msgs/msg/twist类型的数据格式。12.如权利要求9所述的一种多模态人机交互操控手柄，其特征在于：所述摇杆为两轴霍尔摇杆。13.如权利要求12所述的一种多模态人机交互操控手柄，其特征在于：所述两轴霍尔摇杆在x、y轴方向偏离中心的位置量转化成0~3.3v的模拟电压。14.如权利要求13所述的一种多模态人机交互操控手柄，其特征在于：所述主控单元通过adc外设采集读取所述两轴霍尔摇杆的模拟电压，并将所述两轴霍尔摇杆在y轴方向偏离中心的位置y转化赋值为所述速度话题中沿着y轴的线速度，将所述两轴霍尔摇杆在x轴方向偏离中心的位置x转化赋值为所述速度话题中绕着z轴的角速度。15.如权利要求9所述的一种多模态人机交互操控手柄，其特征在于：所述离线语音识别模块的识别结果产生一个字节的id，并将产生的id发送至所述主控单元。16.如权利要求15所述的一种多模态人机交互操控手柄，其特征在于：所述主控单元内预置有语音控制指令表，所述语音控制指令表内存储若干控制命令词、id以及速度话题中各个参数的值之间的对应关系，所述主控单元在接收到所述离线语音识别模块发送的 id之后，查找所述语音控制指令表，设置所述速度话题中各个参数的值，然后发布速度话题。17.如权利要求16所述的一种多模态人机交互操控手柄，其特征在于：所述控制命令词包括低速前进、低速后退、低速左转、低速右转、高速前进、高速后退、高速左转、高速右转、停止运动。18.如权利要求9所述的一种多模态人机交互操控手柄，其特征在于：所述主控单元内预置有手势控制指令表，所述手势控制指令表内存储若干手势名称与速度话题中各个参数的值之间的对应关系，所述主控单元在接收到所述手势识别模块发送的识别结果之后，查找所述手势控制指令表，设置所述速度话题中各个参数的值进而控制助行器的运动。19.如权利要求18所述的一种多模态人机交互操控手柄，其特征在于：所述手势识别模块的识别结果包括前进、后退、往左、往右、停止小车运动。
20.一种助行器，包括助行器本体，其特征在于：还包括如权利要求9~19任一项所述的多模态人机交互操控手柄，所述多模态人机交互操控手柄与助行器本体控制模块通过无线局域网通信连接，所述多模态人机交互操控手柄可拆卸地安装在所述助行器本体上。

技术总结
本发明涉及多模态人机交互操控方法、手柄、设备、介质及助行器，该手柄包括：主控单元、摇杆、模式转换开关；摇杆用于将摇杆转动的角度转换为模拟电压信号，主控单元用于与助行器本体控制模块通过无线局域网通信连接，离线语音识别模块及手势识别模块的集成，摇杆的模拟电压信号的采集，以及建立节点，定时读取摇杆、离线语音识别模块、手势识别模块的数据，整理并发布速度话题，离线语音识别模块用于识别语音，手势识别模块用于识别手势，模式转换开关用于切换操控手柄的人机交互模式。本发明除了集成传统摇杆操控方式之外，还集成了手势交互和语音交互的操控轮椅方式，使用者可以根据自身情况灵活选择不同的操控方式，适应性更强。适应性更强。适应性更强。


技术研发人员：张文彬 刘斌 沙连森 邹学坤 黄锟 史文青 张名琦 姚兴亮
受保护的技术使用者：中国科学院苏州生物医学工程技术研究所
技术研发日：2023.09.07
技术公布日：2023/10/15