基于视觉辅助的假肢控制方法、装置、假肢及存储介质

1.本技术属于计算机技术领域，尤其涉及基于视觉辅助的假肢控制方法、装置、假肢及存储介质。


背景技术：

2.近年来，随着科学技术的进步，下肢假肢技术得到了积极的发展，下肢假肢为截肢者恢复其行走能力提供了很大的帮助，提高了截肢者的生活质量。
3.相关技术中，下肢假肢的设计通常侧重于借鉴生物学中的结构和功能，通过模仿人类腿部骨骼和肌肉结构进行仿生设计，而对于接触感知的反馈往往比较有限，截肢者在穿戴下肢假肢行走时，存在下肢假肢踢到障碍物的风险，导致行走的稳定性较低。


技术实现要素：

4.本技术实施例提供了一种基于视觉辅助的假肢控制方法、装置、假肢及存储介质，可以解决相关技术中，下肢假肢对于接触感知的反馈比较有限，存在踢到障碍物的风险，导致行走的稳定性较低的问题。
5.本技术实施例的第一方面提供了一种基于视觉辅助的假肢控制方法，包括：
6.从点云采集装置获取假肢所处环境的环境点云信息，以及从传感器组件获取假肢的运动参数和点云采集装置的旋转角度，其中，运动参数包括假肢的受力参数、假肢上关节的当前关节角度；
7.根据旋转角度和环境点云信息，生成地形轮廓图；
8.若运动参数指示假肢处于摆动状态，则根据地形轮廓图、关节的当前关节角度和各个假肢连杆的长度，确定各个假肢连杆分别与目标障碍物之间的实际距离，其中，目标障碍物为地形轮廓图中指示的障碍物；
9.若存在实际距离小于或者等于预设距离阈值的假肢连杆，则根据各个假肢连杆对应的实际距离，确定关节的目标关节角度，以及控制关节从当前关节角度调整为目标关节角度。
10.本技术实施例的第二方面提供了一种基于视觉辅助的假肢控制装置，包括：
11.信息获取单元，用于从点云采集装置获取假肢所处环境的环境点云信息，以及从传感器组件获取假肢的运动参数和点云采集装置的旋转角度，其中，运动参数包括假肢的受力参数、假肢上关节的当前关节角度；
12.轮廓生成单元，用于根据旋转角度和环境点云信息，生成地形轮廓图；
13.距离确定单元，用于若运动参数指示假肢处于摆动状态，则根据地形轮廓图、关节的当前关节角度和各个假肢连杆的长度，确定各个假肢连杆分别与目标障碍物之间的实际距离，其中，目标障碍物为地形轮廓图中指示的障碍物；
14.角度调整单元，用于若存在实际距离小于或者等于预设距离阈值的假肢连杆，则根据各个假肢连杆对应的实际距离，确定关节的目标关节角度，以及控制关节从当前关节
角度调整为目标关节角度。
15.本技术实施例的第三方面提供了一种假肢，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现第一方面提供的基于视觉辅助的假肢控制方法的各步骤。
16.本技术实施例的第四方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现第一方面提供的基于视觉辅助的假肢控制方法的各步骤。
17.实施本技术实施例提供的基于视觉辅助的假肢控制方法、装置、假肢及存储介质具有以下有益效果：在假肢的运动参数指示假肢处于摆动状态时，通过地形轮廓图、假肢中关节的当前关节角度和各假肢连杆的长度，得到各假肢连杆与目标障碍物之间的实际距离，在存在实际距离小于或者等于预设距离阈值的假肢连杆时，通过各假肢连杆对应的实际距离确定关节的目标关节角度，以及控制关节从当前关节角度调整为目标关节角度，使得假肢中的关节以目标关节角度进行运动，可以避免假肢踢到障碍物，有助于提高行走的稳定性。
附图说明
18.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1是本技术一实施例提供的基于视觉辅助的假肢控制方法的实现流程图；
20.图2是本技术一实施例提供的假肢的示意图；
21.图3是本技术一实施例提供的假肢连杆与目标障碍物的场景示意图；
22.图4是本技术另一实施例提供的基于视觉辅助的假肢控制方法的实现流程图；
23.图5是本技术一实施例提供的大腿角度与膝关节的角度之间的对应关系的示意图；
24.图6是本技术一实施例提供的上台阶的场景示意图；
25.图7是本技术一实施例提供的下台阶的场景示意图；
26.图8是本技术又一实施例提供的基于视觉辅助的假肢控制方法的实现流程图；
27.图9是本技术一实施例提供的各环境地形下仿生角度调整关系的示意图；
28.图10是本技术一实施例提供的生成地形轮廓图的实现流程图；
29.图11是本技术一实施例提供的假肢控制装置的结构框图；
30.图12是本技术一实施例提供的假肢的结构框图。
具体实施方式
31.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
32.应当理解，当在本技术说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
33.如在本技术说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0034]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0035]
为了说明本技术的技术方案，下面通过以下实施例来进行说明。
[0036]
请参阅图1，图1是本技术一实施例提供的基于视觉辅助的假肢控制方法的实现流程图，该流程图可以包括如下步骤101至步骤104。
[0037]
步骤101，从点云采集装置获取假肢所处环境的环境点云信息，以及从传感器组件获取假肢的运动参数和点云采集装置的旋转角度。
[0038]
其中，上述假肢可以包括至少一个关节，每个关节的两端分别连接有假肢连杆。实践中，上述假肢可以是适用于大腿截肢者的假肢，此时，假肢包括膝关节和踝关节，膝关节的两端分别与大腿假肢连杆和小腿假肢连杆连接，踝关节的两端分别与小腿假肢连杆和脚掌假肢连杆连接。上述假肢也可以是适用于小腿截肢者的假肢，此时，假肢包括踝关节，踝关节的两端分别与小腿假肢连杆和脚掌假肢连杆连接。实践中，为了减少行走过程中地面对足部的冲击，脚掌假肢连杆可以包括从踝关节到脚尖的第一连杆，和从脚尖到脚跟的第二连杆。
[0039]
请参阅图2，图2是本技术一实施例提供的假肢的示意图。如图2所示，脚掌假肢连杆包括第一连杆2051和第二连杆2052，假肢包括膝关节201和踝关节202，膝关节201与大腿接收腔203和小腿假肢连杆204连接，踝关节202与小腿假肢连杆204和第一连杆2051连接。
[0040]
其中，假肢上可以设置有点云采集装置和传感器组件。点云采集装置通常是用于采集点云信息的装置，如，深度相机，激光雷达等。传感器组件通常是采集各种参数的设备，如，惯性传感器、角度传感器、压力传感器等。其中，上述运动参数可以包括假肢的受力参数、关节的当前关节角度。其中，上述点云采集装置的旋转角度通常是点云采集装置的相机坐标系相对于地面坐标系的旋转角度。
[0041]
在本实施例中，上述基于视觉辅助的假肢控制方法的执行主体通常是假肢，且具体可以是假肢中的控制器。
[0042]
实践中，上述执行主体可以通过网络从点云采集装置获取假肢所处环境的环境点云信息，从压力传感器处获取假肢的受力参数，从每个关节处设置的惯性传感器获取关节的当前关节角度，从点云采集装置上设置的惯性传感器获取点云采集装置的旋转角度。这里，上述执行主体也可以通过每个关节处的电机编码器获取每个关节的当前关节角度。
[0043]
步骤102，根据旋转角度和环境点云信息，生成地形轮廓图。
[0044]
其中，上述地形轮廓图通常用于指示环境地形的轮廓。
[0045]
实践中，点云采集装置采集到的环境点云信息通常是相机坐标系下的点云信息，上述执行主体可以通过旋转角度得到相机坐标系与地面坐标系之间的旋转矩阵，采用旋转矩阵将环境点云信息从相机坐标系转换到地面坐标系。
[0046]
之后，上述执行主体可以将地面坐标系下的环境点云信息输入到预先训练的轮廓图生成模型，得到地形轮廓图。其中，轮廓图生成模型用于表征环境点云信息与地形轮廓图之间的对应关系。这里，轮廓图生成模型可以是基于训练样本，利用机器学习方法，对初始模型(例如卷积神经网络(convolutional neural network，cnn)、残差网络(resnet)等)进行训练后得到的模型。上述执行主体也可以采用拟合算法，如，随机抽样一致性算法、最小二乘法等，对环境点云信息进行拟合，得到地形轮廓图。
[0047]
步骤103，若运动参数指示假肢处于摆动状态，则根据地形轮廓图、关节的当前关节角度和各个假肢连杆的长度，确定各个假肢连杆分别与目标障碍物之间的实际距离。
[0048]
其中，上述实际距离通常是假肢连杆与目标障碍物之间的最小距离。
[0049]
请参阅图3，图3是本技术一实施例提供的假肢连杆与目标障碍物的场景示意图。如图3所示，假肢中的小腿假肢连杆204与目标障碍物206之间的实际距离为d1，第一连杆2051与目标障碍物206之间的实际距离为d2，第二连杆2052与目标障碍物206之间的实际距离为d3。其中，目标障碍物通常为地形轮廓图中指示的障碍物。比如，与地面垂直的台阶面。
[0050]
实践中，假肢的状态包括摆动状态和站立状态，上述执行主体可以通过安装在假肢的踝关节处的压力传感器采集假肢的受力参数，然后将采集的受力参数与预先存储的受力阈值进行比较，若受力参数大于或者等于受力阈值，则指示假肢处于站立状态，若受力参数小于受力阈值，则指示假肢处于摆动状态。
[0051]
在假肢处于摆动状态时，上述执行主体可以通过关节处设置的惯性传感器得到关节所处的关节位置，采用关节位置、当前关节角度和与该关节连接的假肢连杆的长度，确定与该关节连接的假肢连杆的位置，然后通过计算得到假肢连杆与地形轮廓中的目标障碍物之间的实际距离。上述执行主体也可以将地形轮廓图指示的障碍物、关节的当前关节角度和各个假肢连杆的长度输入预先训练的假肢向前运动学模型，得到各个假肢连杆分别与目标障碍物之间的实际距离。其中，假肢向前运动学模型用于表征地形轮廓图指示的障碍物、关节的当前关节角度和各个假肢连杆的长度，与各个假肢连杆分别与目标障碍物的实际距离之间的对应关系。这里，假肢向前运动学模型可以是基于训练样本，利用机器学习方法，对初始模型(例如卷积神经网络(convolutional neural network，cnn)、残差网络(resnet)等)进行训练后得到的模型。
[0052]
步骤104，若存在实际距离小于或者等于预设距离阈值的假肢连杆，则根据各个假肢连杆对应的实际距离，确定关节的目标关节角度，以及控制关节从当前关节角度调整为目标关节角度。
[0053]
其中，预设距离阈值通常是预先设定的距离值。实践中，在假肢连杆与目标障碍物之间的实际距离大于预设距离阈值时，表示假肢连杆与目标障碍物之间的距离比较远，行走过程中不存在假肢踢到目标障碍物的风险；在假肢连杆与目标障碍物之间的实际距离小于或者等于预设距离阈值时，表示假肢连杆与目标障碍物之间的距离比较近，若不对假肢
的关节角度进行调整，则在行走过程中存在假肢踢到目标障碍物的风险。
[0054]
实践中，上述执行主体可以采用各个假肢连杆的实际距离，从预先建立的距离-角度对应关系表中，查找得到与各个假肢连杆的实际距离对应的关节角度。其中，上述距离-角度对应关系表，可以是执行主体预先建立的、存储有多个距离和角度的对应关系的对应关系表。
[0055]
实践中，上述执行主体也可以建立描述运动代价的目标函数，通过迭代得到在运动代价的目标函数取值最小时，对应的关节角度，将该关节角度确定为目标关节角度。举例来说，对于包括膝关节和踝关节的假肢，可以建立如下运动代价的目标函数：
[0056][0057]
其中，θk为膝关节的角度，θa为踝关节的角度，为膝关节的目标关节角度和踝关节的目标关节角度，为运动代价函数，表示运动代价函数取最小值时对应的膝关节的角度和踝关节的角度。其中，代价函数通过下式确定：
[0058][0059]
其中，f
repulse
为避障代价函数，i为假肢连杆，kr为避障代价权重，di为假肢连杆i与目标障碍物之间的实际距离，d0为预设距离阈值。
[0060]
针对每个关节，在得到关节的目标关节角度之后，上述执行主体可以采用该关节的目标关节角度与当前关节角度作差得到角度差，然后采用角度差，从预先建立的角度差-电流对应关系表中，查找得到与角度差对应的目标电流。其中，上述角度差-电流对应关系表，可以是执行主体预先建立的、存储有多个角度差和电流的对应关系的对应关系表。之后，上述执行主体可以采用所得到的目标电流控制该关节的电机将该关节从当前关节角度调整为目标关节角度。
[0061]
本实施例提供的基于视觉辅助的假肢控制方法，在假肢的运动参数指示假肢处于摆动状态时，通过地形轮廓图、假肢中关节的当前关节角度和各假肢连杆的长度，得到各假肢连杆与目标障碍物之间的实际距离，在存在实际距离小于或者等于预设距离阈值的假肢连杆时，通过各假肢连杆对应的实际距离确定关节的目标关节角度，以及控制关节从当前关节角度调整为目标关节角度，使得假肢中的关节以目标关节角度进行运动，可以避免假肢踢到障碍物，有助于提高行走的稳定性。
[0062]
请参阅图4，图4是本技术另一实施例提供的基于视觉辅助的假肢控制方法的实现流程图，该流程图可以包括如下步骤401至步骤402。
[0063]
在一些实施例中，运动参数还包括大腿角度，在根据各个假肢连杆对应的实际距离，确定关节的目标关节角度之后，还可以包括：
[0064]
步骤401，若当前时刻的大腿角度属于当前时刻的伸展角度范围，则根据地形轮廓图指示的环境地形，确定伸展调整角度。
[0065]
其中，上述运动参数包括大腿角度，大腿角度通常是行走过程中，大腿相对于站立状态抬起的角度。实践中，对于包括膝关节和踝关节的假肢，可以在大腿接收腔内设置惯性传感器或者角度传感器采集大腿角度。对于不包括膝关节只包括踝关节的假肢，可以在使用者的大腿处或者膝盖处设置惯性传感器或者角度传感器采集大腿角度，比如，将惯性传感器贴在使用者大腿上。
[0066]
其中，上述伸展角度范围通常是假肢处于伸展阶段时对应的大腿角度的范围。实践中，假肢的摆动状态包括伸展阶段和屈曲阶段，伸展阶段通常是步态周期内大腿角度达到最大，到脚掌着地的阶段，屈曲阶段通常是步态周期内从脚掌离地向前伸出，到大腿角度达到最大值的阶段。步态周期通常是指行走时，同一只脚从脚跟离地跨出，到再次脚跟着地的行进过程。
[0067]
其中，上述当前时刻的伸展角度范围可以通过上一时刻的大腿角度和预设角度抖动范围确定。预设角度抖动范围通常是预先设定的角度抖动范围，预设角度抖动范围通常包括抖动上限角度和抖动下限角度。实践中，上述中性主体可以采用上一时刻的大腿角度与抖动上限角度和抖动下限角度相加得到当前时刻的伸展角度范围。举例来说，上一时刻的大腿角度为10度，预设角度抖动范围中的抖动上限角度为0.02度，抖动下限角度为-0.04度，当前时刻的伸展角度范围可以确定为[9.96，10.02]。
[0068]
其中，上述环境地形可以包括以下任一项：平地、上坡、下坡、上台阶、下台阶。
[0069]
实践中，上述执行主体可以通过当前时刻的大腿角度和所确定的当前时刻的伸展角度范围，判断时刻的大腿角度是否属于当前时刻的伸展角度范围，即，判断当前时刻假肢是否处于伸展阶段。
[0070]
在当前时刻的大腿角度属于当前时刻的伸展角度范围时，上述执行主体可以采用环境地形，从预先建立的地形-角度对应关系表中，查找得到与环境地形对应的伸展调整角度。其中，上述地形-角度对应关系表，可以是执行主体预先建立的、存储有多个地形和角度的对应关系的对应关系表。
[0071]
步骤402，根据伸展调整角度调整目标关节角度，以及将目标关节角度切换为调整后的目标关节角度。
[0072]
在一些应用场景中，上述执行主体可以基于伸展调整角度计算调整目标关节角度，得到调整后的目标关节角度。
[0073]
在另一些应用场景中，上述执行主体也可以建立描述运动代价的目标函数，通过迭代得到在运动代价的目标函数取值最小时，对应的关节角度，将该关节角度确定为目标关节角度。举例来说，对于包括膝关节和踝关节的假肢，可以建立如下运动代价的目标函数：
[0074][0075]
其中，代价函数通过下式确定：
[0076][0077]
其中，f
repulse
为避障代价函数，f
footplacement
为平稳落地代价函数。避障代价函数frepulse
的确定公式与上一实施例的确定公式相同，具体可参见上一实施例的确定公式，此处不再赘述。
[0078]
其中，i为假肢连杆，kr为避障代价权重，di为假肢连杆i与目标障碍物之间的实际距离，d0为预设距离阈值。平稳落地代价函数f
footplacement
通过下式确定：
[0079][0080]
其中，ka为平稳落地代价权重，θk为膝关节的角度，θ
k,g
为膝关节的伸展调整角度，θa为踝关节的角度，θ
a,g
为踝关节的伸展调整角度。
[0081]
针对每个关节，在得到调整后的目标关节角度之后，上述执行主体可以将目标关节角度切换为调整后的目标关节角度。
[0082]
本实施例中，通过上一时刻的大腿角度和预设角度抖动范围确定当前时刻的伸展角度范围，采用伸展角度范围判断假肢的摆动状态，可以避免人腿摆动时的微弱抖动对判断假肢摆动状态的影响，有助于提高假肢摆动状态判断的稳定性；通过环境地形确定伸展调整角度，以及采用伸展调整角度调整目标关节角度，有助于提高假肢关节的目标关节角度的准确性，进一步避免假肢踢到障碍物，提高行走的稳定性。
[0083]
在本实施例一些可选的实现方式中，上述根据地形轮廓图指示的环境地形，确定伸展调整角度，可以包括如下步骤一至步骤二。
[0084]
步骤一，若地形轮廓图指示的环境地形为平地、上坡和下坡中的任一项，则根据大腿角度和关节的当前关节角度确定伸展调整角度。
[0085]
实践中，在行走时的伸展阶段，且地形轮廓指示的环境地形为平地、上坡和下坡中的任一项时，大腿角度与膝关节的角度之间存在一定的角度对应关系，上述执行主体可以采用大腿角度和角度对应关系得到膝关节的伸展调整角度，通过膝关节的伸展调整角度和大腿角度得到踝关节的伸展调整角度。
[0086]
请参阅图5，图5是本技术一实施例提供的大腿角度与膝关节角度之间的对应关系的示意图。如图5所示，横坐标为步态周期内的大腿角度，纵坐标为步态周期内的膝关节角度，采用直线对步态周期内的大腿角度与膝关节角度之间的对应关系进行拟合，得到拟合的直线为y＝-x+0.1468。基于该结果，可以设定膝关节的伸展调整角度为：
[0087]
θ
k,g
＝-θh+0.1468
[0088]
其中，θ
k,g
为膝关节的伸展调整角度，θh为大腿角度。
[0089]
踝关节的伸展角度可以设定为：
[0090]
θ
a,g
＝min{0,-θ
a-θ
k,g
}＝min{0,-θa+θ
h-0.1468}
[0091]
其中，θ
a,g
为踝关节的伸展调整角度，θa为踝关节的当前关节角度。
[0092]
步骤二，若地形轮廓图指示的环境地形为上台阶或者下台阶，则根据地形轮廓图和各个假肢连杆的长度确定伸展调整角度。
[0093]
实践中，在上台阶或者下台阶时，假肢的落脚点通常收到台阶形状的限制。上述执行主体可以通过地形轮廓图和各个假肢连杆的长度计算得到伸展调整角度。
[0094]
作为一个示例，请参阅图6，图6是本技术一实施例提供的上台阶的场景示意图。请参阅图6，δw为假肢前进方向最近的台阶角点与假肢膝关节之间的水平距离，δh为假肢前进方向最近的台阶角点与假肢膝关节之间的垂直距离，h为台阶的高度，ws为预先设定的假
肢与台阶之间的安全距离。此时，可以设定膝关节的伸展调整角度为：
[0095][0096]
踝关节的伸展调整角度为：
[0097][0098]
其中，δw为假肢前进方向最近的台阶角点与假肢膝关节之间的水平距离，δh为假肢前进方向最近的台阶角点与假肢膝关节之间的垂直距离，h为台阶的高度，ws为预先设定的假肢与台阶之间的安全距离，l1为第一连杆的长度，l2为第二连杆的长度，θ
heel
为第一连杆与第二连杆之间的夹角。
[0099]
作为另一个示例，请参阅图7，图7是本技术一实施例提供的下台阶的场景示意图。请参阅图7，δw为假肢前进方向最近的台阶角点与假肢膝关节之间的水平距离，δh为假肢前进方向最近的台阶角点与假肢膝关节之间的垂直距离，w为台阶的宽度，ws为预先设定的假肢与台阶之间的安全距离。此时，可以设定膝关节的伸展调整角度为：
[0100][0101]
踝关节的伸展调整角度为：
[0102][0103]
其中，l1为第一连杆的长度，θ
heel
为第一连杆与第二连杆之间的夹角。
[0104]
本实施例中，对于不同的环境地形采用不同的方式确定关节对应的伸展调整角度，有助于提高伸展调整角度的准确性，采用准确的伸展调整角度对目标关节角度进行调整，有助于提高目标关节角度的准确性。
[0105]
请参阅图8，图8是本技术又一实施例提供的基于视觉辅助的假肢控制方法的实现流程图，该流程图可以包括如下步骤801至步骤803。
[0106]
步骤801，若当前时刻的大腿角度不属于伸展角度范围，则根据地形轮廓图指示的环境地形确定仿生角度调整关系。
[0107]
其中，仿生角度调整关系用于描述大腿角度与仿生调整角度之间的关系。
[0108]
实践中，在当前时刻的大腿角度不属于伸展角度范围时，上述执行主体可以采用地形轮廓图指示的环境地形，从预先建立的地形-调整关系对应关系表中，查找得到与环境地形对应的仿生角度调整关系。其中，上述地形-调整关系对应关系表，可以是执行主体预先建立的、存储有多个地形和调整关系的对应关系的对应关系表。
[0109]
步骤802，根据大腿角度和仿生角度调整关系，确定与大腿角度对应的仿生调整角度，仿生调整角度包括关节对应的仿生角度。
[0110]
实践中，上述执行主体可以从得到的仿生角度调整关系中，确定与大腿角度对应的仿生调整角度。
[0111]
请参阅图9，图9是本技术一实施例提供的各环境地形下仿生角度调整关系的示意图。图9从上往下数的第一排示出了环境地形为平地情况下，在一个步态周期内的大腿角度变化，以及示出了环境地形为平地情况下对应的仿生角度调整关系。第二排示出了环境地
形为上台阶情况下，在一个步态周期内的大腿角度变化，以及示出了环境地形为上台阶情况下对应的仿生角度调整关系。第三排示出了环境地形为下台阶情况下，在一个步态周期内的大腿角度变化，以及示出了环境地形为下台阶情况下对应的仿生角度调整关系。第四排示出了环境地形为上坡情况下，在一个步态周期内的大腿角度变化，以及示出了环境地形为上坡情况下对应的仿生角度调整关系。第五排示出了环境地形为下坡情况下，在一个步态周期内的大腿角度变化，以及示出了环境地形为下坡情况下对应的仿生角度调整关系。
[0112]
以第一排为例进行说明，第一排中从左往右数的第一个图，示出了环境地形为平地情况下，在一个步态周期内的大腿角度变化。第二个图示出了环境地形为平地情况下大腿角度与膝关节角度之间的仿生角度调整关系，第三个图示出了环境地形为平地情况下大腿角度与踝关节角度之间的仿生角度调整关系。
[0113]
同理的，图9中第二排至第五排中各图与第一排中各图理解方式基本相同，这里不做赘述。
[0114]
结合图9可知，在确定环境地形后，上述执行主体可以采用大腿角度，从大腿角度与膝关节角度之间的仿生角度调整关系对应的拟合曲线中，得到与大腿角度对应的膝关节的仿生角度；采用大腿角度，从大腿角度与踝关节角度之间的仿生角度调整关系对应的拟合曲线中，得到与大腿角度对应的踝关节的仿生角度。
[0115]
步骤803，控制关节从当前关节角度调整为对应的仿生角度。
[0116]
实践中，针对每个关节，在得到关节的仿生角度之后，上述执行主体可以采用该关节的仿生角度与当前关节角度作差得到角度差，然后采用角度差，从预先建立的角度差-电流对应关系表中，查找得到与角度差对应的目标电流。其中，上述角度差-电流对应关系表，可以是执行主体预先建立的、存储有多个角度差和电流的对应关系的对应关系表。之后，上述执行主体可以采用所得到的目标电流控制该关节的电机将该关节从当前关节角度调整为仿生角度。
[0117]
本实施例中，在当前时刻的大腿角度不属于伸展角度范围时，控制关节从当前关节角度调整为对应的仿生角度，有助于假肢在屈曲阶段的连杆摆动动作自然协调，避免产生不自然的肢体摆动，有助于提高行走的稳定性。
[0118]
在一些实施例中，在检测到假肢的相邻的步长的差值满足预设稳定步长条件的时，可以通过如下方式确定当前时刻的伸展角度范围：根据目标大腿角度和预设角度抖动范围确定伸展角度范围。
[0119]
其中，预设稳定步长条件可以为相邻的步长的差值小于预设步长差阈值，预设步长差阈值通常是预先设定的步长差的阈值，比如，0.1。
[0120]
其中，上述目标大腿角度为满足预设参考条件的大腿角度，预设参考条件可以包括选取预设参考时长内的最大大腿角度作为目标大腿角度，预设参考时长通常是预先设定的时长，比如，3分钟。
[0121]
实践中，上述执行主体可以从假肢上设置的惯性传感器或者加速度传感器获取假肢的加速度，通过分析加速度，确定步伐的开始点和结束点。比如，检测加速度信号的峰值或过零点，当加速度信号从正向变为负向时，表示步伐的开始；当加速度信号从负向变为正向时，表示步伐的结束。之后，上述执行主体可以在步伐开始和结束点之间的加速度区间
内，对加速度进行积分，得到速度，将加速度在时间上进行积分，可以得到速度随时间的变化曲线。接着，在得到速度随时间的变化曲线后，上述执行主体可以将速度在时间上进行积分，得到位移随时间的变化曲线，根据位移随时间的变化曲线，确定每个步伐的开始点和结束点，计算得到每个步伐对应的步长，将相邻的步长相减得到相邻的步长的差值。
[0122]
在假肢的相邻的步长的差值满足预设稳定步长条件的时，上述执行主体可以将目标大腿角度与预设角度抖动范围中的抖动上限角度和抖动下限角度相加得到当前时刻的伸展角度范围。
[0123]
本实施例中，假肢的相邻的步长的差值满足预设稳定步长条件时，通过目标大腿角度和预设角度抖动范围确定当前时刻的伸展角度范围，可以避免计算每个时刻的伸展角度范围，有助于减少计算量，提高确定伸展角度范围的效率。
[0124]
在一些实施例中，上述运动参数还可以包括关节角速度，上述基于视觉辅助的假肢控制方法还可以包括如下第一步至第二步。
[0125]
第一步，根据关节角速度确定关节角速度的一阶导数和关节角速度的二阶导数。
[0126]
实践中，上述执行主体可以从关节处设置的角速度传感器获取关节的关节角速度，上述执行主体也可以直接从关节处的电机编码器获取关节角速度。之后上述执行主体可以对关节角速度求导，得到关节角速度的一阶导数和关节角速度的二阶导数。
[0127]
第二步，根据关节角速度、关节角速度的一阶导数和关节角速度的二阶导数中的至少一项，调整目标关节角度，以及将目标关节角度切换为调整后的目标关节角度。
[0128]
实践中，上述执行主体可以设置关节角速度范围对关节角速度进行约束，避免关节角速度超过关节角速度范围，设置关节角速度的一阶导数范围对关节角速度的一阶导数进行约束，避免关节角速度的一阶导数超过关节角速度的一阶导数范围，设置关节角速度的二阶导数范围对关节角速度的二阶导数进行约束，避免关节角速度的二阶导数超过关节角速度的二阶导数范围。
[0129]
实践中，上述执行主体可以通过关节角速度与关节角速度范围、关节角速度的一阶导数与关节角速度的一阶导数范围、关节角速度的二阶导数与关节角速度的二阶导数范围中的至少一组，对目标关节角度进行调整，然后将目标关节角度切换为调整后的目标关节角度。
[0130]
实践中，上述执行主体可以建立描述运动代价的目标函数，通过迭代得到在运动代价的目标函数取值最小时，对应的关节角度，将该关节角度确定为目标关节角度。举例来说，对于包括膝关节和踝关节的假肢，可以建立如下运动代价的目标函数：
[0131][0132]
其中，运动代价函数通过下式确定：
[0133][0134]
其中，f
repulse
为避障代价函数，f
footplacement
为运动平滑代价函数。避障代价函数f
repulse
通过确定公式与上述实施例的确定公式相同，具体可参见上述实施例的确定公式，此处不再赘述。
[0135]
平稳落地代价函数f
smooth
通过下式确定：
[0136][0137]
其中，kc为运动平滑代价权重，n为假肢关节，wn为关节角速度，wm为预先设定的角速度阈值，an为关节角速度，am为预先设定的角速度的一阶导数阈值，jn为关节角速度，jm为预先设定的角速度的二阶导数阈值。
[0138]
本实施例中，通过关节角速度对目标关节角度进行调整，可以实现假肢关节的平滑转动，防止假肢的关节转动过快或者过慢，有助于提高行走的稳定性。
[0139]
在一些实施例中，为了综合考虑避障、平稳落地、仿生和运动平滑，上述执行主体可以建立描述运动代价的目标函数，通过迭代得到在运动代价的目标函数取值最小时，对应的关节角度，将该关节角度确定为目标关节角度。举例来说，对于包括膝关节和踝关节的假肢，可以建立如下运动代价的目标函数：
[0140][0141]
其中，代价函数通过下式确定：
[0142][0143]
其中，避障代价函数f
repulse
、平稳落地代价函数f
smooth
、运动平滑代价函数f
footplacement
的确定公式与上述实施例中的确定公式相同，具体可参见上述实施例的确定公式，此处不再赘述。仿生代价函数f
bio
通过如下公式确定：
[0144][0145]
其中，kb为仿生代价权重，gk(θh)为大腿角度为θh时膝关节的仿生角度，gk(θh)为大腿角度为θh时踝关节的仿生角度。
[0146]
本实施例中，通过综合考虑避障、平稳落地、仿生和运动平滑，可以实现假肢在多种环境地形中行走时，避免踢到障碍物，落地平稳，摆动轨迹具有仿生性，同时运动平滑，有助于提高假肢在行走过程中稳定性。
[0147]
请参阅图10，图10是本技术一实施例提供的生成地形轮廓图的实现流程图，该流程图可以包括如下步骤1001至步骤1003。
[0148]
步骤1001，根据旋转角度将环境点云信息从相机坐标系调整至地面坐标系。
[0149]
实践中，上述执行主体可以通过旋转角度，建立从相机坐标系到底面坐标系的坐标系变换矩阵，对于环境点云信息中的每个点云，使用坐标系变换矩阵将点云的坐标从相
机坐标系转换至地面坐标系。
[0150]
实践中，上述执行主体也可以将旋转角度和环境点云信息输入到预先训练的坐标转换模型，得到地面坐标系下的环境点云信息。其中，坐标转换模型用于表征环境点云信息、旋转角度与地面坐标系下的环境点云信息之间的对应关系。这里，坐标转换模型可以是基于训练样本，利用机器学习方法，对初始模型(例如卷积神经网络(convolutional neural network，cnn)、残差网络(resnet)等)进行训练后得到的模型。
[0151]
步骤1002，根据调整后的环境点云信息的点云特征确定环境地形。
[0152]
其中，上述点云特征通常用于描述点云信息的属性或特性，如，点云信息的边界。
[0153]
在一些应用场景中，上述执行主体可以将点云特征与预先存储的各种地形的地形特征进行匹配，将对应地形特征与点云特征相匹配的地形作为假肢所处环境的环境地形。
[0154]
在另一些应用场景中，上述执行主体也可以将环境点云信息的点云特征输入到预先训练的地形分类模型，得到与环境点云信息对应的环境地形。其中，地形分类模型用于表征点云特征与环境地形之间的对应关系。这里，地形分类模型可以是基于训练样本，利用机器学习方法，对初始模型(例如卷积神经网络(convolutional neural network，cnn)、残差网络(resnet)等)进行训练后得到的模型。
[0155]
步骤1003，采用与环境地形对应的拟合方式对环境点云信息进行拟合，得到环境地形的形状特征参数和轮廓点，以及根据形状特征参数和轮廓点生成地形轮廓图。
[0156]
其中，上述拟合方式可以包括对平地、上坡和下坡进行拟合的直线拟合方式，对上台阶和下台阶进行拟合的平面拟合方式。其中，形状特征参数用于描述环境地形的几何形状。
[0157]
实践中，上述执行主体可以先对环境点云信息进行降维以减少计算量。在环境地形为平地、上坡和下坡中的任一项时，上述执行主体可以采用如下公式对环境点云信息进行拟合：
[0158][0159]
其中，k为环境点云信息中第k个点，(xk，zk)为降维后环境点云信息中的第k个点的坐标，为降维后环境点云信息中的所有点的坐标平均值，m为环境点云信息中的点的个数，θ为环境地形的坡度。
[0160]
在环境地形为平地、上坡和下坡中的任一项时，环境地形的特征参数包括环境地形的坡度θ，环境地形的轮廓点为用于描述环境地形的直线为
[0161]
实践中，在地形环境为上台阶或者下台阶时，上述执行主体可以采用平面拟合方式对台阶进行多次拟合，得到台阶的形状特征参数和轮廓点。这里，在对台阶进行多次拟合
时，每次拟合一个台阶。举例来说，在环境地形包括两个台阶时，上述执行主体可以采用如下公式对台阶进行两次拟合：
[0162][0163][0164][0165]
其中，p
inliers1
为第一次拟合的台阶面内点集合，(xk,zk)为降维后环境点云信息中的第k个点的坐标，d为预先设定的内点距离阈值，p
2d
为降维后的二维点云，z
inliers1
为第一次拟合的台阶面内点的z坐标，|z
k-z
inliers1
|为坐标为zk的点云与第一次拟合的台阶面内点的z坐标的差值的绝对值，|p
inliers1
|为第一次拟合的台阶面内点的个数，p
inliers2
为第二次拟合的台阶面内点集合，p
2d-p
inliers1
为二维点云中删除第一次拟合的台阶面内点集合后剩余的点云，z
inlierr2
为第二次拟合的台阶面内点的z坐标，|p
inliers2
|为第二次拟合的台阶面内点的个数，|z
k-z
inliers2
|为坐标为zk的点云与第二次拟合的台阶面内点的z坐标的差值的绝对值，x
1max
为第一次拟合的台阶面内点的x坐标的最大值，x
2max
为第二次拟合的台阶面内点的x坐标的最大值，(x
l
,z
l
)为第一次拟合的台阶面内点的坐标，(xj,zj)为第二次拟合的台阶面内点的坐标，h为台阶的高度，w为台阶的宽度。
[0166]
在环境地形为上台阶或者下台阶时，环境地形的特征参数包括台阶的高度h，台阶的宽度w，轮廓点(x
anchor
,z
anchor
)＝(x
1max
,z
inliers1
)，台阶面s＝{(x,z)|z＝z
anchor
+iw,x
anchor
+(i-1)w《x《x
anchor
+iw,i∈{-1,0,1}}∪{(x,z)|x＝x
anchor
+iw,z
anchor
+ih《z《z
anchor
+(i+1)h,i∈{-1,0,1}}。
[0167]
之后，上述执行主体可以基于形状特征参数将轮廓点依次连接，得到地形轮廓图。
[0168]
本实施例中，通过形状特征参数和轮廓点生成地形轮廓图，有助于提高生成地形轮廓图的准确性。
[0169]
请参阅图11，图11是本技术一实施例提供的假肢控制装置1100的结构框图，包括：
[0170]
信息获取单元1101，用于从点云采集装置获取假肢所处环境的环境点云信息，以及从传感器组件获取假肢的运动参数和点云采集装置的旋转角度，其中，运动参数包括假肢的受力参数、假肢上关节的当前关节角度；
[0171]
轮廓生成单元1102，用于根据旋转角度和环境点云信息，生成地形轮廓图；
[0172]
距离确定单元1103，用于若运动参数指示假肢处于摆动状态，则根据地形轮廓图、关节的当前关节角度和各个假肢连杆的长度，确定各个假肢连杆分别与目标障碍物之间的实际距离，其中，目标障碍物为地形轮廓图中指示的障碍物；
[0173]
角度调整单元1104，用于若存在实际距离小于或者等于预设距离阈值的假肢连杆，则根据各个假肢连杆对应的实际距离，确定关节的目标关节角度，以及控制关节从当前关节角度调整为目标关节角度。
[0174]
在一些实施例中，角度调整单元1104包括伸展调整模块和角度切换模块(图中未示出)。
[0175]
伸展调整模块，用于若当前时刻的大腿角度属于当前时刻的伸展角度范围，则根据地形轮廓图指示的环境地形，确定伸展调整角度，其中，当前时刻的伸展角度范围通过上一时刻的大腿角度和预设角度抖动范围确定；
[0176]
角度切换模块，用于根据伸展调整角度调整目标关节角度，以及将目标关节角度切换为调整后的目标关节角度。
[0177]
在一些实施例中，伸展调整模块，具体用于：若地形轮廓图指示的环境地形为平地、上坡和下坡中的任一项，则根据大腿角度和关节的当前关节角度确定伸展调整角度；若地形轮廓图指示的环境地形为上台阶或者下台阶，则根据地形轮廓图和各个假肢连杆的长度确定伸展调整角度。
[0178]
在一些实施例中，角度调整单元1104还包括关系确定模块、仿生确定模块和仿生调整模块。
[0179]
关系确定模块，用于若当前时刻的大腿角度不属于伸展角度范围，则根据地形轮廓图指示的环境地形确定仿生角度调整关系，其中，仿生角度调整关系用于描述大腿角度与仿生调整角度之间的关系；
[0180]
仿生确定模块，用于根据大腿角度和仿生角度调整关系，确定与大腿角度对应的仿生调整角度，仿生调整角度包括关节对应的仿生角度；
[0181]
仿生调整模块控制关节从当前关节角度调整为对应的仿生角度。
[0182]
在一些实施例中，装置还包括范围确定单元(图中未示出)，用于：根据目标大腿角度和预设角度抖动范围确定伸展角度范围，其中，目标大腿角度为满足预设参考条件的大腿角度，预设参考条件包括选取预设参考时长内的最大大腿角度作为目标大腿角度。
[0183]
在一些实施例中，装置还包括导数确定单元和角度切换单元(图中未示出)。
[0184]
导数确定单元，用于根据关节角速度确定关节角速度的一阶导数和关节角速度的二阶导数；角度切换单元，用于根据关节角速度、关节角速度的一阶导数和关节角速度的二阶导数中的至少一项，调整目标关节角度，以及将目标关节角度切换为调整后的目标关节角度。
[0185]
在一些实施例中，轮廓生成单元1102包括点云调整模块、地形确定模块和地形生成模块(图中未示出)。
[0186]
点云调整模块，用于根据旋转角度将环境点云信息从相机坐标系调整至地面坐标系；
[0187]
地形确定模块，用于根据调整后的环境点云信息的点云特征确定环境地形；
[0188]
地形生成模块，用于采用与环境地形对应的拟合方式对环境点云信息进行拟合，
得到环境地形的形状特征参数和轮廓点，以及根据形状特征参数和轮廓点生成地形轮廓图，其中，形状特征参数用于描述环境地形的几何形状。
[0189]
本实施例提供的假肢控制装置，在假肢的运动参数指示假肢处于摆动状态时，通过地形轮廓图、假肢中关节的当前关节角度和各假肢连杆的长度，得到各假肢连杆与目标障碍物之间的实际距离，在存在实际距离小于或者等于预设距离阈值的假肢连杆时，通过各假肢连杆对应的实际距离确定关节的目标关节角度，以及控制关节从当前关节角度调整为目标关节角度，使得假肢中的关节以目标关节角度进行运动，可以避免假肢踢到障碍物，有助于提高行走的稳定性。
[0190]
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本技术中的基于视觉辅助的假肢控制方法侧的方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见基于视觉辅助的假肢控制方法的实施例部分，此处不再赘述。
[0191]
请参阅图12，图12是本技术一实施例提供的假肢1200的结构框图，该实施例的假肢1200包括：至少一个处理器1201(图12中仅示出一个处理器)、存储器1202以及存储在存储器1202中并可在至少一个处理器1201上运行的计算机程序1203，例如假肢控制程序。处理器1201执行计算机程序1203时实现上述各个基于视觉辅助的假肢控制方法的实施例中的步骤。处理器1201执行计算机程序1203时上述各装置实施例中各模块/单元的功能，例如，图11所示的信息获取单元1101至角度调整单元1104的功能。
[0192]
示例性的，计算机程序1203可以被分割成一个或多个单元，一个或者多个单元被存储在存储器1202中，并由处理器1201执行，以完成本技术。一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序1203在假肢1200中的执行过程。例如，计算机程序1203可以被分割成信息获取单元，轮廓生成单元，距离确定单元，角度调整单元，各单元具体功能在上述实施例中已有描述，此处不再赘述。
[0193]
假肢1200可以是假肢、台式电脑、平板电脑、云端假肢和移动终端等计算设备。假肢1200可包括，但不仅限于，处理器1201，存储器1202。本领域技术人员可以理解，图12仅仅是假肢1200的示例，并不构成对假肢1200的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如假肢还可以包括输入输出设备、网络接入设备、总线等。
[0194]
所称处理器1201可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字假肢控制器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0195]
存储器1202可以是假肢1200的内部存储单元，例如假肢1200的硬盘或内存。存储器1202也可以是假肢1200的外部存储设备，例如假肢1200上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。可选的，存储器1202还可以既包括假肢1200的内部存储单元也包括外部存储设备。存储器1202用于存储计算机程序以及假肢1200所需的其他程序和数据。存储器1202还可以用于暂时地存储已经输出或者将要输出的数据。
[0196]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0197]
集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0198]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0199]
以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。

技术特征：
1.一种基于视觉辅助的假肢控制方法，其特征在于，应用于假肢，所述假肢包括关节，所述关节的两端分别连接有假肢连杆，所述假肢上设置有点云采集装置和传感器组件，所述方法包括：从所述点云采集装置获取所述假肢所处环境的环境点云信息，以及从所述传感器组件获取所述假肢的运动参数和所述点云采集装置的旋转角度，其中，所述运动参数包括所述假肢的受力参数、所述关节的当前关节角度；根据所述旋转角度和所述环境点云信息，生成地形轮廓图；若所述运动参数指示所述假肢处于摆动状态，则根据所述地形轮廓图、所述关节的当前关节角度和各个假肢连杆的长度，确定各个假肢连杆分别与目标障碍物之间的实际距离，其中，所述目标障碍物为所述地形轮廓图中指示的障碍物；若存在实际距离小于或者等于预设距离阈值的假肢连杆，则根据各个假肢连杆对应的实际距离，确定所述关节的目标关节角度，以及控制所述关节从所述当前关节角度调整为所述目标关节角度。2.根据权利要求1所述的基于视觉辅助的假肢控制方法，其特征在于，所述运动参数还包括大腿角度，在所述根据各个假肢连杆对应的实际距离，确定所述关节的目标关节角度之后，还包括：若当前时刻的大腿角度属于当前时刻的伸展角度范围，则根据所述地形轮廓图指示的环境地形，确定伸展调整角度，其中，所述当前时刻的伸展角度范围通过上一时刻的大腿角度和预设角度抖动范围确定；根据所述伸展调整角度调整所述目标关节角度，以及将所述目标关节角度切换为调整后的目标关节角度。3.根据权利要求2所述的基于视觉辅助的假肢控制方法，其特征在于，所述根据所述地形轮廓图指示的环境地形，确定伸展调整角度，包括：若所述地形轮廓图指示的环境地形为平地、上坡和下坡中的任一项，则根据所述大腿角度和所述关节的当前关节角度确定伸展调整角度；若所述地形轮廓图指示的环境地形为上台阶或者下台阶，则根据所述地形轮廓图和各个假肢连杆的长度确定所述伸展调整角度。4.根据权利要求2所述的基于视觉辅助的假肢控制方法，其特征在于，在所述根据各个假肢连杆对应的实际距离，确定所述关节的目标关节角度之后，还包括：若所述当前时刻的大腿角度不属于所述伸展角度范围，则根据所述地形轮廓图指示的环境地形确定仿生角度调整关系，其中，所述仿生角度调整关系用于描述大腿角度与仿生调整角度之间的关系；根据所述大腿角度和所述仿生角度调整关系，确定与所述大腿角度对应的仿生调整角度，所述仿生调整角度包括所述关节对应的仿生角度；控制所述关节从所述当前关节角度调整为对应的仿生角度。5.根据权利要求1所述的基于视觉辅助的假肢控制方法，其特征在于，在检测到所述假肢的相邻的步长的差值满足预设稳定步长条件的时，通过如下方式确定当前时刻的伸展角度范围：根据目标大腿角度和所述预设角度抖动范围确定所述伸展角度范围，其中，所述目标
大腿角度为满足预设参考条件的大腿角度，所述预设参考条件包括选取预设参考时长内的最大大腿角度作为目标大腿角度。6.根据权利要求1所述的基于视觉辅助的假肢控制方法，其特征在于，所述运动参数还包括关节角速度，所述方法还包括：根据所述关节角速度确定所述关节角速度的一阶导数和所述关节角速度的二阶导数；根据所述关节角速度、所述关节角速度的一阶导数和所述关节角速度的二阶导数中的至少一项，调整所述目标关节角度，以及将所述目标关节角度切换为调整后的目标关节角度。7.根据权利要求1-6中任一项所述的基于视觉辅助的假肢控制方法，其特征在于，所述根据所述运动参数中的旋转角度和所述环境点云信息，生成地形轮廓图，包括：根据所述旋转角度将所述环境点云信息从相机坐标系调整至地面坐标系；根据调整后的环境点云信息的点云特征确定环境地形；采用与所述环境地形对应的拟合方式对所述环境点云信息进行拟合，得到所述环境地形的形状特征参数和轮廓点，以及根据所述形状特征参数和所述轮廓点生成所述地形轮廓图，其中，所述形状特征参数用于描述所述环境地形的几何形状。8.一种基于视觉辅助的假肢控制装置，其特征在于，应用于假肢，所述假肢包括至少一个关节，所述关节的两端分别连接有假肢连杆，所述假肢上设置有点云采集装置和传感器组件，包括：信息获取单元，用于从所述点云采集装置获取所述假肢所处环境的环境点云信息，以及从所述传感器组件获取所述假肢的运动参数和所述点云采集装置的旋转角度，其中，所述运动参数包括所述假肢的受力参数、所述假肢上所述关节的当前关节角度；轮廓生成单元，用于根据所述旋转角度和所述环境点云信息，生成地形轮廓图；距离确定单元，用于若所述运动参数指示所述假肢处于摆动状态，则根据所述地形轮廓图、所述关节的当前关节角度和各个假肢连杆的长度，确定各个假肢连杆分别与目标障碍物之间的实际距离，其中，所述目标障碍物为所述地形轮廓图中指示的障碍物；角度调整单元，用于若存在实际距离小于或者等于预设距离阈值的假肢连杆，则根据各个假肢连杆对应的实际距离，确定所述关节的目标关节角度，以及控制所述关节从所述当前关节角度调整为所述目标关节角度。9.一种假肢，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的基于视觉辅助的假肢控制方法。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的基于视觉辅助的假肢控制方法。

技术总结
本申请适用于计算机技术领域，提供了一种基于视觉辅助的假肢控制方法、装置、假肢及存储介质，其中，方法包括：从点云采集装置获取假肢所处环境的环境点云信息，以及从传感器组件获取假肢的运动参数和点云采集装置的旋转角度；根据旋转角度和环境点云信息，生成地形轮廓图；若运动参数指示假肢处于摆动状态，则根据地形轮廓图、关节的当前关节角度和各个假肢连杆的长度，确定各个假肢连杆分别与目标障碍物之间的实际距离；若存在实际距离小于或者等于预设距离阈值的假肢连杆，则根据各个假肢连杆对应的实际距离，确定关节的目标关节角度，以及控制关节从当前关节角度调整为目标关节角度。本申请中，可以避免假肢在运动过程中踢到障碍物。到障碍物。到障碍物。


技术研发人员：付成龙 陈欣星 冷雨泉 陈楚衡 尹树丛
受保护的技术使用者：南方科技大学
技术研发日：2023.07.31
技术公布日：2023/10/15