基于人工智能动作识别的指令控制方法与流程

1.本发明涉及人工智能动作识别指令技术领域，具体为基于人工智能动作识别的指令控制方法。


背景技术：

2.现有技术已实现了基于肢体动作识别的非接触式控制，例如，菜谱类软件控制。目前常见的肢体动作捕捉方案包括kinect体感器以及realsense实感摄像头。
3.根据申请号为cn201610202178.3的专利显示，该专利所述方法包括：获取拍摄范围内至少一条人体基线；根据所述至少一条人体基线确定至少两个检测区域；确认至少一个检测区域中有指令触发新事件发生，获取并发送所述指令触发新事件对应的操作控制指令。本发明实施例提供的技术方案，通过获取拍摄范围内的至少一条人体基线，根据所述至少一条人体基线确定至少两个检测区域，并确认至少一个检测区域中有指令触发新事件发生后，获取并发送所述指令触发新事件对应的操作控制指令，采用普通摄像头进行图像拍摄，降低了肢体动作识别所需的设备成本，并有效提高了肢体动作识别的准确率。
4.部分现有的动作识别在使用的时候，由于获取到的视频存在质量问题，从而导致了识别出现误差的情况，因此在进行识别的时候会产生错误的指令，其次在对行为进行识别的时候，由于产生的动作不能进行获取，从而存在识别不了的情况，进一步的对整体指令的产生造成影响。


技术实现要素：

5.针对现有技术的不足，本发明提供了基于人工智能动作识别的指令控制方法，解决了图像不清晰导致了识别产生误差，其次不能对动作进行很好的分类识别，造成指令错误的问题。
6.为实现以上目的，本发明通过以下技术方案予以实现：基于人工智能动作识别的指令控制方法，该方法具体包括以下步骤：步骤一：数据获取端获取到基础数据，其中基础数据包括：监控视频图像，并将获取到的基础数据传输到数据预处理端；步骤二：数据预处理端对获取到的基础数据进行分析，对监控视频图像进行获取同时对监控视频图像进行预处理，其中预处理包括：噪点去除和关节点识别，并生成预处理结果，同时将预处理结果传输到动作识别端；步骤三：动作识别端获取到预处理结果，并对预处理结果进行分析，首先对监控视频图像进行分割识别，接着通过分别对肢体动作和头部动作进行识别，并生成动作识别结果，且动作识别结果包括：肢体动作结果和头部动作结果，同时将动作识别结果传输到指令生成端；步骤四：指令生成端获取到动作识别结果，并根据动作识别结果结合动作识别大数据进行判断生成对应的动作指令，并将动作指令传输到指令控制端；
步骤五：指令控制端获取到动作指令，并将其发送给对应的设备或系统进行控制。
7.作为本发明的进一步方案：步骤二预处理中的噪点去除具体处理方式如下：s1：获取到监控视频图像，并对监控视频图像按照帧数进行划分，且将划分后的每帧图像进行标记且记作为i，同时对i帧图像进行噪点分析，根据噪点的不同将噪点分类为亮噪点和暗噪点，具体的分类方式如下：s11：获取到i帧图像中的任意单帧图像并将其标记为目标图像，接着生成黑色背景板，并将其与目标图像进行匹配，将匹配后显示出来的噪点分类为亮噪点；s12：接着生成白色背景板，并同理与目标图像进行匹配，将匹配后显示出来的噪点分类为暗噪点，同理对i帧图像进行噪点分析；s2：接着获取到目标图像分类后的亮噪点和暗噪点，并根据是否对目标图像造成影响分类为影响噪点和正常噪点，接着对分类后的影响噪点进行去除，具体的分类方式如下：s21：以目标图像单个噪点为原点，此处需要说明的是：噪点包括亮噪点和暗噪点，并以半径为r作圆，同时获取到该圆内的所有像素点，接着获取到相邻两个像素点之间的间距并记作点距dj，此处需要说明的是：相邻两个像素点不包括存在噪点的像素点之间，并计算该圆内点距的平均距离记作为点均距dp，同时将其作为标准点距；s22：接着获取到存在噪点的两个像素点之间的点距并记作为dz，并将dz与点均距dp进行比较，当dz≥dp时，判定该噪点存在影响并将该噪点分类为影响噪点，并采用均值滤波的方式对影响噪点进行去除，此处需要说明的是：均值滤波去除表示为：将每个像素的值替换为其周围邻域内像素值的平均值，反之当dz《dp时，判定该噪点不存在影响并将该噪点分类为正常噪点，同时对正常噪点不做任何处理，此处需要说明的是：如果两个像素点之间由于存在噪点，且两个像素点之间的距离超过标准点距时，则说明该噪点对整体图像造成影响，反之没有超过标准点距时，则说明该噪点对整体图像未造成影响。
8.作为本发明的进一步方案：步骤三中生成动作识别结果的方式如下：p1：获取到监控视频图像，并结合关节点的运动轨迹对监控视频进行截取，具体的监控视频截取方式如下：p11：将监控视频图像中用户的关节点进行三维建模处理，对关节点的运动轨迹进行绘制，同时对关节点的运动轨迹进行匹配；p12：当关节点的运动轨迹相同时，则表明生成的动作相同，次数并以关节点运动时间点为起点，以关节点重复运动时间点为终点对监控视频图像进行截取得到截取视频，并对其动作进行识别；p2：获取到截取视频中关节点的位置，并对其进行判断动作类型，其中动作类型包括：肢体动作和头部动作，具体的判断方式如下：将关节点的位置与人体图像进行匹配，当识别到关节点位于肩膀及以上位置时，判定为头部动作，当识别到关节点位于肩膀以下位置时，判定为肢体动作，接着分别对头部动作和肢体动作进行分析；p3：对肢体动作的分析为：获取到关节点的运动轨迹，并结合行为动作进行匹配生成对应的肢体动作结果，此处需要说明的是：行为动作表示的意思为经过人工智能比较和模拟计算到的行为动作结果，将关节点的运动轨迹与行为动作进行匹配，再结合人工智能
计算得到对应的肢体动作结果；p4：当判定为头部动作时，并对头部动作进行分析，具体的分析方式如下：p41：以肩膀为x轴，以头部所在的中轴线为y轴建立直角坐标系，并将头部与肩膀连接点作为原点，同时将头部眉心标记为起始点；p42：接着将起始点停止运动的点记作为终点，同时将原点、起始点和终点进行直线连接，并根据连接得到的形状对头部动作进行分析；p43：当连接得到的形状原点、起始点和终点在一条直线上时，则表明头部动作为上下运动，当连接得到的形状为三角形时，则表明头部动作为转向。
9.有益效果本发明提供了基于人工智能动作识别的指令控制方法。与现有技术相比具备以下有益效果：本发明通过对获取到的图像进行分析，并对图像中的噪点进行识别，通过将噪点进行分类，并将对图像造成影响的噪点进行去除，从而来保证图像整体的质量，避免后续识别存在误差，其次对动作进行不同的分类处理，并结合人工智能来进行匹配分析，针对不同部位产生的动作进行分析，保证了识别的精准度，减小整体识别的误差。
附图说明
10.图1为本发明方法流程图；图2为本发明方法判断图。
具体实施方式
11.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
12.实施例一，请参阅图1和图2，本技术提供了基于人工智能动作识别的指令控制方法，该方法具体包括以下步骤：步骤一：数据获取端获取到基础数据，其中基础数据包括：监控视频图像，并将获取到的基础数据传输到数据预处理端。
13.步骤二：数据预处理端对获取到的基础数据进行分析，对监控视频图像进行获取同时对监控视频图像进行预处理，其中预处理包括：噪点去除和关节点识别，并生成预处理结果，同时将预处理结果传输到动作识别端，且预处理中的噪点去除具体处理方式如下：s1：获取到监控视频图像，并对监控视频图像按照帧数进行划分，且将划分后的每帧图像进行标记且记作为i，同时对i帧图像进行噪点分析，根据噪点的不同将噪点分类为亮噪点和暗噪点，具体的分类方式如下：s11：获取到i帧图像中的任意单帧图像并将其标记为目标图像，接着生成黑色背景板，并将其与目标图像进行匹配，将匹配后显示出来的噪点分类为亮噪点；s12：接着生成白色背景板，并同理与目标图像进行匹配，将匹配后显示出来的噪点分类为暗噪点，同理对i帧图像进行噪点分析；
结合实际用于场景进行分析，先利用黑色背景板与图像进行匹配，此时图像上的暗噪点会与黑色背景板融合，而亮噪点则会显示出来，相反利用白色背景板与图像进行匹配的时候，暗噪点则会显示出来，利用相同的方式来对i帧图像进行亮暗噪点的分类。
14.s2：接着获取到目标图像分类后的亮噪点和暗噪点，并根据是否对目标图像造成影响分类为影响噪点和正常噪点，接着对分类后的影响噪点进行去除，具体的影响噪点和正常噪点的分类方式如下：s21：以目标图像单个噪点为原点，此处需要说明的是：噪点包括亮噪点和暗噪点，并以半径为r作圆，同时获取到该圆内的所有像素点，接着获取到相邻两个像素点之间的间距并记作点距dj，此处需要说明的是：相邻两个像素点不包括存在噪点的像素点之间，并计算该圆内点距的平均距离记作为点均距dp，同时将其作为标准点距；s22：接着获取到存在噪点的两个像素点之间的点距并记作为dz，并将dz与点均距dp进行比较，当dz≥dp时，判定该噪点存在影响并将该噪点分类为影响噪点，并采用均值滤波的方式对影响噪点进行去除，此处需要说明的是：均值滤波去除表示为：将每个像素的值替换为其周围邻域内像素值的平均值，反之当dz《dp时，判定该噪点不存在影响并将该噪点分类为正常噪点，同时对正常噪点不做任何处理，此处需要说明的是：如果两个像素点之间由于存在噪点，且两个像素点之间的距离超过标准点距时，则说明该噪点对整体图像造成影响，反之没有超过标准点距时，则说明该噪点对整体图像未造成影响；且预处理中的关节点识别方式具体如下：获取到人体图像并对人体图像的关节点进行标号处理且记作为j，且j=1、2、
…
、n，此处需要说明的是：人体图像的关节点表示的为人体骨骼的连接点，比如大臂与小臂之间的骨骼连接点记作为一个关节点。
15.步骤三：动作识别端获取到预处理结果，并对预处理结果进行分析，首先对监控视频图像进行分割识别，接着通过分别对肢体动作和头部动作进行识别，并生成动作识别结果，且动作识别结果包括：肢体动作结果和头部动作结果，同时将动作识别结果传输到指令生成端，具体的生成动作识别结果的方式如下：p1：获取到监控视频图像，并结合关节点的运动轨迹对监控视频进行截取，具体的截取方式如下：p11：将监控视频图像中用户的关节点进行三维建模处理，对关节点的运动轨迹进行绘制，同时对关节点的运动轨迹进行匹配；p12：当关节点的运动轨迹相同时，则表明生成的动作相同，次数并以关节点运动时间点为起点，以关节点重复运动时间点为终点对监控视频图像进行截取得到截取视频，并对其动作进行识别；p2：获取到截取视频中关节点的位置，并对其进行判断动作类型，其中动作类型包括：肢体动作和头部动作，具体的判断方式如下：将关节点的位置与人体图像进行匹配，当识别到关节点位于肩膀及以上位置时，判定为头部动作，当识别到关节点位于肩膀以下位置时，判定为肢体动作，接着分别对头部动作和肢体动作进行分析；p3：对肢体动作的分析为：获取到关节点的运动轨迹，并结合行为动作进行匹配生成对应的肢体动作结果，此处需要说明的是：行为动作表示的意思为经过人工智能比较和模拟计算到的行为动作结果，将关节点的运动轨迹与行为动作进行匹配，再结合人工智能
计算得到对应的肢体动作结果；p4：对头部动作的分析为：p41：以肩膀为x轴，以头部所在的中轴线为y轴建立直角坐标系，并将头部与肩膀连接点作为原点，同时将头部眉心标记为起始点；p42：接着将起始点停止运动的点记作为终点，同时将原点、起始点和终点进行直线连接，并根据连接得到的形状对头部动作进行分析；p43：当连接得到的形状原点、起始点和终点在一条直线上时，则表明头部动作为上下运动，当连接得到的形状为三角形时，则表明头部动作为转向。
16.结合实际应用场景进行分析，以人体头部建立直角坐标系，并根据眉心的运动位置来对头部动作进行识别，当头部动作为抬头或者低头的时候，起始点和终点的位置是在一条直线上的，当头部动作为转向上，起始点、终点和原点三点之间会形成一个三角形。
17.步骤四：指令生成端获取到动作识别结果，并根据动作识别结果结合动作识别大数据进行判断生成对应的动作指令，并将动作指令传输到指令控制端。
18.步骤五：指令控制端获取到动作指令，并将其发送给对应的设备或系统进行控制。
19.实施例二，作为本发明的实施例二，与实施例一的区别之处在于，步骤二中对噪点分类的方式不同，获取到所有的点距dj，接着计算点均距dp，接着将二者代入公式计算得到点距dj的离散值i，并将计算得到的离散值i作为标准点距，同时将i与dz进行比较，当dz≥i时，判定该噪点存在影响并将该噪点分类为影响噪点，反之当dz《i时，判定该噪点不存在影响并将该噪点分类为正常噪点。
20.实施例三，作为本发明的实施例三，与实施例一和实施例二的区别之处在于，步骤二中对影响噪点的去除方式不同，本实施例中对影响噪点的去除方式采用中值滤波和高值滤波的方式对其进行去除，且中值滤波去除表示为：将每个像素的值替换为其周围邻域内像素值的中值，此处需要说明的是：中值表示为将所有的数从小到大排序，并选取位于中间的数作为中值，高值滤波去除表示为：采用高斯函数进行滤波，对每个像素的值进行加权平均。
21.实施例四，作为本发明的实施例四，重点在于将实施例一、实施例二和实施例三的实施过程结合实施。
22.上述公式中的部分数据均是去其纲量进行数值计算，同时本说明书中未作详细描述的内容均属于本领域技术人员公知的现有技术。
23.以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。

技术特征：
1.基于人工智能动作识别的指令控制方法，其特征在于，该方法包括以下步骤：步骤一：数据获取端获取到基础数据，其中基础数据包括：监控视频图像，并将获取到的基础数据传输到数据预处理端；步骤二：数据预处理端对获取到的基础数据进行分析，对监控视频图像进行获取同时对监控视频图像进行预处理，其中预处理包括：噪点去除和关节点识别，并生成预处理结果，同时将预处理结果传输到动作识别端；步骤三：动作识别端获取到预处理结果，并对预处理结果进行分析，首先对监控视频图像进行分割识别，接着通过分别对肢体动作和头部动作进行识别，并生成动作识别结果，且动作识别结果包括：肢体动作结果和头部动作结果，同时将动作识别结果传输到指令生成端；步骤四：指令生成端获取到动作识别结果，并根据动作识别结果结合动作识别大数据进行判断生成对应的动作指令，并将动作指令传输到指令控制端；步骤五：指令控制端获取到动作指令，并将其发送给对应的设备或系统进行控制。2.根据权利要求1所述的基于人工智能动作识别的指令控制方法，其特征在于，所述步骤二预处理中的噪点去除具体处理方式如下：s1：获取到监控视频图像，并对监控视频图像按照帧数进行划分，且将划分后的每帧图像进行标记且记作为i，同时对i帧图像进行噪点分析，根据噪点的不同将噪点分类为亮噪点和暗噪点；s2：接着获取到目标图像分类后的亮噪点和暗噪点，并根据是否对目标图像造成影响分类为影响噪点和正常噪点，接着对分类后的影响噪点进行去除。3.根据权利要求2所述的基于人工智能动作识别的指令控制方法，其特征在于，所述s1的具体分类方式如下：s11：获取到i帧图像中的任意单帧图像并将其标记为目标图像，接着生成黑色背景板，并将其与目标图像进行匹配，将匹配后显示出来的噪点分类为亮噪点；s12：接着生成白色背景板，并同理与目标图像进行匹配，将匹配后显示出来的噪点分类为暗噪点，同理对i帧图像进行噪点分析。4.根据权利要求2所述的基于人工智能动作识别的指令控制方法，其特征在于，所述s2的分类方式如下：s21：以目标图像单个噪点为原点，并以半径为r作圆，同时获取到该圆内的所有像素点，接着获取到相邻两个像素点之间的间距并记作点距dj，并计算该圆内点距的平均距离记作为点均距dp，同时将其作为标准点距；s22：接着获取到存在噪点的两个像素点之间的点距并记作为dz，并将dz与点均距dp进行比较，当dz≥dp时，判定该噪点存在影响并将该噪点分类为影响噪点，并采用均值滤波的方式对影响噪点进行去除，反之当dz<dp时，判定该噪点不存在影响并将该噪点分类为正常噪点，同时对正常噪点不做任何处理。5.根据权利要求1所述的基于人工智能动作识别的指令控制方法，其特征在于，所述步骤三中生成动作识别结果的方式如下：p1：获取到监控视频图像，并结合关节点的运动轨迹对监控视频进行截取；p2：获取到截取视频中关节点的位置，并对其进行判断动作类型，其中动作类型包括：
肢体动作和头部动作；p3：对肢体动作的分析为：获取到关节点的运动轨迹，并结合行为动作进行匹配生成对应的肢体动作结果；p4：当判定为头部动作时，并对头部动作进行分析。6.根据权利要求5所述的基于人工智能动作识别的指令控制方法，其特征在于，所述p1中监控视频具体截取方式如下：p11：将监控视频图像中用户的关节点进行三维建模处理，对关节点的运动轨迹进行绘制，同时对关节点的运动轨迹进行匹配；p12：当关节点的运动轨迹相同时，则表明生成的动作相同，次数并以关节点运动时间点为起点，以关节点重复运动时间点为终点对监控视频图像进行截取得到截取视频，并对其动作进行识别。7.根据权利要求5所述的基于人工智能动作识别的指令控制方法，其特征在于，所述p2中具体判断方式如下：将关节点的位置与人体图像进行匹配，当识别到关节点位于肩膀及以上位置时，判定为头部动作，当识别到关节点位于肩膀以下位置时，判定为肢体动作，接着分别对头部动作和肢体动作进行分析。8.根据权利要求5所述的基于人工智能动作识别的指令控制方法，其特征在于，所述p4中对头部动作的具体分析为：p41：以肩膀为x轴，以头部所在的中轴线为y轴建立直角坐标系，并将头部与肩膀连接点作为原点，同时将头部眉心标记为起始点；p42：接着将起始点停止运动的点记作为终点，同时将原点、起始点和终点进行直线连接，并根据连接得到的形状对头部动作进行分析；p43：当连接得到的形状原点、起始点和终点在一条直线上时，则表明头部动作为上下运动，当连接得到的形状为三角形时，则表明头部动作为转向。

技术总结
本发明公开了基于人工智能动作识别的指令控制方法，数据获取端获取到基础数据，并将获取到的基础数据传输到数据预处理端，数据预处理端对获取到的基础数据进行分析，本发明涉及人工智能动作识别指令技术领域，解决了图像不清晰导致了识别产生误差，其次不能对动作进行很好的分类识别，造成指令错误的技术问题，本发明通过对获取到的图像进行分析，并对图像中的噪点进行识别，通过将噪点进行分类，并将对图像造成影响的噪点进行去除，从而来保证图像整体的质量，避免后续识别存在误差，其次对动作进行不同的分类处理，并结合人工智能来进行匹配分析，针对不同部位产生的动作进行分析，保证了识别的精准度，减小整体识别的误差。减小整体识别的误差。减小整体识别的误差。


技术研发人员：周丽宁
受保护的技术使用者：北京惠朗时代科技有限公司
技术研发日：2023.09.12
技术公布日：2023/10/20