一种可视化教育教学分析方法、系统及存储介质与流程

1.本发明涉及可视化教育教学技术领域，具体而言，涉及一种可视化教育教学分析方法、系统及存储介质。


背景技术：

2.随着社会和科技的发展，人们对精神层面的要求就越来越高，而教育是能提高人的精神涵养的一种方法，因此，国家提倡全民教育，并大力建设教育基础设施，教育的形式也随之发生转变，近年来，线上授课不受时间空间地点的限制，同时也便于学生和教师进行沟通和交流，同时也可以观看回放来进一步复习自己不懂的知识点，越来越多的教师选择线上授课，但是存在部分学生有听觉能力或者说话能力的缺陷，如若聋哑学生在上课时的回答问题的质量无法得到保证，则会影响教师对聋哑学生的课题掌握度的判断，进而不利于聋哑学生的线上学习，因此，需要对聋哑学生的回答问题的质量进行分析。
3.现有的聋哑学生回答问题的质量分析存在以下缺陷：(1)现有的聋哑学生回答问题的质量分析大多是根据聋哑学生的手语表达文本或者唇语表达文本进行分析，分析维度比较单一，一方面可能存在聋哑学生的手语表达文本分析不精确的现象，进而将其作为聋哑学生的表述语言，从而无法真正反映出聋哑学生回答问题的质量，另一方面也有可能存在聋哑学生的唇语表达文本分析不精确的现象，进而将其作为聋哑学生的表述语言，从而导致聋哑学生回答问题质量分析的可靠性不高，综上所述，现有技术的分析方法无法为聋哑学生回答问题的质量分析提供强有力的数据支持。
4.(2)现有对聋哑学生手语表达文本进行分析，大多是根据聋哑学生手部形状进行分析，然而聋哑学生手部大小、形状和胖瘦大都不一致，进而导致聋哑学生手语表达文本分析结果准确性不高，对聋哑学生手语表达文本分析的针对性不强，从而影响聋哑学生手语表达文本分析结果的后续分析，降低了聋哑学生回答问题质量分析结果的精确性。


技术实现要素：

5.为了克服背景技术中的缺点，本发明实施例提供了一种可视化教育教学分析方法、系统及存储介质,能够有效解决上述背景技术中涉及的问题。
6.本发明的目的可以通过以下技术方案来实现：本发明第一方面提供了一种可视化教育教学分析方法，该方法包括以下步骤：s1、聋哑学生手部动作和唇部动作采集：通过移动设备在聋哑学生各次回答问题时采集聋哑学生的手部动作视频和唇部动作视频。
7.s2、聋哑学生表达文本分析：基于采集的聋哑学生各次回答问题时的手部动作视频和唇部动作视频分别分析聋哑学生各次回答问题时对应的手语表达文本和唇语表达文本。
8.s3、聋哑学生表达文本匹配度分析：基于聋哑学生各次回答问题时对应的手语表达文本和唇语表达文本分析聋哑学生各次回答问题时手语表达文本与唇语表达文本的匹配度，进而分析聋哑学生各次回答问题时对应的标准表达语言。
9.s4、聋哑学生回答问题质量分析：根据聋哑学生各次回答问题时对应的标准表达语言与标准答案评估聋哑学生各次回答问题时对应的质量系数。
10.在一种可能的设计中，所述聋哑学生各次回答问题时对应的手语表达文本，其具体分析方法为：s211：从云数据库中提取各手语表达文本对应的手部动作视频，并将各手语表达文本对应的手部动作视频按照预设的视频帧数划分为各手部动作子图片，进而得到各手语表达文本对应的各手部动作子图片。
11.s212：根据各手语表达文本对应的各手部动作子图片提取手部轮廓，并获取各手语表达文本对应的各手部动作子图片所属手部轮廓的各关节点。
12.s213：将各手语表达文本对应的各手部动作子图片所属手部轮廓的各关节点相连接的手部轮廓线条进行连接，进而得到各手语表达文本对应的各手部动作子图片所属手部轮廓的各关节点的弯曲角度，并将其标记为tq
pjx
，其中p＝1,2,...,q，j表示为各手部动作子图片的编号，j＝1,2,...,k，x表示为各关节点的编号，x＝1,2,...,y。
13.s214：将采集的聋哑学生各次回答问题时的手部动作视频均匀划分为各段手部动作视频，并按照设定的视频帧数将各段手部动作视频划分为各手部图片，并将其标记为各待分析图片，进而得到聋哑学生各次回答问题时各段手部动作视频所属各待分析图片。
14.s215：同理，获取聋哑学生各次回答问题时各段手部动作视频所属各待分析图片内手部轮廓的各关节点的弯曲角度，并将其标记为wq
iamx
，其中i表示为各次回答问题时的编号，i＝1,2,...,n，a表示为各段手部动作视频的编号，a＝1,2,...,b，m表示为各待分析图片的编号，m＝1,2,...,l。
15.s216：将聋哑学生各次回答问题时各段手部动作视频所属各待分析图片内手部轮廓的各关节点的弯曲角度与各手语表达文本对应的各手部动作子图片所属手部轮廓的各关节点的弯曲角度进行对比，进而分析聋哑学生各次回答问题时各段手部动作视频所属各待分析图片与各手语表达文本对应的各手部动作子图片的匹配度，其计算公式为：其中表示为聋哑学生第i次回答问题时第a段手部动作视频所属第m个待分析图片与第p个手语表达文本对应的第j个手部动作子图片的匹配度，y表示为关节点的数量。
16.s217：将聋哑学生各次回答问题时各段手部动作视频所属各待分析图片与各手语表达文本对应的各手部动作子图片的匹配度分别和预设的匹配度阈值进行对比，进而统计聋哑学生各次回答问题时各段手部动作视频所属目标图片的数量，并将其标记为sl
ia
。
17.s218：统计各手语表达文本对应的手部动作子图片的总数量，并结合聋哑学生各次回答问题时各段手部动作视频所属目标图片的数量、聋哑学生各次回答问题时各段手部动作视频所属各待分析图片与各手语表达文本对应的各手部动作子图片的匹配度分析聋哑学生各次回答问题时各段手部动作视频与各手语表达文本的匹配系数，其计算公式为：
其中表示为聋哑学生第i次回答问题时第a段手部动作视频与第p个手语表达文本的匹配系数，ss
p
表示为第p个手语表达文本对应的手部动作子图片的总数量,ad表示为预设的匹配度阈值，k表示为手部动作子图片的数量，l表示为待分析图片的数量。
18.s219：基于聋哑学生各次回答问题时各段手部动作视频与各手语表达文本的匹配系数，筛选聋哑学生各次回答问题时各段手部动作视频对应最大匹配系数的手语表达文本，并将其作为聋哑学生各次回答问题时各段手部动作视频的手语表达文本。
19.s2110：将聋哑学生各次回答问题时各段手部动作视频的手语表达文本进行拼接，进而得到聋哑学生各次回答问题时对应的手语表达文本。
20.在一种可能的设计中，所述聋哑学生各次回答问题时对应的唇语，其具体分析方法为：s221：从云数据库中提取各唇语表达文本对应的唇部动作视频，并将各唇语表达文本对应的唇部动作视频按照预设的视频帧数划分为各唇部动作子图片，进而得到各唇语表达文本对应的各唇部动作子图片。
21.s222：从各唇语表达文本对应的各唇部动作子图片中提取唇部轮廓。
22.s223：将采集的聋哑学生各次回答问题时的唇部动作视频均匀划分为各段唇部动作视频，并按照设定的视频帧数将各段唇部动作视频划分为各唇部动作图片，并将其标记为各待解析图片，进而得到聋哑学生各次回答问题时各段唇部动作视频所属各待解析图片。
23.s224：将聋哑学生各次回答问题时各段唇部动作视频所属各待解析图片内的唇部轮廓进行等比例处理。
24.s225：将进行等比例处理后的聋哑学生各次回答问题时各段唇部动作视频所属各待解析图片内的唇部轮廓与各唇语表达文本对应的各唇部动作子图片内的唇部轮廓进行重合对比。
25.s226：获取等比例处理后的聋哑学生各次回答问题时各段唇部动作视频所属各待解析图片内的唇部轮廓与各唇语表达文本对应的各唇部动作子图片内的唇部轮廓的重合面积，并将其标记为其中a表示为各段唇部动作视频的编号，a＝1,2,...,b，m表示为各待解析图片的编号,m＝1,2,...,l，u表示为各唇语表达文本的编号,u＝1,2,...,r，j表示为各唇部动作子图片的编号,j＝1,2,...,k。
26.获取等比例处理后的聋哑学生各次回答问题时各段唇部动作视频所属各待解析图片内的唇部轮廓面积，并将其标记为mj
uj
。
27.从而据此分析聋哑学生各次回答问题时各段唇部动作视频与各唇语表达文本的匹配系数，其计算公式为：其中表示为聋哑学生第i次回答问题时第a段唇部动作视频与第u个唇语表达文本的匹配系数，l、k分别表示为待解析图片
的数量、唇部动作子图片的数量。
28.s227：基于聋哑学生各次回答问题时各段唇部动作视频与各唇语表达文本的匹配系数，筛选聋哑学生各次回答问题时各段唇部动作视频对应最大匹配系数的唇语表达文本，并将其作为聋哑学生各次回答问题时各段唇部动作视频的唇语表达文本。
29.s228：将聋哑学生各次回答问题时各段唇部动作视频的唇语表达文本进行拼接，进而得到聋哑学生各次回答问题时对应的唇语表达文本。
30.在一种可能的设计中，所述聋哑学生各次回答问题时手语表达文本与唇语表达文本的匹配度，其具体分析方法为：s311：根据聋哑学生各次回答问题时的手语表达文本和唇语表达文本构建聋哑学生各次回答问题时对应的手语表达文本关键字集合和唇语表达文本关键字集合，并将其分别标记为ei、fi。
31.s312：将聋哑学生各次回答问题时对应的手语表达文本关键字集合和唇语表达文本关键字集合进行匹配对比，并据此分析聋哑学生各次回答问题时手语表达文本与唇语表达文本的匹配度，其计算公式为：其中表示为聋哑学生第i次回答问题时手语表达文本与唇语表达文本的匹配度。
32.在一种可能的设计中，所述分析聋哑学生各次回答问题时对应的标准表达语言，其具体分析方法为：s321：将聋哑学生各次回答问题时手语表达文本与唇语表达文本的匹配度和预设的聋哑学生回答问题时手语表达文本与唇语表达文本的匹配度阈值进行对比，若聋哑学生某次回答问题时手语表达文本与唇语表达文本的匹配度大于或等于聋哑学生回答问题时手语表达文本与唇语表达文本的匹配度阈值，则将聋哑学生该次回答问题时的手语表达文本作为聋哑学生该次回答问题时对应的标准表达语言。
33.s322：若聋哑学生某次回答问题时手语表达文本与唇语表达文本的匹配度小于聋哑学生回答问题时手语表达文本与唇语表达文本的匹配度阈值，则进行以下分析：获取聋哑学生该次回答问题时各段手部动作视频与各手语表达文本的匹配系数、各段唇部动作视频与各唇语表达文本的匹配系数，并据此分析聋哑学生该次回答问题时手部动作视频与手语表达文本的平均匹配系数、唇部动作视频与唇语表达文本的平均匹配系数，从而得到聋哑学生该次回答问题时对应的标准表达语言。
34.s323：获取聋哑学生各次回答问题时对应的标准表达语言。
35.在一种可能的设计中，所述聋哑学生各次回答问题时对应的质量系数的具体分析方法为：根据聋哑学生各次回答问题时对应的标准表达语言和云数据库中存储的各次回答问题时的标准答案构建聋哑学生各次回答问题时对应的标准表达语言关键字集合和各次回答问题时的标准答案关键字集合，并将其分别标记为qai、dai,进而分析聋哑学生各次回答问题时对应的质量系数，其计算公式为：其中zli表示为聋哑学生第i次回答问题时对应的质量系数。
36.本发明第二方面提供了一种可视化教育教学分析系统，包括：聋哑学生手部动作和唇部动作采集模块：通过移动设备在聋哑学生各次回答问题时采集聋哑学生的手部动作视频和唇部动作视频。
37.聋哑学生表达文本分析模块：基于采集的聋哑学生各次回答问题时的手部动作视
频和唇部动作视频分别分析聋哑学生各次回答问题时对应的手语表达文本和唇语表达文本。
38.聋哑学生表达文本匹配度分析模块：基于聋哑学生各次回答问题时对应的手语表达文本和唇语表达文本分析聋哑学生各次回答问题时手语表达文本与唇语表达文本的匹配度，进而分析聋哑学生各次回答问题时对应的标准表达语言。
39.聋哑学生回答问题质量分析模块：根据聋哑学生各次回答问题时对应的标准表达语言与标准答案评估聋哑学生各次回答问题时对应的质量系数。
40.云数据库：存储各手语表达文本对应的手部动作视频，存储各唇语表达文本对应的唇部动作视频，并存储各次回答问题时的标准答案。
41.本发明第三方面提供了一种可视化教育教学分析存储介质，所述存储介质烧录有计算机程序，所述计算机程序在服务器的内存中运行时实现本发明所述的可视化教育教学分析方法。
42.相对于现有技术，本发明的实施例至少具有如下优点或有益效果：(1)本发明的聋哑学生回答问题的质量分析，不仅对聋哑学生的手语表达文本进行分析，而且对聋哑学生的唇语表达文本进行分析，弥补了现有技术中心分析维度单一的缺陷，本发明通过分析聋哑学生的手语表达文本和唇语表达文本，进而分析聋哑学生手语表达文本和唇语表达文本的相似度，此方法可以有效避免存在聋哑学生的手语表达文本不精确或唇语表达文本不精确的现象，进而降低了将聋哑学生的单一手语表达文本或单一唇语表达文本作为聋哑学生的表述语言的出错率，提高了聋哑学生回答问题质量分析的可靠性，综上所述，本发明可以为聋哑学生回答问题的质量分析提供强有力的数据支持。
43.(2)本发明对聋哑学生的手语表达文本进行分析时，对聋哑学生手部关节点的弯曲角度进行分析，进而避免出现因聋哑学生手部大小、形状和胖瘦不一致而导致聋哑学生手语表达文本分析不精确的现象，从而提高了聋哑学生手语表达文本分析结果的准确性，克服了现有技术中对聋哑学生手语表达文本分析针对性不强的难题，从而为聋哑学生手语表达文本分析结果的后续分析奠定了坚实的基础，提高了聋哑学生回答问题质量分析结果的精确性。
附图说明
44.利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
45.图1为本发明的方法流程示意图。
46.图2为本发明的模块连接示意图。
具体实施方式
47.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.参照图1所示，本发明第一方面提供了一种可视化教育教学分析方法，该方法包括以下步骤：s1、聋哑学生手部动作和唇部动作采集：通过移动设备在聋哑学生各次回答问题时采集聋哑学生的手部动作视频和唇部动作视频。
49.s2、聋哑学生表达文本分析：基于采集的聋哑学生各次回答问题时的手部动作视频和唇部动作视频分别分析聋哑学生各次回答问题时对应的手语表达文本和唇语表达文本。
50.在本发明的具体实施例中，所述聋哑学生各次回答问题时对应的手语表达文本，其具体分析方法为：s211：从云数据库中提取各手语表达文本对应的手部动作视频，并将各手语表达文本对应的手部动作视频按照预设的视频帧数划分为各手部动作子图片，进而得到各手语表达文本对应的各手部动作子图片。
51.s212：根据各手语表达文本对应的各手部动作子图片提取手部轮廓，并获取各手语表达文本对应的各手部动作子图片所属手部轮廓的各关节点。
52.s213：将各手语表达文本对应的各手部动作子图片所属手部轮廓的各关节点相连接的手部轮廓线条进行连接，进而得到各手语表达文本对应的各手部动作子图片所属手部轮廓的各关节点的弯曲角度，并将其标记为tq
pjx
，其中p＝1,2,...,q，j表示为各手部动作子图片的编号，j＝1,2,...,k，x表示为各关节点的编号，x＝1,2,...,y。
53.s214：将采集的聋哑学生各次回答问题时的手部动作视频均匀划分为各段手部动作视频，并按照设定的视频帧数将各段手部动作视频划分为各手部图片，并将其标记为各待分析图片，进而得到聋哑学生各次回答问题时各段手部动作视频所属各待分析图片。
54.s215：同理，获取聋哑学生各次回答问题时各段手部动作视频所属各待分析图片内手部轮廓的各关节点的弯曲角度，并将其标记为wq
iamx
，其中i表示为各次回答问题时的编号，i＝1,2,...,n，a表示为各段手部动作视频的编号，a＝1,2,...,b，m表示为各待分析图片的编号，m＝1,2,...,l。
55.s216：将聋哑学生各次回答问题时各段手部动作视频所属各待分析图片内手部轮廓的各关节点的弯曲角度与各手语表达文本对应的各手部动作子图片所属手部轮廓的各关节点的弯曲角度进行对比，进而分析聋哑学生各次回答问题时各段手部动作视频所属各待分析图片与各手语表达文本对应的各手部动作子图片的匹配度，其计算公式为：其中表示为聋哑学生第i次回答问题时第a段手部动作视频所属第m个待分析图片与第p个手语表达文本对应的第j个手部动作子图片的匹配度，y表示为关节点的数量。
56.s217：将聋哑学生各次回答问题时各段手部动作视频所属各待分析图片与各手语表达文本对应的各手部动作子图片的匹配度分别和预设的匹配度阈值进行对比，进而统计聋哑学生各次回答问题时各段手部动作视频所属目标图片的数量，并将其标记为sl
ia
。
57.需要说明的是，若聋哑学生某次回答问题时某段手部动作视频所属某待分析图片与某手语对应的某手部动作子图片的匹配度大于或等于聋哑学生回答问题时手部动作视频所属待分析图片与手语对应的手部子图片的匹配度阈值，则将聋哑学生该次回答问题时该段手部动作视频所属该待分析图片标记为目标图片。
58.s218：统计各手语表达文本对应的手部动作子图片的总数量，并结合聋哑学生各次回答问题时各段手部动作视频所属目标图片的数量、聋哑学生各次回答问题时各段手部动作视频所属各待分析图片与各手语表达文本对应的各手部动作子图片的匹配度分析聋哑学生各次回答问题时各段手部动作视频与各手语表达文本的匹配系数，其计算公式为：其中表示为聋哑学生第i次回答问题时第a段手部动作视频与第p个手语表达文本的匹配系数，ss
p
表示为第p个手语表达文本对应的手部动作子图片的总数量,ad表示为预设的匹配度阈值，k表示为手部动作子图片的数量，l表示为待分析图片的数量。
59.s219：基于聋哑学生各次回答问题时各段手部动作视频与各手语表达文本的匹配系数，筛选聋哑学生各次回答问题时各段手部动作视频对应最大匹配系数的手语表达文本，并将其作为聋哑学生各次回答问题时各段手部动作视频的手语表达文本。
60.s2110：将聋哑学生各次回答问题时各段手部动作视频的手语表达文本进行拼接，进而得到聋哑学生各次回答问题时对应的手语表达文本。
61.本发明对聋哑学生的手语表达文本进行分析时，对聋哑学生手部关节点的弯曲角度进行分析，进而避免出现因聋哑学生手部大小、形状和胖瘦不一致而导致聋哑学生手语表达文本分析不精确的现象，从而提高了聋哑学生手语表达文本分析结果的准确性，克服了现有技术中对聋哑学生手语表达文本分析针对性不强的难题，从而为聋哑学生手语表达文本分析结果的后续分析奠定了坚实的基础，提高了聋哑学生回答问题质量分析结果的精确性。
62.在本发明的具体实施例中，所述聋哑学生各次回答问题时对应的唇语表达文本，其具体分析方法为：s221：从云数据库中提取各唇语表达文本对应的唇部动作视频，并将各唇语表达文本对应的唇部动作视频按照预设的视频帧数划分为各唇部动作子图片，进而得到各唇语表达文本对应的各唇部动作子图片。
63.s222：从各唇语表达文本对应的各唇部动作子图片中提取唇部轮廓。
64.s223：将采集的聋哑学生各次回答问题时的唇部动作视频均匀划分为各段唇部动作视频，并按照设定的视频帧数将各段唇部动作视频划分为各唇部动作图片，并将其标记为各待解析图片，进而得到聋哑学生各次回答问题时各段唇部动作视频所属各待解析图片。
65.s224：将聋哑学生各次回答问题时各段唇部动作视频所属各待解析图片内的唇部轮廓进行等比例处理。
66.需要说明的是，将聋哑学生各次回答问题时各段唇部动作视频所属各待解析图片内的唇部轮廓进行等比例处理的具体方法为：从聋哑学生各次回答问题时各段唇部动作视频所属各待解析图片中提取唇部轮廓，并将聋哑学生各次回答问题时各段唇部动作视频所属各待解析图片内的唇部轮廓与各唇语对应的各唇部动作子图片内的唇部轮廓进行对比，若聋哑学生某次回答问题时某段唇部动作视频所属某待解析图片内的唇部轮廓大于某唇
语对应的某唇部动作子图片内的唇部轮廓，则将聋哑学生该次回答问题时该段唇部动作视频所属该待解析图片内的唇部轮廓进行等比例缩小处理，若聋哑学生某次回答问题时某段唇部动作视频所属某待解析图片内的唇部轮廓小于某唇语对应的某唇部动作子图片内的唇部轮廓，则将聋哑学生该次回答问题时该段唇部动作视频所属该待解析图片内的唇部轮廓进行等比例放大处理。
67.s225：将进行等比例处理后的聋哑学生各次回答问题时各段唇部动作视频所属各待解析图片内的唇部轮廓与各唇语表达文本对应的各唇部动作子图片内的唇部轮廓进行重合对比。
68.s226：获取等比例处理后的聋哑学生各次回答问题时各段唇部动作视频所属各待解析图片内的唇部轮廓与各唇语表达文本对应的各唇部动作子图片内的唇部轮廓的重合面积，并将其标记为其中a表示为各段唇部动作视频的编号，a＝1,2,...,b，m表示为各待解析图片的编号,m＝1,2,...,l，u表示为各唇语表达文本的编号,u＝1,2,...,r，j表示为各唇部动作子图片的编号,j＝1,2,...,k。
69.获取等比例处理后的聋哑学生各次回答问题时各段唇部动作视频所属各待解析图片内的唇部轮廓面积，并将其标记为mj
uj
。
70.从而据此分析聋哑学生各次回答问题时各段唇部动作视频与各唇语表达文本的匹配系数，其计算公式为：其中表示为聋哑学生第i次回答问题时第a段唇部动作视频与第u个唇语表达文本的匹配系数，l、k分别表示为待解析图片的数量、唇部动作子图片的数量。
71.s227：基于聋哑学生各次回答问题时各段唇部动作视频与各唇语表达文本的匹配系数，筛选聋哑学生各次回答问题时各段唇部动作视频对应最大匹配系数的唇语表达文本，并将其作为聋哑学生各次回答问题时各段唇部动作视频的唇语表达文本。
72.s228：将聋哑学生各次回答问题时各段唇部动作视频的唇语表达文本进行拼接，进而得到聋哑学生各次回答问题时对应的唇语表达文本。
73.本发明的聋哑学生回答问题的质量分析，不仅对聋哑学生的手语进行分析，而且对聋哑学生的唇语进行分析，弥补了现有技术中心分析维度单一的缺陷，本发明通过分析聋哑学生的手语和唇语，进而分析聋哑学生手语和唇语的相似度，此方法可以有效避免存在聋哑学生的手语不精确或唇语不精确的现象，进而降低了将聋哑学生的单一手语或单一唇语作为聋哑学生的表述语言的出错率，提高了聋哑学生回答问题质量分析的可靠性，综上所述，本发明可以为聋哑学生回答问题的质量分析提供强有力的数据支持。
74.s3、聋哑学生表达文本匹配度分析：基于聋哑学生各次回答问题时对应的手语表达文本和唇语表达文本分析聋哑学生各次回答问题时手语表达文本与唇语表达文本的匹配度，进而分析聋哑学生各次回答问题时对应的标准表达语言。
75.在本发明的具体实施例中，所述聋哑学生各次回答问题时手语表达文本与唇语表达文本的匹配度，其具体分析方法为：s311：根据聋哑学生各次回答问题时的手语表达文本和唇语表达文本构建聋哑学生各次回答问题时对应的手语表达文本关键字集合和唇语表达文本关键字集合，并将其分别标记为ei、fi。
76.s312：将聋哑学生各次回答问题时对应的手语表达文本关键字集合和唇语表达文本关键字集合进行匹配对比，并据此分析聋哑学生各次回答问题时手语表达文本与唇语表达文本的匹配度，其计算公式为：其中表示为聋哑学生第i次回答问题时手语表达文本与唇语表达文本的匹配度。
77.在本发明的具体实施例中，所述分析聋哑学生各次回答问题时对应的标准表达语言，其具体分析方法为：所述分析聋哑学生各次回答问题时对应的标准表达语言，其具体分析方法为：s321：将聋哑学生各次回答问题时手语表达文本与唇语表达文本的匹配度和预设的聋哑学生回答问题时手语表达文本与唇语表达文本的匹配度阈值进行对比，若聋哑学生某次回答问题时手语表达文本与唇语表达文本的匹配度大于或等于聋哑学生回答问题时手语表达文本与唇语表达文本的匹配度阈值，则将聋哑学生该次回答问题时的手语表达文本作为聋哑学生该次回答问题时对应的标准表达语言。
78.s322：若聋哑学生某次回答问题时手语表达文本与唇语表达文本的匹配度小于聋哑学生回答问题时手语表达文本与唇语表达文本的匹配度阈值，则进行以下分析：获取聋哑学生该次回答问题时各段手部动作视频与各手语表达文本的匹配系数、各段唇部动作视频与各唇语表达文本的匹配系数，并据此分析聋哑学生该次回答问题时手部动作视频与手语表达文本的平均匹配系数、唇部动作视频与唇语表达文本的平均匹配系数，从而得到聋哑学生该次回答问题时对应的标准表达语言。
79.需要说明的是，聋哑学生该次回答问题时手部动作视频与手语表达文本的平均匹配系数的具体计算公式为：其中pj表示为聋哑学生该次回答问题时手部动作视频与手语表达文本的平均匹配系数，表示为聋哑学生该次回答问题时第a段手部动作视频与第p个手语表达文本的匹配系数，b、q分别表示为手部动作视频的数量、手语表达文本的数量。
80.需要说明的是，聋哑学生该次回答问题时唇部动作视频与唇语表达文本的平均匹配系数的具体计算公式为：其中pa表示为聋哑学生该次回答问题时唇部动作视频与唇语表达文本的平均匹配系数，表示为聋哑学生该次回答问题时第a段手部动作视频与第r个手语表达文本的匹配系数，b、r分别表示为唇部动作视频的数量、唇语表达文本的数量。
81.需要说明的是，聋哑学生该次回答问题时对应的标准表达语言具体分析方法为：将聋哑学生该次回答问题时手部动作视频与手语表达文本的平均匹配系数和唇部动作视频与唇语表达文本的平均匹配系数尽进行对比，若聋哑学生该次回答问题时手部动作视频与手语表达文本的平均匹配系数大于或等于唇部动作视频与唇语表达文本的平均匹配系数，则将聋哑学生该次回答问题时的手语表达文本作为聋哑学生该次回答问题时对应的标准表达语言，反之，则将聋哑学生该次回答问题时的唇语表达文本作为聋哑学生该次回答问题时对应的标准表达语言。
82.s323：获取聋哑学生各次回答问题时对应的标准表达语言。
83.s4、聋哑学生回答问题质量分析：根据聋哑学生各次回答问题时对应的标准表达语言与标准答案评估聋哑学生各次回答问题时对应的质量系数。
84.在本发明的具体实施例中，所述聋哑学生各次回答问题时对应的质量系数的具体分析方法为：根据聋哑学生各次回答问题时对应的标准表达语言和云数据库中存储的各次回答问题时的标准答案构建聋哑学生各次回答问题时对应的标准表达语言关键字集合和各次回答问题时的标准答案关键字集合，并将其分别标记为qai、dai,进而分析聋哑学生各次回答问题时对应的质量系数，其计算公式为：其中zli表示为聋哑学生第i次回答问题时对应的质量系数。
85.参照图2所示，本发明第二方面提供了一种可视化教育教学分析系统，包括：聋哑学生手部动作和唇部动作采集模块：通过移动设备在聋哑学生各次回答问题时采集聋哑学生的手部动作视频和唇部动作视频。
86.聋哑学生表达文本分析模块：基于采集的聋哑学生各次回答问题时的手部动作视频和唇部动作视频分别分析聋哑学生各次回答问题时对应的手语表达文本和唇语表达文本。
87.聋哑学生表达文本匹配度分析模块：基于聋哑学生各次回答问题时对应的手语表达文本和唇语表达文本分析聋哑学生各次回答问题时手语表达文本与唇语表达文本的匹配度，进而分析聋哑学生各次回答问题时对应的标准表达语言。
88.聋哑学生回答问题质量分析模块：根据聋哑学生各次回答问题时对应的标准表达语言与标准答案评估聋哑学生各次回答问题时对应的质量系数。
89.云数据库：存储各手语表达文本对应的手部动作视频，存储各唇语表达文本对应的唇部动作视频，并存储各次回答问题时的标准答案。
90.所述聋哑学生手部动作和唇部动作采集模块与聋哑学生表达文本分析模块连接，聋哑学生表达文本分析模块与聋哑学生表达文本匹配度分析模块连接，聋哑学生表达文本匹配度分析模块与聋哑学生回答问题质量分析模块连接，云数据库分别与聋哑学生表达文本分析模块和聋哑学生回答问题质量分析模块连接。
91.本发明第三方面提供了一种可视化教育教学分析存储介质，所述存储介质烧录有计算机程序，所述计算机程序在服务器的内存中运行时实现本发明所述的可视化教育教学分析方法。
92.以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

技术特征：
1.一种可视化教育教学分析方法，其特征在于，该方法包括以下步骤：s1、聋哑学生手部动作和唇部动作采集：通过移动设备在聋哑学生各次回答问题时采集聋哑学生的手部动作视频和唇部动作视频；s2、聋哑学生表达文本分析：基于采集的聋哑学生各次回答问题时的手部动作视频和唇部动作视频分别分析聋哑学生各次回答问题时对应的手语表达文本和唇语表达文本；s3、聋哑学生表达文本匹配度分析：基于聋哑学生各次回答问题时对应的手语表达文本和唇语表达文本分析聋哑学生各次回答问题时手语表达文本与唇语表达文本的匹配度，进而分析聋哑学生各次回答问题时对应的标准表达语言；s4、聋哑学生回答问题质量分析：根据聋哑学生各次回答问题时对应的标准表达语言与标准答案评估聋哑学生各次回答问题时对应的质量系数。2.根据权利要求1所述的一种可视化教育教学分析方法，其特征在于：所述聋哑学生各次回答问题时对应的手语表达文本，其具体分析方法为：s211：从云数据库中提取各手语表达文本对应的手部动作视频，并将各手语表达文本对应的手部动作视频按照预设的视频帧数划分为各手部动作子图片，进而得到各手语表达文本对应的各手部动作子图片；s212：根据各手语表达文本对应的各手部动作子图片提取手部轮廓，并获取各手语表达文本对应的各手部动作子图片所属手部轮廓的各关节点；s213：将各手语表达文本对应的各手部动作子图片所属手部轮廓的各关节点相连接的手部轮廓线条进行连接，进而得到各手语表达文本对应的各手部动作子图片所属手部轮廓的各关节点的弯曲角度，并将其标记为tq
pjx
，其中p＝1,2,...,q，j表示为各手部动作子图片的编号，j＝1,2,...,k，x表示为各关节点的编号，x＝1,2,...,y；s214：将采集的聋哑学生各次回答问题时的手部动作视频均匀划分为各段手部动作视频，并按照设定的视频帧数将各段手部动作视频划分为各手部图片，并将其标记为各待分析图片，进而得到聋哑学生各次回答问题时各段手部动作视频所属各待分析图片；s215：同理，获取聋哑学生各次回答问题时各段手部动作视频所属各待分析图片内手部轮廓的各关节点的弯曲角度，并将其标记为wq
iamx
，其中i表示为各次回答问题时的编号，i＝1,2,...,n，a表示为各段手部动作视频的编号，a＝1,2,...,b，m表示为各待分析图片的编号，m＝1,2,...,l；s216：将聋哑学生各次回答问题时各段手部动作视频所属各待分析图片内手部轮廓的各关节点的弯曲角度与各手语表达文本对应的各手部动作子图片所属手部轮廓的各关节点的弯曲角度进行对比，进而分析聋哑学生各次回答问题时各段手部动作视频所属各待分析图片与各手语表达文本对应的各手部动作子图片的匹配度，其计算公式为：其中表示为聋哑学生第i次回答问题时第a段手部动作视频所属第m个待分析图片与第p个手语表达文本对应的第j个手部动作子图片的匹配度，y表示为关节点的数量；s217：将聋哑学生各次回答问题时各段手部动作视频所属各待分析图片与各手语表达文本对应的各手部动作子图片的匹配度分别和预设的匹配度阈值进行对比，进而统计聋哑
学生各次回答问题时各段手部动作视频所属目标图片的数量，并将其标记为sl
ia
；s218：统计各手语表达文本对应的手部动作子图片的总数量，并结合聋哑学生各次回答问题时各段手部动作视频所属目标图片的数量、聋哑学生各次回答问题时各段手部动作视频所属各待分析图片与各手语表达文本对应的各手部动作子图片的匹配度分析聋哑学生各次回答问题时各段手部动作视频与各手语表达文本的匹配系数，其计算公式为：其中表示为聋哑学生第i次回答问题时第a段手部动作视频与第p个手语表达文本的匹配系数，ss
p
表示为第p个手语表达文本对应的手部动作子图片的总数量,ad表示为预设的匹配度阈值，k表示为手部动作子图片的数量，l表示为待分析图片的数量；s219：基于聋哑学生各次回答问题时各段手部动作视频与各手语表达文本的匹配系数，筛选聋哑学生各次回答问题时各段手部动作视频对应最大匹配系数的手语表达文本，并将其作为聋哑学生各次回答问题时各段手部动作视频的手语表达文本；s2110：将聋哑学生各次回答问题时各段手部动作视频的手语表达文本进行拼接，进而得到聋哑学生各次回答问题时对应的手语表达文本。3.根据权利要求1所述的一种可视化教育教学分析方法，其特征在于：所述聋哑学生各次回答问题时对应的唇语表达文本，其具体分析方法为：s221：从云数据库中提取各唇语表达文本对应的唇部动作视频，并将各唇语表达文本对应的唇部动作视频按照预设的视频帧数划分为各唇部动作子图片，进而得到各唇语表达文本对应的各唇部动作子图片；s222：从各唇语表达文本对应的各唇部动作子图片中提取唇部轮廓；s223：将采集的聋哑学生各次回答问题时的唇部动作视频均匀划分为各段唇部动作视频，并按照设定的视频帧数将各段唇部动作视频划分为各唇部动作图片，并将其标记为各待解析图片，进而得到聋哑学生各次回答问题时各段唇部动作视频所属各待解析图片；s224：将聋哑学生各次回答问题时各段唇部动作视频所属各待解析图片内的唇部轮廓进行等比例处理；s225：将进行等比例处理后的聋哑学生各次回答问题时各段唇部动作视频所属各待解析图片内的唇部轮廓与各唇语表达文本对应的各唇部动作子图片内的唇部轮廓进行重合对比；s226：获取等比例处理后的聋哑学生各次回答问题时各段唇部动作视频所属各待解析图片内的唇部轮廓与各唇语表达文本对应的各唇部动作子图片内的唇部轮廓的重合面积，并将其标记为其中a表示为各段唇部动作视频的编号，a＝1,2,...,b，m表示为各待解析图片的编号,m＝1,2,...,l，u表示为各唇语表达文本的编号,u＝1,2,...,r，j表示为各唇部动作子图片的编号,j＝1,2,...,k；获取等比例处理后的聋哑学生各次回答问题时各段唇部动作视频所属各待解析图片
内的唇部轮廓面积，并将其标记为mj
uj
；从而据此分析聋哑学生各次回答问题时各段唇部动作视频与各唇语表达文本的匹配系数，其计算公式为：其中表示为聋哑学生第i次回答问题时第a段唇部动作视频与第u个唇语表达文本的匹配系数，l、k分别表示为待解析图片的数量、唇部动作子图片的数量；s227：基于聋哑学生各次回答问题时各段唇部动作视频与各唇语表达文本的匹配系数，筛选聋哑学生各次回答问题时各段唇部动作视频对应最大匹配系数的唇语表达文本，并将其作为聋哑学生各次回答问题时各段唇部动作视频的唇语表达文本；s228：将聋哑学生各次回答问题时各段唇部动作视频的唇语表达文本进行拼接，进而得到聋哑学生各次回答问题时对应的唇语表达文本。4.根据权利要求1所述的一种可视化教育教学分析方法，其特征在于：所述聋哑学生各次回答问题时手语表达文本与唇语表达文本的匹配度，其具体分析方法为：s311：根据聋哑学生各次回答问题时的手语表达文本和唇语表达文本构建聋哑学生各次回答问题时对应的手语表达文本关键字集合和唇语表达文本关键字集合，并将其分别标记为e
i
、f
i
；s312：将聋哑学生各次回答问题时对应的手语表达文本关键字集合和唇语表达文本关键字集合进行匹配对比，并据此分析聋哑学生各次回答问题时手语表达文本与唇语表达文本的匹配度，其计算公式为：其中表示为聋哑学生第i次回答问题时手语表达文本与唇语表达文本的匹配度。5.根据权利要求1所述的一种可视化教育教学分析方法，其特征在于：所述分析聋哑学生各次回答问题时对应的标准表达语言，其具体分析方法为：s321：将聋哑学生各次回答问题时手语表达文本与唇语表达文本的匹配度和预设的聋哑学生回答问题时手语表达文本与唇语表达文本的匹配度阈值进行对比，若聋哑学生某次回答问题时手语表达文本与唇语表达文本的匹配度大于或等于聋哑学生回答问题时手语表达文本与唇语表达文本的匹配度阈值，则将聋哑学生该次回答问题时的手语表达文本作为聋哑学生该次回答问题时对应的标准表达语言；s322：若聋哑学生某次回答问题时手语表达文本与唇语表达文本的匹配度小于聋哑学生回答问题时手语表达文本与唇语表达文本的匹配度阈值，则进行以下分析：获取聋哑学生该次回答问题时各段手部动作视频与各手语表达文本的匹配系数、各段唇部动作视频与各唇语表达文本的匹配系数，并据此分析聋哑学生该次回答问题时手部动作视频与手语表达文本的平均匹配系数、唇部动作视频与唇语表达文本的平均匹配系数，从而得到聋哑学生该次回答问题时对应的标准表达语言；s323：获取聋哑学生各次回答问题时对应的标准表达语言。6.根据权利要求1所述的一种可视化教育教学分析方法，其特征在于：所述聋哑学生各次回答问题时对应的质量系数的具体分析方法为：根据聋哑学生各次回答问题时对应的标
准表达语言和云数据库中存储的各次回答问题时的标准答案构建聋哑学生各次回答问题时对应的标准表达语言关键字集合和各次回答问题时的标准答案关键字集合，并将其分别标记为qa
i
、da
i
,进而分析聋哑学生各次回答问题时对应的质量系数，其计算公式为：其中zl
i
表示为聋哑学生第i次回答问题时对应的质量系数。7.一种可视化教育教学分析系统，其特征在于：包括：聋哑学生手部动作和唇部动作采集模块：通过移动设备在聋哑学生各次回答问题时采集聋哑学生的手部动作视频和唇部动作视频；聋哑学生表达文本分析模块：基于采集的聋哑学生各次回答问题时的手部动作视频和唇部动作视频分别分析聋哑学生各次回答问题时对应的手语表达文本和唇语表达文本；聋哑学生表达文本匹配度分析模块：基于聋哑学生各次回答问题时对应的手语表达文本和唇语表达文本分析聋哑学生各次回答问题时手语表达文本与唇语表达文本的匹配度，进而分析聋哑学生各次回答问题时对应的标准表达语言；聋哑学生回答问题质量分析模块：根据聋哑学生各次回答问题时对应的标准表达语言与标准答案评估聋哑学生各次回答问题时对应的质量系数；云数据库：存储各手语表达文本对应的手部动作视频，存储各唇语表达文本对应的唇部动作视频，并存储各次回答问题时的标准答案。8.一种可视化教育教学分析存储介质，其特征在于：所述存储介质烧录有计算机程序，所述计算机程序在服务器的内存中运行时实现上述权利要求1-6任一项所述的可视化教育教学分析方法。

技术总结
本发明涉及可视化教育教学技术领域，具体公开，一种可视化教育教学分析方法、系统及存储介质，该方法包括：聋哑学生手部动作和唇部动作采集、聋哑学生表达文本分析、聋哑学生表达文本匹配度分析和聋哑学生回答问题质量分析，本发明不仅对聋哑学生的手语表达文本进行分析，而且对聋哑学生的唇语表达文本进行分析，弥补了现有技术中心分析维度单一的缺陷，可以为聋哑学生回答问题的质量分析提供强有力的数据支持，本发明对聋哑学生手部关节点的弯曲角度进行分析，从而提高了聋哑学生手语表达文本分析结果的准确性，克服了现有技术中对聋哑学生手语表达文本分析针对性不强的难题，提高了聋哑学生回答问题质量分析结果的精确性。性。性。


技术研发人员：陈全军
受保护的技术使用者：武汉行已学教育咨询有限公司
技术研发日：2022.10.29
技术公布日：2023/9/25