一种基于元宇宙的虚拟课堂显示方法及系统与流程

1.本技术属于元宇宙领域，涉及元宇宙教学系统技术，具体涉及一种基于元宇宙的虚拟课堂显示方法及系统。


背景技术：

2.远程网课成为一种重要的教学手段。在基于元宇宙的教学应用中，虽然目前现有技术中提供的教学互动系统相比传统采用二维平面直播形式的网课授课方式提高了网课的互动性，但课堂质量依然是一个突出问题。例如：基于元宇宙生成的网课虚拟环境中综合了大量的师生信息，一旦学生人数过多时，学生信息统一显示容易产生密密麻麻的观看效果，这不利于老师监督学生的学习过程，而且老师本身能关注到的范围较局限，这对于老师而言，无法及时观察到学生的行为。


技术实现要素：

3.为了克服现有技术存在的缺陷与不足，本技术的第一目的在于提出了一种基于元宇宙的虚拟课堂显示方法，该方法一方面通过结合人工智能与元宇宙技术为老师提供更便捷的观察方式以利于监督学生状态，降低老师管理课堂的难度，另一方面通过搭建互动场景以辅助老师在虚拟环境下建立讨论区域或互动学习区以同步学习，从而提升上课质量和学员参与度。
4.本技术的第二目的在于提出了一种基于元宇宙的虚拟课堂显示系统。
5.为了达到上述第一目的，本技术采用以下技术方案：一种基于元宇宙的虚拟课堂显示方法，包括以下步骤：场景收集步骤：获取第一场景信息和第二场景信息，其中所述第一场景信息为通过至少一个主端设备进行采集视频信息整合得到，所述第二场景信息为通过多个从端设备进行采集视频信息整合得到，每个主端设备用于拍摄其对应的第一目标对象，每个从端设备用于拍摄其对应的第二目标对象；信息提取步骤：对所述第一场景信息进行提取得到至少一个所述第一目标对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息，对所述第二场景信息进行提取得到多个所述第二目标对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息；第一虚拟场景搭建步骤：生成元宇宙环境，结合所述第一目标对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息在所述元宇宙环境中模拟对应的物理环境以形成第一模拟区域，结合多个所述第二目标对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息在所述元宇宙环境中模拟对应的物理环境以形成第二模拟区域，在所述元宇宙环境中整合所述第一模拟区域和所述第二模拟区域以生成第一虚拟场景；第一虚拟显示步骤：将所述第一虚拟场景传输至所述至少一个主端设备进行显
示，同时将所述第一模拟区域传输至所述多个从端设备进行显示。
6.作为优选的技术方案，还包括：第一目标聚焦步骤：确定聚焦对象、放大倍数和重要度标识，其中所述放大倍数和所述重要度标识均为通过所述至少一个主端设备中选取，所述聚焦对象为从所述第一虚拟场景中选中的第二目标对象，所述重要度标识包括第一重要度标识值和第二重要度标识值；根据所述放大倍数对该选中的第二目标对象的头部信息、上半身信息、上半身接触物信息进行聚焦放大形成第三模拟区域；将所述第三模拟区域和重要度标识发送指定主端设备并显示；当所述重要度标识为所述第一重要度标识值时，所述指定主端设备进行立即显示；当所述重要度标识为所述第二重要度标识值时，所述指定主端设备根据显示触发条件进行响应显示，若不符合所述显示触发条件则所述指定主端设备将所述第三模拟区域进行缓存，其中所述显示触发条件为所述指定主端设备获取的下课标识是否为真。
7.作为优选的技术方案，还包括目标识别步骤和提示关注步骤；所述目标识别步骤，具体包括：分别将多个所述第二目标对象所对应的视频信息按预设频率进行抽取，进而得到每个第二目标对象所对应的待识别图片组；分别将所述待识别图片组输入到三阶行为识别模型中得到行为组，其中行为组的类别包括头部方向、眼睛焦点方向和手部动作；根据所述行为组计算每个第二目标对象所对应的关注度分值；当所述关注度分值超过预设关注度阈值时，判定该第二目标对象为关注目标，生成提示标识并在所有的主端设备中显示；在所述三阶行为识别模型中，包括头部方向识别模型、眼睛焦点方向识别模型以及手部动作识别模型，所述头部方向识别模型、所述眼睛焦点方向识别模型以及所述手部动作识别模型均分别为使用多组数据通过机器学习训练得出；在所述头部方向识别模型中，多组数据中的每组数据包括待识别图片和对应头部方向的第一标识信息；在所述眼睛焦点方向识别模型中，多组数据中的每组数据包括待识别图片和对应头部方向的第二标识信息；在所述手部动作识别模型中，多组数据中的每组数据包括待识别图片和对应手部动作的第三标识信息；所述提示关注步骤，具体包括：在主端设备中触发所述提示标识的响应，并将所述关注目标作为聚焦对象以执行所述第一目标聚焦步骤。
8.作为优选的技术方案，在根据所述行为组计算每个第二目标对象所对应的关注度分值中，具体包括：根据所述行为组的类别分别设置所述第一标识信息、所述第二标识信息以及所述第三标识信息所对应的分值；在预设时间段内统计每个第二目标对象的累加分值得到所述关注度分值。
9.作为优选的技术方案，还包括：第二目标聚焦步骤：获取第一聚焦点和第一放大值；以所述第一聚焦点为中心，确定第一预设区域；根据所述第一预设区域从多个所述第二目标对象中筛选得到待聚焦对象群；
重复筛选直至确定所述待聚焦对象群；基于所述第一放大值对所述待聚焦对象群进行聚焦放大形成第四模拟区域；指定至少一个主端设备进行显示所述第四模拟区域；获取第二聚焦点和第二放大值；以所述第二聚焦点在所述待聚焦对象群中确定聚焦对象；基于所述第二放大值对所述聚焦对象进行聚焦放大形成第五模拟区域；指定至少一个主端设备进行显示所述第五模拟区域。
10.作为优选的技术方案，还包括第二虚拟场景搭建步骤和第二虚拟显示步骤；所述第二虚拟场景搭建步骤，具体包括：确定至少一个第一参与对象的标识符号，所述第一参与对象的标识符号与从端设备相对应；结合所有第一参与对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息在所述元宇宙环境中模拟对应的物理环境以形成第六模拟区域，在所述元宇宙环境中整合所述第一模拟区域和所述第六模拟区域以生成第二虚拟场景；所述第二虚拟显示步骤，具体包括：将所述第二虚拟场景传输至所有的主端设备和所有的从端设备进行显示。
11.作为优选的技术方案，在所述第二虚拟场景搭建步骤中，还包括：确定至少一个第二参与对象的标识符号，所述第二参与对象的标识符号与主端设备相对应；结合所有第二参与对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息在所述元宇宙环境中模拟对应的物理环境以形成第七模拟区域，在所述元宇宙环境中设置新区域，所述新区域与所述第二虚拟场景无重叠显示位置，将所述第七模拟区域在所述新区域中显示，以更新所述第二虚拟场景。
12.作为优选的技术方案，还包括：传输暂停步骤：获取暂停指令，所述暂停指令通过所述至少一个主端设备生成得到；从所述暂停指令中确定暂停目标标识表和暂停时间值，所述暂停目标标识表包含至少一个暂停目标标识，所述暂停目标标识用于匹配对应的第二目标对象；根据所述至少一个暂停目标标识找出对应的第二目标对象，根据所述暂停时间值对该第二目标对象所对应的从端设备进行暂停虚拟显示。
13.为了达到上述第二目的，本技术采用以下技术方案：一种基于元宇宙的虚拟课堂显示系统，包括：至少一个主端设备、多个从端设备以及服务器，每个主端设备、每个从端设备分别与所述服务器通过电气方式和/或无线网络方式连接，每个主端设备包括第一课堂数据收集模块、第一数据采集模块、第一视觉呈现模块、第一听觉呈现模块以及第一通信模块，每个从端设备包括第二课堂数据收集模块、第二数据采集模块、第二视觉呈现模块、第二听觉呈现模块以及第二通信模块，所述服务器包括第三通信模块、物理环境模拟模块、场景收集模块、信息提取模块、场景搭建模块、目标聚焦模块、目标识别提示模块以及传输暂停模块，其中所述第一通信模块、所述第二通信模块、所述第三通信模块分别在其设备内部与该设备内部各个模块之间通过电气方式连接，所述虚拟课堂显示系统应用上述任一所述的基于元宇宙的虚拟课堂显示方法；在所述服务器中，所述信息提取模块还分别与所述物理环境模拟模块、所述场景
收集模块、所述场景搭建模块连接，所述物理环境模拟模块还分别与所述目标聚焦模块、所述目标识别提示模块、所述传输暂停模块连接；所述第一通信模块用于其主端设备与所述服务器之间的数据传输，所述第二通信模块用于其从端设备与所述服务器之间的数据传输，所述第三通信模块用于所述服务器与所有主端设备、所有从端设备的数据传输；在每个主端设备中，所述第一课堂数据收集模块用于收集当前第一目标对象的班级基础信息，该班级基础信息用于主端设备与从端设备建立班级信息匹配，所述第一数据采集模块用于采集当前第一目标对象的视频信息以整合第一场景信息，所述第一视觉呈现模块用于显示第一虚拟场景、第二虚拟场景、第三模拟区域、第四模拟区域或第五模拟区域中的任一或任意多种组合，所述第一视觉呈现模块还用于响应提示标识；在每个从端设备中，所述第二课堂数据收集模块用于收集当前第二目标对象的班级基础信息，该班级基础信息用于主端设备与从端设备建立班级信息匹配，所述第二数据采集模块用于采集当前第二目标对象的视频信息以整合第二场景信息；所述第二视觉呈现模块用于显示第一虚拟场景或第二虚拟场景，用于响应暂停指令进行暂停显示；所述第一听觉呈现模块和所述第二听觉呈现模块均用于播放元宇宙环境的场景声音；在所述服务器中，所述物理环境模拟模块用于生成元宇宙环境，所述场景收集模块用于获取所述第一场景信息和所述第二场景信息，所述信息提取模块用于对所述第一场景信息进行提取得到第一提取信息，对所述第二场景信息进行提取得到第二提取信息，所述第一提取信息包括至少一个所述第一目标对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息，所述第二提取信息包括多个所述第二目标对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息；所述场景搭建模块用于根据所述第一提取信息、所述第二提取信息分别形成第一模拟区域、第二模拟区域，进而整合生成所述第一虚拟场景，根据第三提取信息形成第六模拟区域，进而整合生成所述第二虚拟场景；所述目标聚焦模块用于将聚焦对象根据放大倍数进行聚焦放大形成所述第三模拟区域、所述第四模拟区域或所述第五模拟区域；所述目标识别提示模块用于对第二目标对象进行目标识别得到每个第二目标对象所对应的关注度分值，并根据预设关注度阈值生成所述提示标识；所述传输暂停模块用于获取暂停指令。
14.本技术与现有技术相比，具有如下优点和有益效果：（1）通过识别头部方向、眼睛焦点方向和手部动作的信息得到每个学生的行为组，进而通过在预设时间段内统计后的关注度分值来判断学生的学习行为是否异常，达到一种智能化监督的效果，并及时提示老师观察课堂情况，避免老师将过多的注意力放在维护和管理课堂秩序上。
15.（2）帮助老师更容易观察学生状态以及时发现课堂意外状况，避免了学生端视频流界面密密麻麻挤在屏幕上因为过于分散影响老师监督时的专注度，并通过第一聚焦点定位放大区域，进而再通过第二聚焦点选中想要关注的学生，避免了在学生人数过多导致在
显示处于密密麻麻的情况下选中关注学生时产生的误触操作，使老师在使用时更容易选中想要关注的学生进行聚焦，利于老师及时监督想要关注的学生，降低了老师管理课堂的难度，从而提升课堂质量。
16.（3）通过搭建互动场景以辅助老师迅速在课堂中搭建提问场景或互动学习场景，及时为老师提供课堂互动方式，便于吸引学员注意力，及时提升课堂质量。
附图说明
17.图1为实施例1的一种基于元宇宙的虚拟课堂显示方法的流程示意图；图2为实施例2的第一目标聚焦步骤的具体流程示意图；图3为实施例3的智能识别提示的流程示意图；图4为实施例3的计算关注度分值的流程示意图；图5为实施例4的第二目标聚焦步骤的流程示意图；图6为实施例5的临时搭建场景的流程示意图；图7为实施例5的传输暂停步骤的流程示意图；图8为实施例6的一种基于元宇宙的虚拟课堂显示系统的框架示意图；图9 为实施例6的主端设备的框架示意图；图10 为实施例6的从端设备的框架示意图。
18.其中，2000、主端设备；2001、第一课堂数据收集模块；2002、第一数据采集模块；2003、第一视觉呈现模块；2004、第一听觉呈现模块；2005、第一通信模块；3000、从端设备；3001、第二课堂数据收集模块；3002、第二数据采集模块；3003、第二视觉呈现模块；3004、第二听觉呈现模块；3005、第二通信模块；4000、服务器；4001、第三通信模块；4002、物理环境模拟模块；4003、场景收集模块；4004、信息提取模块；4005、场景搭建模块；4006、目标聚焦模块；4007、目标识别提示模块；4008、传输暂停模块；4009、文件共享模块；4010、发音评测模块。
具体实施方式
19.在本公开的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在该词前面的元素或者物件涵盖出现在该词后面列举的元素或者物件及其等同，而不排除其他元素或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。
20.在本公开的描述中，需要说明的是，除非另有明确的规定和限定，否则术语“安装”、“相连”、“连接”应做广义理解。例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本公开中的具体含义。此外，下面所描述的本公开不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
21.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对
本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
实施例
22.如图1所示，本实施提供了一种基于元宇宙的虚拟课堂显示方法，该方法包括以下步骤：场景收集步骤s100：在服务器中接收并获取第一场景信息和第二场景信息，其中第一场景信息为通过至少一个主端设备进行采集视频信息整合得到，第二场景信息为通过多个从端设备进行采集视频信息整合得到，每个主端设备用于拍摄其对应的第一目标对象，每个从端设备用于拍摄其对应的第二目标对象；在本实施例中，服务器采用云服务器的方式并用于生成元宇宙环境，以将元宇宙环境的虚拟场景传输至主端设备、从端设备进行显示。其中主端设备为老师或助教使用，对应第一目标对象；从端设备为学生使用，对应第二目标对象。实际应用时，主端设备和从端设备均可采用带摄像单元和音频采集单元的电脑，或带有前置摄像头和麦克风的移动设备，以采集语音、图像等多媒体数据，进而获取第一场景信息和第二场景信息。此外本领域技术人员可根据实际情况选择具体硬件设备或更改服务器的具体部署方式，在此不做限定。
23.信息提取步骤s200：对第一场景信息进行提取得到至少一个第一目标对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息，对第二场景信息进行提取得到多个第二目标对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息；第一虚拟场景搭建步骤s300：生成元宇宙环境，结合第一目标对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息在元宇宙环境中模拟对应的物理环境以形成第一模拟区域，结合多个第二目标对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息在元宇宙环境中模拟对应的物理环境以形成第二模拟区域，在元宇宙环境中整合第一模拟区域和第二模拟区域以生成第一虚拟场景；在本实施中，第一场景信息包含了老师或助教的语音、图像等多媒体数据，第二场景信息包含了拍摄学生的语音、图像等多媒体数据。在服务器生成元宇宙环境以得到模拟教室场景时，需要提取相应成员的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息。其中模拟教室场景被划分为两部分区域，包括教师区域和学生区域，第一模拟区域用于覆盖教师区域，学生区域用于覆盖第二模拟区，从而整合生成得到第一虚拟场景。
24.第一虚拟显示步骤s400：将第一虚拟场景传输至至少一个主端设备进行显示，同时将第一模拟区域传输至多个从端设备进行显示。
实施例
25.如图2所示，本实施例在实施例1的基础上，基于元宇宙的虚拟课堂显示方法还包括：第一目标聚焦步骤s500：
步骤s501：确定聚焦对象、放大倍数和重要度标识，其中放大倍数为通过至少一个主端设备中选取，聚焦对象为从第一虚拟场景中选中的第二目标对象，重要度标识包括第一重要度标识值和第二重要度标识值；步骤s502：根据放大倍数对该选中的第二目标对象的头部信息、上半身信息、上半身接触物信息进行聚焦放大形成第三模拟区域；在本实施例中，选中的第二目标对象为通过在至少一个主端设备中进行选择操作获得。实际应用时，老师或者助教在其所操作的主端设备中选中想要聚焦放大的目标学生，通过选中该目标学生以确定聚焦对象，同时通过输入自定义的放大倍数或者选中预设放大倍数值以确定放大倍数，进而形成第三模拟区域。
26.步骤s503：将第三模拟区域和重要度标识发送指定主端设备并显示；在本实施例中，当重要度标识为第一重要度标识值时，指定主端设备进行立即显示；当重要度标识为第二重要度标识值时，指定主端设备根据显示触发条件进行响应显示，若不符合显示触发条件则指定主端设备将第三模拟区域进行缓存，其中显示触发条件为指定主端设备获取的下课标识是否为真。
27.在本实施例中，当老师或助教发现存在异常行为的学生并需要及时上报时，通过聚焦对象和放大倍数来聚焦该学生画面以得到第三模拟区域，同时设置重要度标识并让指定主端设备接收。其中的显示触发条件为判断是否处于下课状态，当指定主端设备获得第三模拟区域和重要度标识时，如果重要度标识是第一重要度标识值时进行立即显示；如果重要度标识是第二重要度标识值时，若指定主端设备的老师正在上课时，此时显示触发条件不成立，则不立即显示，并进行缓存；若指定主端设备的老师处于下课状态，则设置下课标识为真以符合显示触发条件，进而显示第三模拟区域。实际应用时，通过老师或助教的上报，结合指定主端设备的老师的下课状态，能够便于老师维护课堂秩序，对严重的异常行为及时察看，对轻微的异常行为暂缓察看，以保证在不影响老师上课的情况下，辅助监管学生学习过程。
实施例
28.如图3所示，本实施例在实施例2的基础上，增加了智能识别提示的步骤，以辅助老师或助教管理课堂。具体的，基于元宇宙的虚拟课堂显示方法还包括目标识别步骤s600和提示关注步骤s700；目标识别步骤s600，具体包括：步骤s601：分别将多个第二目标对象所对应的视频信息按预设频率进行抽取，进而得到每个第二目标对象所对应的待识别图片组；在本实施例中，通过预设频率抽取视频信息得到待识别图片组，可以避免大量需重复处理数据，如果一段时间内长期处于同一个状态，那么只需选择其中一刻进行识别处理即可，从而避免大量视频信息在图片数据读取或图片处理时存在的计算资源浪费。
29.步骤s602：分别将待识别图片组输入到三阶行为识别模型中得到行为组，其中行为组的类别包括头部方向、眼睛焦点方向和手部动作；在本实施例中，三阶行为识别模型包括头部方向识别模型、眼睛焦点方向识别模型以及手部动作识别模型，头部方向识别模型、眼睛焦点方向识别模型以及手部动作识别
模型均分别为使用多组数据通过机器学习训练得出；在头部方向识别模型中，多组数据中的每组数据包括待识别图片和对应头部方向的第一标识信息；实际应用时，头部方向识别模型可以采用卷积神经网络(convolutional neural network, cnn)、循环神经网络(recurrent neural network, rnn)、目标检测模型或注意力机制(attention mechanism)。采用cnn时，可以通过输入人脸图像，并通过一系列卷积、池化等操作来提取特征，最终输出头部朝向。采用rnn时，可以将不同角度的头部作为时间序列输入到rnn中，最后输出头部方向。采用目标检测模型时，将头部方向识别看做目标检测任务的一个子问题，具体可采用的目标检测模型包括yolo、faster r-cnn等。增加注意力机制时，利用注意力机制将模型聚焦于人脸区域，使得模型关注输入数据中的人脸区域，从而提高头部方向判断的识别准确率。
30.在眼睛焦点方向识别模型中，多组数据中的每组数据包括待识别图片和对应头部方向的第二标识信息；实际应用时，眼睛焦点方向识别模型可以采用卷积神经网络、循环神经网络或注意力机制等。其中，卷积神经网络可以用于提取眼部图像中的特征，循环神经网络用于将多帧眼部图像连续输入以获得更加稳定的预测结果，而注意力机制用于加强识别模型对眼部的关注和权重分配。
31.在手部动作识别模型中，多组数据中的每组数据包括待识别图片和对应手部动作的第三标识信息；实际应用时，手部动作识别模型采用卷积神经网络、循环神经网络、长短时记忆网络(lstm)等。例如，应用卷积神经网络时，提取手部图像或者深度图像中的特征，应用循环神经网络或长短时记忆网络时，进行处理时间序列数据，并根据输入数据中的连续手部图像进行分类。
32.步骤s603：根据行为组计算每个第二目标对象所对应的关注度分值；步骤s604：当关注度分值超过预设关注度阈值时，判定该第二目标对象为关注目标，生成提示标识并在所有的主端设备中显示；提示关注步骤s700，具体包括：步骤s701：在主端设备中触发提示标识的响应，并将关注目标作为聚焦对象以执行第一目标聚焦步骤s500。
33.如图4所示，在本实施例计算关注度分值的流程中，步骤s603：在根据行为组计算每个第二目标对象所对应的关注度分值中，具体包括：步骤s603a：根据行为组的类别分别设置第一标识信息、第二标识信息以及第三标识信息所对应的分值；在本实施例中，分别对头部方向、眼睛焦点方向以及手部动作的识别结果进行赋分。
34.步骤s603b：在预设时间段内统计每个第二目标对象的累加分值得到关注度分值。
35.在本实施例中，通过在预设时间段内统计每个第二目标对象的累加分值得到关注度分值，可以更加量化地评价学生的行为，以综合分析学生的上课行为表现，并根据预设关注度阈值来智能反馈给老师，从而及时将学生目前的学习状态反馈给老师，辅助老师分析学生学习情况。
36.此外，本实施例根据预设频率进行抽取处理，因而在预设时间段内对应有多个时刻点的分数，还可以通过分别统计每个学生的行为分数，进而可以获得整体学生在预设时
间段内的学习状态趋势，以给老师提供更准确的学生学习状态信息。需要说明的是，本实施例主要为了识别头部方向、眼睛焦点方向以及手部动作并进行结合处理得到行为组，此处对头部方向识别模型、眼睛焦点方向识别模型以及手部动作识别模型的网络结构不做具体限定，本领域技术人员可以根据实际情况选择不同的识别模型进行结合。
实施例
37.如图5所示，本实施例在实施例3的基础上，基于元宇宙的虚拟课堂显示方法还包括：第二目标聚焦步骤s800：步骤s801：获取第一聚焦点和第一放大值；步骤s802：以第一聚焦点为中心，确定第一预设区域；在本实施例中，当学生人数过多，界面密密麻麻，当老师想要选择某学生拉前聚焦查看时，容易因为选错目标而产生聚焦画面的误操作。本实施例通过确定第一预设区域使老师在选择某学生进行拉前聚焦查看时减少误操作，避免了当学生人数过多时显示画面密密麻麻导致老师在选中学生进行画面放大时容易选错学生。
38.在本实施例中，第一预设区域可以以第一聚焦点为中心向外扩散，并以预设外延距离，以形成圆形的第一预设区域；第一预设区域还可以以第一聚焦点为中心，分别向四周扩散，分别按上方外延距离、下方外延距离、左方外延距离和右方外延距离进行扩散，从而确定四周的边界点，以形成四方形的第一预设区域；第一预设区域还可以以第一聚焦点为中心，在第一聚焦点周围设置至少三个边界点，通过三个边界点依次相连，并使边界点相连所形成的区域覆盖第一聚焦点，从而形成无固定形状的第一预设区域。需要说明的是，本领域技术人员在实际应用时可以根据本技术的内容去设置相应形状的第一预设区域，在此本技术不对形状做限定。
39.步骤s803：根据第一预设区域从多个第二目标对象中筛选得到待聚焦对象群；步骤s804：重复执行步骤s步骤s801至步骤s803进行筛选直至确定待聚焦对象群；步骤s805：基于第一放大值对待聚焦对象群进行聚焦放大形成第四模拟区域；步骤s806：指定至少一个主端设备进行显示第四模拟区域；步骤s807：获取第二聚焦点和第二放大值；步骤s808：以第二聚焦点在待聚焦对象群中确定聚焦对象；步骤s809：基于第二放大值对聚焦对象进行聚焦放大形成第五模拟区域；步骤s810：指定至少一个主端设备进行显示第五模拟区域。
40.在本实施例中，通过设置待聚焦对象群，使得老师或助教可以任意增加或减少待聚焦对象群的学生，从而实现批量选择需聚焦放大的学生画面，并给指定主端设备的老师进行显示，方便多个老师和多个助教在多人教学时对学生在学习时的异常行为进行辅助上报管理。
实施例
41.现有基于元宇宙的网课系统仅能实现普通的课堂直播效果，当老师在上课过程中需要临时建立新的教学互动场景时，缺少相应的教学场景转换的显示功能，无法在教学过程中辅助老师进行讨论、学习小组等学习互动。
42.对此，如图6所示，本实施例在上述实施例1至4中任一基于元宇宙的虚拟课堂显示方法的基础上，还包括第二虚拟场景搭建步骤s900和第二虚拟显示步骤s1000，进而实现临时搭建场景；其中，第二虚拟场景搭建步骤s900，具体包括：步骤s901：确定至少一个第一参与对象的标识符号，第一参与对象的标识符号与从端设备相对应；步骤s902：结合所有第一参与对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息在元宇宙环境中模拟对应的物理环境以形成第六模拟区域，在元宇宙环境中整合第一模拟区域和第六模拟区域以生成第二虚拟场景；在本实施例中，第一参与对象为通过主端设备选择确定，第一参与对象具体为学生，当老师在上课时需要对一个或多个学生进行临时提问讨论环节或同时组织多个学习互动小组等临时互动环节时，需要通过拉取一个或多个学生以确定至少一个第一参与对象的标识符号，从而组成临时座位和课室小场景进行互动教学，通过实时推流到云端的服务器进而再传输给各个从端设备，以提供给其他老师、助教或学生观看，从而为老师在元宇宙环境上课时加入互动环节提供更大的操作便捷性。实际应用时，在步骤s902中，若需要按照座位表进行生成第二虚拟场景时，可将所有的第一参与对象的标识符号按照预设座位表的位置进行排列，进而形成第六模拟区域。
43.第二虚拟显示步骤s1000，具体包括：步骤s1001：将第二虚拟场景传输至所有的主端设备和所有的从端设备进行显示。
44.在第二虚拟场景搭建步骤s900中，还包括：步骤s903：确定至少一个第二参与对象的标识符号，第二参与对象的标识符号与主端设备相对应；步骤s904：结合所有第二参与对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息在元宇宙环境中模拟对应的物理环境以形成第七模拟区域，在元宇宙环境中设置新区域，新区域与第二虚拟场景无重叠显示位置，将第七模拟区域在新区域中显示，以更新第二虚拟场景。
45.在本实施例中，第二参与对象为通过主端设备选择是否加入来确定，第二参与对象具体为老师或助教，当老师或助教需要加入上述的临时提问讨论环节或同时组织多个学习互动小组时，以确定加入的老师群体为基础元素结合形成第七模拟区域，并在元宇宙环境中设置新区域，在该新区域中用新形成的第七模拟区域进行覆盖，从而更新第二虚拟场景。
46.如图7所示，在本实施中，基于元宇宙的虚拟课堂显示方法还包括：传输暂停步骤s1100：步骤s1101：获取暂停指令；其中，暂停指令通过至少一个主端设备生成得到，当老师或助教需要暂停上述的临时提问讨论环节或同时组织多个学习互动小组等临时互动环节时，通过在主端设备生成暂停指令并传输至服务器。
47.步骤s1102：从暂停指令中确定暂停目标标识表和暂停时间值，暂停目标标识表包含至少一个暂停目标标识，暂停目标标识用于匹配对应的第二目标对象；步骤s1103：根据至少一个暂停目标标识找出对应的第二目标对象，根据暂停时间
值对该第二目标对象所对应的从端设备进行暂停虚拟显示。
48.在本实施例中，服务器从暂停指令中提取出暂停目标标识表和暂停时间值，其中每个暂停目标标识均对应一个需要暂停教学直播画面的学生，根据暂停时间值确定暂停播放的时限，当暂停的时间超过该时限时，恢复学生观看限制，即受限的从端设备根据暂停时间值、暂停指令的接收时间与当前时间进行判断，若当前时间超过暂停指令的接收时间加上暂停时间值的时间总值，则视为超出暂停播放的时限，进而恢复显示教学直播画面，从而为老师或助教提供一个及时中断的操作以在教学意外状况发生时及时暂停。
实施例
49.结合图8至图10所示，本实施例提供了一种基于元宇宙的虚拟课堂显示系统，该系统包括：至少一个主端设备2000、多个从端设备3000以及服务器4000，每个主端设备2000、每个从端设备3000分别与服务器4000通过电气方式和/或无线网络方式连接，每个主端设备2000包括第一课堂数据收集模块2001、第一数据采集模块2002、第一视觉呈现模块2003、第一听觉呈现模块2004以及第一通信模块2005，每个从端设备3000包括第二课堂数据收集模块3001、第二数据采集模块3002、第二视觉呈现模块3003、第二听觉呈现模块3004以及第二通信模块3005，服务器4000包括第三通信模块4001、物理环境模拟模块4002、场景收集模块4003、信息提取模块4004、场景搭建模块4005、目标聚焦模块4006、目标识别提示模块4007、传输暂停模块4008、文件共享模块4009和发音评测模块4010，其中第一通信模块2005、第二通信模块3005、第三通信模块4001分别在其设备内部与该设备内部各个模块之间通过电气方式连接；在服务器4000中，信息提取模块4004还分别与物理环境模拟模块4002、场景收集模块4003、场景搭建模块4005连接，物理环境模拟模块4002还分别与目标聚焦模块4006、目标识别提示模块4007、传输暂停模块4008、文件共享模块4009以及发音评测模块4010连接；在本实施例中，该虚拟课堂显示系统应用上述实施例中任一的基于元宇宙的虚拟课堂显示方法；第一通信模块2005用于其主端设备2000与服务器4000之间的数据传输，第二通信模块3005用于其从端设备3000与服务器4000之间的数据传输，第三通信模块4001用于服务器4000与所有主端设备2000、所有从端设备3000的数据传输；结合图9所示，在每个主端设备2000中，第一课堂数据收集模块2001用于收集当前第一目标对象的班级基础信息，该班级基础信息用于主端设备2000与从端设备3000建立班级信息匹配，第一数据采集模块2002用于采集当前第一目标对象的视频信息以整合第一场景信息，第一视觉呈现模块2003用于显示第一虚拟场景、第二虚拟场景、第三模拟区域、第四模拟区域或第五模拟区域中的任一或任意多种组合，第一视觉呈现模块2003还用于响应提示标识；结合图10所示，在每个从端设备3000中，第二课堂数据收集模块3001用于收集当前第二目标对象的班级基础信息，该班级基础信息用于主端设备2000与从端设备3000建立班级信息匹配，第二数据采集模块3002用于采集当前第二目标对象的视频信息以整合第二场景信息；第二视觉呈现模块3003用于显示第一虚拟场景或第二虚拟场景，还用于响应暂停
指令进行暂停显示；第一听觉呈现模块2004和第二听觉呈现模块3004均用于播放元宇宙环境的场景声音。
50.在服务器4000中，物理环境模拟模块4002用于生成元宇宙环境，场景收集模块4003用于获取第一场景信息和第二场景信息，信息提取模块4004用于对第一场景信息进行提取得到第一提取信息，对第二场景信息进行提取得到第二提取信息，第一提取信息包括至少一个第一目标对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息，第二提取信息包括多个第二目标对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息；场景搭建模块4005用于根据第一提取信息、第二提取信息分别形成第一模拟区域、第二模拟区域，进而整合生成第一虚拟场景，根据第三提取信息形成第六模拟区域，进而整合生成第二虚拟场景；目标聚焦模块4006用于将聚焦对象根据放大倍数进行聚焦放大形成第三模拟区域、第四模拟区域或第五模拟区域；目标识别提示模块4007用于对第二目标对象进行目标识别得到每个第二目标对象所对应的关注度分值，并根据预设关注度阈值生成提示标识；传输暂停模块4008用于获取暂停指令；文件共享模块4009用于对文件进行接收和共享，其中文件为通过主端设备2000发送得到，文件与各参与元宇宙环境的从端设备3000进行共享。实际应用时，当老师或助教由于备课疏忽需要在上课过程中临时下发练习时，通过文件共享，使各参与的学生能够同步文件，为老师或助教辅助教学环节。
51.发音评测模块4010用于单独提取指定从端设备3000的语音信息，并接收指定主端设备2000的语音评分和语音信息，最后将该指定主端设备2000的语音评分和语音信息发送给指定至少一个的从端设备3000。实际应用时，当老师或助教在口语课上需要及时评价学生的口语发音时，通过由从端设备3000采集到的学生的语音信息进行单独提取，使老师或助教能够听到该学生的语音信息，通过接收该老师或助教的语音评分和语音信息，以使得学生能够及时知道自身发音是否准确，并基于老师或助教的语音信息来获取正确发音以及时纠正自身错误的发音，从而提高口语课的学习效果，提高课堂质量。
52.在本实施例中，在生成元宇宙环境时，在交互界面设计方面，使用unity等虚拟现实引擎进行开发，以提供逼真的虚拟场景和交互接口；在数据存储和管理方面，使用云计算技术将数据存储在云端，使用nosql数据库等技术进行管理和查询，以保证数据的安全性和可用性；在教学内容生产方面，使用3d建模软件制作虚拟物体和环境，并使用自然语言处理技术对课程知识进行结构化和分类。在数据传输和通信方面，采用http协议、websocket协议、webrtc协议等基于tcp/ip网络协议栈的技术进行数据传输和通信，保证数据传输的稳定性和速度，具有可靠性、高效性和安全性等特点。其中，http协议用于普通的文本和图片等静态资源的传输；websocket协议用于实现师生之间的实时交互和通信；webrtc协议则用于实现音视频通话和流媒体传输。其中，websocket协议用于师生之间的实时交互和通信，例如学生通过虚拟现实设备向教师提出问题，教师通过虚拟现实设备回答学生的问题，同时进行语音、图像等多媒体数据的传输。其中webrtc协议用于音视频通话和流媒体传输，例如教师通过虚拟现实设备向学生传授知识，学生通过虚拟现实设备观看教师的演示，同时进行白板共享、文件共享等功能。其中云计算技术用于托管教学内容、管理教育数据、实现虚拟化环境、部署应用程序等方面。例如，使用amazon s3存储视频文件和图片文件，使用
amazon ec2部署虚拟机和虚拟环境，使用amazon rds管理数据库和数据分析。
53.需要说明的是，在此不对元宇宙环境生成的具体方式进行限定，本领域技术人员可以根据实际情况生成该元宇宙环境以得到模拟教室场景。
54.上述实施例为本技术较佳的实施方式，但本技术的实施方式并不受上述实施例的限制，其他的任何未背离本技术的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本技术的保护范围之内。

技术特征：
1.一种基于元宇宙的虚拟课堂显示方法，其特征在于，包括以下步骤：场景收集步骤：获取第一场景信息和第二场景信息，其中所述第一场景信息为通过至少一个主端设备进行采集视频信息整合得到，所述第二场景信息为通过多个从端设备进行采集视频信息整合得到，每个主端设备用于拍摄其对应的第一目标对象，每个从端设备用于拍摄其对应的第二目标对象；信息提取步骤：对所述第一场景信息进行提取得到至少一个所述第一目标对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息，对所述第二场景信息进行提取得到多个所述第二目标对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息；第一虚拟场景搭建步骤：生成元宇宙环境，结合所述第一目标对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息在所述元宇宙环境中模拟对应的物理环境以形成第一模拟区域，结合多个所述第二目标对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息在所述元宇宙环境中模拟对应的物理环境以形成第二模拟区域，在所述元宇宙环境中整合所述第一模拟区域和所述第二模拟区域以生成第一虚拟场景；第一虚拟显示步骤：将所述第一虚拟场景传输至所述至少一个主端设备进行显示，同时将所述第一模拟区域传输至所述多个从端设备进行显示。2.根据权利要求1所述的基于元宇宙的虚拟课堂显示方法，其特征在于，还包括：第一目标聚焦步骤：确定聚焦对象、放大倍数和重要度标识，其中所述放大倍数和所述重要度标识均为通过所述至少一个主端设备中选取，所述聚焦对象为从所述第一虚拟场景中选中的第二目标对象，所述重要度标识包括第一重要度标识值和第二重要度标识值；根据所述放大倍数对该选中的第二目标对象的头部信息、上半身信息、上半身接触物信息进行聚焦放大形成第三模拟区域；将所述第三模拟区域和重要度标识发送指定主端设备并显示；当所述重要度标识为所述第一重要度标识值时，所述指定主端设备进行立即显示；当所述重要度标识为所述第二重要度标识值时，所述指定主端设备根据显示触发条件进行响应显示，若不符合所述显示触发条件则所述指定主端设备将所述第三模拟区域进行缓存，其中所述显示触发条件为所述指定主端设备获取的下课标识是否为真。3.根据权利要求2所述的基于元宇宙的虚拟课堂显示方法，其特征在于，还包括目标识别步骤和提示关注步骤；所述目标识别步骤，具体包括：分别将多个所述第二目标对象所对应的视频信息按预设频率进行抽取，进而得到每个第二目标对象所对应的待识别图片组；分别将所述待识别图片组输入到三阶行为识别模型中得到行为组，其中行为组的类别包括头部方向、眼睛焦点方向和手部动作；根据所述行为组计算每个第二目标对象所对应的关注度分值；当所述关注度分值超过预设关注度阈值时，判定该第二目标对象为关注目标，生成提示标识并在所有的主端设备中显示；
在所述三阶行为识别模型中，包括头部方向识别模型、眼睛焦点方向识别模型以及手部动作识别模型，所述头部方向识别模型、所述眼睛焦点方向识别模型以及所述手部动作识别模型均分别为使用多组数据通过机器学习训练得出；在所述头部方向识别模型中，多组数据中的每组数据包括待识别图片和对应头部方向的第一标识信息；在所述眼睛焦点方向识别模型中，多组数据中的每组数据包括待识别图片和对应头部方向的第二标识信息；在所述手部动作识别模型中，多组数据中的每组数据包括待识别图片和对应手部动作的第三标识信息；所述提示关注步骤，具体包括：在主端设备中触发所述提示标识的响应，并将所述关注目标作为聚焦对象以执行所述第一目标聚焦步骤。4.根据权利要求3所述的基于元宇宙的虚拟课堂显示方法，其特征在于，在根据所述行为组计算每个第二目标对象所对应的关注度分值中，具体包括：根据所述行为组的类别分别设置所述第一标识信息、所述第二标识信息以及所述第三标识信息所对应的分值；在预设时间段内统计每个第二目标对象的累加分值得到所述关注度分值。5.根据权利要求2所述的基于元宇宙的虚拟课堂显示方法，其特征在于，还包括：第二目标聚焦步骤：获取第一聚焦点和第一放大值；以所述第一聚焦点为中心，确定第一预设区域；根据所述第一预设区域从多个所述第二目标对象中筛选得到待聚焦对象群；重复筛选直至确定所述待聚焦对象群；基于所述第一放大值对所述待聚焦对象群进行聚焦放大形成第四模拟区域；指定至少一个主端设备进行显示所述第四模拟区域；获取第二聚焦点和第二放大值；以所述第二聚焦点在所述待聚焦对象群中确定聚焦对象；基于所述第二放大值对所述聚焦对象进行聚焦放大形成第五模拟区域；指定至少一个主端设备进行显示所述第五模拟区域。6.根据权利要求1所述的基于元宇宙的虚拟课堂显示方法，其特征在于，还包括第二虚拟场景搭建步骤和第二虚拟显示步骤；所述第二虚拟场景搭建步骤，具体包括：确定至少一个第一参与对象的标识符号，所述第一参与对象的标识符号与从端设备相对应；结合所有第一参与对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息在所述元宇宙环境中模拟对应的物理环境以形成第六模拟区域，在所述元宇宙环境中整合所述第一模拟区域和所述第六模拟区域以生成第二虚拟场景；所述第二虚拟显示步骤，具体包括：将所述第二虚拟场景传输至所有的主端设备和所有的从端设备进行显示。7.根据权利要求6所述的基于元宇宙的虚拟课堂显示方法，其特征在于，在所述第二虚拟场景搭建步骤中，还包括：
确定至少一个第二参与对象的标识符号，所述第二参与对象的标识符号与主端设备相对应；结合所有第二参与对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息在所述元宇宙环境中模拟对应的物理环境以形成第七模拟区域，在所述元宇宙环境中设置新区域，所述新区域与所述第二虚拟场景无重叠显示位置，将所述第七模拟区域在所述新区域中显示，以更新所述第二虚拟场景。8.根据权利要求7所述的基于元宇宙的虚拟课堂显示方法，其特征在于，还包括：传输暂停步骤：获取暂停指令，所述暂停指令通过所述至少一个主端设备生成得到；从所述暂停指令中确定暂停目标标识表和暂停时间值，所述暂停目标标识表包含至少一个暂停目标标识，所述暂停目标标识用于匹配对应的第二目标对象；根据所述至少一个暂停目标标识找出对应的第二目标对象，根据所述暂停时间值对该第二目标对象所对应的从端设备进行暂停虚拟显示。9.一种基于元宇宙的虚拟课堂显示系统，包括：至少一个主端设备、多个从端设备以及服务器，每个主端设备、每个从端设备分别与所述服务器通过电气方式和/或无线网络方式连接，每个主端设备包括第一课堂数据收集模块、第一数据采集模块、第一视觉呈现模块、第一听觉呈现模块以及第一通信模块，每个从端设备包括第二课堂数据收集模块、第二数据采集模块、第二视觉呈现模块、第二听觉呈现模块以及第二通信模块，所述服务器包括第三通信模块、物理环境模拟模块、场景收集模块、信息提取模块、场景搭建模块、目标聚焦模块、目标识别提示模块以及传输暂停模块，其中所述第一通信模块、所述第二通信模块、所述第三通信模块分别在其设备内部与该设备内部各个模块之间通过电气方式连接，其特征在于，所述虚拟课堂显示系统应用如权利要求1-8任一所述的基于元宇宙的虚拟课堂显示方法；在所述服务器中，所述信息提取模块还分别与所述物理环境模拟模块、所述场景收集模块、所述场景搭建模块连接，所述物理环境模拟模块还分别与所述目标聚焦模块、所述目标识别提示模块、所述传输暂停模块连接；所述第一通信模块用于其主端设备与所述服务器之间的数据传输，所述第二通信模块用于其从端设备与所述服务器之间的数据传输，所述第三通信模块用于所述服务器与所有主端设备、所有从端设备的数据传输；在每个主端设备中，所述第一课堂数据收集模块用于收集当前第一目标对象的班级基础信息，该班级基础信息用于主端设备与从端设备建立班级信息匹配，所述第一数据采集模块用于采集当前第一目标对象的视频信息以整合第一场景信息，所述第一视觉呈现模块用于显示第一虚拟场景、第二虚拟场景、第三模拟区域、第四模拟区域或第五模拟区域中的任一或任意多种组合，所述第一视觉呈现模块还用于响应提示标识；在每个从端设备中，所述第二课堂数据收集模块用于收集当前第二目标对象的班级基础信息，该班级基础信息用于主端设备与从端设备建立班级信息匹配，所述第二数据采集模块用于采集当前第二目标对象的视频信息以整合第二场景信息；所述第二视觉呈现模块用于显示第一虚拟场景或第二虚拟场景，用于响应暂停指令进行暂停显示；
所述第一听觉呈现模块和所述第二听觉呈现模块均用于播放元宇宙环境的场景声音；在所述服务器中，所述物理环境模拟模块用于生成元宇宙环境，所述场景收集模块用于获取所述第一场景信息和所述第二场景信息，所述信息提取模块用于对所述第一场景信息进行提取得到第一提取信息，对所述第二场景信息进行提取得到第二提取信息，所述第一提取信息包括至少一个所述第一目标对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息，所述第二提取信息包括多个所述第二目标对象的头部信息、上半身信息、上半身接触物信息、对象语音信息以及环境语音信息；所述场景搭建模块用于根据所述第一提取信息、所述第二提取信息分别形成第一模拟区域、第二模拟区域，进而整合生成所述第一虚拟场景，根据第三提取信息形成第六模拟区域，进而整合生成所述第二虚拟场景；所述目标聚焦模块用于将聚焦对象根据放大倍数进行聚焦放大形成所述第三模拟区域、所述第四模拟区域或所述第五模拟区域；所述目标识别提示模块用于对第二目标对象进行目标识别得到每个第二目标对象所对应的关注度分值，并根据预设关注度阈值生成所述提示标识；所述传输暂停模块用于获取暂停指令。

技术总结
本申请公开了一种基于元宇宙的虚拟课堂显示方法及系统，该方法包括：场景收集步骤：获取第一场景信息和第二场景信息，每个主端设备用于拍摄其对应的第一目标对象，每个从端设备用于拍摄其对应的第二目标对象；信息提取步骤：提取得到至少一个第一目标对象的相关信息，提取得到多个第二目标对象的相关信息；第一虚拟场景搭建步骤：生成元宇宙环境，整合第一模拟区域和第二模拟区域以生成第一虚拟场景；第一虚拟显示步骤：将第一虚拟场景传输至少一个主端设备进行显示，同时将第一模拟区域传输至多个从端设备进行显示。本申请通过结合人工智能与元宇宙技术为老师提供更便捷的观察方式以利于监督学生状态，辅助老师提升上课质量和学员参与度。质量和学员参与度。质量和学员参与度。


技术研发人员：郑程予 唐武雷 邓意芝 胡文良
受保护的技术使用者：广州乐庚信息科技有限公司
技术研发日：2023.09.12
技术公布日：2023/10/20