一种基于全景图的增强现实工业作业培训系统及方法

1.本发明涉及工业作业培训系统技术领域，特别是涉及一种基于全景图的增强现实工业作业培训系统及方法。


背景技术：

2.培训作为推动个人和企业不断向前发展的重要手段，在为企业培养后备专业技术人员方面起着重要的作用。航空发动机装配、高速列车车厢布线等复杂工业作业的特点要求培训作业人员记忆并理解各类操作指令，熟悉复杂繁多的操作动作，掌握大量操作和问题处理技巧，对综合素质要求非常高。传统培训存在不直观、记忆和理解难度大、培训周期长等问题，导致现场作业人才储备困难，严重影响人才培养周期和质量。
3.随着信息技术的日益发展，将虚拟现实技术和增强现实技术应用于培训领域成为一种常态的教学形式，虚拟现实技术培训弥补了传统培训模式的不足，但同时也存在三维建模成本高、场景虚拟代入感不强、跟知识场景结合不紧密等问题。增强现实技术作为虚拟现实技术的一个分支和发展方向，是通过计算机图形和图像处理技术实现真实场景与计算机生成的虚拟环境或虚拟物体的合成，利用设备显示给用户一个虚实结合的新环境，使用户沉浸于一个虚拟环境和真实环境融合的世界，增强了对目标环境的感知和交互，但只利用增强现实技术进行培训依赖硬件发展，同时需要有真实环境，导致培训物料成本较高，此外，复杂工业作业多数情况下无法在真实情况下进行培训。
4.全景图像是指通过全景相机对图像进行获取、拼接而生成的全视角图像，场景是从真实世界的工作现场收集的。真实感强，相比三维建模生成的对象更加真实，而且视角广，更有利于提升人员的参与感和真实感。将全景图与增强现实技术相结合进行培训能够克服增强现实技术的缺点，充分发挥全景图与增强现实技术的优势。


技术实现要素：

5.本发明的目的是提供一种基于全景图的增强现实工业作业培训系统及方法，将全景图与增强现实技术相结合创新现有培训方式，解决现有培训不直观、三维建模成本高、现场培训物料成本高、时间空间限制等缺点，更好地从培训过渡到现场作业，有效提高工业作业培训效率与质量。
6.为实现上述目的，本发明提供了如下方案：
7.一种基于全景图的增强现实工业作业培训系统，包括：培训指令设计单元、培训指令下载单元以及培训内容学习单元；
8.所述培训指令设计单元用于通过划分培训内容、确定识别图、确定引导信息以及形成指令配置文件，完成基于全景图的增强现实工业作业培训指令设计；
9.所述培训指令下载单元用于通过核实用户信息、获取指令数据、下载培训指令，获取指令配置文件；
10.所述培训内容学习单元用于通过资源加载、识别注册、增强信息显示以及人机交
互，令受训人员在全景图中漫游学习，逐步完成培训。
11.进一步地，所述培训指令设计单元包括：
12.培训内容划分模块，用于根据具体培训需求，将提前准备好的资源以知识点-具体内容的结构划分培训内容，并将培训内容按照增强现实指令层级结构填入；
13.识别图确定模块，用于根据培训内容，确定作为全景图注册数据的识别图，在上传好的全景图中进行漫游查看，选取合适的角度位置，通过在全景图中截图确定当前位置，之后框选局部需要识别的区域生成满足要求的识别图，作为基于全景图的增强现实识别注册的依据；
14.引导信息确定模块，用于根据培训内容，确定引导信息呈现方式，进而将引导信息内容填入对应属性中；
15.指令配置文件形成模块，用于将培训内容、识别图、引导信息进行组织发布，形成指令配置文件。
16.进一步地，所述指令配置文件包括资源信息和xml文件，所述资源信息包括全景图、识别图和引导信息，若为图表培训指令还包括工程图表。
17.进一步地，所述培训内容学习单元包括：
18.资源加载模块，用于解析指令配置文件中的xml文件，读取名称、路径、类型资源信息，按照顺序将与用户选择的培训指令内容关联的全景图、直接显示的引导信息以及工程图表加载至培训系统终端设备的屏幕上；
19.识别注册模块，用于通过图像识别算法将全景漫游中的实时图像数据与资源信息中的识别图进行匹配，匹配成功后，通过三维空间注册技术将需要注册的引导信息加载至培训系统终端设备的屏幕上；
20.增强信息显示模块，用于识别成功后，将增强现实方式显示的引导信息即培训内容叠加在全景图对应位置，将真实世界信息和虚拟世界信息融合显示在培训系统终端设备的屏幕上，实现对受训人员内容学习的引导；
21.人机交互模块，用于用户与终端设备的交互，支持鼠标交互、键盘交互、触屏交互、语音交互、手势交互、动作捕捉交互中的至少一种。
22.本发明还提供一种基于全景图的增强现实工业作业培训方法，应用于上述的基于全景图的增强现实工业作业培训系统，包括以下步骤：
23.设计培训指令，通过划分培训内容、确定识别图、确定引导信息以及形成指令配置文件，完成基于全景图的增强现实工业作业培训指令设计；
24.下载培训指令，通过核实用户信息、获取指令数据、下载培训指令，获取指令配置文件；
25.学习培训内容，通过资源加载、识别注册、增强信息显示以及人机交互，令受训人员在全景图中漫游学习，逐步完成培训。
26.进一步地，所述通过划分培训内容、确定识别图、确定引导信息以及形成指令配置文件，完成基于全景图的增强现实工业作业培训指令设计，具体包括：
27.划分培训内容，根据具体培训需求，将提前准备好的资源以知识点-具体内容的结构划分培训内容，并将培训内容按照增强现实指令层级结构填入；
28.确定识别图，根据培训内容，确定作为全景图注册数据的识别图，在上传好的全景
图中进行漫游查看，选取合适的角度位置，通过在全景图中截图确定当前位置，之后框选局部需要识别的区域生成满足要求的识别图，作为基于全景图的增强现实识别注册的依据；
29.确定引导信息，根据培训内容，确定引导信息呈现方式，进而将引导信息内容填入对应属性中；
30.形成指令配置文件，将培训内容、识别图、引导信息进行组织发布，形成指令配置文件。
31.进一步地，所述根据培训内容，确定引导信息呈现方式，进而将引导信息内容填入对应属性中，包括：
32.对于需要通过增强现实的方式呈现的引导信息，需要利用注册点将引导信息与识别图进行关联，达到识别图匹配成功后，将引导信息注册在预设位置，进而实现基于全景图的增强现实，若该培训指令是图表培训指令，则通过区域映射功能在工程图表中框选出本知识点需要学习的图纸内容，该框选部分与当前知识点的识别图关联；
33.对于需要通过直接显示的方式呈现的引导信息，如需要进行本知识点的总体学习内容的说明，对总体说明的图示/动画详细说明，引导学习人员完成后续学习，则无需设计识别图与注册点，在引导信息设置完毕后，可通过位置定义将该图示/动画详细说明与全景图中的某一视角进行关联。
34.进一步地，所述通过核实用户信息、获取指令数据、下载培训指令，获取指令配置文件，具体包括：
35.登录培训系统，获取指令数据，指令数据包括通用培训指令和图表培训指令，指令下载状态包括未下载、下载中和已下载，选中一条培训指令，通过下载，从数据库中获取指令配置文件，指令配置文件包括资源信息和xml文件，资源信息包括全景图、识别图和引导信息，若为图表培训指令还包括工程图表。
36.进一步地，所述通过资源加载、识别注册、增强信息显示以及人机交互，令受训人员在全景图中漫游学习，逐步完成培训，具体包括：
37.资源加载功能，解析指令配置文件中的xml文件，读取名称、路径、类型资源信息，按照顺序将与用户选择的培训指令内容关联的全景图、直接显示的引导信息以及工程图表加载至培训系统终端设备的屏幕上；
38.识别注册功能，通过图像识别算法将全景漫游中的实时图像数据与资源信息中的识别图进行匹配，匹配成功后，通过三维空间注册技术将需要注册的引导信息加载至培训系统终端设备的屏幕上；
39.增强信息显示功能，识别成功后，将增强现实方式显示的引导信息即培训内容叠加在全景图对应位置，将真实世界信息和虚拟世界信息融合显示在培训系统终端设备的屏幕上，实现对受训人员内容学习的引导；
40.人机交互功能，用于用户与终端设备的交互，支持鼠标交互、键盘交互、触屏交互、语音交互、手势交互、动作捕捉交互中的至少一种。
41.根据本发明提供的具体实施例，本发明提供的基于全景图的增强现实工业作业培训系统及方法，极大提高全景图、增强现实技术在工业作业培训技术领域的实用性，有利于提高工业作业培训的效率和质量，公开了以下技术效果：
42.(1)创新现有工业作业培训方式，以全景图作为培训场景，全景图素材采集简单，
考题设计方便，能够解决虚拟培训建模成本高，增强现实培训物料成本高的缺点；
43.(2)通过全景漫游认知、作业场景知识要素显示、导航图实时引导、视角跳转功能与增强现实注册技术结合，能够将真实环境与作业培训有效结合，在全景图上注册显示相关培训内容，提升培训人员的沉浸感与体验感，提高培训效率和质量；
44.(3)将图表内容与全景图结合，通过基础培训功能和图表局部放大功能相结合，将图表与全景图进行区域映射，关联漫游区域视角与图表内容，帮助培训人员进行图表与区域认知，实现工程图表的培训；
45.本发明创新现有培训方式，解决虚拟培训建模成本高、现场培训物料成本高、时间空间限制，更好地将理论知识与现实结合，有效提高培训效率与质量。
附图说明
46.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
47.图1为本发明基于全景图的增强现实工业作业培训系统的结构框图；
48.图2为本发明实施例设计培训指令结构图；
49.图3为本发明实施例下载培训指令结构图；
50.图4为本发明实施例学习培训内容结构图；
51.图5为本发明实施例增强现实识别注册过程图；
52.图6为本发明实施例动作捕捉ui界面交互过程图；
53.图7为本发明实施例动作捕捉全景漫游学习交互过程图；
54.图8为本发明实施例通用培训流程图；
55.图9为本发明实施例工程图表培训流程图。
具体实施方式
56.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
57.本发明的目的是提供一种基于全景图的增强现实工业作业培训系统及方法，充分发挥全景图与增强现实技术的优势，将理论知识考核与实际操作能力考核相结合，丰富现有考核方式，提升考核与实际工作环境之间的联系，充分、有效的对员工的知识掌握情况进行考核。
58.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
59.如图1所示，本发明提供的基于全景图的增强现实工业作业培训系统，包括：培训指令设计单元、培训指令下载单元以及培训内容学习单元；
60.所述培训指令设计单元用于通过划分培训内容、确定识别图、确定引导信息以及
形成指令配置文件，完成基于全景图的增强现实工业作业培训指令设计；
61.所述培训指令下载单元用于通过核实用户信息、获取指令数据、下载培训指令，获取指令配置文件；
62.所述培训内容学习单元用于通过资源加载、识别注册、增强信息显示以及人机交互，令受训人员在全景图中漫游学习，逐步完成培训。
63.设计培训指令是实现后续培训的前提和基础。通过将培训内容进行组织，生成指令配置文件，受训人员才能进行学习，基于全景图的增强现实工业作业培训指令设计需要设计好增强现实必需的元素如：识别图、引导信息、注册点，还需要针对全景图做具体处理和设计。
64.具体地，所述培训指令设计单元包括：
65.培训内容划分模块，用于根据具体培训需求，将提前准备好的资源以知识点-具体内容的结构划分培训内容，并将培训内容按照增强现实指令层级结构填入；
66.识别图确定模块，用于根据培训内容，确定作为全景图注册数据的识别图，在上传好的全景图中进行漫游查看，选取合适的角度位置，通过在全景图中截图确定当前位置，之后框选局部需要识别的区域生成满足要求的识别图，作为基于全景图的增强现实识别注册的依据；
67.引导信息确定模块，用于根据培训内容，确定引导信息呈现方式，进而将引导信息内容填入对应属性中；
68.指令配置文件形成模块，用于将培训内容、识别图、引导信息进行组织发布，形成指令配置文件。
69.具体地，所述指令配置文件包括资源信息和xml文件，所述资源信息包括全景图、识别图和引导信息，若为图表培训指令还包括工程图表。
70.具体地，所述培训内容学习单元包括：
71.资源加载模块，用于解析指令配置文件中的xml文件，读取名称、路径、类型资源信息，按照顺序将与用户选择的培训指令内容关联的全景图、直接显示的引导信息以及工程图表加载至培训系统终端设备的屏幕上；
72.识别注册模块，用于通过图像识别算法将全景漫游中的实时图像数据与资源信息中的识别图进行匹配，匹配成功后，通过三维空间注册技术将需要注册的引导信息加载至培训系统终端设备的屏幕上；
73.增强信息显示模块，用于识别成功后，将增强现实方式显示的引导信息即培训内容叠加在全景图对应位置，将真实世界信息和虚拟世界信息融合显示在培训系统终端设备的屏幕上，实现对受训人员内容学习的引导；
74.人机交互模块，用于用户与终端设备的交互，支持鼠标交互、键盘交互、触屏交互、语音交互、手势交互、动作捕捉交互中的至少一种。
75.本发明还提供一种基于全景图的增强现实工业作业培训方法，应用于上述的基于全景图的增强现实工业作业培训系统，包括以下步骤：
76.设计培训指令，通过划分培训内容、确定识别图、确定引导信息以及形成指令配置文件，完成基于全景图的增强现实工业作业培训指令设计；
77.下载培训指令，通过核实用户信息、获取指令数据、下载培训指令，获取指令配置
文件；
78.学习培训内容，通过资源加载、识别注册、增强信息显示以及人机交互，令受训人员在全景图中漫游学习，逐步完成培训。
79.如图2所示，所述通过划分培训内容、确定识别图、确定引导信息以及形成指令配置文件，完成基于全景图的增强现实工业作业培训指令设计，具体包括：
80.(1)划分培训内容，根据具体培训需求，将提前准备好的资源以知识点-具体内容的结构划分培训内容，并将培训内容按照增强现实指令层级结构填入；
81.(2)确定识别图，根据培训内容，确定作为全景图注册数据的识别图，在上传好的全景图中进行漫游查看，选取合适的角度位置，通过在全景图中截图确定当前位置，之后框选局部需要识别的区域生成满足要求的识别图，作为基于全景图的增强现实识别注册的依据；
82.(3)确定引导信息，根据培训内容，确定引导信息呈现方式，进而将引导信息内容填入对应属性中；
83.(4)对于需要通过增强现实的方式呈现的引导信息，需要利用注册点将引导信息与识别图进行关联，达到识别图匹配成功后，将引导信息注册在预设位置，进而实现基于全景图的增强现实，若该培训指令是图表培训指令，则通过区域映射功能在工程图表中框选出本知识点需要学习的图纸内容，该框选部分与当前知识点的识别图关联；
84.(5)对于需要通过直接显示的方式呈现的引导信息，如需要进行本知识点的总体学习内容的说明，对总体说明的图示/动画详细说明，引导学习人员完成后续学习，则无需设计识别图与注册点，在引导信息设置完毕后，可通过位置定义将该图示/动画详细说明与全景图中的某一视角进行关联；
85.(6)形成指令配置文件，将培训内容、识别图、引导信息进行组织发布，形成指令配置文件。
86.如图3所示，所述通过核实用户信息、获取指令数据、下载培训指令，获取指令配置文件，具体包括：
87.登录培训系统，获取指令数据，指令数据包括通用培训指令和图表培训指令，指令下载状态包括未下载、下载中和已下载，选中一条培训指令，通过下载，从数据库中获取指令配置文件，指令配置文件包括资源信息和xml文件，资源信息包括全景图、识别图和引导信息，若为图表培训指令还包括工程图表。
88.(1)全景图作为培训内容所依附的载体，用来代替真实环境，同时用于识别注册；
89.(2)识别图是从全景图中截图、框选生成的二维图片，用于在全景图中识别注册；
90.(3)引导信息用于引导受训人员完成培训，从内容上包括文本信息、图片信息、图标信息、图文信息、视频信息、模型信息，从呈现方式上包括直接显示和增强现实方式显示；
91.a.直接显示是指进入每个培训知识点后，直接进行显示的信息，为受训人员提供相关学习方向，包括知识点总体说明信息、无需识别显示的图示/动画详细说明、指示受训人员所处位置的导航图、需要进行学习的工程图表，工程图表是在选择图表培训指令时显示，其余信息是依据指令配置文件进行显示；
92.b.增强现实方式显示是指通过图像识别算法识别到与提前设置好的识别图相匹配的图像后再进行显示的信息，包括全景图中需要学习的某一部位或对象的说明信息、工
程图表学习区域局部放大图、与工程图表框选区域对应的全景图中部位或对象的说明信息。
93.(4)工程图表是图表培训指令必不可少的资源信息。
94.(5)所述xml文件将资源信息进行组织，用于后续资源加载。
95.如图4所示，所述通过资源加载、识别注册、增强信息显示以及人机交互，令受训人员在全景图中漫游学习，逐步完成培训，具体包括：
96.(1)资源加载功能，解析指令配置文件中的xml文件，读取名称、路径、类型资源信息，按照顺序将与用户选择的培训指令内容关联的全景图、直接显示的引导信息以及工程图表加载至培训系统终端设备的屏幕上；
97.(2)识别注册功能，通过图像识别算法将全景漫游中的实时图像数据与资源信息中的识别图进行匹配，匹配成功后，通过三维空间注册技术将需要注册的引导信息加载至培训系统终端设备的屏幕上；如图5所示，具体步骤如下：
98.a.将获取的原始数据即资源信息中的识别图进行离线特征提取处理，得到基于全景图的增强现实追踪特征；
99.b.在线过程中，首先对移动变换的场景即全景图进行实时地采集，获得真实场景的图像，其次实时地提取真实场景图像的特征，然后利用基于特征点匹配的识别方法，将提取的真实场景图像的特征与离线处理获得的基于全景图的增强现实追踪特征进行匹配；
100.c.若匹配成功，则采用基于单应性的位姿估计方法进行位姿估计，最终完成基于全景图的增强现实注册。
101.(3)增强信息显示功能，识别成功后，将增强现实方式显示的引导信息即培训内容叠加在全景图对应位置，将真实世界信息和虚拟世界信息融合显示在培训系统终端设备的屏幕上，实现对受训人员内容学习的引导；
102.(4)人机交互功能，用于用户与终端设备的交互，支持鼠标交互、键盘交互、触屏交互、语音交互、手势交互、动作捕捉交互中的至少一种。
103.a.鼠标交互可用于pc端培训内容的切换、指示信息的点击查看、指示信息的放大缩小；
104.b.键盘交互可通过a、w、s、d、j、k、u、i实现pc端全景漫游培训；
105.c.触屏交互可用于移动端培训学习的完成；
106.d.语音交互可用于与ui界面的交互，包括培训内容的切换、指示信息的点击查看。
107.e.手势交互可用于与ui界面的交互，包括培训内容的切换、指示信息的点击查看。
108.f.动作捕捉交互是通过利用leapmotion外接设备实现的，包括ui界面交互和全景漫游学习交互，下面分别对其具体描述:
109.如图6所示，ui界面交互：首先通过leapmotion设备的摄像头采集手部信息，实时获取食指三维坐标数据，实现对空间坐标定位；其次将手指的世界坐标系转化为ui屏幕坐标系，判断当前手指屏幕坐标是否满足触发按钮的阈值；若满足设定的阈值，则触发屏幕上对应按钮的响应事件，从而实现按钮功能。
110.如图7所示，全景漫游学习交互：首先通过leapmotion设备的摄像头和红外滤光器采集手部信息，实时获取手掌心法向量和手指状态数据；其次，通过分析手掌心法向量的模长和方向得到手掌的运动变化信息，通过分析手指是否处于伸展状态得到手指指型变化情
况，进而判断该手势需要表达的含义；根据手势所表达的含义，触发相应的相机运动函数，进而控制相机移动方向。
111.实施例一：通用培训
112.如图8所示，通用培训可针对工业作业中的作业流程、操作注意事项以及操作技巧等按照知识点进行培训，具体操作步骤如下：
113.步骤1，设计培训指令。培训讲师准备好培训资源和全景图，然后根据知识点-具体内容进行划分，并按增强现实层级结构进行上传；通过全景漫游预览找到合适的角度进行截图框选，系统自动生成基于全景图的增强现实注册数据的识别图；根据培训内容确定合适的引导信息，对于需要通过增强现实方式呈现的引导信息，则在上述生成的识别图和对应的引导信息之间设置注册点，系统通过注册点将引导信息与识别图进行关联，实现基于全景图的增强现实指令设计；对于需要通过直接显示方式呈现的引导信息，则无需设计识别图与注册点，在引导信息设置完毕后，可通过位置定义将该图示/动画详细说明与全景图中的某一视角进行关联；在所有信息设计完毕后，系统将上述内容的具体信息、关联信息进行组织形成指令配置文件；
114.步骤2，获取指令数据。根据用户登录信息，查询数据库，获取与该用户关联的指令数据，根据用户选择的指令信息，获取该指令对应的资源信息和xml文件；
115.步骤3，解析指令配置文件。解析指令配置文件中的xml文件，读取名称、路径、类型资源信息，按照顺序将与用户选择的培训指令内容关联的全景图、直接显示的引导信息和导航图加载至培训系统终端设备的屏幕上；
116.步骤4，学习培训内容。受训人员根据知识点的总体说明信息明确当前学习内容的要求开始进行学习，通过leapmotion设备的摄像头和红外滤光器持续采集受训人员不断变化的手部信息，获取食指三维坐标数据，将手指的世界坐标系转化为ui屏幕坐标系，判断当前手指屏幕坐标是否满足触发查看详细说明或跳转下一知识点按钮的阈值，若满足设定的阈值，则触发屏幕上对应按钮的响应事件，若触发了文本、图片、图文、视频、模型某一详细说明信息对应按钮，则放大展示对应信息便于受训人员进行学习，对于模型信息，根据受训人员的操作进行模型视角变化和放大缩小，在展示上述信息时，系统按照读取的位置定义信息即详细说明与全景图关联的视角信息计算出相机坐标信息进而将相机移动到设定位置，实现视角跳转，若触发了跳转下一知识点按钮，则跳转至下一知识点进行学习；通过leapmotion设备的摄像头和红外滤光器持续采集受训人员不断变化的手势信息，获取手掌心法向量和手指状态数据，通过分析手掌心法向量的模长和方向得到手掌的运动变化信息，分析手指是否处于伸展状态得到手指指型变化情况，进而判断该手势需要表达的含义，根据手势所表达的含义，触发相应的相机运动函数，进而控制相机左移、右移、前进、后退、上移、下移，实现对于人视角的全景漫游学习，在移动过程中，对全景图进行实时地采集，实时地提取其图像的特征，然后利用基于特征点匹配的识别方法，将提取的全景图像的特征与离线处理获得的资源信息中的识别图追踪特征进行匹配，若匹配成功，则采用基于单应性的位姿估计方法进行位姿估计，然后将增强现实方式显示的引导信息即培训内容叠加在全景图对应位置，将全景图代替的真实世界信息和虚拟世界信息融合显示在培训系统终端设备的屏幕上，完成基于全景图的增强现实注册，实现对受训人员内容学习的引导。在受训人员漫游学习过程中，系统实时获取相机在全景图像中的位置，计算出相机位置相对初始
位置的变化，实时更新右下角导航图中小图标位置，提示受训人员当前所处位置。
117.实施例二：图表培训
118.如图9所示，图表培训主要用于人员对图表中相关元素含义、图表中相关设备代号含义以及设备在真实环境中的位置等知识点的培训学习，具体操作步骤如下：
119.步骤1，设计培训指令。培训讲师准备好培训资源、工程图表和全景图，然后根据知识点-具体内容进行划分，并按增强现实层级结构进行上传；通过全景漫游预览找到合适的角度进行截图框选，系统自动生成基于全景图的增强现实注册数据的识别图；根据培训内容确定合适的引导信息，对于需要通过增强现实方式呈现的引导信息，则在上述生成的识别图和对应的引导信息之间设置注册点，系统通过注册点将引导信息与识别图进行关联，实现基于全景图的增强现实指令设计，之后通过区域映射功能在工程图表中框选出本知识点需要学习的图纸内容，该框选部分与当前知识点的识别图关联；对于需要通过直接显示方式呈现的引导信息，则无需设计识别图与注册点，在引导信息设置完毕后，可通过位置定义将该图示/动画详细说明与全景图中的某一视角进行关联；在所有信息设计完毕后，系统将上述内容的具体信息、关联信息进行组织形成指令配置文件；
120.步骤2，获取指令数据。根据用户登录信息，查询数据库，获取与该用户关联的指令数据，根据用户选择的指令信息，获取该指令对应的资源信息和xml文件；
121.步骤3，解析指令配置文件。解析指令配置文件中的xml文件，读取名称、路径、类型资源信息，按照顺序将与用户选择的培训指令内容关联的全景图、直接显示的引导信息、导航图和工程图表加载至培训系统终端设备的屏幕上；
122.步骤4，学习培训内容。受训人员根据知识点的总体说明信息明确当前学习内容的要求开始进行学习，通过leapmotion设备的摄像头和红外滤光器持续采集受训人员不断变化的手部信息，获取食指三维坐标数据，将手指的世界坐标系转化为ui屏幕坐标系，判断当前手指屏幕坐标是否满足触发查看详细说明、跳转下一知识点或查看工程图表按钮的阈值，若满足设定的阈值，则触发屏幕上对应按钮的响应事件，若触发了文本、图片、图文、视频、模型某一详细说明信息对应按钮，则放大展示对应信息便于受训人员进行学习，对于模型信息，根据受训人员的操作进行模型视角变化和放大缩小，在展示上述信息时，系统按照读取的位置定义信息即详细说明与全景图关联的视角信息计算出相机坐标信息进而将相机移动到设定位置，实现视角跳转，若触发了跳转下一知识点按钮，则跳转至下一知识点进行学习，若触发了查看工程图表按钮，则工程图表进行放大显示，根据指令配置文件的解析信息，图表会按照不同知识点动态变化框选区域便于受训人员查看；通过leapmotion设备的摄像头和红外滤光器持续采集受训人员不断变化的手势信息，获取手掌心法向量和手指状态数据，通过分析手掌心法向量的模长和方向得到手掌的运动变化信息，分析手指是否处于伸展状态得到手指指型变化情况，进而判断该手势需要表达的含义，根据手势所表达的含义，触发相应的相机运动函数，进而控制相机左移、右移、前进、后退、上移、下移，实现对于人视角的全景漫游学习，在移动过程中，对全景图进行实时地采集，实时地提取其图像的特征，然后利用基于特征点匹配的识别方法，将提取的全景图像的特征与离线处理获得的资源信息中的识别图追踪特征进行匹配，若匹配成功，则采用基于单应性的位姿估计方法进行位姿估计，然后将增强现实方式显示的引导信息即培训内容叠加在全景图对应位置，将全景图代替的真实世界信息和虚拟世界信息融合显示在培训系统终端设备的屏幕
上，同时与本知识点关联的图表局部框选区域会放大显示在图表右侧，提示受训人员该区域已完成学习，进而完成基于全景图的增强现实注册，实现对受训人员内容学习的引导。在受训人员漫游学习过程中，系统实时获取相机在全景图像中的位置，计算出相机位置相对初始位置的变化，实时更新右下角导航图中小图标位置，提示受训人员当前所处位置。
123.综上，本发明提供的基于全景图的增强现实工业作业培训系统及方法，针对目前阶段现有工业作业培训不直观、三维建模成本高、现场培训物料成本高、时间空间限制等缺点，借助先进的计算机视觉技术和增强现实方式的优越性，利用全景图的真实感和增强现实的虚实融合产生更好的交互性进行面向工业作业培训领域的针对性改进，实现在全景漫游过程中的引导信息实时准确注册，极大的丰富现有工业作业培训方式，进一步提升工业作业培训效率和质量。
124.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种基于全景图的增强现实工业作业培训系统，其特征在于，包括：培训指令设计单元、培训指令下载单元以及培训内容学习单元；所述培训指令设计单元用于通过划分培训内容、确定识别图、确定引导信息以及形成指令配置文件，完成基于全景图的增强现实工业作业培训指令设计；所述培训指令下载单元用于通过核实用户信息、获取指令数据、下载培训指令，获取指令配置文件；所述培训内容学习单元用于通过资源加载、识别注册、增强信息显示以及人机交互，令受训人员在全景图中漫游学习，逐步完成培训。2.根据权利要求1所述的基于全景图的增强现实工业作业培训系统，其特征在于，所述培训指令设计单元包括：培训内容划分模块，用于根据具体培训需求，将提前准备好的资源以知识点-具体内容的结构划分培训内容，并将培训内容按照增强现实指令层级结构填入；识别图确定模块，用于根据培训内容，确定作为全景图注册数据的识别图，在上传好的全景图中进行漫游查看，选取合适的角度位置，通过在全景图中截图确定当前位置，之后框选局部需要识别的区域生成满足要求的识别图，作为基于全景图的增强现实识别注册的依据；引导信息确定模块，用于根据培训内容，确定引导信息呈现方式，进而将引导信息内容填入对应属性中；指令配置文件形成模块，用于将培训内容、识别图、引导信息进行组织发布，形成指令配置文件。3.根据权利要求1所述的基于全景图的增强现实工业作业培训系统，其特征在于，所述指令配置文件包括资源信息和xml文件，所述资源信息包括全景图、识别图和引导信息，若为图表培训指令还包括工程图表。4.根据权利要求1所述的基于全景图的增强现实工业作业培训系统，其特征在于，所述训内容学习单元包括：资源加载模块，用于解析指令配置文件中的xml文件，读取名称、路径、类型资源信息，按照顺序将与用户选择的培训指令内容关联的全景图、直接显示的引导信息以及工程图表加载至培训系统终端设备的屏幕上；识别注册模块，用于通过图像识别算法将全景漫游中的实时图像数据与资源信息中的识别图进行匹配，匹配成功后，通过三维空间注册技术将需要注册的引导信息加载至培训系统终端设备的屏幕上；增强信息显示模块，用于识别成功后，将增强现实方式显示的引导信息即培训内容叠加在全景图对应位置，将真实世界信息和虚拟世界信息融合显示在培训系统终端设备的屏幕上，实现对受训人员内容学习的引导；人机交互模块，用于用户与终端设备的交互，支持鼠标交互、键盘交互、触屏交互、语音交互、手势交互、动作捕捉交互中的至少一种。5.一种基于全景图的增强现实工业作业培训方法，应用于权利要求1-4任一所述的基于全景图的增强现实工业作业培训系统，其特征在于，包括以下步骤：设计培训指令，通过划分培训内容、确定识别图、确定引导信息以及形成指令配置文
件，完成基于全景图的增强现实工业作业培训指令设计；下载培训指令，通过核实用户信息、获取指令数据、下载培训指令，获取指令配置文件；学习培训内容，通过资源加载、识别注册、增强信息显示以及人机交互，令受训人员在全景图中漫游学习，逐步完成培训。6.根据权利要求5所述的基于全景图的增强现实工业作业培训方法，其特征在于，所述通过划分培训内容、确定识别图、确定引导信息以及形成指令配置文件，完成基于全景图的增强现实工业作业培训指令设计，具体包括：划分培训内容，根据具体培训需求，将提前准备好的资源以知识点-具体内容的结构划分培训内容，并将培训内容按照增强现实指令层级结构填入；确定识别图，根据培训内容，确定作为全景图注册数据的识别图，在上传好的全景图中进行漫游查看，选取合适的角度位置，通过在全景图中截图确定当前位置，之后框选局部需要识别的区域生成满足要求的识别图，作为基于全景图的增强现实识别注册的依据；确定引导信息，根据培训内容，确定引导信息呈现方式，进而将引导信息内容填入对应属性中；形成指令配置文件，将培训内容、识别图、引导信息进行组织发布，形成指令配置文件。7.根据权利要求6所述的基于全景图的增强现实工业作业培训方法，其特征在于，所述根据培训内容，确定引导信息呈现方式，进而将引导信息内容填入对应属性中，包括：对于需要通过增强现实的方式呈现的引导信息，需要利用注册点将引导信息与识别图进行关联，达到识别图匹配成功后，将引导信息注册在预设位置，进而实现基于全景图的增强现实，若该培训指令是图表培训指令，则通过区域映射功能在工程图表中框选出本知识点需要学习的图纸内容，该框选部分与当前知识点的识别图关联；对于需要通过直接显示的方式呈现的引导信息，如需要进行本知识点的总体学习内容的说明，对总体说明的图示/动画详细说明，引导学习人员完成后续学习，则无需设计识别图与注册点，在引导信息设置完毕后，可通过位置定义将该图示/动画详细说明与全景图中的某一视角进行关联。8.根据权利要求5所述的基于全景图的增强现实工业作业培训方法，其特征在于，所述通过核实用户信息、获取指令数据、下载培训指令，获取指令配置文件，具体包括：登录培训系统，获取指令数据，指令数据包括通用培训指令和图表培训指令，指令下载状态包括未下载、下载中和已下载，选中一条培训指令，通过下载，从数据库中获取指令配置文件，指令配置文件包括资源信息和xml文件，资源信息包括全景图、识别图和引导信息，若为图表培训指令还包括工程图表。9.根据权利要求5所述的基于全景图的增强现实工业作业培训方法，其特征在于，所述通过资源加载、识别注册、增强信息显示以及人机交互，令受训人员在全景图中漫游学习，逐步完成培训，具体包括：资源加载功能，解析指令配置文件中的xml文件，读取名称、路径、类型资源信息，按照顺序将与用户选择的培训指令内容关联的全景图、直接显示的引导信息以及工程图表加载至培训系统终端设备的屏幕上；识别注册功能，通过图像识别算法将全景漫游中的实时图像数据与资源信息中的识别图进行匹配，匹配成功后，通过三维空间注册技术将需要注册的引导信息加载至培训系统
终端设备的屏幕上；增强信息显示功能，识别成功后，将增强现实方式显示的引导信息即培训内容叠加在全景图对应位置，将真实世界信息和虚拟世界信息融合显示在培训系统终端设备的屏幕上，实现对受训人员内容学习的引导；人机交互功能，用于用户与终端设备的交互，支持鼠标交互、键盘交互、触屏交互、语音交互、手势交互、动作捕捉交互中的至少一种。

技术总结
本发明公开了一种基于全景图的增强现实工业作业培训系统及方法，该系统包括：培训指令设计单元、培训指令下载单元以及培训内容学习单元；培训指令设计单元用于通过划分培训内容、确定识别图、确定引导信息以及形成指令配置文件，完成基于全景图的增强现实工业作业培训指令设计；培训指令下载单元用于通过核实用户信息、获取指令数据、下载培训指令，获取指令配置文件；培训内容学习单元用于通过资源加载、识别注册、增强信息显示以及人机交互，令受训人员在全景图中漫游学习，逐步完成培训。本发明将全景图与增强现实技术相结合创新现有培训方式，更好地从培训过渡到现场作业，有效提高工业作业培训效率与质量。提高工业作业培训效率与质量。提高工业作业培训效率与质量。


技术研发人员：耿俊浩 陈梦博
受保护的技术使用者：西北工业大学
技术研发日：2023.05.19
技术公布日：2023/8/28