眼动+飞行数据的模拟机飞行训练讲评系统及方法

1.本发明涉及模拟机飞行训练讲评技术领域，特别是涉及眼动+飞行数据的模拟机飞行训练讲评系统及方法。


背景技术：

2.民用航空“人-机-环境”系统中，飞行员始终是影响航空安全的主体。如何更有效地赋予飞行员安全飞行能力的训练方法是民航业高质量发展的保障。模拟机飞行训练包括正常和特情飞行的教学与训练，是飞行员培养大纲的重要组成部分，并贯穿整个培养周期。模拟机飞行训练作为赋予飞行员安全飞行能力的重要途径，其飞行训练后的讲评则是保证训练质量和效果，巩固提升安全飞行能力的关键。飞行训练讲评系统通过对飞行数据的采集和处理，实现飞行训练过程的复现与仿真，从而为教员讲评提供依据，也是学员之间相互学习、交流和沟通的平台。
3.现行的飞行讲评系统主要是教员利用飞行数据，如速度、高度、升降率、爬升率、姿态、轨迹等结合其阈值进行分析、讲评为主要手段。这是一种以任务完成结果为导向的训练讲评模式，忽略了完成任务过程中飞行员的注意力分配、具体飞行习惯和人为因素等，严重阻碍了训练讲评效果和质量的进一步提升，并可能引起飞行员生理或心理上不必要的损伤，降低优秀飞行员的培养率。特别地，民航所用的主流模拟机的飞行数据通常难以直接获得。


技术实现要素：

4.本发明的目的是提供眼动+飞行数据的模拟机飞行训练讲评系统，以解决目前模拟机飞行训练讲评依据数据来源单一、忽视飞行过程中的视觉特征，不能系统体现飞行“人-机-环境”系统交互过程、技能传递效果差和人为因素考虑不足的问题。
5.为实现上述目的，本发明提供了如下方案：
6.眼动+飞行数据的模拟机飞行训练讲评系统，包括：
7.眼动数据采集与分析处理模块，用于采集并处理模拟机飞行训练过程中的眼动数据；
8.飞行数据采集与处理模块，用于采集并处理模拟机飞行训练过程中的飞行数据；
9.人为因素分析与识别模块，用于将所述眼动数据利用工作负荷与情境意识预测模型进行测量，获取工作负荷水平和情境意识水平，其中，所述工作负荷与情境意识预测模型利用所述眼动数据和所述飞行数据训练获得；
10.动态讲评模块，用于根据处理后的眼动数据、处理后的飞行数据以及所述工作负荷水平和所述情境意识水平进行动态讲评；
11.所述眼动数据采集与分析处理模块与所述人为因素分析与识别模块连接，所述眼动数据采集与分析处理模块、所述飞行数据采集与处理模块、所述人为因素分析与识别模块均与所述动态讲评模块连接。
12.可选地，所述眼动数据包括：注视时间、注视次数、眨眼频率、扫视次数、扫视时间、瞳孔直径和注视点。
13.可选地，所述眼动数据采集与分析处理模块包括：
14.眼动数据采集子模块，用于获取模拟机飞行训练过程中的场景信息和眼动数据，并将所述场景信息和所述眼动数据传输至所述分析处理子模块；
15.分析处理子模块，用于通过所述眼动数据提取数值型眼动指标，并运用图像识别与匹配技术，将所述注视点与所述场景信息匹配叠加，获取与训练场景融合的动态视点视频、热点图和轨迹图；
16.所述眼动数据采集子模块和所述分析处理子模块连接。
17.可选地，所述飞行数据采集与处理模块包括：
18.飞行数据采集子模块，用于获取飞行训练过程中包含模拟机舱仪表参数信息的视频；
19.飞行数据处理子模块，用于将所述视频分解为序列图像，提升所述序列图像的分辨率，基于固定的飞行仪表参数显示坐标对所述序列图像进行参数提取、预处理以及光学字符识别，获取飞行参数，并生成系统状态和飞行轨迹；
20.所述飞行数据采集子模块和所述飞行数据处理子模块连接。
21.可选地，所述人为因素分析与识别模块包括：
22.眼动特征模式构建子模块，用于构建能度量工作负荷和情境意识的眼动特征模式；
23.预测模型构建子模块，用于通过所述能度量工作负荷和情境意识的眼动特征模式构建中形成的样本集作为训练样本集，结合多项式核函数的支持向量机方法，构建所述工作负荷与情境意识预测模型；
24.人为因素分析与识别子模块，用于将所述眼动数据输入所述工作负荷与情境意识预测模型，获取工作负荷水平和情境意识水平；
25.所述眼动特征模式构建子模块、所述预测模型构建子模块和所述人为因素分析与识别子模块依次连接。
26.可选地，所述眼动特征模式构建子模块包括：
27.历史数值型眼动指标获取单元，用于获取不同飞行任务及阶段的模拟机飞行试验中不同试验人员的历史数值型眼动指标；
28.测量单元，用于测量不同飞行任务及阶段的模拟机飞行试验中不同试验人员的历史主观工作负荷和历史情境意识水平；
29.眼动特征模式构建单元，用于对所述历史数值型眼动指标、所述历史主观工作负荷和历史情境意识水平进行单因素方差分析，确定显著相关的眼动指标，统计所述显著相关的眼动指标，构建所述能度量工作负荷和情境意识的眼动特征模式；
30.所述历史数值型眼动指标获取单元、所述测量单元均与所述眼动特征模式构建单元连接。
31.可选地，所述动态讲评模块包括：
32.动态讲评子模块，用于显示数据处理后的系统状态和飞行轨迹等信息以及与训练场景融合的动态视点视频剪辑、热点图和轨迹图，并根据所述与训练场景融合的动态视点
视频，运用回放功能进行针对性的点评，在视频中插入典型问题标签进行学员改进和训练计划改进；
33.所述人为因素分析与识别模块与所述动态讲评子模块连接。
34.可选地，该系统还包括：
35.学习共享平台，用于表示、存储和回放模拟机飞行训练的优秀案例和差错案例，还提供了动态讲评结果的生成、存储与查询功能。
36.为实现上述目的，本发明还提供了眼动+飞行数据的模拟机飞行训练讲评方法，包括：
37.采集模拟机飞行训练过程中的眼动数据和飞行数据，对所述眼动数据和所述飞行数据分别进行处理；
38.构建工作负荷与情境意识预测模型，将所述眼动数据输入所述工作负荷与情境意识预测模型，获取工作负荷水平和情境意识水平；
39.根据处理后的眼动数据、处理后的飞行数据以及所述工作负荷水平和所述情境意识水平进行动态讲评。
40.本发明的有益效果为：
41.1)充分利用了模拟机飞行“人-机-环境”系统交互信息，讲评的客观性和科学性显著提升；
42.2)直观展示学员在训练过程中的注意力分配、人为因素，易于发现训练问题并针对性提出改进措施，可显著提升讲评质量和效果；
43.3)基于样例的动态视点场景视频讲评与学习共享显著促进飞行员的驾驶舱监控技能养成。
附图说明
44.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
45.图1为本发明实施例的眼动+飞行数据的模拟机飞行训练讲评系统示意图；
46.图2为本发明实施例的融合眼动与飞行场景的学习样例示意图。
具体实施方式
47.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
48.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
49.模拟机飞行训练是高度依赖视觉的任务，精准完成飞行操控依赖飞行员细致的注视，快速地扫视飞行仪表和环境才能不断更新情境意识从而感知、理解和预测飞行态势。随
着眼动追踪技术的不断进步，能客观地反映人的视觉心理过程的眼动的各个指标能以不干扰任务的方式准确测量。眼动指标已经用于定量评价飞行员的注意力、不同飞行任务的难度和工作负荷等。将模拟机飞行训练中的飞行数据与飞行员眼动指标融合进行训练讲评，充分反映模拟机飞行“人-机-环境”复杂系统的动态行为与交互，从而克服当前模拟机飞行训练讲评以结果为主，无法细致描述和评价操作细节过程的缺陷，并对任务行为进行全面综合考虑，进而建立一种以飞行员为核心的、动态的模拟机飞行训练讲评系统及方法成为可能。
50.本发明公开了眼动+飞行数据的模拟机飞行训练讲评系统包括：
51.眼动数据采集模块，用于获取模拟机飞行训练过程中的场景信息和和眼动数据。系统采用质量仅45克的眼镜式眼动仪保证在自然状态下采集飞行员的眼动数据和场景数据，并通过无线传输的方式将数据传输给控制计算机。
52.飞行数据采集与处理模块，用于获取飞行过程中模拟机舱各类飞行仪表的参数信息。该模块利用模拟机的软件控制接口，导出飞行训练过程中包含模拟机舱仪表参数信息的视频。将视频按帧分解为序列图像，采用超分辨率重构技术提升图像的分辨率，并基于固定的飞行仪表参数显示坐标对参数进行提取、预处理以及光学字符识别，从而基于驾驶舱面板序列图像获得飞行参数，生成讲评所需的系统状态和飞行轨迹等信息。
53.眼动数据分析与处理模块，用于提取数值型眼动指标(注视时间、注视次数、眨眼频率、扫视次数、扫视时间和瞳孔直径等)；运用图像识别与匹配技术，将注视点与训练场景视频数据匹配叠加，获得与训练场景融合的动态视点视频剪辑、热点图和轨迹图等。
54.人为因素分析与识别模块，用于测量飞行员完成模拟飞行任务过程中的工作负荷和情境意识水平。该模块需要首先建立能度量工作负荷和情境意识的眼动特征模式，然后采用有监督的统计学习算法构建工作负荷与情境意识的预测模型，最后基于该模型利用飞行员当前模拟机飞行任务中的眼动数据进行预测得到本次任务的工作负荷和情境意识水平。眼动特征模式以及预测模型构建的具体方法为：开展不同飞行任务及阶段的模拟机飞行试验，试验人员主要从资深飞行教员和不同飞行经验的飞行学员中招募。完成各个飞行试验后，利用上述眼动数据采集系统、眼动数据分析与处理模块获得各个飞行试验中试验人员的数值型眼动指标，并利用nasa-tlx\sart量表测量各个飞行任务中的飞行员的主观工作负荷和情境意识水平。对眼动指标及其对应的主观工作负荷和情境意识水平进行单因素方差分析(anova)以确定显著相关的眼动指标，以统计意义上显著相关的眼动指标构建度量工作负荷与情境意识的眼动特征模式。以工作负荷和情境意识的眼动特征模式构建中形成的样本集作为训练样本集结合多项式核函数的支持向量机方法构建模拟机飞行工作负荷与情境意识预测模型。
55.动态讲评模块，用于显示数据处理后的系统状态和飞行轨迹等信息以及与训练场景融合的动态视点视频剪辑、热点图和轨迹图，并且教员可以根据融合眼动的飞行场景视频，运用回放功能进行针对性的点评，并可在视频中插入典型问题标签，方便后期学员改进和训练计划设计。
56.其中，将眼动数据输入工作负荷与情境意识预测模型，获取工作负荷水平和情境意识水平，讲评时会对工作负荷水平和情境意识水平进行分析，通过热点图和轨迹图、讲评所需的系统状态和飞行轨迹等信息为讲评的依据和素材，能动态看到飞行过程飞行员注意
力是如何分配的，通过上述信息(热点图和轨迹图、讲评所需的系统状态和飞行轨迹等信息)讲评会更科学、合理、及时发现问题。
57.学习共享平台，用于表示、存储和回放融合眼动与飞行任务场景的优秀案例/差错案例以供总结点评和自主学习提升。该平台还提供了融合“眼动+飞行参数+点评”的历史飞行数据报告的生成、存储与查询功能。
58.本发明还公开了基于眼动+飞行数据的模拟机飞行训练讲评方法，如图1所示，包括以下步骤：
59.步骤1.模拟机飞行训练中，开启眼动数据采集系统，将采集的飞行员眼动数据和场景数据传输到模拟机控制计算机中；
60.步骤2.利用飞行参数采集与处理模块导出当前飞行任务的包含模拟机舱仪表参数信息的视频并获得本次任务的飞行参数，将上述数据传输给动态讲评模块；
61.步骤3.利用眼动数据分析与处理模块提取数值型眼动指标、与训练场景融合的动态视点视频剪辑、热点图和轨迹图等并传输给人为因素分析与识别模块和动态讲评模块；
62.步骤4.利用人为因素分析与识别系统计算得到本次飞行任务中的情境意识和工作负荷水平，并传输给动态讲评模块；
63.步骤5.教员利用动态讲评模块，展示学员的飞行数据和眼动数据，并针对性点评；
64.步骤6.学员利用学习共享平台，进行融合眼动与飞行任务场景的优秀案例引导学习交流，对比历史学习报告数据，进一步巩固提升训练效果。
65.实施例：
66.本实施例以模拟机着陆训练为例，通过以下步骤实现基于眼动+飞行数据的模拟机飞行训练讲评。
67.飞行学员在波音737模拟机中完成训练准备工作，佩戴好tobii glass2眼动仪，并校准。然后开始着陆飞行训练，开启眼动数据采集，将采集的飞行员眼动数据和场景数据传输到模拟机控制计算机中。
68.完成飞行训练，结束眼动数据采集，利用飞行参数采集与处理模块导出着陆飞行任务的包含模拟机舱仪表参数信息的视频并处理获得本次任务的飞行轨迹、发动机状态曲线等飞行参数，并传输给动态讲评模块。
69.利用眼动数据分析与处理模块提取数值型眼动指标、与训练场景融合的动态视点视频剪辑，热点图和轨迹图等并传输给人为因素分析与识别系统和动态讲评模块。图2为着陆训练中融合飞行场景的动态视点视频剪辑图。
70.利用人为因素分析与识别系统计算得到该学员着陆飞行的工作负荷水平为37、情境意识水平为57，前者满分为60分，后者为100分，数值越大说明相应的工作负荷高且态势感知能力越强，将数据传输给动态讲评模块。
71.教员利用动态讲评模块，运用回放功能展示学员动态视点视频和飞行数据，依据视频分析点评学员的注意力分配情况并可在视频中插入典型问题标签以及改进措施；结合学员工作负荷高，而情境意识水平相对低的情况与学员做进一步深入交流，并针对性点评。
72.学员利用学习共享平台，对比自己的融合眼动与飞行任务场景视频与优秀案例差异，快速查找自身问题，利用优秀案例引导学习，进一步巩固提升训练效果。最后生成本次训练包含“眼动+飞行数据+点评”的学习报告。
73.以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

技术特征：
1.眼动+飞行数据的模拟机飞行训练讲评系统，其特征在于，包括：眼动数据采集与分析处理模块，用于采集并处理模拟机飞行训练过程中的眼动数据；飞行数据采集与处理模块，用于采集并处理模拟机飞行训练过程中的飞行数据；人为因素分析与识别模块，用于将所述眼动数据利用工作负荷与情境意识预测模型进行测量，获取工作负荷水平和情境意识水平，其中，所述工作负荷与情境意识预测模型利用所述眼动数据和所述飞行数据训练获得；动态讲评模块，用于根据处理后的眼动数据、处理后的飞行数据以及所述工作负荷水平和所述情境意识水平进行动态讲评；所述眼动数据采集与分析处理模块与所述人为因素分析与识别模块连接，所述眼动数据采集与分析处理模块、所述飞行数据采集与处理模块、所述人为因素分析与识别模块均与所述动态讲评模块连接。2.根据权利要求1所述的眼动+飞行数据的模拟机飞行训练讲评系统，其特征在于，所述眼动数据包括：注视时间、注视次数、眨眼频率、扫视次数、扫视时间、瞳孔直径和注视点。3.根据权利要求2所述的眼动+飞行数据的模拟机飞行训练讲评系统，其特征在于，所述眼动数据采集与分析处理模块包括：眼动数据采集子模块，用于获取模拟机飞行训练过程中的场景信息和眼动数据，并将所述场景信息和所述眼动数据传输至所述分析处理子模块；分析处理子模块，用于通过所述眼动数据提取数值型眼动指标，并运用图像识别与匹配技术，将所述注视点与所述场景信息匹配叠加，获取与训练场景融合的动态视点视频、热点图和轨迹图；所述眼动数据采集子模块和所述分析处理子模块连接。4.根据权利要求1所述的眼动+飞行数据的模拟机飞行训练讲评系统，其特征在于，所述飞行数据采集与处理模块包括：飞行数据采集子模块，用于获取飞行训练过程中包含模拟机舱仪表参数信息的视频；飞行数据处理子模块，用于将所述视频分解为序列图像，提升所述序列图像的分辨率，基于固定的飞行仪表参数显示坐标对所述序列图像进行参数提取、预处理以及光学字符识别，获取飞行参数，并生成系统状态和飞行轨迹；所述飞行数据采集子模块和所述飞行数据处理子模块连接。5.根据权利要求1所述的眼动+飞行数据的模拟机飞行训练讲评系统，其特征在于，所述人为因素分析与识别模块包括：眼动特征模式构建子模块，用于构建能度量工作负荷和情境意识的眼动特征模式；预测模型构建子模块，用于通过所述能度量工作负荷和情境意识的眼动特征模式构建中形成的样本集作为训练样本集，结合多项式核函数的支持向量机方法，构建所述工作负荷与情境意识预测模型；人为因素分析与识别子模块，用于将所述眼动数据输入所述工作负荷与情境意识预测模型，获取工作负荷水平和情境意识水平；所述眼动特征模式构建子模块、所述预测模型构建子模块和所述人为因素分析与识别子模块依次连接。6.根据权利要求5所述的眼动+飞行数据的模拟机飞行训练讲评系统，其特征在于，所
述眼动特征模式构建子模块包括：历史数值型眼动指标获取单元，用于获取不同飞行任务及阶段的模拟机飞行试验中不同试验人员的历史数值型眼动指标；测量单元，用于测量不同飞行任务及阶段的模拟机飞行试验中不同试验人员的历史主观工作负荷和历史情境意识水平；眼动特征模式构建单元，用于对所述历史数值型眼动指标、所述历史主观工作负荷和历史情境意识水平进行单因素方差分析，确定显著相关的眼动指标，统计所述显著相关的眼动指标，构建所述能度量工作负荷和情境意识的眼动特征模式；所述历史数值型眼动指标获取单元、所述测量单元均与所述眼动特征模式构建单元连接。7.根据权利要求3所述的眼动+飞行数据的模拟机飞行训练讲评系统，其特征在于，所述动态讲评模块包括：动态讲评子模块，用于显示数据处理后的系统状态和飞行轨迹等信息以及与训练场景融合的动态视点视频剪辑、热点图和轨迹图，并根据所述与训练场景融合的动态视点视频，运用回放功能进行针对性的点评，在视频中插入典型问题标签进行学员改进和训练计划改进；所述人为因素分析与识别模块与所述动态讲评子模块连接。8.根据权利要求1所述的眼动+飞行数据的模拟机飞行训练讲评系统，其特征在于，该系统还包括：学习共享平台，用于表示、存储和回放模拟机飞行训练的优秀案例和差错案例，还提供了动态讲评结果的生成、存储与查询功能。9.眼动+飞行数据的模拟机飞行训练讲评方法，其特征在于，包括：采集模拟机飞行训练过程中的眼动数据和飞行数据，对所述眼动数据和所述飞行数据分别进行处理；构建工作负荷与情境意识预测模型，将所述眼动数据输入所述工作负荷与情境意识预测模型，获取工作负荷水平和情境意识水平；根据处理后的眼动数据、处理后的飞行数据以及所述工作负荷水平和所述情境意识水平进行动态讲评。

技术总结
本发明涉及眼动+飞行数据的模拟机飞行训练讲评系统及方法，该系统包括：眼动数据采集与分析处理模块，用于采集并处理模拟机飞行训练过程中的眼动数据；飞行数据采集与处理模块，用于采集并处理模拟机飞行训练过程中的飞行数据；人为因素分析与识别模块，用于构建工作负荷与情境意识预测模型，将所述眼动数据输入所述工作负荷与情境意识预测模型，获取工作负荷水平和情境意识水平；动态讲评模块，用于根据处理后的眼动数据、处理后的飞行数据以及所述工作负荷水平和所述情境意识水平进行动态讲评。本发明直观展示学员在训练过程中的注意力分配、人为因素，易于发现训练问题并针对性提出改进措施，可显著提升讲评质量和效果。可显著提升讲评质量和效果。可显著提升讲评质量和效果。


技术研发人员：贺强 程林 王欣 傅强
受保护的技术使用者：中国民用航空飞行学院
技术研发日：2023.07.03
技术公布日：2023/10/5