一种基于交互设备信息感知模拟系统及方法与流程

1.本发明涉及数据信息传输技术领域，且更具体涉及一种基于交互设备信息感知模拟系统及方法。


背景技术：

2.交互设备信息感知是指交互设备(如智能手表、智能手环、智能眼镜等)通过感知周围环境来获取信息的过程,通常包括对光、声、触摸等物理场的感知,以及对文本、语音、图像等数据的识别和处理。交互设备的信息感知能力取决于它的硬件和软件配置,包括传感器、处理器、存储器等。这些硬件和软件组件可以通过内置芯片或嵌入软件接口进行集成,实现对周围环境的感知和数据处理。通过交互设备的信息感知,用户可以通过触摸、声音或光照等多种方式与设备进行交互,获取所需的信息,从而完成各种任务,如查看时间、测量步数、记录运动、控制智能家居设备等。
3.态势感知是一种技术，是指对一定空间和时间内的元素进行感知分析，模拟预测这些元素在未来的发展状态。基于态势感知的交互模拟是指通过收集、整合和分析各种数据源，包括传感器数据、环境数据、用户输入等，以建立对当前情况的全面认知，在数字空间模拟用户行为的技术。基于事态感知的交互模拟系统和方法可以应用于各种领域，如虚拟现实、训练仿真、飞行模拟、应急响应等。它可以帮助用户更好地理解和预测不同情境下的变化，并支持他们做出相应的决策和行动。
4.现有的交互模拟系统存在诸多弊端，一方面，现有的交互模拟系统数据分析的速度过慢，已经无法满足人们越来越高的需求，另一方面，现有的交互模拟系统仅单一地通过对人体动作的捕捉或用户操作轨迹进行模拟交互，无法将两者进行融合交互模拟，满足人们对交互模拟系统的精确度要求。因此，本发明提出了一种基于交互设备信息感知模拟系统，旨在提供融合人体动作的捕捉和用户操作轨迹多种元素的更为快速和精确的交互模拟方式。


技术实现要素：

5.针对上述技术的不足，本发明公开一种基于交互设备信息感知模拟系统及方法，通过数据预处理模块采用分级特征简化模型将连续重复操作信息单元化，删除无意义操作子单元，消除冗余，并将重复操作信息合并为一个信息点，并对信息点赋权值的方式，压缩信息量，提高数据分析的效率，通过操作分析子模块采用操作识别模型将未分类特征集按照未分类特征序列之间最后一位数据的相似度进行初分类，得到操作特征簇，再对操作特征簇进行编码分类，减少分类时间，通过控制模块采用自动寻径模型使用动作带动操作的方式模拟用户的行为，使模拟结果更加精确，本发明通过用户动作、窗口信息和进程信息多方位态势感知的方法，收集、整合和分析源数据，实现一种数据分析效率更高、模拟速度更快、模拟结果更精确的交互模拟系统及方法。
6.为了实现上述技术效果，本发明采用以下技术方案：
7.一种基于交互设备信息感知模拟系统，所述交互模拟系统包括数据检测模块和交互设备；
8.数据检测模块检测用户使用系统过程中各模块产生的进程参数、用户个人信息和用户动作信息；
9.交互设备包括手柄、鼠标和键盘，用于进行用户与系统进行交互连接；
10.所述感知模拟系统还包括数据预处理模块和模拟模块；
11.数据预处理模块用于提取用户操作信息的数据特征，经过数据清洗和数据转换形成操作特征集，为后续数据分析做准备；
12.所述数据预处理模块包括特征提取子模块、数据清洗子模块和数据变换子模块，所述特征提取子模块采用分级特征简化模型提取操作信息的数据特征，形成操作特征集，所述数据清洗子模块用于纠正异常数据，避免无效数据的不良影响，所述数据变换子模块将数据变换为统一形式，进行数据压缩，方便数据分析与数据存储，所述特征提取子模块的输出端与数据清洗子模块的输入端连接，所述数据清洗子模块的输出端与数据变换子模块的输入端连接；
13.模拟模块对用户的动作信息进行分解，判断用户动作类型，同时分析识别用户的操作目的，根据用户动作类型和操作目的模拟用户的行为；
14.所述模拟模块包括动作分解子模块、操作分析子模块、评估子模块和模拟机，所述动作分解子模块将用户的连续动作信息进行抽样离散化为动作序列，根据动作信息的时序相似度和均值相似度，判断用户动作类型，所述操作分析子模块采用操作识别模型分析预处理后的数据特征集，对用户操作信息进行分类，识别用户的操作目的，所述评估子模块采用高斯混合模型gmm根据动作类型与操作类型对用户的行为方向的真实度进行评估，所述模拟机用于预估事件的规律，推演用户的真实行为，所述动作分解子模块和操作分析子模块的输出端连接所述评估子模块的输入端，所述评估子模块的输出端连接模拟机的输入端；
15.所述数据检测模块与交互设备连接，所述数据检测模块的输出端连接数据预处理模块的输入端，所述数据预处理模块的输出端连接模拟模块的输入端。
16.作为本发明进一步的技术方案，所述分级特征简化模型包括简化系统和压缩系统，所述简化系统用于删除操作信息集中不必要的操作信息，减少数据冗余，提高数据的分析效率，所述压缩系统用于简化有效的重复操作信息，并提取数据特征，所述简化系统的输出端与压缩系统的输入端连接。
17.作为本发明进一步的技术方案，所述简化系统通过将连续重复操作信息单元化，删除无意义操作子单元，消除冗余数据，所述简化系统的工作方式为：
18.1）去除孤点，计算操作信息集中各数据点的点密度，确认点密度低于密度指数的数据点为孤点，将孤点从操作信息集中删除；
19.2）将操作信息集单元化，把在20s内连续三次以上重复的操作信息归为一个以时间中点为数据中心点的操作信息子单元，并将操作信息子单元按照时间维度标号排列，其余操作信息以单个信息点的形式存在；
20.3）去除无意义操作信息子单元，所述无意义操作样本与操作信息子单元的距离小于距离阈值时，判定操作信息子单元属于无意义的操作信息子单元，删除无意义的操作信
息子单元，保留有意义的操作信息子单元，距离阈值公式为：
21.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）
22.式（1）中，i为操作信息子单元的标号，为操作信息子单元的中心点位置，为无意义操作样本的数据点位置，n无意义操作样本的数据点标号，r为操作信息子单元的半径。
23.作为本发明进一步的技术方案，所述压缩系统通过将重复操作信息合并为一个信息点，并对信息点赋权值的方式，压缩信息量，提高数据分析的效率，所述压缩系统的工作方式为：
24.步骤1、将有意义的操作信息子单元进行合并压缩，删除同一个有意义的操作信息子单元中的重复操作信息，将有意义的操作信息子单元转换为单个信息点，并根据操作信息的重复次数对单个操作信息点赋予权值，权值公式为：
25.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
26.式（2）中， 为操作信息点的数据量，j为操作信息的标号，为操作信息的维度值，为操作信息与操作样本的相似度，y为操作信息点的权值，为操作信息子单元中重复操作信息的数量；
27.步骤2、提取特征，截取信息点中的有效部分，通过方差过滤法识别信息点中的关键特征；
28.步骤3、特征简化，通过所述卷积神经网络将高维数据特征转化为一维数据特征。
29.作为本发明进一步的技术方案，所述操作识别模型包括初分类系统、编码系统和再分类系统，所述操作分析子模块包括判定子模块和操作识别模型，所述判定子模块采用k-means算法将可直接与操作样本集中的操作类型进行匹配的操作特征进行分类，判定用户的操作类别，将无法直接与操作样本集中的操作类型进行匹配的操作特征合并为未分类特征集，所述操作识别模型对未分类特征集进行分析和归类，所述判定子模块的输出端与操作识别模型的输入端连接。
30.作为本发明进一步的技术方案，所述操作识别模型的工作方式为：
31.s1、初分类，取出未分类特征集中未分类特征序列的最后一位数据，生成替代数据集，对替代数据集重新编码，代替未分类特征序列进行分类，通过密度阈值将替代数据集按照数据相似度分类，密度阈值公式为：
32.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
33.式（3）中，f为密度阈值，g为替代数据集总数据数目，为替代数据的权重，h为替代数据的标号，u为数据相似度，将分类后的替代数据转换为特征序列，得到操作特征簇；
34.s2、重新编码，采用梯度下降法和反向传播算法将操作特征簇重新进行编码，提高再分类的精确性；
35.s3、再分类，采用knn算法根据操作样本集对操作特征进行分类，确认用户操作的目的。
36.作为本发明进一步的技术方案，所述模拟机包括动作模拟系统、操作模拟系统和合成系统，所述动作模拟系统用于定位用户目标，根据用户目标的当前状态、当前动作特征
和历史进行合成，得到仿真的抽象动作序列，所述操作模拟系统采用马尔可夫模型在系统中选择操作目标，根据不同用户的历史窗口信息和历史操作信息，得到不同用户对系统的访问频率、访问方向和操作轨迹特征，生成模拟的操作消息序列，所述合成系统采用自动寻径模型将动作模拟结果和操作模拟结果进行融合，得到用户的模拟行为信息，所述动作模拟系统和操作模拟系统的输出端与合成系统的输入端连接。
37.作为本发明进一步的技术方案，所述自动寻径模型的工作方法为：根据同一用户达到相同操作目的的不同动作的动作频率，寻找并保留高于动作频率阈值的动作序列，再根据同一动作和同一操作目的，寻找并保留高于操作频率阈值的操作路径，操作频率阈值的公式为：
38.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
39.式（4）中，操作路径中操作信息的总值， c操作路径的标号，通过蝙蝠算法搜索并保留经两次筛选后操作频次最高的行为路径,作为用户的模拟行为信息。
40.作为本发明进一步的技术方案，所述数据检测模块包括状态采集子模块、人脸识别摄像机和多功能传感器，所述状态采集系统用于检测用户使用系统过程中系统各模块的实时状态、窗口信息和进程信息，获取用户的操作信息，所述人脸识别摄像机用于采集用户的人脸信息，确认用户的身份和年龄，所述多功能传感器用于捕捉用户动作的方向和快慢，获取用户的动作信息。
41.作为上述技术方案进一步的实施例，一种基于态势感知的交互模拟方法，应用于基于交互设备信息感知模拟系统，包括步骤：
42.步骤一、通过人脸识别摄像机识别用户的身份与年龄；
43.步骤二、通过交互设备实现用户与系统的交互连接；
44.步骤三、通过数据检测模块采集用户的动作信息和用户使用过程中系统各模块的实时状态、窗口信息和进程信息；
45.步骤四、通过动作分解子模块拆解和分类识别动作信息，对动作信息抽样离散化，分割生成动作序列，计算动作序列与动作样本的时序相似度和均值相似度，确认用户的动作类型，并形成动作特征合集；
46.步骤五、通过数据预处理模块对操作信息进行数据预处理，采用分级特征简化模型将连续重复操作信息单元化，去除无意义子单元，将有意义操作子单元合并为一个信息点，并对信息点赋权值，采用方差过滤法识别信息点中的关键特征，提取操作信息的数据特征；
47.步骤六、通过操作分析子模块确认用户的操作类别，采用k-means算法将可直接与操作样本集中的操作类型进行匹配的操作特征进行分类，将无法直接分类的操作特征合并为未分类特征集，采用操作识别模型将未分类特征集进行初分类，生成操作特征簇，再将操作特征簇重新进行编码，采用knn算法根据操作样本集对重新编码的操作特征进行分类，确认用户的操作类别和操作轨迹；
48.步骤七、根据用户的动作类型与操作轨迹模拟用户的行为，采用高斯混合模型gmm根据动作类型与操作类型对用户的行为方向的真实度进行评估，采用模拟机生成仿真的抽象动作序列和模拟的操作消息序列，根据自动寻径模型将仿真的抽象动作序列和模拟的操
作消息序列进行融合，生成用户的模拟行为。
49.与现有技术相比，本发明有益的积极效果是：
50.本发明公开一种基于交互设备信息感知模拟系统及方法，通过数据预处理模块采用分级特征简化模型将连续重复操作信息单元化，删除无意义操作子单元，消除冗余，并将重复操作信息合并为一个信息点，并对信息点赋权值的方式，压缩信息量，提高数据分析的效率，通过操作分析子模块采用操作识别模型将未分类特征集按照未分类特征序列之间最后一位数据的相似度进行初分类，生成操作特征簇，再对操作特征簇进行编码分类，减少分类时间，通过控制模块采用自动寻径模型使用动作带动操作的方式模拟用户的行为，使模拟结果更加精确，本发明通过用户动作、窗口信息和进程信息多方位态势感知的方法，收集、整合和分析源数据，实现一种数据分析效率更高、模拟速度更快、模拟结果更精确的交互模拟系统及方法。
附图说明
51.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图，
52.图1为本发明总体架构示意图；
53.图2为本发明采用的方法步骤示意图；
54.图3为本发明简化系统步骤示意图；
55.图4为本发明压缩系统步骤示意图；
56.图5为本发明模拟机工作示意图。
具体实施方式
57.下面将结合本文实施例中的附图,对本文实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本文一部分实施例,而不是全部的实施例。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外，在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
58.如图1所示，一种基于交互设备信息感知模拟系统，包括数据检测模块和交互设备；
59.数据检测模块检测用户使用系统过程中各模块产生的进程参数、用户个人信息和用户动作信息；
60.交互设备包括手柄、鼠标和键盘，用于进行用户与系统进行交互连接；
61.其中所述信息感知模拟系统还包括数据预处理模块和模拟模块；
62.数据预处理模块用于提取用户操作信息的数据特征，经过数据清洗和数据转换形成操作特征集，为后续数据分析做准备；
63.所述数据预处理模块包括特征提取子模块、数据清洗子模块和数据变换子模块，所述特征提取子模块采用分级特征简化模型提取操作信息的数据特征，形成操作特征集，所述数据清洗子模块用于纠正异常数据，避免无效数据的不良影响，所述数据变换子模块
将数据变换为统一形式，进行数据压缩，方便数据分析与数据存储，所述特征提取子模块的输出端与数据清洗子模块的输入端连接，所述数据清洗子模块的输出端与数据变换子模块的输入端连接；
64.模拟模块对用户的动作信息进行分解，判断用户动作类型，同时分析识别用户的操作目的，根据用户动作类型和操作目的模拟用户的行为；
65.所述模拟模块包括动作分解子模块、操作分析子模块、评估子模块和模拟机，所述动作分解子模块将用户的连续动作信息进行抽样离散化为动作序列，根据动作信息的时序相似度和均值相似度，判断用户动作类型，所述操作分析子模块采用操作识别模型分析预处理后的数据特征集，对用户操作信息进行分类，识别用户的操作目的，所述评估子模块采用高斯混合模型gmm根据动作类型与操作类型对用户的行为方向的真实度进行评估，所述模拟机用于预估事件的规律，推演用户的真实行为，所述动作分解子模块和操作分析子模块的输出端连接所述评估子模块的输入端，所述评估子模块的输出端连接模拟机的输入端；
66.所述数据检测模块与交互设备连接，所述数据检测模块的输出端连接数据预处理模块的输入端，所述数据预处理模块的输出端连接模拟模块的输入端。
67.在具体实施例中，所述分级特征简化模型包括简化系统和压缩系统，所述简化系统用于删除操作信息集中不必要的操作信息，减少数据冗余，提高数据的分析效率，所述压缩系统用于简化有效的重复操作信息，并提取数据特征，所述简化系统的输出端与压缩系统的输入端连接。
68.在具体实施例中，动作分解模块是指计算机程序设计中,将复杂的动作分解成简单的步骤,以便更好地理解和执行程序。在人工智能和机器学习中,动作分解模块通常用于训练和优化算法,以便更好地预测和执行人类的运动和操作。动作分解模块的主要功能是将复杂的动作分解成简单的步骤,以便更好地理解和执行程序。这些步骤通常包括身体姿势、动作幅度、运动方向等关键信息,这些信息可以用来预测人类下一步的动作,并帮助计算机更好地执行相应的操作。常见的动作分解模块包括形状捕捉、动作捕捉、虚拟现实人机交互等。这些模块通常使用传感器和计算机视觉技术来捕捉人类的运动和姿势,并将其转换为数字信号,以便进一步分析和处理。
69.在其他具体实施例中，操作分析模块是计算机操作系统中的一个重要组成部分,主要用于对计算机系统和设备的操作进行分析和调度。它通过对正在进行的操作进行监控和分析,为计算机系统的运行提供决策支持,以便提高系统的效率。
70.操作分析模块通常包括以下功能:
71.操作监视:监控计算机系统上正在进行的各种操作,包括文件打开、文件关闭、窗口创建、窗口删除等。
72.在其他具体实施例中，交互设备信息感知是指通过传感器、摄像头等设备获取周围环境的信息，并对其进行分析和感知。例如，智能手机可以通过加速度计、陀螺仪等传感器感知用户的动作和姿势；智能音箱可以通过麦克风感知用户的语音指令；智能家居设备可以通过温度传感器、湿度传感器等感知室内环境的变化。这些设备将收集到的信息传输给系统，系统根据这些信息做出相应的反馈或执行特定的任务。
73.动作分解模块是指将复杂的动作或任务分解成多个简单的子动作或子任务的过
程。通过将复杂的动作分解成简单的部分，可以更容易地实现和控制。例如，机器人完成一个复杂的拆卸任务，可以将其分解为一系列简单的动作，如抓取工具、定位零件、拧紧螺丝等，然后按照特定的顺序和方式执行这些子动作，最终完成整个任务。
74.评估模块是指对获取到的信息或执行的动作进行评估和判断的过程。根据不同的需求和目标，评估模块可以采用不同的方法和指标来评估。
75.模拟机是指使用模拟信号进行录音和制作的音频设备,本发明中，可以采用交互信息感知的设备，比如模拟笔、录音笔等。
76.在其他具体实施例中，所述简化系统通过将连续重复操作信息单元化，删除无意义操作子单元，消除冗余数据，所述简化系统的工作方式为：
77.1）去除孤点，计算操作信息集中各数据点的点密度，确认点密度低于密度指数的数据点为孤点，将孤点从操作信息集中删除；
78.2）将操作信息集单元化，把在20s内连续三次以上重复的操作信息归为一个以时间中点为数据中心点的操作信息子单元，并将操作信息子单元按照时间维度标号排列，其余操作信息以单个信息点的形式存在；
79.3）去除无意义操作信息子单元，所述无意义操作样本与操作信息子单元的距离小于距离阈值时，判定操作信息子单元属于无意义的操作信息子单元，删除无意义的操作信息子单元，保留有意义的操作信息子单元，距离阈值公式为：
80.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）
81.式（1）中，i为操作信息子单元的标号，为操作信息子单元的中心点位置，为无意义操作样本的数据点位置，n无意义操作样本的数据点标号，r为操作信息子单元的半径。
82.在具体实施例中，所述压缩系统通过将重复操作信息合并为一个信息点，并对信息点赋权值的方式，压缩信息量，提高数据分析的效率，所述压缩系统的工作方式为：
83.步骤1、将有意义的操作信息子单元进行合并压缩，删除同一个有意义的操作信息子单元中的重复操作信息，将有意义的操作信息子单元转换为单个信息点，并根据操作信息的重复次数对单个操作信息点赋予权值，权值公式为：
84.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
85.式（2）中， 为操作信息点的数据量，j为操作信息的标号，为操作信息的维度值，为操作信息与操作样本的相似度，y为操作信息点的权值, 为操作信息子单元中重复操作信息的数量；
86.步骤2、提取特征，截取信息点中的有效部分，通过方差过滤法识别信息点中的关键特征；
87.步骤3、特征简化，通过卷积神经网络将高维数据特征转化为一维数据特征。
88.在具体实施例中，所述操作分析子模块包括判定子模块和操作识别模型，所述判定子模块采用k-means算法将可直接与操作样本集中的操作类型进行匹配的操作特征进行分类，判定用户的操作类别，将无法直接与操作样本集中的操作类型进行匹配的操作特征合并为未分类特征集，所述操作识别模型对未分类特征集进行分析和归类，所述判定子模
块的输出端与操作识别模型的输入端连接。
89.在具体实施例中，所述操作识别模型的工作方式为：
90.s1、初分类，取出未分类特征集中未分类特征序列的最后一位数据，生成替代数据集，对替代数据集重新编码，代替未分类特征序列进行分类，通过密度阈值将替代数据集按照数据相似度分类，密度阈值公式为：
91.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
92.式（3）中，f为密度阈值，g为替代数据集总数据数目，为替代数据的权重，h为替代数据的标号，u为数据相似度，将分类后的替代数据转换为特征序列，得到操作特征簇；
93.s2、重新编码，采用梯度下降法和反向传播算法将操作特征簇重新进行编码，提高再分类的精确性；
94.s3、再分类，采用knn算法根据操作样本集对操作特征进行分类，确认用户操作的目的。
95.通过上述实施例中，操作识别模型的工作原理为：首先将未分类特征集按照未分类特征序列之间最后一位数据的相似度进行初分类，生成操作特征簇，然后将操作特征簇对操作特征簇使用梯度下降法和反向传播算法进行编码，最后采用knn算法根据操作样本集对操作特征进行分类，确认用户操作的目的，数据处理时间如表1所示：
96.表1操作信息处理时间表
97.根据数据组对象数和属性数不同，设置四个测试组，采用四种方法分别对四组数据进行预处理，方法1为直接对数据组的每个数据点进行特征提取，然后对未分类特征集采用knn算法进行分类，方法2为对数据组的每个数据点直接特征提取后，然后采用本发明的数据分析方法，方法3为采用本发明的特征提取方法对操作信息进行特征提取，然后对未分类特征集采用knn算法进行分类，方法4为采用本发明的特征提取方法和数据分析方法对操作信息进行分类，如表1所示，在对一组进行数据处理时，方法1、方法2、方法3和方法4所用时间没有明显区别，在对二组进行数据处理时，方法2、方法3和方法4比方法1所用时间减少大约百分之十五，在对三组进行数据处理时，方法3和方法4比方法1所用时间减少大约百分之十九，方法2比方法a所用时间减少大约百分之十，在对四组进行预处理时方法4比方法1所用时间减少大约百分之六十五，方法4比方法3所用时间减少大约百分之四十，方法4比方法2所用时间减少大约百分之六十，可知数据量越庞大本发明方法所用数据处理时间越短。
98.在具体实施例中，所述模拟机包括动作模拟系统、操作模拟系统和合成系统，所述
动作模拟系统用于定位用户目标，根据用户目标的当前状态、当前动作特征和历史进行合成，得到仿真的抽象动作序列，所述操作模拟系统采用马尔可夫模型在系统中选择操作目标，根据不同用户的历史窗口信息和历史操作信息，得到不同用户对系统的访问频率、访问方向和操作轨迹特征，生成模拟的操作消息序列，所述合成系统采用自动寻径模型将动作模拟结果和操作模拟结果进行融合，得到用户的模拟行为信息，所述动作模拟系统和操作模拟系统的输出端与合成系统的输入端连接。
99.在具体实施例中，所述自动寻径模型的工作方法为：根据同一用户达到相同操作目的的不同动作的动作频率，寻找并保留高于动作频率阈值的动作序列，再根据同一动作和同一操作目的，寻找并保留高于操作频率阈值的操作路径，操作频率阈值的公式为：
100.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
101.式（4）中，操作路径中操作信息的总值， c操作路径的标号，通过蝙蝠算法搜索并保留经两次筛选后操作频次最高的行为路径,作为用户的模拟行为信息。
102.在具体实施例中，所述数据检测模块包括状态采集子模块、人脸识别摄像机和多功能传感器，所述状态采集系统用于检测用户使用系统过程中系统各模块的实时状态、窗口信息和进程信息，获取用户的操作信息，所述人脸识别摄像机用于采集用户的人脸信息，确认用户的身份和年龄，所述多功能传感器用于捕捉用户动作的方向和快慢，获取用户的动作信息。
103.如图2所示，一种基于态势感知的交互模拟方法，应用于基于交互设备信息感知模拟系统，包括步骤：
104.步骤一、通过人脸识别摄像机识别用户的身份与年龄；
105.步骤二、通过交互设备实现用户与系统的交互连接；
106.步骤三、通过数据检测模块采集用户的动作信息和用户使用过程中系统各模块的实时状态、窗口信息和进程信息；
107.步骤四、通过动作分解子模块拆解和分类识别动作信息，对动作信息抽样离散化，分割生成动作序列，计算动作序列与动作样本的时序相似度和均值相似度，确认用户的动作类型，并形成动作特征合集；
108.步骤五、通过数据预处理模块对操作信息进行数据预处理，采用分级特征简化模型将连续重复操作信息单元化，去除无意义子单元，将有意义操作子单元合并为一个信息点，并对信息点赋权值，采用方差过滤法识别信息点中的关键特征，提取操作信息的数据特征；
109.步骤六、通过操作分析子模块确认用户的操作类别，采用k-means算法将可直接与操作样本集中的操作类型进行匹配的操作特征进行分类，将无法直接分类的操作特征合并为未分类特征集，采用操作识别模型将未分类特征集进行初分类，生成操作特征簇，再将操作特征簇重新进行编码，采用knn算法根据操作样本集对重新编码的操作特征进行分类，确认用户的操作类别和操作轨迹；
110.步骤七、根据用户的动作类型与操作轨迹模拟用户的行为，采用高斯混合模型gmm根据动作类型与操作类型对用户的行为方向的真实度进行评估，采用模拟机生成仿真的抽象动作序列和模拟的操作消息序列，根据自动寻径模型将仿真的抽象动作序列和模拟的操
作消息序列进行融合，生成用户的模拟行为。
111.虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，可以对上述方法和系统的细节进行各种省略、替换和改变。例如，合并上述方法步骤，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此，本发明的范围仅由所附权利要求书限定。

技术特征：
1.一种基于交互设备信息感知模拟系统，所述交互模拟系统包括数据检测模块和交互设备；数据检测模块检测用户使用系统过程中各模块产生的进程参数、用户个人信息和用户动作信息；交互设备包括手柄、鼠标和键盘，用于进行用户与系统进行交互连接；其特征在于：所述交互模拟系统还包括数据预处理模块和模拟模块；数据预处理模块用于提取用户操作信息的数据特征，经过数据清洗和数据转换形成操作特征集，为后续数据分析做准备；所述数据预处理模块包括特征提取子模块、数据清洗子模块和数据变换子模块，所述特征提取子模块采用分级特征简化模型提取操作信息的数据特征，形成操作特征集，所述数据清洗子模块用于纠正异常数据，避免无效数据的不良影响，所述数据变换子模块将数据变换为统一形式，进行数据压缩，方便数据分析与数据存储，所述特征提取子模块的输出端与数据清洗子模块的输入端连接，所述数据清洗子模块的输出端与数据变换子模块的输入端连接；模拟模块对用户的动作信息进行分解，判断用户动作类型，同时分析识别用户的操作目的，根据用户动作类型和操作目的模拟用户的行为；所述模拟模块包括动作分解子模块、操作分析子模块、评估子模块和模拟机，所述动作分解子模块将用户的连续动作信息进行抽样离散化为动作序列，根据动作信息的时序相似度和均值相似度，判断用户动作类型，所述操作分析子模块采用操作识别模型分析预处理后的数据特征集，对用户操作信息进行分类，识别用户的操作目的，所述评估子模块采用高斯混合模型gmm根据动作类型与操作类型对用户的行为方向的真实度进行评估，所述模拟机用于预估事件的规律，推演用户的真实行为，所述动作分解子模块和操作分析子模块的输出端连接所述评估子模块的输入端，所述评估子模块的输出端连接模拟机的输入端；所述数据检测模块与交互设备连接，所述数据检测模块的输出端连接数据预处理模块的输入端，所述数据预处理模块的输出端连接模拟模块的输入端。2.根据权利要求1所述的一种基于交互设备信息感知模拟系统，其特征在于：所述分级特征简化模型包括简化系统和压缩系统，所述简化系统用于删除操作信息集中不必要的操作信息，减少数据冗余，提高数据的分析效率，所述压缩系统用于简化有效的重复操作信息，并提取数据特征，所述简化系统的输出端与压缩系统的输入端连接。3.根据权利要求2所述的一种基于交互设备信息感知模拟系统，其特征在于：所述简化系统通过将连续重复操作信息单元化，删除无意义操作子单元，消除冗余数据，所述简化系统的工作方式为：1）去除孤点，计算操作信息集中各数据点的点密度，确认点密度低于密度指数的数据点为孤点，将孤点从操作信息集中删除；2）将操作信息集单元化，把在20s内连续三次以上重复的操作信息归为一个以时间中点为数据中心点的操作信息子单元，并将操作信息子单元按照时间维度标号排列，其余操作信息以单个信息点的形式存在；3）去除无意义操作信息子单元，所述无意义操作样本与操作信息子单元的距离小于距离阈值时，判定操作信息子单元属于无意义的操作信息子单元，删除无意义的操作信息子
单元，保留有意义的操作信息子单元，距离阈值公式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）式（1）中，i为操作信息子单元的标号，为操作信息子单元的中心点位置，为无意义操作样本的数据点位置，n无意义操作样本的数据点标号，r为操作信息子单元的半径。4.根据权利要求2所述的一种基于交互设备信息感知模拟系统，其特征在于：所述压缩系统通过将重复操作信息合并为一个信息点，并对信息点赋权值的方式，压缩信息量，提高数据分析的效率，所述压缩系统的工作方式为：步骤1、将有意义的操作信息子单元进行合并压缩，删除同一个有意义的操作信息子单元中的重复操作信息，将有意义的操作信息子单元转换为单个信息点，并根据操作信息的重复次数对单个操作信息点赋予权值，权值公式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)式（2）中， 为操作信息点的数据量，j为操作信息的标号，为操作信息的维度值，为操作信息与操作样本的相似度，y为操作信息点的权值, 为操作信息子单元中重复操作信息的数量；步骤2、提取特征，截取信息点中的有效部分，通过方差过滤法识别信息点中的关键特征；步骤3、特征简化，通过卷积神经网络将高维数据特征转化为一维数据特征。5.根据权利要求1所述的一种基于交互设备信息感知模拟系统，其特征在于：所述操作分析子模块包括判定子模块和操作识别模型，所述判定子模块采用k-means算法将可直接与操作样本集中的操作类型进行匹配的操作特征进行分类，判定用户的操作类别，将无法直接与操作样本集中的操作类型进行匹配的操作特征合并为未分类特征集，所述操作识别模型对未分类特征集进行分析和归类，所述判定子模块的输出端与操作识别模型的输入端连接。6.根据权利要求5所述的一种基于交互设备信息感知模拟系统，其特征在于：所述操作识别模型的工作方式为：s1、初分类，取出未分类特征集中未分类特征序列的最后一位数据，生成替代数据集，对替代数据集重新编码，代替未分类特征序列进行分类，通过密度阈值将替代数据集按照数据相似度分类，密度阈值公式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)式（3）中，f为密度阈值，g为替代数据集总数据数目，为替代数据的权重，h为替代数据的标号，u为数据相似度，将分类后的替代数据转换为特征序列，得到操作特征簇；s2、重新编码，采用梯度下降法和反向传播算法将操作特征簇重新进行编码，提高再分类的精确性；s3、再分类，采用knn算法根据操作样本集对操作特征进行分类，确认用户操作的目的。7.根据权利要求1所述的一种基于交互设备信息感知模拟系统，其特征在于：所述模拟
机包括动作模拟系统、操作模拟系统和合成系统，所述动作模拟系统用于定位用户目标，根据用户目标的当前状态、当前动作特征和历史进行合成，得到仿真的抽象动作序列，所述操作模拟系统采用马尔可夫模型在系统中选择操作目标，根据不同用户的历史窗口信息和历史操作信息，得到不同用户对系统的访问频率、访问方向和操作轨迹特征，生成模拟的操作消息序列，所述合成系统采用自动寻径模型将动作模拟结果和操作模拟结果进行融合，得到用户的模拟行为信息，所述动作模拟系统和操作模拟系统的输出端与合成系统的输入端连接。8.根据权利要求7所述的一种基于交互设备信息感知模拟系统，其特征在于：所述自动寻径模型的工作方法为：根据同一用户达到相同操作目的的不同动作的动作频率，寻找并保留高于动作频率阈值的动作序列，再根据同一动作和同一操作目的，寻找并保留高于操作频率阈值的操作路径，操作频率阈值的公式为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)式（4）中，操作路径中操作信息的总值， c操作路径的标号，通过蝙蝠算法搜索并保留经两次筛选后操作频次最高的行为路径,作为用户的模拟行为信息。9.根据权利要求1所述的一种基于交互设备信息感知模拟系统，其特征在于：所述数据检测模块包括状态采集子模块、人脸识别摄像机和多功能传感器，所述状态采集系统用于检测用户使用系统过程中系统各模块的实时状态、窗口信息和进程信息，获取用户的操作信息，所述人脸识别摄像机用于采集用户的人脸信息，确认用户的身份和年龄，所述多功能传感器用于捕捉用户动作的方向和快慢，获取用户的动作信息。10.一种基于态势感知的交互模拟方法，其特征在于：应用于权利要求1-8中任意一项权利要求所述的一种基于交互设备信息感知模拟系统包括以下步骤：步骤一、通过人脸识别摄像机识别用户的身份与年龄；步骤二、通过交互设备实现用户与系统的交互连接；步骤三、通过数据检测模块采集用户的动作信息和用户使用过程中系统各模块的实时状态、窗口信息和进程信息；步骤四、通过动作分解子模块拆解和分类识别动作信息，对动作信息抽样离散化，分割生成动作序列，计算动作序列与动作样本的时序相似度和均值相似度，确认用户的动作类型，并形成动作特征合集；步骤五、通过数据预处理模块对操作信息进行数据预处理，采用分级特征简化模型将连续重复操作信息单元化，去除无意义子单元，将有意义操作子单元合并为一个信息点，并对信息点赋权值，采用方差过滤法识别信息点中的关键特征，提取操作信息的数据特征；步骤六、通过操作分析子模块确认用户的操作类别，采用k-means算法将可直接与操作样本集中的操作类型进行匹配的操作特征进行分类，将无法直接分类的操作特征合并为未分类特征集，采用操作识别模型将未分类特征集进行初分类，生成操作特征簇，再将操作特征簇重新进行编码，采用knn算法根据操作样本集对重新编码的操作特征进行分类，确认用户的操作类别和操作轨迹；步骤七、根据用户的动作类型与操作轨迹模拟用户的行为，采用高斯混合模型gmm根据动作类型与操作类型对用户的行为方向的真实度进行评估，采用模拟机生成仿真的抽象动
作序列和模拟的操作消息序列，根据自动寻径模型将仿真的抽象动作序列和模拟的操作消息序列进行融合，生成用户的模拟行为。

技术总结
本发明公开一种基于交互设备信息感知模拟系统及方法，涉及数据信息的传输技术领域，解决的问题是提高态势感知的交互能力的处理与计算，其中交互模拟系统包括数据检测模块、交互设备、数据预处理模块和模拟模块，采用分级特征简化模型将连续重复操作信息单元化，合并为一个信息点，提高分析的效率，采用操作识别模型采用将未分类特征序列的最后一位数据，代替未分类特征序列进行分类的方法，减少分类时间，采用自动寻径模型使用动作带动操作的方式模拟用户的行为，提高模拟的精确度，本发明通过用户动作、窗口信息和进程信息多方位态势感知，收集、整合和分析源数据，提高了数据信息感知交互的把控能力。感知交互的把控能力。感知交互的把控能力。


技术研发人员：王静羽
受保护的技术使用者：河南博兆电子科技有限公司
技术研发日：2023.07.08
技术公布日：2023/9/25