孤独症干预方法、装置、设备及存储介质与流程

未命名 10-08 阅读:71 评论:0


1.本技术涉及智能决策技术领域,尤其涉及一种基于增强现实和语言模型的孤独症干预方法、装置、设备及存储介质。


背景技术:

2.在医疗领域,孤独症(又称自闭症)是一种神经发育障碍,表现为社交沟通困难和重复刻板的行为模式。孤独症的发病原因尚未明确,没有针对性的药物治疗,目前只能通过行为方面的干预治疗来改善症状和提升能力。
3.然而行为干预治疗的专业性和标准要求高,医疗资源不足,难以普及,并且目前也缺乏有效的评估手段对孤独症患者的病情进行准确评估,而行为干预治疗需结合孤独症患者的病情等个性化差异来进行针对性的训练,导致行为干预治疗的难度大,干预效果也不尽人意。


技术实现要素:

4.本技术的主要目的在于提供一种基于增强现实和语言模型的孤独症干预方法、装置、设备及存储介质,旨在解决医疗领域中对孤独症患者的干预治疗医疗资源不足、难度大、效果差的技术问题。
5.第一方面,本技术提供了一种基于增强现实和语言模型的孤独症干预方法,所述方法包括:
6.通过脑机接口采集并分析孤独症患者的脑电数据,评估孤独症患者的第一患病程度;
7.提供增强现实测试情景,并通过预设训练好的语言模型生成适配所述测试情景的第一对话任务,测试孤独症患者的第二患病程度和第三患病程度;
8.根据所述第一患病程度、所述第二患病程度和所述第三患病程度,确定孤独症患者的干预措施;
9.根据所述干预措施,生成脑机接口干预任务,生成对应的增强现实干预情景,以及通过所述语言模型生成适配所述干预情景的第二对话任务,对孤独症患者进行干预训练。
10.第二方面,本技术还提供了一种基于增强现实和语言模型的孤独症干预装置,所述装置包括:
11.评估模块,用于通过脑机接口采集并分析孤独症患者的脑电数据,评估孤独症患者的第一患病程度;
12.测试模块,用于提供增强现实测试情景,并通过预设训练好的语言模型生成适配所述测试情景的第一对话任务,测试孤独症患者的第二患病程度;
13.确定模块,用于根据所述第一患病程度和所述第二患病程度,确定孤独症患者的干预措施;
14.干预模块,用于根据所述干预措施,生成脑机接口干预任务,生成对应的增强现实
干预情景,以及通过所述语言模型生成适配所述干预情景的第二对话任务,对孤独症患者进行干预训练。
15.第三方面,本技术还提供了一种计算机设备,所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序,其中所述计算机程序被所述处理器执行时,实现如上述的基于增强现实和语言模型的孤独症干预方法的步骤。
16.第五方面,本技术还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其中所述计算机程序被处理器执行时,实现如上述的基于增强现实和语言模型的孤独症干预方法。
17.本技术公开了一种基于增强现实和语言模型的孤独症干预方法、装置、计算机设备及可读存储介质,该基于增强现实和语言模型的孤独症干预方法,通过脑机接口采集并分析孤独症患者的脑电数据,评估孤独症患者的第一患病程度;提供增强现实测试情景,并通过预设训练好的语言模型生成适配测试情景的第一对话任务,测试孤独症患者的第二患病程度和第三患病程度;根据第一患病程度、第二患病程度和第三患病程度,确定孤独症患者的干预措施;根据干预措施,生成脑机接口干预任务,生成对应的增强现实干预情景,以及通过语言模型生成适配干预情景的第二对话任务,对孤独症患者进行干预训练。一方面,基于脑机接口实现了对孤独症患者大脑功能方面的准确性与合理性测试评估,还基于增强现实和语言模型,将自然的、引人入胜的、导向性的测评对话融入到针对性的、定制化的增强现实测试情景中,使得孤独症患者如身临真实情景一般展示自身真实的面部微表情与肢体动作、进行语言交流,引导孤独症患者完成在情感能力与行为能力方面、语言表达能力方面的测试评估,提升了对孤独症患者患病程度评估的准确性、真实性和全面性;另一方面,针对孤独症患者的患病程度,基于脑机接口实现了对孤独症患者大脑功能方面的科学性干预,还基于增强现实和语言模型,将自然的、引人入胜的、导向性的干预对话融入到针对性的、定制化的、个性化的增强现实干预情景中,为孤独症患者提供更加真实、安全、个性化、有趣的互动式和沉浸式干预训练,从而增强了对孤独症患者的干预效果,且实用性强,利于推广普及,能够有效解决医疗领域中关于孤独症患者的干预治疗医疗资源不足、难度大、干预效果差等现状。
18.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本技术。
附图说明
19.为了更清楚地说明本技术实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
20.图1为本技术基于增强现实和语言模型的孤独症干预方法一实施例的流程示意图;
21.图2为本技术基于增强现实和语言模型的孤独症干预方法一实施例涉及的孤独症干预系统的架构示意图;
22.图3为本技术一实施例提供的一种基于增强现实和语言模型的孤独症干预装置的示意性框图;
23.图4为本技术一实施例涉及的计算机设备的结构示意框图。
24.本技术目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
25.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
26.附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
27.应当理解,在此本技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本技术。如在本技术说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
28.应当理解,为了便于清楚描述本技术实施例的技术方案,在本技术的实施例中,采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定,并且“第一”、“第二”等字样也并不限定一定不同。
29.还应当进理解,在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
30.本技术的实施例提供了一种基于增强现实和语言模型的孤独症干预方法、装置、计算机设备及可读存储介质。其中,该基于增强现实和语言模型的孤独症干预方法,一方面,基于脑机接口实现了对孤独症患者大脑功能方面的准确性与合理性测试评估,还基于增强现实和语言模型,将自然的、引人入胜的、导向性的测评对话融入到针对性的、定制化的增强现实测试情景中,使得孤独症患者如身临真实情景一般展示自身真实的面部微表情与肢体动作、进行语言交流,引导孤独症患者完成在情感能力与行为能力方面、语言表达能力方面的测试评估,提升了对孤独症患者患病程度评估的准确性、真实性和全面性;另一方面,针对孤独症患者的患病程度,基于脑机接口实现了对孤独症患者大脑功能方面的科学性干预,还基于增强现实和语言模型,将自然的、引人入胜的、导向性的干预对话融入到针对性的、定制化的、个性化的增强现实干预情景中,为孤独症患者提供更加真实、安全、个性化、有趣的互动式和沉浸式干预学习和康复体验,从而增强了对孤独症患者的干预效果,且实用性强,利于推广普及,能够有效解决医疗领域中关于孤独症患者的干预治疗医疗资源不足、难度大、干预效果差等现状。
31.下面结合附图,对本技术的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
32.请参阅图1,图1是本技术实施例提供的一种基于增强现实和语言模型的孤独症干预方法,该基于增强现实和语言模型的孤独症干预方法主要应用于基于增强现实和语言模型的孤独症干预设备,该基于增强现实和语言模型的孤独症干预设备可以是服务器等具有数据处理功能的终端设备。
33.其中,服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network,cdn)、以及大数据和数据分析平台等基础云计算服务的云服务器。
34.如图1所示,该基于增强现实和语言模型的孤独症干预方法包括步骤s101至步骤s104。
35.步骤s101、通过脑机接口采集并分析孤独症患者的脑电数据,评估孤独症患者的第一患病程度。
36.其中,该基于增强现实和语言模型的孤独症干预方法可以应用于孤独症干预系统。
37.该基于增强现实和语言模型的孤独症干预方法,主要包括两个过程,一是通过孤独症干预系统,测试评估孤独症患者的患病程度;二是针对孤独症患者的患病程度,通过孤独症干预系统对孤独症患者进行相对应的干预训练。
38.为了更为标准、准确地评估孤独症患者的病情,可以从孤独症患者的大脑功能、情感能力与行为能力、语言表达能力(语言表达能力代表了社交沟通能力)这三方面对孤独症患者的患病程度进行评估。
39.具体地,请参阅图2,图2为该孤独症干预系统的架构示意图,该孤独症干预系统主要由脑机接口(bci)与增强现实(vr),以及语言模型等模块组成。
40.先通过脑机接口采集并分析孤独症患者的eeg(electroencephalogram,脑电)数据,以评估孤独症患者在大脑功能方面的患病程度(定义为第一患病程度)。
41.在一些实施例中,为了提升对孤独症患者大脑功能的评估效率和准确性,可以在脑机接口集成预设训练好的分类模型,通过脑机接口采集并分析孤独症患者的脑电数据,评估孤独症患者的第一患病程度,可以是通过脑机接口采集孤独症患者的脑电数据,并提取脑电数据的特征向量;根据分类模型对特征向量进行分析,得到孤独症患者的第一患病程度。
42.该训练好的分类模型可以是训练好的用于脑电数据分析的机器学习模型。示例性的,训练好的分类模型可以是训练好的svm(支持向量机)分类器,也可以是训练好的softmax分类器。以svm分类器为例,可以利用预设的脑电数据样本训练svm模型。具体而言,先提取脑电数据样本的特征向量,并标注对应的实际患病程度(假设患病程度划分为轻度、中度、重度三类,当然也可以用级别表示患病程度,比如划分为一到四个级别);然后将脑电数据样本的特征向量及其对应的实际患病程度输入至svm分类器中,将实际患病程度作为svm分类器的训练目标进行训练,得到预测患病程度;再通过损失函数计算预测患病程度和实际患病程度之间的损失值;在相邻两轮训练的损失值下降幅度小于预设阈值的情况下,确定svm分类器训练完成,得到训练好的分类模型。训练好的分类模型的输出,可以是被测脑电数据属于各类患病程度的分值。
43.通过脑机接口采集孤独症患者的脑电数据,并提取该脑电数据的特征向量,然后将该脑电数据的特征向量代入至训练好的分类模型中进行分析,训练好的分类模型输出该脑电数据属于各类患病程度的评分值,选取最大评分值指示孤独症患者在大脑功能方面的第一患病程度。
44.如此,实现了基于集成了训练好的分类模型的脑机接口,对孤独症患者的脑电数
据进行分析,为孤独症患者的脑电数据的分析提供了较为详细的分析依据,提高了脑电数据分析的准确性与合理性。
45.步骤s102、提供增强现实测试情景,并通过预设训练好的语言模型生成适配测试情景的第一对话任务,测试孤独症患者的第二患病程度和第三患病程度。
46.为了对孤独症患者的情感能力与行为模式、语言表达能力进行更为精准的评估测试,利用增强现实技术,通过增强现实模块,创建一个定制化的增强现实测试情景提供给孤独症患者,为孤独症患者提供沉浸式和交互式的测试环境或场景。
47.还通过预设训练好的语言模型,生成适配该测试情景的自然的、引人入胜的、导向性的测评对话任务(定义为第一对话任务),以测试孤独症患者在情感能力与行为能力方面的患病程度(定义为第二患病程度),以及语言表达能力方面的患病程度(定义为第三患病程度)。
48.在一些实施例中,步骤s102可以是,生成增强现实测试情景,并通过预设训练好的语言模型生成适配测试情景的第一对话任务,将测试情景和第一对话任务提供给孤独症患者;获取孤独症患者在测试情景下的行为特征数据,并根据行为特征数据确定孤独症患者的第二患病程度;通过语言模型对孤独症患者执行第一对话任务的状态进行分析,确定确定孤独症患者的第三患病程度。
49.其中,该训练好的语言模型,可以是训练好的用于话题建模、多轮智能问答、情感分析等的nlp(natural language processing,自然语言处理)模型。
50.利用增强现实技术生成增强现实测试情景,并通过预设训练好的语言模型生成适配增强现实测试情景的第一对话任务,将增强现实测试情景第一对话任务提供给孤独症患者。
51.之后,获取孤独症患者在增强现实测试情景下的行为特征数据,该行为特征数据可以是孤独症患者的面部微表情和肢体动作图像数据(面部微表情与肢体动作可以反应情感能力与行为能力),例如孤独症患者的面部微表情和肢体动作视频数据。根据该行为特征数据,得到孤独症患者在情感能力与行为能力方面的第二患病程度。
52.还通过训练好的语言模型对孤独症患者执行第一对话任务的状态进行分析,得到孤独症患者在语言表达能力方面的第三患病程度。
53.在一些实施例中,为了提升对孤独症患者的情感能力与行为能力的评估效率和准确性,根据行为特征数据确定孤独症患者的第二患病程度可以是,通过预设训练好的识别模型,对行为特征数据进行识别,得到孤独症患者的第二患病程度。
54.其中,预设训练好的识别模型包括训练好的微表情识别模型和训练好的肢体动作识别模型。
55.具体而言,可以通过临床上其他孤独症患者的人脸图像数据(比如动态的人脸视频数据),构造多种(比如50种)微表情特征(比如疑惑、专注、喜悦、信任、宁静、钦佩、欲望等维度的特征向量),从而基于这些微表情特征构建并训练基于深度学习模型的微表情识别模型,得到训练好的微表情识别模型。通过训练好的微表情识别模型对孤独症患者的微表情进行识别,预测孤独症患者面部微表情属于各类患病程度的评分值,选取最大评分值指示孤独症患者在情感能力方面的患病程度。
56.同样的,可以通过临床上其他孤独症患者的肢体动作图像数据(比如动态的关节
活动视频数据),构造多种肢体动作特征,从而基于肢体动作特征构建并训练基于深度学习模型的肢体动作识别模型,得到训练好的肢体动作识别模型。通过训练好的肢体动作识别模型对孤独症患者肢体动作识别进行识别,预测孤独症患者肢体动作属于各类患病程度的评分值,选取最大评分值指示孤独症患者在行为能力方面的患病程度。
57.综合上述微表情识别模型输出的评分值和肢体动作识别模型输出的评分值,例如取二者均值,用于指示孤独症患者在情感能力与行为能力方面的第二患病程度。
58.在一些实施例中,为了提升对孤独症患者的语言表达能力的评估效率和准确性,通过语言模型对孤独症患者执行第一对话任务的状态进行分析,确定确定孤独症患者的第三患病程度。
59.示例性的,该训练好的语言模型可以是训练好的bert(bidirectional encoder representation from transformers,双向注意力神经网络)模型。以通过训练好的bert模型生成第一对话任务为例,可以采集与孤独症相关的各种来源(例如临床报告、问卷、访谈、书籍、文章、博客、社交媒体帖子等)的文本数据,先对样本文本数据进行分词处理,然后通过该bert模型从分词后的样本文本数据中提取特征,进行单词和句子嵌入向量化,再通过余弦相似度获取嵌入向量化后单词和句子的相似度阈值,然后基于相似度阈值进行词性、文本相似度或情感倾向性判断,以与增强现实测试情景相符的聊天模式,与孤独症患者进行问答或聊天交互,开展第一对话任务,对孤独症患者进行语言测评。同时该bert模型对孤独患者的对话状态进行分析,对孤独症患者的语言表达能力进行评分,获得语言表达能力评分值,用于指示孤独症患者在语言表达能力方面的第三患病程度。
60.在一些实施例中,还可以开发基于训练好的语言模型的智能问答或者聊天机器人。为了增强孤独症患者的真实感和沉浸程度,该机器人可以以孤独症患者的监护人(比如家人)为角色,与孤独症患者进行问答或聊天交互,开展第一对话任务,对孤独症患者进行语言测评。同时该bert模型对孤独患者的对话状态进行分析,对孤独症患者的语言表达能力进行评分,获得语言表达能力评分值,用于指示孤独症患者在语言表达能力方面的第三患病程度。
61.通过上述方式,基于增强现实和语言模型,将自然的、引人入胜的、导向性的测评对话融入到针对性的、定制化的增强现实测试情景中,使得孤独症患者如身临真实情景一般展示自身真实的面部微表情与肢体动作、语言交流,引导孤独症患者完成在情感能力与行为能力方面、语言表达能力方面的测试评估,提升了对孤独症患者病情评估的真实性和全面性。
62.步骤s103、根据第一患病程度、第二患病程度和第三患病程度,确定孤独症患者的干预措施;
63.得到孤独症患者在大脑功能方面的第一患病程度,在情感能力与行为能力方面的第二患病程度,以及在语言表达能力方面的第三患病程度之后,结合第一患病程度、第二患病程度和第三患病程度,确定孤独症患者的干预措施。
64.在一些实施例中,步骤s103可以是,对第一患病程度、第二患病程度和第三患病程度进行加权求和处理,得到孤独症患者的患病程度;根据患病程度,确定孤独症患者的干预措施。
65.将孤独症患者在大脑功能方面的第一患病程度,在情感能力与行为能力方面的第
二患病程度,以及在语言表达能力方面的第三患病程度,综合起来进行加权求和处理,即可得到孤独症患者的患病程度。
66.示例性的,例如第一患病程度用x1表示,第二患病程度用x2表示,第三患病程度用x3表示,可通过如下的预设计算公式,计算得到孤独症患者的患病程度y:
67.y=ax1+bx2+cx368.其中,a表示第一患病程度的权重值,b表示第二患病程度的权重值,c表示第三患病程度的权重值,且a+b+c=1。
69.如此,提升了对孤独症患者的病情评估的科学性和严谨性。
70.之后,便根据孤独症患者的患病程度,确定孤独症患者的干预措施。示例性的,例如患病程度分值在轻度症状对应的范围内,确定孤独症患者的干预措施为个性化互动对话;患病程度分值在中度症状对应的范围内,确定孤独症患者的干预措施为注意力训练和认知训练;患病程度分值在重度症状对应的范围内,确定确定孤独症患者的干预措施为药物干预、注意力训练,甚至是提供全天候监护等等。
71.如此,根据孤独症患者的患病程度,针对性地为孤独症患者提供适应性的干预措施。
72.步骤s103、根据所述干预措施,生成脑机接口干预任务,生成对应的增强现实干预情景,以及通过所述语言模型生成适配所述干预情景的第二对话任务,对孤独症患者进行干预训练。
73.最终,根据上述确定的干预措施,从大脑功能、情感能力与行为能力、语言表达能力这三方面出发,对孤独症患者进行干预训练。
74.具体地,可以基于脑机接口技术生成刺激神经细胞和大脑的脑机接口干预任务,通过脑机接口刺激孤独症患者的神经细胞和大脑,以增强孤独症患者的大脑功能。
75.还可以基于增强现实技术生成对应的个性化的增强现实干预情景。训练好的语言模型则可以根据孤独症患者的需求和偏好,生成不同主题、难度和风格的干预对话任务,如认知教学、故事、诗歌、歌曲、笑话等,以增加孤独症患者的注意力、动机和乐趣,因此,通过训练好的语言模型生成适配增强现实干预情景的干预对话任务(定义为第二对话任务),对孤独症患者进行干预训练。
76.示例性的,可以基于增强现实技术,将监护人员的真实人物形象融入至个性化的干预训练场景中,并通过训练好的语言模型生成适配的对话,对孤独症患者进行干预训练。比如可以在水果认知干预训练中,基于增强现实技术生成水果店场景,使用孤独症患者爸爸的人物形象教孤独症患者认识不同的水果:“宝贝,这个是什么水果啊?”,孤独症患者通过语音回答水果的名称,爸爸的人物形象还可以提问:“香蕉是什么颜色啊?”,儿童通过语音进行回答,爸爸的人物形象回应儿童的回答等等。
77.在一些实施例中,还可以开发基于训练好的语言模型的智能问答或者聊天机器人。为了提升孤独症患者的干预效果,该机器人可以以孤独症患者的监护人(比如家人)为角色,与孤独症患者开展第二对话任务,以对孤独症患者进行互动式对话干预治疗。
78.通过上述方式,基于增强现实和语言模型,将自然的、引人入胜的、导向性的干预对话融入到针对性的、定制化的、个性化的增强现实干预情景中,为孤独症患者提供更加真实、安全、个性化、有趣的互动式和沉浸式学习和康复体验,增强了对孤独症患者的干预效
果,能够提升孤独症患者的情感能力与行为能力、社交技能。
79.在一些实施例中,对孤独症患者进行干预训练后,还可以通过上述孤独症干预系统,测试评估孤独症患者进行干预训练后的患病程度,以检验孤独症干预系统对孤独症患者的干预效果。如果干预效果未达到预期,可以对孤独症干预系统进行适应性的调整优化,更有利于更新干预策略。如此,能够定期对孤独症患者进行评估和反馈,以监测孤独症患者的进步和问题,并调整干预计划和目标,从而实现对孤独症患者个性化的动态干预,优化孤独症患者的干预效果和康复体验。
80.在一些实施例中,还可以通过虚拟现实(ar)技术,提供虚拟现实测试情景和虚拟现实干预情景给孤独症患者。
81.上述提供的基于增强现实和语言模型的孤独症干预方法,通过脑机接口采集并分析孤独症患者的脑电数据,评估孤独症患者的第一患病程度;提供增强现实测试情景,并通过预设训练好的语言模型生成适配测试情景的第一对话任务,测试孤独症患者的第二患病程度和第三患病程度;根据第一患病程度、第二患病程度和第三患病程度,确定孤独症患者的干预措施;根据干预措施,生成脑机接口干预任务,生成对应的增强现实干预情景,以及通过语言模型生成适配干预情景的第二对话任务,对孤独症患者进行干预训练。一方面,基于脑机接口实现了对孤独症患者大脑功能方面的准确性与合理性测试评估,还基于增强现实和语言模型,将自然的、引人入胜的、导向性的测评对话融入到针对性的、定制化的增强现实测试情景中,使得孤独症患者如身临真实情景一般展示自身真实的面部微表情与肢体动作、进行语言交流,引导孤独症患者完成在情感能力与行为能力方面、语言表达能力方面的测试评估,提升了对孤独症患者患病程度评估的准确性、真实性和全面性;另一方面,针对孤独症患者的患病程度,基于脑机接口实现了对孤独症患者大脑功能方面的科学性干预,还基于增强现实和语言模型,将自然的、引人入胜的、导向性的干预对话融入到针对性的、定制化的、个性化的增强现实干预情景中,为孤独症患者提供更加真实、安全、个性化、有趣的互动式和沉浸式学习和康复体验,从而增强了对孤独症患者的干预效果,且实用性强,利于推广普及,能够有效解决医疗领域中关于孤独症患者的干预治疗医疗资源不足、难度大、干预效果差等现状。
82.请参照图3,图3为本技术实施例提供的一种基于增强现实和语言模型的孤独症干预装置的示意性框图。
83.如图3所示,该装置300,包括:评估模块301、测试模块302、确定模块303、和干预模块304。
84.评估模块301,用于通过脑机接口采集并分析孤独症患者的脑电数据,评估孤独症患者的第一患病程度;
85.测试模块302,用于提供增强现实测试情景,并通过预设训练好的语言模型生成适配所述测试情景的第一对话任务,测试孤独症患者的第二患病程度;
86.确定模块303,用于根据所述第一患病程度和所述第二患病程度,确定孤独症患者的干预措施;
87.干预模块304,用于根据所述干预措施,生成脑机接口干预任务,生成对应的增强现实干预情景,以及通过所述语言模型生成适配所述干预情景的第二对话任务,对孤独症患者进行干预训练。
88.需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的装置和各模块及单元的具体工作过程,可以参考前述基于增强现实和语言模型的孤独症干预方法实施例中的对应过程,在此不再赘述。
89.上述实施例提供的装置可以实现为一种计算机程序的形式,该计算机程序可以在如图4所示的计算机设备上运行。
90.请参阅图4,图4为本技术实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是个人计算机(personal computer,pc)、服务器等具有数据处理功能的设备。
91.如图4所示,该计算机设备包括通过系统总线连接的处理器、存储器和网络接口,其中,存储器可以包括非易失性存储介质和内存储器。
92.非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令,该程序指令被执行时,可使得处理器执行任意一种基于增强现实和语言模型的孤独症干预方法。
93.处理器用于提供计算和控制能力,支撑整个计算机设备的运行。
94.内存储器为非易失性存储介质中的计算机程序的运行提供环境,该计算机程序被处理器执行时,可使得处理器执行任意一种基于增强现实和语言模型的孤独症干预方法。
95.该网络接口用于进行网络通信,如发送分配的任务等。本领域技术人员可以理解,图4中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
96.应当理解的是,处理器可以是中央处理单元(central processing unit,cpu),该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
97.其中,在一些实施例中,所述处理器用于运行存储在存储器中的计算机程序,以实现如下步骤:
98.通过脑机接口采集并分析孤独症患者的脑电数据,评估孤独症患者的第一患病程度;
99.提供增强现实测试情景,并通过预设训练好的语言模型生成适配所述测试情景的第一对话任务,测试孤独症患者的第二患病程度和第三患病程度;
100.根据所述第一患病程度、所述第二患病程度和所述第三患病程度,确定孤独症患者的干预措施;
101.根据所述干预措施,生成脑机接口干预任务,生成对应的增强现实干预情景,以及通过所述语言模型生成适配所述干预情景的第二对话任务,对孤独症患者进行干预训练。
102.在一些实施例中,所述脑机接口集成预设训练好的分类模型,所述处理器实现所述通过脑机接口采集并分析孤独症患者的脑电数据,评估孤独症患者的第一患病程度时,用于实现:
103.通过脑机接口采集孤独症患者的脑电数据,并提取所述脑电数据的特征向量;
104.根据所述分类模型对所述特征向量进行分析,得到孤独症患者的第一患病程度。
105.在一些实施例中,所述处理器实现所述提供增强现实测试情景,并通过预设训练好的语言模型生成适配所述测试情景的第一对话任务,测试孤独症患者的第二患病程度和第三患病程度时,用于实现:
106.生成增强现实测试情景,并通过预设训练好的语言模型生成适配所述测试情景的第一对话任务,将所述测试情景和所述第一对话任务提供给孤独症患者;
107.获取孤独症患者在所述测试情景下的行为特征数据,并根据所述行为特征数据确定孤独症患者的第二患病程度;
108.通过所述语言模型对孤独症患者执行所述第一对话任务的状态进行分析,确定孤独症患者的第三患病程度。
109.在一些实施例中,所述处理器实现所述根据所述第一患病程度、所述第二患病程度和所述第三患病程度,确定孤独症患者的干预措施时,用于实现:
110.对所述第一患病程度、所述第二患病程度和所述第三患病程度进行加权求和处理,得到孤独症患者的患病程度;
111.根据所述患病程度,确定孤独症患者的干预措施。
112.在一些实施例中,所述处理器实现所述根据所述行为特征数据确定孤独症患者的第二患病程度时,用于实现:
113.通过预设训练好的识别模型,对所述行为特征数据进行识别,得到孤独症患者的第二患病程度。
114.在一些实施例中,所述处理器用于运行存储在存储器中的计算机程序,以实现如下步骤:
115.通过基于所述语言模型的智能语音机器人,提供所述第一对话任务和所述第二对话任务。
116.在一些实施例中,所述处理器实现所述对孤独症患者进行干预训练之后时,用于实现:
117.对所述干预训练的效果进行评估,并根据所述评估的结果对所述干预训练进行调整。
118.本技术实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序中包括程序指令,所述程序指令被执行时所实现的方法可参照本技术基于增强现实和语言模型的孤独症干预方法的各个实施例,或者医疗实体关系的识别方法的各个实施例。
119.其中,所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元,例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备,例如所述计算机设备上配备的插接式硬盘,智能存储卡(smart media card,smc),安全数字(secure digital,sd)卡,闪存卡(flash card)等。
120.进一步地,所述计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
121.本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
122.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
123.上述本技术实施例序号仅仅为了描述,不代表实施例的优劣。以上所述,仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应以权利要求的保护范围为准。

技术特征:
1.一种基于增强现实和语言模型的孤独症干预方法,其特征在于,所述方法包括以下步骤:通过脑机接口采集并分析孤独症患者的脑电数据,评估孤独症患者的第一患病程度;提供增强现实测试情景,并通过预设训练好的语言模型生成适配所述测试情景的第一对话任务,测试孤独症患者的第二患病程度和第三患病程度;根据所述第一患病程度、所述第二患病程度和所述第三患病程度,确定孤独症患者的干预措施;根据所述干预措施,生成脑机接口干预任务,生成对应的增强现实干预情景,以及通过所述语言模型生成适配所述干预情景的第二对话任务,对孤独症患者进行干预训练。2.根据权利要求1所述的基于增强现实和语言模型的孤独症干预方法,其特征在于,所述脑机接口集成预设训练好的分类模型;所述通过脑机接口采集并分析孤独症患者的脑电数据,评估孤独症患者的第一患病程度,包括:通过脑机接口采集孤独症患者的脑电数据,并提取所述脑电数据的特征向量;根据所述分类模型对所述特征向量进行分析,得到孤独症患者的第一患病程度。3.根据权利要求1所述的基于增强现实和语言模型的孤独症干预方法,其特征在于,所述提供增强现实测试情景,并通过预设训练好的语言模型生成适配所述测试情景的第一对话任务,测试孤独症患者的第二患病程度和第三患病程度,包括:生成增强现实测试情景,并通过预设训练好的语言模型生成适配所述测试情景的第一对话任务,将所述测试情景和所述第一对话任务提供给孤独症患者;获取孤独症患者在所述测试情景下的行为特征数据,并根据所述行为特征数据确定孤独症患者的第二患病程度;通过所述语言模型对孤独症患者执行所述第一对话任务的状态进行分析,确定孤独症患者的第三患病程度。4.根据权利要求1所述的基于增强现实和语言模型的孤独症干预方法,其特征在于,所述根据所述第一患病程度、所述第二患病程度和所述第三患病程度,确定孤独症患者的干预措施,包括:对所述第一患病程度、所述第二患病程度和所述第三患病程度进行加权求和处理,得到孤独症患者的患病程度;根据所述患病程度,确定孤独症患者的干预措施。5.根据权利要求3所述的基于增强现实和语言模型的孤独症干预方法,其特征在于,所述根据所述行为特征数据确定孤独症患者的第二患病程度,包括:通过预设训练好的识别模型,对所述行为特征数据进行识别,得到孤独症患者的第二患病程度。6.根据权利要求1所述的基于增强现实和语言模型的孤独症干预方法,其特征在于,所述方法还包括:通过基于所述语言模型的智能语音机器人,提供所述第一对话任务和所述第二对话任务。7.根据权利要求1所述的基于增强现实和语言模型的孤独症干预方法,其特征在于,所
述对孤独症患者进行干预训练之后,包括:对所述干预训练的效果进行评估,并根据所述评估的结果对所述干预训练进行调整。8.一种基于增强现实和语言模型的孤独症干预装置,其特征在于,所述基于增强现实和语言模型的孤独症干预装置包括:评估模块,用于通过脑机接口采集并分析孤独症患者的脑电数据,评估孤独症患者的第一患病程度;测试模块,用于提供增强现实测试情景,并通过预设训练好的语言模型生成适配所述测试情景的第一对话任务,测试孤独症患者的第二患病程度;确定模块,用于根据所述第一患病程度和所述第二患病程度,确定孤独症患者的干预措施;干预模块,用于根据所述干预措施,生成脑机接口干预任务,生成对应的增强现实干预情景,以及通过所述语言模型生成适配所述干预情景的第二对话任务,对孤独症患者进行干预训练。9.一种计算机设备,其特征在于,所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序,其中所述计算机程序被所述处理器执行时,实现如权利要求1至7中任一项所述的基于增强现实和语言模型的孤独症干预方法的步骤。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,其中所述计算机程序被处理器执行时,实现如权利要求1至7中任一项所述的基于增强现实和语言模型的孤独症干预方法的步骤。

技术总结
本申请属于智能决策技术领域,提供了一种基于增强现实和语言模型的孤独症干预方法、装置、设备及存储介质,该方法包括:通过脑机接口采集并分析孤独症患者的脑电数据,评估孤独症患者的第一患病程度;提供增强现实测试情景,并通过预设训练好的语言模型生成适配测试情景的第一对话任务,测试第二患病程度和第三患病程度;根据第一、第二和第三患病程度,确定干预措施;根据干预措施,生成脑机接口干预任务,生成对应的增强现实干预情景,以及通过语言模型生成适配干预情景的第二对话任务,对孤独症患者进行干预训练。本申请能够增强医疗领域中对孤独症患者的干预效果,有效解决医疗领域中关于孤独症患者的干预治疗资源不足、难度大等现状。现状。现状。


技术研发人员:郭建影
受保护的技术使用者:平安科技(深圳)有限公司
技术研发日:2023.06.30
技术公布日:2023/10/6
版权声明

本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

航空之家 https://www.aerohome.com.cn/

飞机超市 https://mall.aerohome.com.cn/

航空资讯 https://news.aerohome.com.cn/

分享:

扫一扫在手机阅读、分享本文

相关推荐