一种基于语音识别的认知障碍评估方法与流程

1.本发明涉及认知障碍评估技术领域，具体涉及一种基于语音识别的认知障碍评估方法。


背景技术：

2.以阿尔兹海默症为代表的认知症仍然是医疗界的一大难题，患病后不可逆，患者从记忆衰退、性情大变，到大小便失禁，给家庭带来长久的折磨。若能通过早筛查、早发现、早干预将ad的发病延缓5年，将减少约57％的ad患者，极大减轻认知障碍对家庭和社会的经济负担。认知障碍风险人群规模加速扩张奠定认知功能筛查推广的必要性基础。
3.传统的认知障碍的评估手段有：神经心理量表，核磁共振、pet、脑脊液等等，但这些手段都存在不同程度的弊端，例如简易神经心理量表对于认知障碍人群的甄别敏感度不够，全套量表则耗时过久，核磁共振或pet等成本高，脑脊液穿刺有体外创、用户接受度低等实际问题，无法用于大规模推广应用。


技术实现要素：

4.针对现有技术中的缺陷，本发明提供一种基于语音识别的认知障碍评估方法，包括：
5.获取测试时的语音数据；
6.利用预处理引擎对所述语音数据进行分析，得到目标语音数据；
7.利用自然语音处理引擎对所述目标语音数据进行分析，得到语言特征数据，利用语音音频信号处理引擎对所述目标语音数据进行分析，得到音频特征数据；
8.基于注意力机制融合所述音频特征数据和所述语音特征数据，得到语音融合特征数据，利用认知语音分析引擎对所述语音融合特征数据进行分析，得到认知能力检测结果。
9.进一步的，利用预处理引擎对所述语音数据进行分析，得到目标语音数据，包括：
10.启动环境声音分析，对所述语音数据中的环境声音进行降噪处理；
11.利用声纹识别模型识别语音数据中的被测试者，从语音数据中提取所述被测试者的语音数据，得到目标语音数据。
12.进一步的，利用声纹识别模型识别语音数据中的被测试者，包括：
13.利用所述声纹识别模型获取所述语音数据中的声纹信息；
14.将所述声纹信息与第一用户数据库进行对比分析，根据对比分析结果从所述第一用户数据库中确定出被测试者及其对应的声纹信息，或者；
15.将所述声纹信息与第二用户数据库进行对比分析，根据对比分析结果从所述第二用户数据库中确定出测试者的声纹信息，根据所述测试者的声纹信息确定出被测试者的声纹信息，并将所述被测试者的声纹信息存储至所述第一用户数据库。
16.进一步的，利用自然语音处理引擎对所述目标语音数据进行分析，得到语言特征数据，包括：
17.将所述目标语音数据转换为语音文本；
18.利用文本识别模型识别文本错误，所述文本错误包括语法错误、拼读错误、词汇错误、重复错误中的至少一种；
19.根据所述文本错误对所述语音文本进行修正，得到目标语音文本；
20.从所述目标语音文本中提取语言特征数据。
21.进一步的，从所述目标语音文本中提取语言特征数据，包括：
22.对所述目标语言文本进行词性分析和关键词分析，提取关键词；
23.按照关键词重要程度对所述关键词进行复制，构建语言特征向量。
24.进一步的，按照关键词重要程度对所述关键词进行复制，构建语言特征向量，包括：
25.根据文本错误类型、文本错误数据和文本错误类型对应的权重对所述文本错误进行评估，得到文本错误评估值；
26.获取所述文本错误评估值与预设评估值的差值与错误文本评估值的比值，所述预设评估值根据测试者的年龄和职业确定；
27.将所述比值作为向量系数修正所述语言特征向量，得到语言特征数据。
28.进一步的，利用语音音频信号处理引擎对所述目标语音数据进行分析，得到音频特征数据，包括：
29.根据所述语言特征向量从所述目标语言数据中提取第一音频特征数据；
30.按照预设参数提取第二音频特征数据，所述预设参数包括停顿时长阈值、音调高低阈值，所述第二音频特征数据包括长停顿语音特征、长音调语音特征和低音调语音特征。
31.进一步的，基于注意力机制融合所述音频特征数据和所述语音特征数据，得到语音融合特征数据，包括：
32.融合所述语音特征数据和所述第一音频特征数据，得到第一融合特征数据；
33.融合所述第一融合特征数据和所述第二音频特征数据，得到融合特征数据。
34.进一步的，利用认知语音分析引擎对所述语音融合特征数据进行分析，得到认知能力检测结果，包括：
35.利用认知障碍分析模型对所述语音融合数据进行分析，确定被测试者是否有认知障碍；
36.在被测试者有认知障碍时，利用认知语音分析模型对语音融合数据进行分析，确定认知障碍测试项对应的认知障碍程度；
37.根据所述认知障碍项及其对应的认知障碍程度，确定认知障碍等级。
38.进一步的，利用认知语音分析模型对语音融合数据进行分析，确定认知障碍测试项对应的认知障碍程度，包括：将与认知障碍策测试项对应的融合语音特征数据和所有融合语音特征数据分别输入与认知障碍测试项对应的认知语音分析模型，得到与认知障碍测试项对应的认知障碍程度。
39.本发明的有益效果体现在：基于语音识别的认知障碍评估方法通过对语音数据的分析和处理，结合注意力机制的融合方式，可以有效地评估被测试者的认知能力和存在的认知障碍程度。同时，该方法利用了预处理引擎、自然语音处理引擎和语音音频信号处理引擎等技术手段，对语音数据进行降噪处理、文本转换和特征提取，提高了评估的准确性和可
靠性。
附图说明
40.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
41.图1为本发明实施例提供的一种基于语音识别的认知障碍评估方法的流程图；
42.图2为本发明实施例提供的一种基于语音识别的认知障碍评估方法的一子流程图；
43.图3为本发明实施例提供的一种基于语音识别的认知障碍评估方法的另一子流程图。
具体实施方式
44.下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
45.需要注意的是，除非另有说明，本技术使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
46.如图1所示，一种基于语音识别的认知障碍评估方法，包括：
47.步骤1，获取测试时的语音数据；
48.具体的，通过前端测试工具以调查问卷的方式获取语音数据，所述语音数据包括测试者和被测试者的语音数据，所述测试者可以是ai，也可以是机器人，所述调查问卷中的问题对应各个认知功能障碍测试项，所述认知功能障碍测试项包括看图辨物、瞬时记忆、注意力、短时记忆以及长时记忆等。
49.步骤2，利用预处理引擎对所述语音数据进行分析，得到目标语音数据；
50.如图2所示，在本发明实施例中，利用预处理引擎对所述语音数据进行分析，得到目标语音数据，包括：启动环境声音分析，对所述语音数据中的环境声音进行降噪处理；利用声纹识别模型识别语音数据中的被测试者，从语音数据中提取所述被测试者的语音数据，得到目标语音数据。
51.具体的，环境声音分析方法包括但不限于统计特征方法、机器学习方法；基于统计特征的方法：通过计算语音数据的帧能量、频谱平均值、频谱倒谱系数等统计特征，可以判断出环境噪声的能量和分布情况，进而进行降噪处理。基于机器学习的方法：使用机器学习算法，如高斯混合模型(gmm)或隐马尔可夫模型(hmm)，对环境声音进行建模和分类，以区分目标语音和环境噪声。
52.具体的，降噪处理方法包括统计滤波法、谱减法等；统计滤波法：根据统计特征的分布情况，可以通过滤波算法(如均值滤波、中值滤波)来减少环境噪声，保留目标语音信号。谱减法：通过对语音信号的频谱进行估计和减法运算，将频谱中的噪声成分抑制，从而降低噪声水平。高斯混合模型(gmm)：使用gmm对语音数据进行建模，提取声纹特征，该模型基于对声音的频谱、共振峰等特征进行建模和分类。
53.在本发明实施例中，利用声纹识别模型识别语音数据中的被测试者，包括：利用所述声纹识别模型获取所述语音数据中的声纹信息；将所述声纹信息与第一用户数据库进行对比分析，根据对比分析结果从所述第一用户数据库中确定出被测试者及其对应的声纹信息，或者；将所述声纹信息与第二用户数据库进行对比分析，根据对比分析结果从所述第二用户数据库中确定出测试者的声纹信息，根据所述测试者的声纹信息确定出被测试者的声纹信息，并将所述被测试者的声纹信息存储至所述第一用户数据库。
54.首先，通过声纹识别模型，从语音数据中提取出被测试者的声纹信息，这种唯一的生物特征可以像指纹或虹膜一样用于个体身份辨识。其次，通过对比分析第一用户数据库和第二用户数据库，可以准确地确定被测试者的声纹信息。第一用户数据库包含已知用户的信息，可以通过对比找到匹配的声纹信息，确定被测试者的身份。而第二用户数据库包含多个用户的声纹信息，通过对比找到与被测试者最匹配的声纹信息，进一步确定被测试者的身份。最后，根据对比分析的结果，将被测试者的声纹信息存储到第一用户数据库中。这样，在再次遇到相同的被测试者时，可以更快速而准确地识别其身份，提高识别的效率和准确性。此外，该发明还可根据需要对用户数据库进行更新和扩展，以适应不断变化的用户群体。
55.本实施例通过声纹识别模型和对比分析技术，实现了对语音数据中被测试者身份的快速、准确识别，并能够更新和扩充用户数据库，为个体身份辨识提供了便利和可靠的解决方案。
56.步骤3，利用自然语音处理引擎对所述目标语音数据进行分析，得到语言特征数据，利用语音音频信号处理引擎对所述目标语音数据进行分析，得到音频特征数据；
57.如图3所示，在本发明实施例中，利用自然语音处理引擎对所述目标语音数据进行分析，得到语言特征数据，包括：将所述目标语音数据转换为语音文本；利用文本识别模型识别文本错误，所述文本错误包括语法错误、拼读错误、词汇错误、重复错误中的至少一种；根据所述文本错误对所述语音文本进行修正，得到目标语音文本；从所述目标语音文本中提取语言特征数据。
58.本实施例提供的文本错误为可修正的简单的文本错误，对其进行修正后可更好地评估语音文本本身对被测试者认知功能障碍的影响程度。
59.在本发明实施例中，从所述目标语音文本中提取语言特征数据，包括：对所述目标语言文本进行词性分析和关键词分析，提取关键词；按照关键词重要程度对所述关键词进行复制，构建语言特征向量。
60.具体的，所述关键词包括一类关键词和二类关键词，所述一类关系词为认知类关键词，所述一类关键词包括语音类关键词(记忆、注意力、理解、语音能力)、认知处理类关键词(认知速度、注意力转移、概念行车、问题解决)、执行功能类关键词(计划和组织、自我监控、实施能力)，所述二类关键词为情感类关键词(焦虑、高兴、信心程度)。
61.具体的，关键词的重要程度是根据类别预先设置的，重要程度越高复制次数越高。
62.在本发明实施例中，按照关键词重要程度对所述关键词进行复制，构建语言特征向量，包括：根据文本错误类型、文本错误数据和文本错误类型对应的权重对所述文本错误进行评估，得到文本错误评估值；获取所述文本错误评估值与预设评估值的差值与错误文本评估值的比值；将所述比值作为向量系数修正所述语言特征向量，得到语言特征数据。
63.具体的，所述预设评估值根据测试者的年龄和职业确定。
64.不管是不存在认知功能障碍还是存在认知功能障碍的人，在回答问题时都有可能发生一些常规错误，但是若常规错误超过了设定值，那么我们认为其对认知功能障碍具有一定的影响。因此，本实施例提供能够对文本错误进行评估，并根据评估结果对语音特征向量进行修正，以提高语音特征数据的有效性。
65.在本发明实施例中，利用语音音频信号处理引擎对所述目标语音数据进行分析，得到音频特征数据，包括：根据所述语言特征向量从所述目标语言数据中提取第一音频特征数据；按照预设参数提取第二音频特征数据，所述预设参数包括停顿时长阈值、音调高低阈值，所述第二音频特征数据包括长停顿语音特征、长音调语音特征和低音调语音特征。
66.具体的，将目标语音数据输入语音音频信号处理引擎，使用语言特征向量从目标语言数据中提取第一音频特征数据和第二语音特征数据，这可以通过使用一种适合的语音特征提取算法来实现，例如mel频谱特征提取算法或线性预测编码(lpc)算法。
67.具体的，长停顿语音特征表示目标语音数据中的长时间停顿，可以用于检测语句的边界或提取语音单位，长音调语音特征表示目标语音数据中的长音调变化，可以用于检测重音或语气变化，低音调语音特征表示目标语音数据中的低音调情况，可以用于检测语音的音调模式。
68.步骤4，基于注意力机制融合所述音频特征数据和所述语音特征数据，得到语音融合特征数据，利用认知语音分析引擎对所述语音融合特征数据进行分析，得到认知能力检测结果。
69.在本发明实施例中，基于注意力机制融合所述音频特征数据和所述语音特征数据，得到语音融合特征数据，包括：融合所述语音特征数据和所述第一音频特征数据，得到第一融合特征数据；融合所述第一融合特征数据和所述第二音频特征数据，得到融合特征数据。
70.本实施例通过注意力机制将语音特征数据和第一音频特征数据进行融合，得到了第一融合特征数据，实现了多层次特征融合，提高了语音特征数据的深度，然后将第一融合特征数据与第二音频特征数据进行融合，实现多角度融合，提高了对关键特征的感知能力，减少了特征之间的冲突，有利于提高评估精度。
71.在本发明实施例中，利用认知语音分析引擎对所述语音融合特征数据进行分析，得到认知能力检测结果，包括：利用认知障碍分析模型对所述语音融合数据进行分析，确定被测试者是否有认知障碍；在被测试者有认知障碍时，利用认知语音分析模型对语音融合数据进行分析，确定认知障碍测试项对应的认知障碍程度；根据所述认知障碍项及其对应的认知障碍程度，确定认知障碍等级。
72.具体的，认知障碍分析模型是基于有认知障碍和没有认知障碍的训练数据训练得到的，认知语音分析模型是基于认知障碍测试项对应的训练数据得到的。
73.在本发明实施例中，利用认知语音分析模型对语音融合数据进行分析，确定认知障碍测试项对应的认知障碍程度，包括：将与认知障碍策测试项对应的融合语音特征数据和所有融合语音特征数据分别输入与认知障碍测试项对应的认知语音分析模型，得到与认知障碍测试项对应的认知障碍程度。
74.本实施例在进行单项认知障碍评估时，不仅关注单项认知障碍对应的语音融合特
征数据，还关注了所有语音数据与单项认知障碍对应的语音融合特征数据，提高了识别精度。
75.综上，本发明实施例提供的基于语音识别的认知障碍评估方法通过对语音数据的分析和处理，结合注意力机制的融合方式，可以有效地评估被测试者的认知能力和存在的认知障碍程度。同时，该方法利用了预处理引擎、自然语音处理引擎和语音音频信号处理引擎等技术手段，对语音数据进行降噪处理、文本转换和特征提取，提高了评估的准确性和可靠性。
76.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

技术特征：
1.一种基于语音识别的认知障碍评估方法，其特征在于，包括：获取测试时的语音数据；利用预处理引擎对所述语音数据进行分析，得到目标语音数据；利用自然语音处理引擎对所述目标语音数据进行分析，得到语言特征数据，利用语音音频信号处理引擎对所述目标语音数据进行分析，得到音频特征数据；基于注意力机制融合所述音频特征数据和所述语音特征数据，得到语音融合特征数据，利用认知语音分析引擎对所述语音融合特征数据进行分析，得到认知能力检测结果。2.根据权利要求1所述的一种基于语音识别的认知障碍评估方法，其特征在于，利用预处理引擎对所述语音数据进行分析，得到目标语音数据，包括：启动环境声音分析，对所述语音数据中的环境声音进行降噪处理；利用声纹识别模型识别语音数据中的被测试者，从语音数据中提取所述被测试者的语音数据，得到目标语音数据。3.根据权利要求2所述的一种基于语音识别的认知障碍评估方法，其特征在于，利用声纹识别模型识别语音数据中的被测试者，包括：利用所述声纹识别模型获取所述语音数据中的声纹信息；将所述声纹信息与第一用户数据库进行对比分析，根据对比分析结果从所述第一用户数据库中确定出被测试者及其对应的声纹信息，或者；将所述声纹信息与第二用户数据库进行对比分析，根据对比分析结果从所述第二用户数据库中确定出测试者的声纹信息，根据所述测试者的声纹信息确定出被测试者的声纹信息，并将所述被测试者的声纹信息存储至所述第一用户数据库。4.根据权利要求1所述的一种基于语音识别的认知障碍评估方法，其特征在于，利用自然语音处理引擎对所述目标语音数据进行分析，得到语言特征数据，包括：将所述目标语音数据转换为语音文本；利用文本识别模型识别文本错误，所述文本错误包括语法错误、拼读错误、词汇错误、重复错误中的至少一种；根据所述文本错误对所述语音文本进行修正，得到目标语音文本；从所述目标语音文本中提取语言特征数据。5.根据权利要求4所述的一种基于语音识别的认知障碍评估方法，其特征在于，从所述目标语音文本中提取语言特征数据，包括：对所述目标语言文本进行词性分析和关键词分析，提取关键词；按照关键词重要程度对所述关键词进行复制，构建语言特征向量。6.根据权利要求5所述一种基于语音识别的认知障碍评估方法，其特征在于，按照关键词重要程度对所述关键词进行复制，构建语言特征向量，包括：根据文本错误类型、文本错误数据和文本错误类型对应的权重对所述文本错误进行评估，得到文本错误评估值；获取所述文本错误评估值与预设评估值的差值与错误文本评估值的比值，所述预设评估值根据测试者的年龄和职业确定；将所述比值作为向量系数修正所述语言特征向量，得到语言特征数据。7.根据权利要求6所述一种基于语音识别的认知障碍评估方法，其特征在于，利用语音
音频信号处理引擎对所述目标语音数据进行分析，得到音频特征数据，包括：根据所述语言特征向量从所述目标语言数据中提取第一音频特征数据；按照预设参数提取第二音频特征数据，所述预设参数包括停顿时长阈值、音调高低阈值，所述第二音频特征数据包括长停顿语音特征、长音调语音特征和低音调语音特征。8.根据权利要求7所述一种基于语音识别的认知障碍评估方法，其特征在于，基于注意力机制融合所述音频特征数据和所述语音特征数据，得到语音融合特征数据，包括：融合所述语音特征数据和所述第一音频特征数据，得到第一融合特征数据；融合所述第一融合特征数据和所述第二音频特征数据，得到融合特征数据。9.根据权利要求1所述一种基于语音识别的认知障碍评估方法，其特征在于，利用认知语音分析引擎对所述语音融合特征数据进行分析，得到认知能力检测结果，包括：利用认知障碍分析模型对所述语音融合数据进行分析，确定被测试者是否有认知障碍；在被测试者有认知障碍时，利用认知语音分析模型对语音融合数据进行分析，确定认知障碍测试项对应的认知障碍程度；根据所述认知障碍项及其对应的认知障碍程度，确定认知障碍等级。10.根据权利要求9所述一种基于语音识别的认知障碍评估方法，其特征在于，利用认知语音分析模型对语音融合数据进行分析，确定认知障碍测试项对应的认知障碍程度，包括：将与认知障碍策测试项对应的融合语音特征数据和所有融合语音特征数据分别输入与认知障碍测试项对应的认知语音分析模型，得到与认知障碍测试项对应的认知障碍程度。

技术总结
本发明公开了一种基于语音识别的认知障碍评估方法，涉及认知障碍评估技术，所述方法包括：获取测试时的语音数据；利用预处理引擎对所述语音数据进行分析，得到目标语音数据；利用自然语音处理引擎对所述目标语音数据进行分析，得到语言特征数据，利用语音音频信号处理引擎对所述目标语音数据进行分析，得到音频特征数据；基于注意力机制融合所述音频特征数据和所述语音特征数据，得到语音融合特征数据，利用认知语音分析引擎对所述语音融合特征数据进行分析，得到认知能力检测结果。基于语音识别的认知障碍评估方法通过对语音数据的分析和处理，结合注意力机制的融合方式，可以有效地评估被测试者的认知能力和存在的认知障碍程度。障碍程度。障碍程度。


技术研发人员：陈楠 夏欢欢 王成斌 程川 李亚天 吴静楠 陆晓翔
受保护的技术使用者：上海博斯腾网络科技有限公司
技术研发日：2023.07.27
技术公布日：2023/9/23