基于多模态时空谱融合的觉醒自动识别方法及系统

1.本发明涉及觉醒识别技术领域，特别涉及一种基于多模态时空谱融合的觉醒自动识别方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。
3.睡眠对人来说是一种生物学上的必需过程，具有重要的生理和心理意义。睡眠不足或低质量的睡眠可能会增加患心血管疾病和肥胖等健康问题的风险；而充足的睡眠有助于恢复体力和能量，改善认知和记忆功能，提升情绪和心理健康等。随着社会的发展，高质量的生活方式日益受到重视，而睡眠质量作为衡量生活质量的重要指标，也越来越受到关注。但如今许多人在睡眠方面存在着一些问题，生活方式的不规律、环境因素的干扰和心理健康状态的不佳等原因都会影响睡眠质量。认识和理解这些影响因素，并采取适当的措施来改善睡眠环境和生活方式，对于提高睡眠质量和生活质量具有积极的意义。
4.觉醒对于评估睡眠质量、诊断和治疗睡眠障碍具有重要的指导作用。觉醒可以提供关于睡眠中断和睡眠质量的客观指标，帮助医生和研究人员更好地了解个体的睡眠状态，识别潜在的睡眠问题。对于普通人群，研究觉醒可以帮助了解日常生活中的睡眠质量状况，以便采取措施改善睡眠习惯和提高生活质量；此外，觉醒的研究还有助于深入了解睡眠的生理机制和调控过程，对于睡眠研究领域的科学研究和临床实践都具有重要的意义。
5.发明人发现，现有的觉醒识别大多采用对采集到的信号进行时频分析，但是噪声的能量在时频平面内是随机分布的，容易受到时频平面内不相关分量的干扰，导致整体识别的鲁棒性较差。


技术实现要素：

6.为了解决现有技术的不足，本发明提供了一种基于多模态时空谱融合的觉醒自动识别方法及系统，利用全局时频脊线向量提取的方法，减小了噪声，降低了时频平面内不相关分量的干扰，提高觉醒识别的鲁棒性。
7.为了实现上述目的，本发明采用如下技术方案：
8.本发明第一方面提供了一种基于多模态时空谱融合的觉醒自动识别方法。
9.一种基于多模态时空谱融合的觉醒自动识别方法，包括以下过程：
10.对待识别人员的睡眠相关数据进行预处理，并对预处理后的数据进行全局时频脊线向量提取；
11.根据全局时频脊线向量进行时空谱融合，得到时频谱矩阵；采用能量映射的方法，将时空谱矩阵映射为二维图像；
12.根据时空谱矩阵映射得到的二维图像与预训练的觉醒识别模型，得到觉醒识别结果。
13.作为本发明第一方面进一步的限定，睡眠相关数据至少包括eeg信号、eog信号、
emg信号、ecg信号、呼吸气流信号、胸部呼吸努力信号、腹部呼吸努力信号和血氧饱和度信号。
14.作为本发明第一方面进一步的限定，所述预处理包括对睡眠相关数据进行滤波和标准化处理。
15.作为本发明第一方面进一步的限定，对预处理后的数据进行全局时频脊线向量提取，包括：
16.使用全局脊线指数融合各通道数据，假设x矩阵为m行n列的矩阵，m表示数据的通道数，n表示该通道数据的采样点数；
17.对x进行分段，假设长度为l的窗口，且窗口编号为k＝1,2,
…
,(n/l)，创建一个分段后的时域矩阵sk；
18.对于sk的每一行(r＝1,2,
…
,m)使用功率谱分析计算sk的时频矩阵表示，假设时频矩阵表示具有q行对应于频率区间数量，p列对应于时间步长，则时频矩阵表示为
19.更新时频矩阵表示中每个元素的值，得到最新的矩阵形式；
20.从最新的矩阵形式最后一列开始，找到最小值元素，作为脊线路径的起始点，然后，通过沿着当前频率点到上一个时间点的源频率点进行回溯，记录脊线路径的索引，捕捉到信号在时频域中能量最强的频率成分的传播路径，并形成一条连续的脊线路径，从该矩阵中移除第一条脊线，并重复上述过程，提取具有最高能量的三条时频脊线矩阵并记为
21.对中提取的三条脊线的功率谱密度进行求和，并形成综合的脊线向量记为
22.重复上述过程r＝1,2,
…
,m次，形成时频矩阵，然后将其进行归一化记为
23.对中的矩阵每个时间点上的时频脊线进行拼接，形成全局时频脊线向量并记为
24.作为本发明第一方面更进一步的限定，对任一中的元素进行更新，包括：
25.基于任一元素与它前一列其他行元素的距离，考虑惩罚项ρ，并计算各虑惩罚项的距离值，其中，惩罚项是频率点之间距离平方的两倍；
26.找到各惩罚项的距离值的最小值，将所述最小值与原元素值相加，便得到更新后的元素值。
27.作为本发明第一方面进一步的限定，根据全局时频脊线向量进行时空谱融合，得到时频谱矩阵，采用能量映射的方法，将时空谱矩阵映射为二维图像，包括：
28.利用小波变换将全局时频脊线向量分解为不同尺度和方向的小波系数，提取出信号的不同特征，在每个尺度上，对相应的时频子带进行融合，融合权重采用基于能量的自适应权重，阈值采用基于全局标准差的自适应阈值，将融合后的时频子带进行逆小波变换，再将其合并为一个整体的时空谱矩阵；
29.采用能量映射的方法，将时空谱矩阵映射为二维图像，包括：将时空谱矩阵的元素归一化，选择对数函数作为映射函数，然后将归一化的元素映射到图像的像素值范围内，进
而生成所需要的二维图像。
30.作为本发明第一方面进一步的限定，觉醒识别模型包括：依次连接的卷积层、densenet模块和自注意力机制模块，densenet模块中，每一个层产生的特征图数量通常由输入和超参数k共同决定，其中，超参数k为增长率，第m层具有(k0+k
×
(m-1))个输出特征图，k0为上一层的输入；
31.自注意力机制模块的输入是densenet模块提取到的高级特征图，首先通过position embedding对该特征图中的每个位置进行编码，并将获得的位置特征与原始特征求和获得新的特征向量，新的特征向量同时包含位置信息与原始的特征；
32.新的特征向量进入multi-head attention进行特征提取，最后通过对h个头部获得的结果进行特征拼接，将得到的注意力向量作为输出，feed forward是对多头注意力机制层的输出结果进行两次线性变化和一次gelu激活操作，multi-head attention和feed forward层都包含一个残差连接结构，然后再做一个规范化操作，将本过程的操作重复多次，最后通过全局平均池化对每个维度进行处理，得到输出特征列。
33.本发明第二方面提供了一种基于多模态时空谱融合的觉醒自动识别系统。
34.一种基于多模态时空谱融合的觉醒自动识别系统，包括：
35.全局时频脊线向量提取模块，被配置为：对待识别人员的睡眠相关数据进行预处理，并对预处理后的数据进行全局时频脊线向量提取；
36.时空谱融合模块，被配置为：根据全局时频脊线向量进行时空谱融合，得到时频谱矩阵；采用能量映射的方法，将时空谱矩阵映射为二维图像；
37.觉醒识别模块，被配置为：根据时空谱矩阵映射得到的二维图像与预训练的觉醒识别模型，得到觉醒识别结果。
38.本发明第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的基于多模态时空谱融合的觉醒自动识别方法中的步骤。
39.本发明第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的基于多模态时空谱融合的觉醒自动识别方法中的步骤。
40.与现有技术相比，本发明的有益效果是：
41.1、本发明创新性的提出了一种基于多模态时空谱融合的觉醒自动识别方法及系统，利用全局时频脊线向量提取的方法，减小了噪声，降低了时频平面内不相关分量的干扰，提高觉醒识别的鲁棒性。
42.2、本发明创新性的提出了觉醒识别模型，其中densenet可以从时空谱矩阵映射得到的二维图像中提取关键时频特征，自注意力机制网络使用自注意力机制集中关注最相关的特征，二者相结合可以有效地提高觉醒识别的准确性和效率。
43.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
44.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示
意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
45.图1为本发明实施例1提供的基于多模态时空谱融合对觉醒的自动识别方法的流程图；
46.图2为本发明实施例1提供的基于多模态时空谱融合对觉醒的自动识别模型的整体架构；
47.图3为本发明实施例1提供的densenet模块的详细结构；
48.图4为本发明实施例1提供的自注意力机制模块的详细结构。
具体实施方式
49.下面结合附图与实施例对本发明作进一步说明。
50.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
51.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
52.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
53.实施例1：
54.如图1所示，本发明实施例1提供了一种基于多模态时空谱融合方法的觉醒自动识别方法，具体流程如图1所示，具体实现步骤如下：
55.步骤1：数据获取以及数据集建立。
56.本发明采用的多模态睡眠信号数据集由某临床实验室提供，该数据采集过程中按照国际10/20标准电极系统放置电极，通过多导睡眠仪采集受试者整个睡眠过程中的多模态生理信号。其中，6个导联的eeg分别是f3-m2，f4-m1，c3-m2，c4-m1，o1-m2和o2-m1；单导联的电信号有eog、emg和ecg，呼吸相关电信号有呼吸气流信号、胸部呼吸努力信号、腹部呼吸努力信号和血氧饱和度信号。然后7名专业医生标注了数据集的睡眠分期状态和睡眠觉醒状态，在实验中，把实验数据进行分割，分割的每段数据时长为30秒。
57.步骤2：数据预处理。
58.数据预处理部分由滤波和信号标准化构成。
59.步骤2.1：滤波。
60.原始脑电信号含有其他频率噪声，且本发明所感兴趣的脑电信号频段为0.5-30hz，因此，需要进行滤波，本发明使用butter-worth滤波器进信号进行滤波，其中butter-worth滤波器是一种具有最大平坦幅度响应的滤波器，保证了信号的原始值不会因为滤波而衰减。
61.步骤2.2：数据标准化。
62.对13个通道的睡眠数据进行标准化处理，操作步骤如下：
63.步骤2.2.1：计算第j(1≤j≤13)个通道原始数据的均值：
[0064][0065]
其中，meanj表示第j个通道原始数据的均值，n为该通道数据集样本数量，xi为该通道第i个样本点的值，i＝1,2,3,...,n。
[0066]
步骤2.2.2：计算第j个通道的原始数据的方差：
[0067][0068]
其中，νj表示原始数据的方差。
[0069]
步骤2.2.3：将第j个通道的原始数据标准化：
[0070][0071]
其中，为标准化后的新数据。
[0072]
对于该睡眠数据，则需重复式(1)、式(2)和式(3)13次，经过以上变换，各通道数据的均值变为0，方差变为1，从而消除了数据之间的量纲差异，使其更具有可比性和解释性。
[0073]
步骤3：全局时频脊线向量的提取。
[0074]
时频脊线在数学上的定义满足以下公式：
[0075]
ωr＝argmax|x(ω,t)|
ꢀꢀꢀꢀꢀꢀ
(4)
[0076]
其中，|x(ω,t)|为脑电信号x(t)的时频表示。
[0077]
式(4)可以被视为一个优化问题，利用惩罚正向-反向贪婪算法来实现，目的是在每个时间点上找到时频平面中峰值周围最宽的正幅值区域。
[0078]
本发明假设每个觉醒阶段可以由一组唯一的时频脊线分布来表示，使用全局脊线指数融合各通道数据信息的步骤为：
[0079]
step 1：假设其中m表示数据的通道数，n表示该通道数据的采样点数。
[0080]
step 2：对x进行分段，假设长度为l的窗口，且窗口编号为k＝1,2,
…
,(n/l)，创建一个分段后的时域矩阵sk。
[0081][0082]
step 3：对于式(5)的每一行(r＝1,2,
…
,m)使用功率谱分析计算sk的时频表示为
[0083]
step 4：假设时频矩阵具有q行对应于频率区间数量，p列对应于时间步长，则时频矩阵表示如下。
[0084][0085]
step 5：更新式(6)中矩阵(1,2)元素的值。
[0086]
a、基于与它前一列其他行元素的距离，并考虑惩罚项ρ，计算更新后的值。其中，惩罚项是频率点之间距离平方的两倍，惩罚项用于确保脊线的平滑性，并降低噪声的影响，可以过滤时频脊线中的尖锐和突然的脉冲，对矩阵的第二列进行以下运算：
[0087][0088][0089][0090]
···
[0091][0092]
由式(7)～式(10)，找到算式的最小值并记为
[0093][0094]
b、将式(11)中最小值与式(6)中该行上的值相加，便得到更新后的值
[0095]
step 6：更新第二列中的其余元素的值，重复step 5a和step 5b的步骤，下面以更新矩阵(2,2)的值为例。
[0096][0097][0098][0099]
···
[0100][0101]
由式(12)～式(15)找到上面算式的最小值记为
[0102][0103]
将式(16)中的最小值与式(6)中该行上的值相加，便得到更新后的值为
[0104]
step 7：不断重复step 5a和step 5b的步骤，便可更新整个矩阵的元素，得到矩阵形式如下。
[0105][0106]
step 8：从式(17)最后一列开始，找到最小值元素，作为脊线路径的起始点。然后，沿着当前频率点到上一个时间点的源频率点进行回溯，记录脊线路径的索引。这样可以捕捉到信号在时频域中能量最强的频率成分的传播路径，并形成一条连续的脊线路径。从该矩阵中移除第一条脊线，并重复上述过程，提取具有最高能量的三条时频脊线矩阵并记为
[0107][0108]
step 9：对式(18)中提取的三条脊线的功率谱密度进行求和，并形成综合的脊线向量记为
[0109][0110]
step 10：重复step3～step9这个过程r＝1,2,
…
,m次，形成时频脊线，然后将其进行归一化记为
[0111][0112]
step 11：对式(20)中的矩阵每个时间点上的时频脊线进行拼接，形成全局时频脊线向量并记为
[0113][0114]
步骤4：时空谱融合。
[0115]
时空谱融合是一种将多模态数据的时频表示进行融合的方法，用于描述信号在不同时间和空间位置上的能量分布情况，它能够综合不同源的信息，从而提供更全面、更准确的时频表示。
[0116]
对于每个时间点和空间位置，结合所提取的时频脊线构建时空谱矩阵。其中，时空谱矩阵的横轴为时间轴，纵轴为空间轴，每个元素表示该时间点和空间位置上的能量。
[0117]
生成时空谱矩阵的具体操作为：利用小波变换将全局时频脊线向量分解为不同尺度和方向的小波系数，从而提取出信号的不同特征；其中，小波基函数选用db4小波基，尺度级数设置为6。在每个尺度上，对相应的时频子带进行融合，融合权重和阈值是时空谱融合中的关键参数，它们会直接影响融合结果的质量和效果。其中，融合权重采用基于能量的自适应权重，阈值采用基于全局标准差的自适应阈值。将融合后的时频子带进行逆小波变换，
再将其合并为一个整体的时空谱矩阵。
[0118]
采用能量映射的方法，将时空谱矩阵映射为二维图像。主要步骤为：首先将时空谱矩阵的元素归一化，选择对数函数作为映射函数，然后将归一化的元素映射到图像的像素值范围内，进而生成所需要的二维图像。
[0119]
步骤5：觉醒识别模型构建。
[0120]
觉醒识别模型由一个卷积层、densenet模块和自注意力机制模块三部分构成。其整体结构如图2所示。
[0121]
步骤5.1：densenet模块。
[0122]
densenet模块由卷积层、归一化层以及relu激活函数构成，详细结构如图3所示。其基本思想是为了确保最大的信息流通，在网络中的所有层之间建立直接的互相连接。为了保持前馈的特性，每一层都会从先前的所有层中获取额外的输入，并将自己的特征图传递给后续所有的网络层。
[0123]
数据经过时空谱矩阵映射得到的二维图像，通过卷积提取该图像的原始特征。
[0124]
在该模块中，每一层产生的特征图数量通常由输入和超参数k共同决定。其中，超参数k称为增长率，它决定了每个复合函数输出的特征图数量为k，便可得出第m层具有(k0+k
×
(m-1))个输出特征图，k0为上一层的输入。该模块可以有效减少网络中的参数量，缓解网络可能出现梯度消失的问题。
[0125]
步骤5.2：自注意力机制模块。
[0126]
自注意力机制模块主要由position embedding、multi-head attention、feed forward和池化层构成，其详细结构如图4所示，自注意力机制模块的输入是densenet模块提取到的高级特征图，首先通过position embedding对该特征图中的每个位置进行编码，并将获得的位置特征与原始特征求和获得新的特征，新的特征向量同时包含位置信息与原始的特征。构造position embedding的公式如下：
[0127]
pe
(pos,2i)
＝sin(pos/10000
2i/d
)
ꢀꢀ
(22)
[0128]
pe
(pos,2i+1)
＝cos(pos/10000
2i/d
)
ꢀꢀ
(23)
[0129]
其中，pos表示位置，i代表维度，上述公式将位置信息映射为一个d维的向量，该向量的第i个元素记为pe
(pos,i)
。
[0130]
然后特征图进入multi-head attention进行特征提取，最后通过对h个头部获得的结果进行特征拼接，将得到的注意力向量作为输出，feed forward是对多头注意力机制层的输出结果进行两次线性变化和一次gelu激活操作，multi-head attention和feed forward层都包含一个残差连接结构，然后再做一个规范化操作，将该过程操作重复三次，以获得更好的效果，最后通过全局平均池化对每个维度进行处理，得到输出特征列。
[0131]
步骤6：觉醒识别模型训练。
[0132]
在模型的训练中，使用五折交叉验证的方法进行训练。将每个受试者的训练集和验证集随机分成相等的五份，选择其中的四份作为训练集，剩余的一份作为验证集，得到分类准确率，最后，将得到的五个准确率取平均值作为模型的分类结果。
[0133]
densenet模块中，增长率k设置为4，自注意力机制模块中，注意力头数用于控制模型的复杂性和表达能力，本发明将其设置为6；位置编码(positional encoding)用于为输入特征中的每个位置分配一个向量，以提供位置信息，本发明采用正余弦编码；缩放系数
(scale factor)是一个用于控制注意力权重范围和稳定性的重要超参数。通过缩放注意力权重，可以避免梯度消失或爆炸的问题，把该参数设置为注意力头数的倒数的平方根，即为
[0134]
本发明采用adam作为优化器，用于调整神经网络中的权重，以使损失函数最小化。将其学习率设置为0.0001，经过偏置矫正后，优化器的每次迭代学习率都保持在一定范围内，使参数更稳定。损失函数的特点是能够反映模型对于正确类别的预测概率。当模型对于正确类别的预测概率越高，损失函数的值越低，模型的训练目标就是最小化交叉熵损失函数。在实际训练过程中，通常结合优化算法(如梯度下降)来最小化损失函数，以更新模型的参数，使得模型的预测结果更接近实际标签。其具体公式如式(24)所示：
[0135][0136]
其中，n代表训练的样本数，pi代表第i个样本的真实标签，pi代表第i个样本的预测结果。交叉熵损失值越小，模型的分类效果越好。
[0137]
设置batch size为128，设置epoch为30，为了防止网络的过拟合和梯度爆炸，两个模块均使用0.5的dropout技术，并使用gelu函数作为激活函数。
[0138]
步骤7：觉醒的识别。
[0139]
觉醒识别模型训练完成之后，便获得了对数据进行觉醒识别的能力。获得测试集数据后，将睡眠信号进行预处理和全局时频脊线向量提取操作，之后输入到觉醒识别模型中，便可以输出对于觉醒状态的识别信息。
[0140]
实施例2：
[0141]
本发明实施例2提供了一种基于多模态时空谱融合的觉醒自动识别系统，包括：
[0142]
全局时频脊线向量提取模块，被配置为：对待识别人员的睡眠相关数据进行预处理，并对预处理后的数据进行全局时频脊线向量提取；
[0143]
时空谱融合模块，被配置为：根据全局时频脊线向量进行时空谱融合，得到时频谱矩阵；采用能量映射的方法，将时空谱矩阵映射为二维图像；
[0144]
觉醒识别模块，被配置为：根据时空谱矩阵映射得到的二维图像与预训练的觉醒识别模型，得到觉醒识别结果。
[0145]
所述系统的工作方法与实施例1提供的基于多模态时空谱融合的觉醒自动识别方法相同，这里不再赘述。
[0146]
实施例3：
[0147]
本发明实施例3提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明实施例1所述的基于多模态时空谱融合的觉醒自动识别方法中的步骤。
[0148]
实施例4：
[0149]
本发明实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明实施例1所述的基于多模态时空谱融合的觉醒自动识别方法中的步骤。
[0150]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技
术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于多模态时空谱融合的觉醒自动识别方法，其特征在于，包括以下过程：对待识别人员的睡眠相关数据进行预处理，并对预处理后的数据进行全局时频脊线向量提取；根据全局时频脊线向量进行时空谱融合，得到时频谱矩阵；采用能量映射的方法，将时空谱矩阵映射为二维图像；根据时空谱矩阵映射得到的二维图像与预训练的觉醒识别模型，得到觉醒识别结果。2.如权利要求1所述的基于多模态时空谱融合的觉醒自动识别方法，其特征在于，睡眠相关数据至少包括eeg信号、eog信号、emg信号、ecg信号、呼吸气流信号、胸部呼吸努力信号、腹部呼吸努力信号和血氧饱和度信号。3.如权利要求1所述的基于多模态时空谱融合的觉醒自动识别方法，其特征在于，所述预处理包括对睡眠相关数据进行滤波和标准化处理。4.如权利要求1所述的基于多模态时空谱融合的觉醒自动识别方法，其特征在于，对预处理后的数据进行全局时频脊线向量提取，包括：使用全局脊线指数融合各通道数据，假设x矩阵为m行n列的矩阵，m表示数据的通道数，n表示该通道数据的采样点数；对x进行分段，假设长度为l的窗口，且窗口编号为k＝1,2,
…
,(n/l)，创建一个分段后的时域矩阵s
k
；对于s
k
的每一行(r＝1,2,
…
,m)使用功率谱分析计算s
k
的时频矩阵表示，假设时频矩阵表示具有q行对应于频率区间数量，p列对应于时间步长，则时频矩阵表示为更新时频矩阵表示中每个元素的值，得到最新的矩阵形式；从最新的矩阵形式最后一列开始，找到最小值元素，作为脊线路径的起始点，然后，通过沿着当前频率点到上一个时间点的源频率点进行回溯，记录脊线路径的索引，捕捉到信号在时频域中能量最强的频率成分的传播路径，并形成一条连续的脊线路径，从该矩阵中移除第一条脊线，并重复上述过程，提取具有最高能量的三条时频脊线矩阵并记为对中提取的三条脊线的功率谱密度进行求和，并形成综合的脊线向量记为重复上述过程r＝1,2,
…
,m次，形成时频矩阵，然后将其进行归一化记为对中的矩阵每个时间点上的时频脊线进行拼接，形成全局时频脊线向量并记为5.如权利要求4所述的基于多模态时空谱融合的觉醒自动识别方法，其特征在于，对任一中的元素进行更新，包括：基于任一元素与它前一列其他行元素的距离，考虑惩罚项ρ，并计算各虑惩罚项的距离值，其中，惩罚项是频率点之间距离平方的两倍；找到各虑惩罚项的距离值的最小值，将所述最小值与原元素值相加，便得到更新后的元素值。6.如权利要求1所述的基于多模态时空谱融合的觉醒自动识别方法，其特征在于，根据全局时频脊线向量进行时空谱融合，得到时频谱矩阵；采用能量映射的方法，将时
空谱矩阵映射为二维图像，包括：利用小波变换将全局时频脊线向量分解为不同尺度和方向的小波系数，提取出信号的不同特征，在每个尺度上，对相应的时频子带进行融合，融合权重采用基于能量的自适应权重，阈值采用基于全局标准差的自适应阈值，将融合后的时频子带进行逆小波变换，再将其合并为一个整体的时空谱矩阵；采用能量映射的方法，将时空谱矩阵映射为二维图像，包括：将时空谱矩阵的元素归一化，选择对数函数作为映射函数，然后将归一化的元素映射到图像的像素值范围内，进而生成所需要的二维图像。7.如权利要求1所述的基于多模态时空谱融合的觉醒自动识别方法，其特征在于，觉醒识别模型，包括：依次连接的卷积层、densenet模块和自注意力机制模块，densenet模块中，每一个层产生的特征图数量通常由输入和超参数k共同决定，其中，超参数k为增长率，第m层具有(k0+k
×
(m-1))个输出特征图，k0为上一层的输入；自注意力机制模块的输入是densenet模块提取到的高级特征图，首先通过position embedding对该特征图中的每个位置进行编码，并将获得的位置特征与原始特征求和获得新的特征向量，新的特征向量同时包含位置信息与原始的特征；新的特征向量进入multi-head attention进行特征提取，最后通过对h个头部获得的结果进行特征拼接，将得到的注意力向量作为输出，feed forward是对多头注意力机制层的输出结果进行两次线性变化和一次gelu激活操作，multi-head attention和feed forward层都包含一个残差连接结构，然后再做一个规范化操作，将本过程的操作重复多次，最后通过全局平均池化对每个维度进行处理，得到输出特征列。8.一种基于多模态时空谱融合的觉醒自动识别系统，其特征在于，包括：全局时频脊线向量提取模块，被配置为：对待识别人员的睡眠相关数据进行预处理，并对预处理后的数据进行全局时频脊线向量提取；时空谱融合模块，被配置为：根据全局时频脊线向量进行时空谱融合，得到时频谱矩阵；采用能量映射的方法，将时空谱矩阵映射为二维图像；觉醒识别模块，被配置为：根据时空谱矩阵映射得到的二维图像与预训练的觉醒识别模型，得到觉醒识别结果。9.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任一项所述的基于多模态时空谱融合的觉醒自动识别方法中的步骤。10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7任一项所述的基于多模态时空谱融合的觉醒自动识别方法中的步骤。

技术总结
本发明提供了一种基于多模态时空谱融合的觉醒自动识别方法及系统，对待识别人员的睡眠相关数据进行预处理，并对预处理后的数据进行全局时频脊线向量提取；根据全局时频脊线向量进行时空谱融合，得到时频谱矩阵；采用能量映射的方法，将时空谱矩阵映射为二维图像；根据时空谱矩阵映射得到的二维图像与预训练的觉醒识别模型，得到觉醒识别结果。本发明利用全局时频脊线向量提取的方法，减小了噪声，降低了时频平面内不相关分量的干扰，提高觉醒识别的鲁棒性。别的鲁棒性。别的鲁棒性。


技术研发人员：卢文娟 刘中兴 单彩锋 王金喜 陈宇
受保护的技术使用者：山东科技大学
技术研发日：2023.07.03
技术公布日：2023/10/6