一种基于SimAM注意力机制的空-时-频多域脑电特征情绪识别方法

一种基于simam注意力机制的空-时-频多域脑电特征情绪识别方法
技术领域
1.本发明涉及一种基于simam注意力机制的空-时-频多域脑电特征情绪识别方法，属于基于脑电的情绪识别技术领域。


背景技术：

2.人工智能已成为新一轮产业变革的驱动力。近年来，随着人工智能的兴起，出现了对人类情感识别的兴趣日益浓厚。在不同的人机交互系统，它更友好和自然识别人类的情绪状态。情绪对人类有着至关重要的作用，良好的情绪可以带来更好的生活体验，而不良的情绪不仅会影响个人身心健康的发展，还会引发一些身体上的生理疾病。自1924年，脑电图检测方法出现后，eeg信号因其自身独有的非侵入性、良好的时间分辨率、易用和便携等特点，使得越来越多研究人员近些年来致力于通过脑电信号来研究与情绪识别相关的任务。
3.在基于脑电的情绪识别任务中，采用的深度学习框架大致上可划分为两步。第一步，对脑电信号进行一系列操作，得到一种没有重要情绪特征丢失的新的数据表征形式；第二步，提取更高阶的特征信息，这依赖于一个适合任务类型的神经网络框架。当前基于深度学习框架已变成该领域的主流框架并取得了一定的成绩。而关于如何使用深度学习框架来获取更多完整和丰富的脑电特征信息，从而提高任务分类却仍然是一个挑战。


技术实现要素：

4.本发明要解决的技术问题是提供一种基于simam注意力机制的空-时-频多域脑电特征情绪识别方法，用以解决上述技术问题。
5.本发明的技术方案是：一种基于simam注意力机制的空-时-频多域脑电特征情绪识别方法，具体步骤为：
6.step1：对原始脑电数据进行处理，获取具有四维时空特征表征的时间、频率及空间信息。
7.具体为：
8.step1.1：使用巴特沃斯滤波器来解码出theta、alpha、beta、gamma四个波段的信号，同时对数据进行0.5秒无重叠滑窗，以增加实验数据量。
9.step1.2：根据式(1)分别计算32个脑电信号通道4个频段前3秒的基线微分熵特征和音乐视频刺激下的60秒信号数据的微分熵特征，之后，利用式(2)计算出3秒基线部分4个不同频段的平均微分熵特征，利用式(3)计算出theta、alpha、beta、gamma 4个频段上最终的平滑特征；
[0010][0011][0012][0013]
式中，x为脑电信号中的随机变量，f(x)为变量x的概率密度函数，μ和σ2是脑电信号中的均值和方差，k代表60s信号数据的滑动次数，j表示4种脑电情绪节律，i表示基线信号的滑动次数。
[0014]
根据脑电采集过程中电极在头皮表面的插放位置构建2d 9*9矩阵，依照电极映射关系将各频段的微分熵特征转换到2d 9*9网格中，从而获得富含空频特征信息的2d大脑头皮地形图，最终生成大量的4d时空频特征信息。
[0015]
step2：注意力机制的本质在于根据特征信息重要程度分配不同的权值，告诉模型“关注什么”和“注意哪里”。近些年，注意力机制已被大量用于各个领域来提高模型性能。simam注意力机制作为一种无参数注意力不会对运算带来负担，仅需通过一个简单的能量函数即可生成权重，如公式(4)—(7)所示。同时simam注意力给每个神经元分配一个权重值，认为空间注意力和通道注意力是共同促进视觉处理的过程。
[0016][0017]
为使得计算结果简单起见，研究过程中使用二值标签与添加正则项，从而最终能量函数被定义为：
[0018][0019]
其中，
[0020]
r＝(-1-(w
t
t+b
t
))2+λw
t2
[0021]
进一步，最小能量可以通过如下公式得到：
[0022][0023]
上述公式意味着：能量越低，神经元t与周围神经元的区分越大，重要性越高。因此，神经元的重要性可以通过得到。
[0024]
最后，依照注意力机制的定义，还需要对特征进行以下增强处理：
[0025]
[0026]
step3：利用三维卷积/二维深度可分离卷积神经网络对情绪信号的空频域信息进行学习，双向长短时记忆学习动态的时间特征信息。
[0027]
具体为：
[0028]
三维卷积神经网络由两层卷积核数量为64个，卷积核构造是3*3*4的三维卷积层组成，深度可分离卷积由逐通道卷积和逐点卷积组合而成，其中，逐通道卷积采用卷积核结构为3*3，步长结构为1*1，模型深度参数为1的二维卷积层组成，逐点卷积则使用的是卷积核数量为64个，卷积核结构为1*1。为符合三维卷积神经网络处理数据的风格，将获取到的4d时空频特征数据格式9*9*4增加一维度变成9*9*4*1输入到三维卷积神经网络中。三维卷积神经网络采用3*3*4形式的卷积核，这样不但能够满足对频域特征信息的采集还能够对空间域信息进行提取。然而三维卷积神经网络虽然获取到空频特征信息，但也不得不考虑所带来的昂贵的计算成本和时间成本。而深度可分离卷积神经网络叠加在三维卷积神经网络的后边，它能够大幅度减少卷积的参数，从而降低三维卷积神经网络所带来的负面影响。因此，本发明在经过三维卷积神经网络获取到空频特征信息后，利用深度可分离卷积(dsw)来进一步提取空间特征，这不仅弥补了三维卷积带来的影响，同时又进一步提取了空频特征信息。之后利用公式(8-13)计算双向长短时记忆神经网络，通过两个单向长短时记忆网更加充分学习到过去以及未来的时间信息。
[0029]ft
＝σ(wf·
[h
t-1
,x
t
]+bf)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0030]it
＝σ(wi·
[h
t-1
,x
t
]+bi)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0031][0032][0033]ot
＝σ(wo[h
t-1
,x
t
]+bo)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0034]ht
＝o
t
*tanh(c
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)
[0035]
式中，f
t
表示遗忘门的值，h
t-1
为前一时刻的隐层状态，x
t
为当前时刻的输入值，i
t
表示记忆门的值，表示临时细胞状态，c
t
表示当前时刻细胞状态，c
t-1
表示上一刻细胞状态，o
t
表示输出门的值，h
t
表示隐层状态；
[0036]
最后使用式(14)进行分类预测：
[0037][0038]
式中，zi为第i个结点的输出值，n为输出结点的个数，即分类的类别个数，通过softmax函数将多分类的输出值转换为范围在[0,1]和为1的概率分布。
[0039]
本发明的有益效果是：本发明利用simam注意力评估大脑内部每个神经元的重要性分配以能量函数，将其插入到三维卷积/二维深度可分离卷积神经网络中，在不会加重运算算例的前提下提取出来了完整且丰富的空频特征信息，之后再利用双向长短时记忆用来学习动态的时间特征信息。实验研究表明，本方法取得了不错的效果。
附图说明
[0040]
图1是本发明实施例中的大脑映射图；
[0041]
图2是本发明实施例中的四维特征表征图；
[0042]
图3是本发明实施例中的simam注意力图；
[0043]
图4是本发明实施例中的三维卷积/二维深度可分离卷积神经网络框架图。图5是本发明实施例中的三维卷积/二维深度可分离卷积神经网络框架图。
具体实施方式
[0044]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0045]
实施例1：如图1所示，一种基于simam注意力机制的空-时-频多域脑电特征情绪识别方法，
[0046]
step1：基于脑电的情绪识别特征提取和识别方法整体框架；
[0047]
使用巴特沃斯带通滤波器来解码出theta、alpha、beta、gamma四个波段的信号，同时对数据以0.5s的步长进行无重叠滑窗，增加实验数据量。根据算式(1)分别计算32个脑电信号通道4个频段前3秒(即6*0.5秒)的基线微分熵特征和音乐视频刺激下的60秒信号数据(即120*0.5秒)的微分熵特征，之后，利用算式(2)计算出3秒基线部分4个不同频段的平均微分熵特征，利用算式(3)计算出theta、alpha、beta、gamma 4个频段上最终的平滑特征。
[0048][0049][0050][0051]
式中，x为脑电信号中的随机变量，f(x)为变量x的概率密度函数，μ和σ2是脑电信号中的均值和方差，k代表60s信号数据的滑动次数，j表示4种脑电情绪节律，i表示基线信号的滑动次数。
[0052]
根据三维立体大脑空间与二维平面大脑头皮地形图之间的映射关系，按时间顺序构建出具有时间、频率及空间信息的四维时空频特征表征，如图2所示(需要提醒的是，头皮上未测量到的电极位置应用零补充)。之后经过滑窗，获取到大量的四维时空频特征信息，如图3所示。
[0053]
step2：simam注意力；
[0054]
注意力机制在神经网络中可以告诉模型“关注什么”和“注意哪里”，其本质在于根据特征信息重要程度分配不同的权值。近些年，注意力机制已被研究者们大量使用在各个领域用于提高模型性能。
[0055]
受到人类大脑的启发，simam注意力机制依据神经科学中的某些原则进行了设计，其特点在于通过评估每个神经元的重要性，赋予其能量函数，如图4所示。在神经科学中，信息度高的神经元常常表现出不同于周围其它神经元的特点，并且被激活的神经元对周围神经元会有抑制性作用，称为空域抑制。而最简单的寻找重要神经元到的方法：假设神经元间是线性可分。基于此，每个神经元的能量函数能被定义为：
[0056][0057]
为使得计算结果简单起见，研究过程中使用二值标签与添加正则项，从而最终能量函数被定义为：
[0058][0059]
其中，
[0060]
r＝(-1-(w
t
t+b
t
))2+λw
t2
[0061]
进一步，最小能量可以通过如下公式得到：
[0062][0063]
上述公式意味着：能量越低，神经元t与周围神经元的区分越大，重要性越高。因此，神经元的重要性可以通过得到。
[0064]
最后，依照注意力机制的定义，还需要对特征进行以下增强处理：
[0065][0066]
step3：三维卷积/二维深度可分离卷积神经网络框架的搭建
[0067]
该模型由三维卷积/二维深度可分离卷积网络组合构成，如图5所示。三维卷积神经网络由两层卷积核数量为64个，卷积核构造是3*3*4的三维卷积层组成，深度可分离卷积由逐通道卷积和逐点卷积组合而成，其中，逐通道卷积采用卷积核结构为3*3，步长结构为1*1，模型深度参数为1的二维卷积层组成，逐点卷积则使用的是卷积核数量为64个，卷积核结构为1*1。为符合三维卷积神经网络处理数据的风格，将1.1获取到的4d时空频特征数据格式9*9*4增加一维度变成9*9*4*1输入到三维卷积神经网络中。三维卷积神经网络采用3*3*4形式的卷积核，这样不但能够满足对频域特征信息的采集还能够对空间域信息进行提取。然而三维卷积神经网络虽然获取到空频特征信息，但也不得不考虑所带来的昂贵的计算成本和时间成本。而深度可分离卷积神经网络叠加在三维卷积神经网络的后边，它能够大幅度减少卷积的参数，从而降低三维卷积神经。
[0068]
deap数据集：数据集由英国伦敦玛丽皇后大学，荷兰特温特大学，瑞士日内瓦大学，瑞士联邦理工学院的koelstra等采集完成。实验招募32名志愿者(16男、16女)，根据实验规定,参与者在每次观看一分钟音乐视频前，先进行3秒钟的静默。按照上述规定，记录每一名参与者在观看40段音乐视频后的32导脑电通道及8个外周生理信号，在自我评价模(sam)对valence,arousal,dominance,liking4个维度，按照1-9的得分进行打分。实验过程
中，脑电情绪信号按照512hz采样频率采样。之后，为便于加快数据的处理、运算进程，采用128hz进行下采样。
[0069]
seed数据库：该数据库招募15名身体健康的志愿者参加(7男8女),整个实验分三个时段完成，每个时段观看15段剪辑过的电影片段，实验数据下采样到200hz,采用带通滤波器滤波到0-75hz。每段观影实验分为：5s的提示，4min观影，45s的自我评估以及15s休息，每次观影结束后需要立刻完成问卷调查来反映真实的情感表达(积极、消极、中性)。
[0070]
为了验证本发明所具有的优势，我们在不同的模型上进行了比较，如表1所示。实验证明，本项发明的提出具有一定的意义。
[0071]
表1：不同模型分类精度对比
[0072][0073]
为验证网络中加入二维深度可分离卷积、simam注意力机制、双向长短时记忆模型带来的优势，在deap、seed数据集上进行消融实验，实验结果如表2所示。
[0074]
表2：模型消融实验对比
[0075][0076]
为了证明本发明采用simam注意机制所带来的效果，将其与cbam注意力机制进行比较，实验结果如表3、表4所展示。
[0077]
表3：cbam注意力在提议网络架构上的分类效果
[0078][0079]
表4simam注意力在提议网络架构上的分类效果
[0080][0081][0082]
在deap数据集上插入cbam机制，模型在效价和唤醒度两个维度上分类精度达到92.39％、93.22％。而当采用simam注意力时，提议网络架构在效价和唤醒度两个维度上达到93.43％、94.21％。在seed数据集上，相较网络中嵌入cbam注意力机制，simam注意力模块的插入使得精度提高了0.09％。同样的，从f1得分或是耗时两个实验指标的结果来看，嵌入simam注意力无疑都是不错的选择。
[0083]
本发明利用simam注意力评估大脑内部每个神经元的重要性分配以能量函数，将
其插入到三维卷积神经网络/二维深度可分离卷积神经网络中，在不会加重运算算例的前提下提取出来了完整且丰富的空频特征信息，之后再利用双向长短时记忆神经网络来学习动态的时间特征信息。为验证本方法的有效性，在deap、seed两个公共数据集实验，其分类精度较表1方法均有不同程度的提高。今后，作者将继续进一步探索如何提取更为丰富的时空频特征，提高任务最终的分类精度。
[0084]
以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

技术特征：
1.一种基于simam注意力机制的空-时-频多域脑电特征情绪识别方法，其特征在于：step1：对原始脑电数据进行处理，获取具有四维时空特征表征的时间、频率及空间信息；step2：通过simam注意力机制对step1获取的信息生成权重；所述simam注意力机制无参且同一权值；step3：利用三维卷积/二维深度可分离卷积神经网络对情绪信号的空频域信息进行学习，双向长短时记忆学习动态的时间特征信息。2.根据权利要求1所述的基于simam注意力机制的空-时-频多域脑电特征情绪识别方法，其特征在于所述step1具体为：step1.1：使用巴特沃斯滤波器来解码出theta、alpha、beta、gamma四个波段的信号，同时对数据进行0.5秒无重叠滑窗；step1.2：根据式(1)分别计算32个脑电信号通道4个频段前3秒的基线微分熵特征和音乐视频刺激下的60秒信号数据的微分熵特征，之后，利用式(2)计算出3秒基线部分4个不同频段的平均微分熵特征，利用式(3)计算出theta、alpha、beta、gamma 4个频段上最终的平滑特征；滑特征；滑特征；式中，x为脑电信号中的随机变量，f(x)为变量x的概率密度函数，μ和σ2是脑电信号中的均值和方差，k代表60s信号数据的滑动次数，j表示4种脑电情绪节律，i表示基线信号的滑动次数。3.根据权利要求1所述的基于simam注意力机制的空-时-频多域脑电特征情绪识别方法，其特征在于所述step2中，生成权重具体为：使用二值标签与添加正则项，能量函数被定义为：依照注意力机制的定义，对特征进行以下增强处理：4.根据权利要求1所述的基于simam注意力机制的空-时-频多域脑电特征情绪识别方
法，其特征在于所述step3具体为：step3.1：利用深度可分离卷积:来进一步提取空间特征；step3.2：利用式(7)-(12)求取双向长短时记忆神经网络；f
t
＝σ(w
f
·
[h
t-1
,x
t
]+b
f
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)i
t
＝σ(w
i
·
[h
t-1
,x
t
]+b
i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)(8)o
t
＝σ(w
o
[h
t-1
,x
t
]+b
o
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)h
t
＝o
t
*tanh(c
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)式中，f
t
表示遗忘门的值，h
t-1
为前一时刻的隐层状态，x
t
为当前时刻的输入值，i
t
表示记忆门的值，表示临时细胞状态，c
t
表示当前时刻细胞状态，c
t-1
表示上一刻细胞状态，o
t
表示输出门的值，h
t
表示隐层状态；step3.3：通过两个单向长短时记忆网学习过去以及未来的时间信息；step3.4：最后使用式(13)进行分类预测：式中，z
i
为第i个结点的输出值，n为输出结点的个数，即分类的类别个数，通过softmax函数将多分类的输出值转换为范围在[0,1]和为1的概率分布。

技术总结
本发明涉及一种基于SimAM注意力机制的空-时-频多域脑电特征情绪识别方法，属于基于脑电的情绪识别技术领域。本发明对原始脑电数据进行一系列处理及转换，获取含有四维时空特征表征的时间、频率及空间信息；考虑到大脑内部空间和通道间的注意力存在一种协同关系，采用一种无参且同一权值的SimAM注意力机制，这样不但可以直接估计三维权重而且能够学习到更多的判别特征；利用三维卷积神经网络/二维深度可分离卷积网络学习相对完整且丰富的空频特征信息，利用双向长短时记忆网络学习动态变化的时间特征信息。变化的时间特征信息。变化的时间特征信息。


技术研发人员：杨俊 吴俊会 沈韬 王芳芳 王琪琛 余创贺
受保护的技术使用者：昆明理工大学
技术研发日：2023.04.18
技术公布日：2023/9/22