一种用于EEG情绪分类的类脑模块化回声状态网络及其方法

一种用于eeg情绪分类的类脑模块化回声状态网络及其方法
技术领域
1.本发明涉及机器学习技术领域，具体涉及一种用于eeg情绪分类的类脑模块化回声状态网络及其方法。


背景技术：

2.情绪是人对客观事物的态度体验及相应的行为反应，在人类社会和生活中扮演者有不可或缺的地位。情绪识别是理解和提取人类当前心里状态或思维方式的过程。随着人工智能技术的进步，情绪识别已经成为神经科学、计算机科学、认知科学和医学研究领域中非常重要的一个环节。近几年涌现出许多研究情绪识别的方法，例如面部表情、身体运动和手势等，但是这些通过人类表面运动的变化并不能够真实的反应一个人真正的情绪，而脑电信号(electroencephalogram,eeg)是不会通过人为因素改变的，脑电信号最具有真实性，最能够准确的显示一个人的情绪，所以从自发的脑电信号中提取原始情绪具有重要意义。
3.脑电图(eeg)信号是帮助人类情绪解码的重要工具。在以前的研究中，一个轻量级的循环神经网络(rnn)，也叫回声状态网络(esn)，其储层权值不参与训练，因此esn具有计算简单高效的优点，已经成功地被用于基于脑电图的情绪识别。esn的储层一般采用随机连接方式，但是研究表明这种随机连接结构的性能并不是最优的。近年来，有些研究使用内在可塑性和突触可塑性来调整esn的储层权值，但是这需要额外的训练算法和程序，因此计算比较复杂。最近，神经科学研究表明，大脑具有模块化结构，它是由内部连接密集和外部连接稀疏的子网络组成。此外，事实证明这种模块化的结构有利于提高生物和人工神经网络的信息处理效率。因此，急需一种用于脑电图情绪识别的较高信息处理效率和高性能的模块化回声状态网络(modular echo state network,m-esn)。


技术实现要素：

4.本发明的目的在于提供一种用于eeg情绪分类的类脑模块化回声状态网络、优化设计方法及其eeg情绪识别方法，该方法可以解决传统esn信息处理较低、以及已有改进esn技术中储层需要额外的训练算法和程序，计算复杂等问题，从而达到不需要对储层权值进行调节的额外训练算法和程序，计算方式简单，信息处理效率高等目的。
5.为解决上述问题，本发明所采用的技术方案如下：
6.一种用于eeg情绪分类的类脑模块化回声状态网络，包括：
7.模块化回声状态网络模型，即m-esn模型，所述m-esn模型的储层采用模块化结构，并将m-esn用于eeg脑电情绪分类；
8.其中，所述m-esn模型包括输入层、储层以及输出层，其中，储层中的连接方式为模块化连接。
9.一种用于eeg情绪分类的类脑模块化回声状态网络的方法，该方法包括以下步骤：
10.生成m个模块和n个储层神经元，并将n个神经元按序分配给m个模块；
11.模块内神经元根据连接概率p1进行随机连接，模块神经元根据连接概率p2进行随机连接，以此作为储层网络；
12.将储层与输入层和输出层连接，生成m-esn模型，并将m-esn模型用于eeg脑电情绪分类；
13.其中，连接参数p1和p2分别表示模块内的连接概率和模块间的连接概率，m为模块个数。
14.根据本发明提供的一种用于eeg情绪分类的类脑模块化回声状态网络的方法，假设输入数据维度为n
input
，储层的维度为n，输出数据维度为n
output
，即输入层是大小为(n
input
，n)的矩阵，储层是大小为(n，n)的矩阵，输出层是大小为(n，n
output
)的矩阵。
15.根据本发明提供的一种用于eeg情绪分类的类脑模块化回声状态网络的方法，对于不具有模块化结构的网络为传统随机连接的网络，假设连接概率为p，节点数为n，对于每一个节点ni需要随机连接n
×
p条边，并且为单向连接。
16.根据本发明提供的一种用于eeg情绪分类的类脑模块化回声状态网络的方法，对于具有模块化结构的网络，假设模块内连接概率为p1、模块间的连接概率为p2、模块数为m、节点数为n，一个模块的节点数为size，首先将n个节点平均分配至m个模块中，接着对每一个节点进行模块内连接，在模块内随机选取p1×
size个节点并进行单向连接，然后对每一个节点进行模块间连接，在除自身模块的节点外，随机选取p2×
size个节点并进行单向连接。
17.根据本发明提供的一种用于eeg情绪分类的类脑模块化回声状态网络的方法，固定模块内连接概率p1的值分别为0.05、0.1、0.15、0.2、0.25以及0.3，在模块间连接概率p2与模块数m的二维参数空间，寻找最优的参数组合；并最终确定模块内连接概率p1、模块间连接概率p2与模块数m的三维参数空间的最优参数值，实现m-esn的优化设计。
18.根据本发明提供的一种用于eeg情绪分类的类脑模块化回声状态网络的方法，在生成m-esn模型后，对p1、p2和m进行优化设计，包括：模块内连接概率p1取值为0.05，0.1，0.15，0.2，0.25，0.3，当p1≠0.3时，即模块间连接概率p2取值从到p1步长为当p1＝0.3时，模块个数m＝[1，2，3，4，5，6，8，10]，根据p1、p2和m的不同参数组合，以准确率为评价指标，从而确定最优的类脑模块化结构。
[0019]
根据本发明提供的一种用于eeg情绪分类的类脑模块化回声状态网络的方法，对于每次实验进行五折交叉验证，重复五次取均值作为结果，以二维等高线图形式进行可视化，根据彩条值确定最优性能的模块化结构。
[0020]
根据本发明提供的一种用于eeg情绪分类的类脑模块化回声状态网络的方法，在选取最优的模块化参数后，生成特定的模块化网络模型，并分别应用于valence、arousal和calm-stress等eeg情绪分类任务，根据分类结果画混淆矩阵图。
[0021]
由此可见，相对于现有技术，本发明基于大脑神经网络的模块化结构特点，提出了模块化回声状态网络(modular echo state network,m-esn)模型，即m-esn的储层采用模块化结构，并将m-esn用于脑电情绪分类。本发明在valence二分类、arousal二分类和stress/calm四分类任务中，m-esn的准确率比常规esn的准确率分别高5.90％、5.44％和5.42％；与具有自适应规则的esn相比，分别高5.49％、0.77％和0.95％。
[0022]
因此，本发明提出了一种用于eeg情绪分类的类脑模块化回声状态网络的优化设计方法，通过在(m，p1，p2)三维参数空间寻优的方法确定最优的参数值，实现的m-esn的优化设计，取得了超越已有esn的分类准确率。本发明优化设计的m-esn是一种计算简单、高效的轻量级神经网络模型，为智能可穿戴系统提供了一种高性能的智能边缘计算解决方案。
[0023]
下面结合附图和具体实施方式对本发明作进一步详细说明。
附图说明
[0024]
图1是本发明一种用于eeg情绪分类的类脑模块化回声状态网络的方法实施例的流程图。
[0025]
图2是本发明一种用于eeg情绪分类的类脑模块化回声状态网络实施例中关于不具有模块化结构的网络以及具有模块化结构的网络的示意图。
[0026]
图3是本发明一种用于eeg情绪分类的类脑模块化回声状态网络实施例中模块化回声状态网络的示意图。
[0027]
图4是本发明一种用于eeg情绪分类的类脑模块化回声状态网络实施例中关于生成m-esn模型的原理图。
[0028]
图5是本发明一种用于eeg情绪分类的类脑模块化回声状态网络的方法实施例中关于不同p1下p
2-分类准确率的二维等高线图。
[0029]
图6是本发明一种用于eeg情绪分类的类脑模块化回声状态网络的方法实施例中关于混淆矩阵的原理图。
[0030]
图7是本发明一种用于eeg情绪分类的类脑模块化回声状态网络的方法实施例的入度分布图。
具体实施方式
[0031]
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0032]
参见图1，本发明提供一种用于eeg情绪分类的类脑模块化回声状态网络，包括：
[0033]
模块化回声状态网络模型，简称m-esn模型(modular echo state network)，m-esn模型的储层采用模块化结构，并将m-esn用于脑电情绪分类；
[0034]
其中，m-esn模型包括输入层、储层以及输出层，其中，储层中的连接方式为模块化连接。
[0035]
本实施例提供的一种用于eeg情绪分类的类脑模块化回声状态网络的方法，该方法可以同时体现出网络的优化设计方法及其eeg情绪识别方法，其包括以下步骤：
[0036]
步骤s1，生成m个模块和n个储层神经元，并将n个神经元按序分配给m个模块。
[0037]
步骤s2，模块内神经元根据连接概率p1进行随机连接，模块神经元根据连接概率p2进行随机连接，以此作为储层网络。
[0038]
步骤s3，将储层与输入层和输出层连接，生成m-esn模型，并将m-esn模型用于eeg脑电情绪分类.
[0039]
其中，连接参数p1和p2分别表示模块内的连接概率和模块间的连接概率，m为模块个数。
[0040]
具体的，假定总节点数为n、模块内连接概率为p1、模块间连接概率为p2、模块数为m、，则单个模块的节点数为n/m＝size，首先将n个节点随机分配至m个模块中，并且每个模块的节点数为size，接着对每一个节点进行模块内连接，在模块内随机选取p1×
size个节点并进行单向连接，然后对每一个节点进行模块间连接，在除自身模块的节点外，随机选取p2×
size个节点并进行单向连接。最终，生成模块化结构。
[0041]
本发明属于机器学习领域，特别涉及生物启发的学习。本实施例的m-esn的储层被直接初始化为一个更有效的模块化结构。在m-esn中，使用两个连接参数和一个模块化参数生成模块化结构。两个连接参数为p1和p2，它们分别表示模块内的连接密度和模块间的连接密度；一个模块化参数m表示模块的个数。可见，模块化结构主要取决于模块内连接概率p1、模块间连接概率p2以及模块个数m。
[0042]
假设输入数据维度为n
input
，储层的维度为n，输出数据维度为n
output
，即输入层是大小为(n
input
，n)的矩阵，储层是大小为(n，n)的矩阵，输出层是大小为(n，n
output
)的矩阵。
[0043]
在本实施例中，对于不具有模块化结构的网络为传统随机连接的网络，假设连接概率为p，节点数为n，对于每一个节点ni需要随机连接n
×
p条边，并且为单向连接。
[0044]
在本实施例中，对于具有模块化结构的网络，假设模块内连接概率为p1、模块间的连接概率为p2、模块数为m、节点数为n，一个模块的节点数为size，首先将n个节点平均分配至m个模块中，接着对每一个节点进行模块内连接，在模块内随机选取p1×
size个节点并进行单向连接，然后对每一个节点进行模块间连接，在除自身模块的节点外，随机选取p2×
size个节点并进行单向连接。
[0045]
在本实施例中，固定模块内连接概率p1的值分别为0.05、0.1、0.15、0.2、0.25以及0.3，在模块间连接概率p2与模块数m的二维参数空间，寻找最优的参数组合；并最终确定模块内连接概率p1、模块间连接概率p2与模块数m的三维参数空间的最优参数值，实现m-esn的优化设计。
[0046]
在本实施例中，在生成m-esn模型后，对p1、p2和m进行优化设计，包括：模块内连接概率p1取值为0.05，0.1，0.15，0.2，0.25，0.3，当p1≠0.3时，即模块间连接概率p2取值从到p1步长为当p1＝0.3时，模块个数m＝[1，2，3，4，5，6，8，10]，根据p1、p2和m的不同参数组合，以准确率为评价指标，从而确定最优的类脑模块化结构。
[0047]
在选取最优的模块化参数后，生成特定的模块化网络模型，并分别应用于valence、arousal和calm-stress等eeg情绪分类任务，根据分类结果画混淆矩阵图。
[0048]
对于按序分配：
[0049]
1、定义有n个储层神经元，m个模块，size为每个模块神经元总数，p1为模块内连接概率，p2为模块间连接概率，i为当前节点在模块中第i个。
[0050]
2、1-size为第一个模块，size+1-2*size为第二个模块，以此类推。
[0051]
对于随机连接：
[0052]
1、设kin为当前节点与模块内节点连接总数，kout为当前节点与模块外其它节点
连接总数。
[0053]
2、进行模块内连接。首先生成一个不大于1的自然数，若该自然数小于模块内待连接数量除以待连接节点数量，即(p1*size
–
kin)/(size-i)，则进行连接。
[0054]
3、进行模块间连接。首先生成一个不大于1的自然数，若该自然数小于模块间待连接数量除以待连接节点数量，即(p2*size
–
kout)/(n-size)，则进行连接。
[0055]
4、每个节点经历步骤1-3。
[0056]
在生成m-esn模型时，首先，生成n个储层内部神经元并随机分配给m个模块；然后，根据模块内连接概率p1，添加模块内的连接；接着，根据模块间连接概率p2，添加模块间的连接；最后，将储层与输入层和输出层连接。
[0057]
在生成m-esn模型后，为了确定最优性能的模块化结构，对p1、p2和m进行优化设计：
[0058]
选取模块内连接概率p1取值为0.05，0.1，0.15，0.2，0.25，0.3，当p1≠0.3时，即模块间连接概率p2取值从到p1步长为当p1＝0.3时，模块个数m＝[1,2,3,4,5,6,8,10]，以准确率为评价指标，从而确定最优的类脑模块化结构。
[0059]
在公开数据集deap上进行基准测试，结果表明：在valence二分类、arousal二分类和stress/calm四分类任务中，m-esn的准确率比esn高出5.90％、5.44％和5.42％，而与自适应调整规则的esn相比，高出5.49％、0.77％和0.95％。
[0060]
对于每次实验进行五折交叉验证，重复五次取均值作为结果，以二维等高线图形式进行可视化，根据彩条值确定最优性能的模块化结构。
[0061]
如图2所示，图2中a为不具有模块化结构的网络，图2中b为具有模块化结构的网络。对于不具有模块化结构的网络为传统随机连接的网络，假设连接概率为p，节点数为n，那么对于每一个节点ni需要随机连接n
×
p条边，并且为单向连接。对于具有模块化结构的网络b，假设模块内连接概率为p1、模块间的连接概率为p2、模块数为m、节点数为n，一个模块的节点数为size，首先将n个节点平均分配至m个模块中，接着对每一个节点进行模块内连接，在模块内随机选取p1×
size个节点并进行单向连接，然后对每一个节点进行模块间连接，在除自身模块的节点外，随机选取p2×
size个节点并进行单向连接。
[0062]
如图3所示，图3为具有模块化结构的回声状态网络。该网络由三层组成，第一层为输入层，第二层为储层(隐藏层)，其中储层中的连接方式为模块化连接，第三层为输出层。假设输入数据维度为n
input
，储层的维度为n，输出数据维度为n
output
，那么输入层是大小为(n
input
，n)的矩阵，储层是大小为(n，n)的矩阵，输出层是大小为(n，n
output
)的矩阵。
[0063]
如图4所示，图4中a、b、c表示模块化回声状态网络模型的构建过程，首先根据模块数m随机划分节点，根据模块内连接概率p1进行模块内的连接，再根据模块间连接概率p2进行模块间的连接，作为储层的网络。图4中d表示将具有32个通道60秒的脑电信号(eeg)根据6秒划分为一个数据片段，使用短时傅里叶变换提取每个数据片段单通道的4个频段能量特征，并将32个通道得到的能量特征拼接成长度为128的特征向量，最终得到10
×
128的特征矩阵。
[0064]
在phase i(阶段1)中，在模块数量m、模块内连接概率p1、模块间连接概率p2搜寻最佳的参数。在phase ii(阶段2)中，根据phase i的最佳参数取值构建模块化回声状态网络
模型，用于valence、arousal、calm-street分类任务。
[0065]
如图5所示，图5为不同p1下p
2-m分类准确率二维等高线图。固定模块内连接概率p1的值分别为0.05、0.1、0.15、0.2、0.25以及0.3，在模块间连接概率p2与模块数m的二维平面内，寻找最优的参数组合。
[0066]
如图6所示，图6为混淆矩阵。在选取最优的模块化参数后，生成特定的模块化网络模型，并分别应用于valence、arousal和calm-stress三个eeg情绪分类任务，根据分类结果画混淆矩阵图。
[0067]
如图7所示，图7中a为入度分布，b为放大y轴入度分布。横轴表示入度，纵轴表示数量，选取相同的节点n，esn的连接概率与mesn的模块内连接概率p1相同，mesn的模块间连接概率p2为p1的0.5倍，统计储层的入度分布。其中，右图为左图在入度为[0，50]区间的放大图。
[0068]
在实际应用中，本实施例为生成一种基于脑电图情绪识别的脑启发模块化回声状态网络，通过在一个用于脑电图情绪分类的循环神经网络中采用模块化结构，使分类准确率显著提高。如表1所示，以valence二分类任务为例(表1为模块化参数的具体优化过程)，根据储层神经元个数n生成n个内部神经元并随机分配给m个模块；根据模块内连接概率p1添加各个模块内的连接；根据模块间连接概率p2添加模块之间的连接；将储层与输入层和输出层连接起来得到m-esn；选取模块内连接概率p1取值为[0.05,0.3,0.05]，即p1取值从0.05到0.3步长为0.05共六个值；当p1≠0.3时，模块间连接概率否则确定好p1和p2后，选择模块个数m＝[1,2,3,4,5,6,8,10]；根据p1、p2和m的不同参数组合，以准确率作为评价指标，使用五折交叉验证并重复五次取均值的方法，得到对应参数组合下的准确率结果；将不同p1取值下的结果，以二维等高线图形式进行可视化，根据彩条值确定最优性能的模块化结构。在本发明中，模块化结构由模块内连接概率p1、模块间连接概率p2和模块个数m三个参数决定，这三个参数促使更加灵活地控制模块化和全局连接性。最后，通过观察模块化结构的入度分布，发现模块化结构具有多样化的入度分布，其增强了网络的异质性从而提供更丰富的特征。
[0069]
表1模块化参数优化过程
[0070][0071][0072]
由此可见，相对于现有技术，本发明基于大脑神经网络的模块化结构特点，提出了模块化回声状态网络(modular echo state network,m-esn)模型，即m-esn的储层采用模块化结构，并将m-esn用于脑电情绪分类。本发明在valence二分类、arousal二分类和stress/calm四分类任务中，m-esn的准确率比常规esn的准确率分别高5.90％、5.44％和5.42％；与具有自适应规则的esn相比，分别高5.49％、0.77％和0.95％。
[0073]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0074]
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。

技术特征：
1.一种用于eeg情绪分类的类脑模块化回声状态网络，其特征在于，包括：模块化回声状态网络模型，即m-esn模型，所述m-esn模型的储层采用模块化结构，并将m-esn用于eeg脑电情绪分类；其中，所述m-esn模型包括输入层、储层以及输出层，其中，储层中的连接方式为模块化连接。2.一种用于eeg情绪分类的类脑模块化回声状态网络的方法，其特征在于，该方法包括以下步骤：生成m个模块和n个储层神经元，并将n个神经元按序分配给m个模块；模块内神经元根据连接概率p1进行随机连接，模块神经元根据连接概率p2进行随机连接，以此作为储层网络；将储层与输入层和输出层连接，生成m-esn模型，并将m-esn模型用于eeg脑电情绪分类；其中，连接参数p1和p2分别表示模块内的连接概率和模块间的连接概率，m为模块个数。3.根据权利要求1所述的方法，其特征在于：假设输入数据维度为n
input
，储层的维度为n，输出数据维度为n
output
，即输入层是大小为(n
input
，n)的矩阵，储层是大小为(n，n)的矩阵，输出层是大小为(n，n
output
)的矩阵。4.根据权利要求1所述的方法，其特征在于：对于不具有模块化结构的网络为传统随机连接的网络，假设连接概率为p，节点数为n，对于每一个节点n
i
需要随机连接n
×
p条边，并且为单向连接。5.根据权利要求1所述的方法，其特征在于：对于具有模块化结构的网络，假设模块内连接概率为p1、模块间的连接概率为p2、模块数为m、节点数为n，一个模块的节点数为size，首先将n个节点平均分配至m个模块中，接着对每一个节点进行模块内连接，在模块内随机选取p1×
size个节点并进行单向连接，然后对每一个节点进行模块间连接，在除自身模块的节点外，随机选取p2×
size个节点并进行单向连接。6.根据权利要求1所述的方法，其特征在于：固定模块内连接概率p1的值分别为0.05、0.1、0.15、0.2、0.25以及0.3，在模块间连接概率p2与模块数m的二维参数空间，寻找最优的参数组合；并最终确定模块内连接概率p1、模块间连接概率p2与模块数m的三维参数空间的最优参数值，实现m-esn的优化设计。7.根据权利要求6所述的方法，其特征在于：在生成m-esn模型后，对p1、p2和m进行优化设计，包括：模块内连接概率p1取值为0.05，0.1，0.15，0.2，0.25，0.3，当p1≠0.3时，即模块间连接概率p2取值从到p1步长为当p1＝0.3时，模块个数m＝[1，2，3，4，5，6，8，10]，根据p1、p2和m的不同参数组合，以准确率为评价指标，从而确定最优的类脑模块化结构。8.根据权利要求7所述的方法，其特征在于：对于每次实验进行五折交叉验证，重复五次取均值作为结果，以二维等高线图形式进
行可视化，根据彩条值确定最优性能的模块化结构。9.根据权利要求8所述的方法，其特征在于：在选取最优的模块化参数后，生成特定的模块化网络模型，并分别应用于valence、arousal和calm-stress等eeg情绪分类任务，根据分类结果画混淆矩阵图。

技术总结
本发明提供一种用于EEG情绪分类的类脑模块化回声状态网络及其方法，其包括生成由M个模块构成的储层，并将N个神经元按序分配给M个模块；模块内神经元根据连接概率P1进行随机连接，模块间神经元根据连接概率P2进行随机连接，以此作为储层网络；将储层与输入层和输出层连接，生成M-ESN模型，并将M-ESN模型用于EEG脑电情绪分类。本发明通过在(M，P1，P2)三维参数空间寻优的方法确定最优的参数值，实现的M-ESN的优化设计，取得了超越已有ESN的分类准确率。本发明优化设计的M-ESN是一种计算简单、高效的轻量级神经网络模型，为智能可穿戴系统提供了一种高性能的智能边缘计算解决方案。供了一种高性能的智能边缘计算解决方案。供了一种高性能的智能边缘计算解决方案。


技术研发人员：王俊松 杨柳奕 王兆泽
受保护的技术使用者：深圳技术大学
技术研发日：2023.06.15
技术公布日：2023/9/20