基于脑电图多波段特征融合的人群分类方法

1.本公开实施例涉及数据识别技术领域，尤其涉及一种基于脑电图多波段特征融合的人群分类方法。


背景技术：

2.脑电图(eeg)是一种记录脑电波的电生理监测方法。具体做法为放置电极于头皮处来记录脑神经元的离子电流产生的电压波动，所测量的是众多锥体细胞兴奋时的突触后电位的同步总和。从信号处理的角度来看，脑电图产生了一个潜在的、相互作用的、非线性、非平稳和多变量的神经回路表示。同时，由于eeg是一种具有较高的时间分辨率并且无创的方法，常应用于生物医学智能物联网(iot)和脑计算机接口(bci)领域。同时，由于脑电图在宏观水平上反映了皮层神经元之间相互作用所产生的电磁场的叠加。因此潜在的神经元群体的行为，均可以通过脑电图进行间接研究。
3.eeg记录了受试者的脑电活动，eeg脑波共分为4种，即(delta(1-4hz)、theta(4-8hz)、alpha(8-12hz)和beta(12-30hz))，依据现代脑电生理神经心理学的研究，不同种类的脑电波都有其独特的运作模式，提供了大脑不同的功能状态特征，其中每种脑电波的频率和振幅内容会随受试者的身体、心理状态、年龄和疾病等因素的不同而变化。
4.可见，亟需一种能自动、高效精准识别脑电图类型的基于脑电图多波段特征融合的人群分类方法。


技术实现要素：

5.有鉴于此，本公开实施例提供一种基于脑电图多波段特征融合的人群分类方法，至少部分解决现有技术中存在识别效率和精准度较差的问题。
6.本公开实施例提供了一种基于脑电图多波段特征融合的人群分类方法，包括：
7.步骤1，对采集的脑电图数据进行预处理操作后分别提取不同的多个波段；
8.步骤2，提取每个波段的频域特征和时域特征；
9.步骤3，将每个波段的脑电图数据进行分组，对每组的频域特征和时域特征进行多尺度表征，并利用组注意力机制分别从组内和组间进行特征融合，得到多波多尺度融合特征；
10.步骤4，重复步骤1至步骤3，得到多个目标人员的多波多尺度融合特征并通过自适应图学习方法来获得目标人员的潜在图结构，然后将潜在图结构和多波多尺度融合特征输入图卷积神经网络，得到分类结果。
11.根据本公开实施例的一种具体实现方式，所述预处理操作包括电极定位、消除噪声和去除眼电伪迹，最后将脑电频率从高到低，依次划分成不同的波段。
12.根据本公开实施例的一种具体实现方式，所述频域特征包括功率谱密度和相对功率谱密度，所述时域特征包括hjorth参数的移动性、复杂度和样本熵。
13.根据本公开实施例的一种具体实现方式，所述hjorth参数的移动性的计算公式为
[0014][0015]
其中，s(t)表示n通道的脑电图时间序列，var(.)表示方差操作，d表示微分操作，dt表示关于时间t的微分；
[0016]
所述复杂度的计算公式为
[0017][0018]
在时间序列包含有限个采样点下，所述样本熵的计算公式为
[0019][0020]
其中，m表示嵌入维度，r表示邻域半径，cq(m,r)表示两个序列在相似容限r下匹配m个点的概率，cq(m+1,r)表示两个序列匹配m+1个点的概率。
[0021]
根据本公开实施例的一种具体实现方式，所述步骤3具体包括：
[0022]
将每个波段的脑电图数据进行分组，在group lasso最小角回归算法的指导下，每组均通过多个不同大小的卷积核提取不同尺度的特征，计算不同核的权重，用l1范数约束组内多尺度特征融合，选择每组最优的卷积核大小；将每组融合后的多尺度特征，用l2范数约束不同波段间的融合，最后再并通过子分支网络指导多波多尺度注意权重特征图的学习，得到多波多尺度融合特征。
[0023]
根据本公开实施例的一种具体实现方式，所述潜在图结构的表达式为
[0024]aij
＝sim(oi,oj)＝cos(waoi,waoj)
[0025]
其中，wa∈ru×u，wa是一个自学习的权重矩阵，u是目标人员的人数，a
ij
是目标人员i和j之间的加权余弦相似度，sim(.)表示相似性度量，oi表示目标人员i的多波多尺度融合特征值，oj表示目标人员j的多波多尺度融合特征值。
[0026]
本公开实施例中的基于脑电图多波段特征融合的人群分类方案，包括：步骤1，对采集的脑电图数据进行预处理操作后分别提取不同的多个波段；步骤2，提取每个波段的频域特征和时域特征；步骤3，将每个波段的脑电图数据进行分组，对每组的频域特征和时域特征进行多尺度表征，并利用组注意力机制分别从组内和组间进行特征融合，得到多波多尺度融合特征；步骤4，重复步骤1至步骤3，得到多个目标人员的多波多尺度融合特征并通过自适应图学习方法来获得目标人员的潜在图结构，然后将潜在图结构和多波多尺度融合特征输入图卷积神经网络，得到分类结果。
[0027]
本公开实施例的有益效果为：通过本公开的方案，融合不同波段的脑电特性以及找到目标人员之间的隐藏关联，基于脑电数据从不同波段的特征和受试者隐性联系上得到脑电图数据的分类结果，提高了识别效率和精准度。
附图说明
[0028]
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0029]
图1为本公开实施例提供的一种基于脑电图多波段特征融合的人群分类方法的流程示意图；
[0030]
图2为本公开实施例提供的一种基于脑电图多波段特征融合的人群分类方法的数据处理流程示意图；
[0031]
图3为本公开实施例提供的一种smr和gam模块的数据处理流程示意图。
具体实施方式
[0032]
下面结合附图对本公开实施例进行详细描述。
[0033]
以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0034]
需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
[0035]
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0036]
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
[0037]
尽管目前的研究已经将eeg数据广泛应用于疾病诊断，但是目前方法均是对eeg数据的整体进行研究，很少对eeg数据分波段考虑，对于划分了波段的方法也倾向于采用某个单波段进行研究，或者将所有波段特征进行简单线性连接，没有考虑不同波段间的组合相关性，没有融合eeg不同波段的特性，也忽略了不同受试者之间的隐性联系。因此，充分考虑eeg不同波段的特性、进行多波段融合，捕获受试者间的内在相关图是一项具有挑战性的工作。一方面，现有的这些发明很少考虑不同波段中不同脑区之间的关系；另一方面，这些发明一般在多阶段框架中手工设计患者图邻接矩阵，较少考虑患者之间的高阶关系。
[0038]
本公开实施例提供一种基于脑电图多波段特征融合的人群分类方法，所述方法可以应用于医疗场景的神经性疾病分析过程中。
[0039]
参见图1，为本公开实施例提供的一种基于脑电图多波段特征融合的人群分类方法的流程示意图。如图1和图2所示，所述方法主要包括以下步骤：
[0040]
步骤1，对采集的脑电图数据进行预处理操作后分别提取不同的多个波段；进一步的，所述预处理操作包括电极定位、消除噪声和去除眼电伪迹，最后将脑电频率从高到低，依次划分成不同的波段。
[0041]
具体实施时，可以将患者作为目标人员，对于采集好的eeg数据，预处理流程的第一步是对电极通道进行定位，这一步骤采用python-mne工具包，依据国际10-20系统蒙太奇图，共21个电极片(fp1，fp2，f3，f4，c3，c4，p3，p4，f7，f8，t3，t4，t5，t6，fz，cz，pz，a1，a2，o1和o2)，以a1，a2耳垂电极为参考，定位每个脑通道的物理位置，使脑通道具有空间信息。预处理流程的第二步是滤波，这一步骤采用mne包中的带通滤波(1-55hz)消除高频噪声，采用陷波滤波(50hz)去除电力干扰，对原始eeg数据进行简单的清洗。预处理流程的第三步是使用独立主成分分析去除伪影，所有肌电图活动、眼球运动和其他伪影都将被标记并从分析中丢弃。预处理流程的第四步是使用带通滤波器，将4种脑电波，即alpha波(8-12hz)、beta波(12-30hz)、theta波(4-8hz)和delta波(1-4hz)从无伪影的脑电信号中分离出。最后，预处理流程对每种脑电波分割成持续时间为2秒的非重叠波段片段。
[0042]
步骤2，提取每个波段的频域特征和时域特征；
[0043]
可选的，所述频域特征包括功率谱密度和相对功率谱密度，所述时域特征包括hjorth参数的移动性、复杂度和样本熵。
[0044]
进一步的，所述hjorth参数的移动性的计算公式为
[0045][0046]
其中，s(t)表示n通道的脑电图时间序列，var(.)表示方差操作，d表示微分操作，dt表示关于时间t的微分；
[0047]
所述复杂度的计算公式为
[0048][0049]
在时间序列包含有限个采样点下，所述样本熵的计算公式为
[0050][0051]
其中，m表示嵌入维度，r表示邻域半径，cq(m,r)表示两个序列在相似容限r下匹配m个点的概率，cq(m+1,r)表示两个序列匹配m+1个点的概率。
[0052]
具体实施时，考虑到eeg波段信号复杂冗长，本方法根据脑科学及认知科学的先验知识提取高阶特征，用少量维度指标表征整体数据，进行后续的分析。
[0053]
首先对每个片段进行时域分析，其中hjorth参数有助于理解信号的动态特性，hjorth参数的移动性和复杂度可以用来衡量和对比信号缓慢变化的特性和快速变化的趋势。
[0054]
hjorth mobility衡量坡度的变化，计算公式如下所示：
[0055][0056]
其中，s(t)为n通道的脑电图时间序列，var(.)是方差操作。
[0057]
hjorth complexity衡量一个振幅上有多少个标准的坡(slope)，该参数将原信号与纯正弦波的相似性进行比较，如果信号更相似，则该值收敛于1，计算公式如下所示：
[0058][0059]
样本熵(sampen)是一种新的、改进的度量方法来评估时间序列的复杂性和一定的自相似性，通过度量信号中产生新模式的概率大小来衡量时间序列复杂性，计算公式如下所示：
[0060][0061]
其中，m为嵌入维度，r是邻域的半径，cq(m,r)是两个序列在相似容限r下匹配m个点的概率，而cq(m+1,r)是两个序列匹配m+1个点的概率。
[0062]
再者，对每个片段进行傅里叶变换，对频域分析，功率谱密度(psd)表示不同脑电信号的单位频带内的信号功率，是最常用的脑电特征之一。我们使用应用最广泛的welch周期图方法来计算不同波段每个通道的脑电图时间序列的psd。相对功率谱密度(rsd)表示一个特定波段的psd与总波段psd的比值，表示不同脑电波的频带内的能量比值分布。最后对每个目标人员的所有片段提取的5个特征均取平均值，作为目标人员的最终特征。
[0063]
步骤3，将每个波段的脑电图数据进行分组，对每组的频域特征和时域特征进行多尺度表征，并利用组注意力机制分别从组内和组间进行特征融合，得到多波多尺度融合特征；
[0064]
在上述实施例的基础上，所述步骤3具体包括：
[0065]
将每个波段的脑电图数据进行分组，在group lasso最小角回归算法的指导下，每组均通过多个不同大小的卷积核提取不同尺度的特征，计算不同核的权重，用l1范数约束组内多尺度特征融合，选择每组最优的卷积核大小；将每组融合后的多尺度特征，用l2范数约束不同波段间的融合，最后再通过子分支网络指导多波多尺度注意权重特征图的学习，得到多波多尺度融合特征。
[0066]
具体实施时，首先，可以将不同的波段进行分组，对于多波融合，需要捕获不同脑电波之间的相关性，注意机制作为一种有效的方法，被广泛应用于探索序列数据中不同位置的元素之间的关系。注意机制还能用于加强信息最丰富的特征表达，同时抑制无效的特征表达，从而使模型自适应地关注上下文中的重要区域。其次，对于脑电图的各种手工特征，简单将不同脑通道特征级联无法学习到更深层次的信息，从临床上看，物理空间相近的脑区之间可能存在某些相同的特性，选取小的视野空间可能导致不同脑区间的互补信息丢失，但关注过多脑通道，也可能导致学习到干扰信息，影响模型的性能。因此探究不同视野范围内的脑区信息是必要的。本方法在卷积神经网络(cnn)嵌入一个可进行多尺度特征提取的算子，形成多尺度金字塔卷积结构，学习从大到小的多尺度特征，整合不同范围内脑区特征信息。
[0067]
对于多波多尺度特征融合，本方法主要是从两个方面考虑，组内注意力机制用于多尺度融合，组间注意力机制用于多波融合。同时使用group lasso分组最小角回归算法来增强该模块的预测准确性和可解释性。
[0068]
对于每个患者u，形成多波特征xu∈rc×h×w作为输入，其中c是波段数，h是脑通道，w是手工特征数。
[0069]
首先，通过拆分多尺度特征表示(smr)模块，实现分组多尺度特征提取融合。smr模块的具体流程如图3，将多波特征xu分割成s组，用表示，其中对每组使用m个不同大小的卷积核，并行且独立地学习不同尺度空间信息：
[0070][0071]
其中，表示病人u的第i组原始特征，表示在第i组，病人u的第j个卷积核提取出的特征图。卷积核的个数可以从0到9中任选多个，卷积核的大小从5x5到21x21，分别代表对每个特征进行融合和对每个脑通道进行融合。卷积核kj和卷积核个数m的关系是：
[0072]
kj＝2
×
(j+2)+1j＝0,1,
…
,m-1
[0073]
将每组内学习到的多个不同尺度特征图使用基于group lasso的组注意力(gam)模块构成组内注意力机制，得到每核的注意权重
[0074]
gam模块主要流程如图2，该模块由挤压和激励两部分组成。其中挤压通过自适应全局平均池化层生成通道统计信息，用于将全局空间信息嵌入到通道描述符中，来编码全局信息：
[0075][0076]
激励用于自适应地重新校准信道方向的关系，得到不同信道的注意权重：
[0077][0078]
其中，σ表示relu激活函数，其中，σ表示relu激活函数，表示全连接(fc)层。通过两个全连接层，可以更有效地组合通道之间的线性信息，有助于高、低通道维数信息的交互。
[0079]
将组内核注意权重和多尺度特征图相乘后求平均值，可以得到每组的多尺度融合特征将其串联得到不同组的多尺度融合特征图：
[0080][0081]
利用gam模块从多尺度融合特征图提取不同组间的注意权值信息，构成组间注意机制，获得每组的注意权值向量pu。
[0082][0083]
其中，是连接算子，是的注意值。
[0084]
最后，将每组的注意权值向量和相应的多尺度融合特征图相乘后串联，可以得到一个具有更丰富的多波多尺度特征信息的精细化特征图。
[0085][0086]
[0087]
其中，
⊙
表示矩阵乘法。
[0088]
为了指导组内和组间注意力权重的学习，本方法采用了group lasso分组最小角回归算法，先对每一组内部的注意力矩阵使用l1范数，保证组内稀疏，再对组间的注意力矩阵使用l2范数，保证组间平滑：
[0089]
l
gl
＝l
ib
+l
ob
[0090]
步骤4，重复步骤1至步骤3，得到多个目标人员的多波多尺度融合特征并通过自适应图学习方法来获得目标人员的潜在图结构，然后将潜在图结构和多波多尺度融合特征输入图卷积神经网络，得到分类结果。
[0091]
在上述实施例的基础上，所述潜在图结构的表达式为
[0092]aij
＝sim(oi,oj)＝cos(waoi,waoj)
[0093]
其中，wa∈ru×u，wa是一个自学习的权重矩阵，u是目标人员的人数，a
ij
是目标人员i和j之间的加权余弦相似度，sim(.)表示相似性度量，oi表示目标人员i的多波多尺度融合特征值，oj表示目标人员j的多波多尺度融合特征值。
[0094]
具体实施时，考虑目标人员间相关性，通过学习节点的相似性度量，提出一个简单但有效的可学习度量函数，获得目标人员间的潜在图结构：
[0095]aij
＝sim(oi,oj)＝cos(waoi,waoj),
[0096]
wa∈ru×u，wa是一个自学习的权重矩阵，u是目标人员的人数，a
ij
是目标人员i和j之间的加权余弦相似度，sim(.)表示相似性度量，oi表示目标人员i的多波多尺度融合特征值，oj表示目标人员j的多波多尺度融合特征值。通常现实生活中的邻接矩阵一般是非负的，因此将a通过sigmoid函数缩放到[0,1]区间。且学习到的a是对称矩阵，符合现实患者群体图的期望。
[0097]
同时图卷积神经网络对于图结构非常敏感，学习到的图与图卷积正确识别的性能息息相关。因此，学习到的图要具有稀疏性、连通性和平滑性的特点。为此设计了3个损失函数作为约束帮助自适应图学习。稀疏性约束的公式如下：
[0098][0099]
为了避免学习到的a全为0，连通性约束的公式如下：
[0100][0101]
参照均值滤波法，直接在空间域上进行平滑处理，平滑性约束的公式如下：
[0102][0103]
其中，图信号集是{o1，o2，
…ou
}。自适应图学习的整体约束公式如下：
[0104]
lg(a,o)＝αl
smooth
(a,o)+βl
con
(a)+γl
sparse
(a)
[0105]
其中，α，β和γ是平衡损失的三个超参数。
[0106]
将学习到的邻接矩阵a和多波多尺度融合的特征图信号o作为图卷积的输入，通过建模的目标人员之间的邻接关系进行融合特征的信息聚合，以归纳方式对目标人员进行预测:
[0107][0108]
与普通的多层感知机(mlp)相比，图卷积网络更适合获取患者间联系，得到高阶表征。本发明将3个模块统一训练，训练时的总损失函数如下：
[0109]
l
total
＝l
gcn
+l
sup
+lg(a,o)+l
gl
[0110]
其中，l
sup
是为了稳定学习过程，将得到的具有多波多尺度特征信息的精细化特征图输入两层的mlp进行预测，来辅助进行深度特征融合。l
sup
和l
gcn
均属于交叉熵损失，lg(a,o)是定义的图损失，l
gl
是指导组内组间注意力学习的损失。
[0111]
本实施例提供的基于脑电图多波段特征融合的人群分类方法，通过将波段分组，对每组原始特征使用多个大小不同的卷积核，提取不同尺度的特征表征，融合了多尺度脑电极间的空间信息；设计了一种组注意力方法，将提取出的多尺度脑电空间信息输入gam模块，形成组内注意力机制，指导同组多尺度信息的融合，整合了不同范围内脑区间的关联。将每组融合后的多尺度特征级联输入gam模块，构成组间注意力机制，提取组间的波段注意力，建立长期波段依赖性，最后与多尺度深度特征相乘，指导不同波段间的融合，同时使用group lasso最小角回归算法来指导组间和组内的特征融合；设计了一种自适应图学习方法来获得潜在的图结构，以灵活地匹配基于图卷积预测任务，揭示了目标人员之间的关联关系。
[0112]
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。
[0113]
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。
[0114]
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种基于脑电图多波段特征融合的人群分类方法，其特征在于，包括：步骤1，对采集的脑电图数据进行预处理操作后分别提取不同的多个波段；步骤2，提取每个波段的频域特征和时域特征；步骤3，将每个波段的脑电图数据进行分组，对每组的频域特征和时域特征进行多尺度表征，并利用组注意力机制分别从组内和组间进行特征融合，得到多波多尺度融合特征；步骤4，重复步骤1至步骤3，得到多个目标人员的多波多尺度融合特征并通过自适应图学习方法来获得目标人员的潜在图结构，然后将潜在图结构和多波多尺度融合特征输入图卷积神经网络，得到分类结果。2.根据权利要求1所述的方法，其特征在于,所述预处理操作包括电极定位、消除噪声和去除眼电伪迹，最后将脑电频率从高到低，依次划分成不同的波段。3.根据权利要求1所述的方法，其特征在于,所述频域特征包括功率谱密度和相对功率谱密度，所述时域特征包括hjorth参数的移动性、复杂度和样本熵。4.根据权利要求3所述的方法，其特征在于,所述hjorth参数的移动性的计算公式为其中，s(t)表示n通道的脑电图时间序列，var(.)表示方差操作，d表示微分操作，dt表示关于时间t的微分；所述复杂度的计算公式为在时间序列包含有限个采样点下，所述样本熵的计算公式为其中，m表示嵌入维度，r表示邻域半径，cq(m,r)表示两个序列在相似容限r下匹配m个点的概率，cq(m+1,r)表示两个序列匹配m+1个点的概率。5.根据权利要求4所述的方法，其特征在于,所述步骤3具体包括：将每个波段的脑电图数据进行分组，在group lasso最小角回归算法的指导下，每组均通过多个不同大小的卷积核提取不同尺度的特征，计算不同核的权重，用l1范数约束组内多尺度特征融合，选择每组最优的卷积核大小；将每组融合后的多尺度特征，用l2范数约束不同波段间的融合，最后再通过子分支网络指导多波多尺度注意权重特征图的学习，得到多波多尺度融合特征。6.根据权利要求5所述的方法，其特征在于,所述潜在图结构的表达式为a
ij
＝sim(o
i
,o
j
)＝cos(w
a
o
i
，w
a
o
j
)其中，w
a
∈r
u
×
u
，w
a
是一个自学习的权重矩阵，u是目标人员的人数，a
ij
是目标人员i和j之间的加权余弦相似度，sim(.)表示相似性度量，o
i
表示目标人员i的多波多尺度融合特征值，o
j
表示目标人员j的多波多尺度融合特征值。

技术总结
本公开实施例中提供了一种基于脑电图多波段特征融合的人群分类方法，属于数据识别技术领域，具体包括：步骤1，对采集的脑电图数据进行预处理操作后分别提取不同的多个波段；步骤2，提取每个波段的频域特征和时域特征；步骤3，将每个波段的脑电图数据进行分组，对每组的频域特征和时域特征进行多尺度表征，并利用组注意力机制分别从组内和组间进行特征融合，得到多波多尺度融合特征；步骤4，重复步骤1至步骤3，得到多个目标人员的多波多尺度融合特征并通过自适应图学习方法来获得目标人员的潜在图结构，然后将潜在图结构和多波多尺度融合特征输入图卷积神经网络，得到分类结果。通过本公开的方案，提高了识别效率和精准度。提高了识别效率和精准度。提高了识别效率和精准度。


技术研发人员：刘锦 魏嘉昕
受保护的技术使用者：中南大学
技术研发日：2023.06.27
技术公布日：2023/9/23