脑电信号解码方法、装置、电子设备及存储介质

1.本发明涉及脑电处理技术领域，尤其涉及一种脑电信号解码方法、装置、电子设备及存储介质。


背景技术：

2.基于脑电图(electroencephalogram，eeg)的脑机接口(brain computer interface，bci)技术为残障人士提供了一种新的交互方式，使他们能够通过意识控制外部设备，例如轮椅或机械臂。随着人工智能技术的迅猛发展，神经网络模型的广泛应用为脑电信号解码带来了新的机遇和挑战。
3.现有技术中，基于深度学习的脑电信号解码方法尽管在常用的公开数据集上取得了较好的分类效果，但这些模型获得的脑电分类精度通常与解码模型的复杂性和数据量成比例增长，即输入数据维度越高，解码模型越复杂，脑电分类精度越高。
4.然而，上述因素导致现有的脑电信号解码技术对终端的算力要求较高，严重约束了这些技术在许多资源有限的终端(例如康复机器人)上的部署。


技术实现要素：

5.本发明提供一种脑电信号解码方法、装置、电子设备及存储介质，用以解决现有技术中脑电信号解码技术对终端的算力要求较高，严重约束了这些技术在许多资源有限的终端(例如康复机器人)上的部署的缺陷。
6.本发明提供一种脑电信号解码方法，包括：
7.获取待解码脑电数据；
8.对所述待解码脑电数据进行通道压缩，得到压缩脑电数据；
9.基于策略模型，对所述压缩脑电数据进行策略选择，得到所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略；
10.基于所述压缩策略对所述待解码脑电数据进行压缩，得到目标压缩数据，并基于所述解码模型轻量化策略所选择的目标解码模型对所述目标压缩数据进行意图解码，得到意图解码结果。
11.根据本发明提供的一种脑电信号解码方法，所述目标解码模型包括顺次连接的时域卷积层、空间卷积层、池化层和分类层，所述目标解码模型通过改变所述时域卷积层和所述空间卷积层的卷积核的数量实现轻量化。
12.根据本发明提供的一种脑电信号解码方法，所述目标解码模型的训练步骤包括候选目标解码模型预训练步骤、策略模型和所述目标解码模型协同训练步骤两部分；所述协同训练步骤包括前向传播步骤和梯度反传步骤；
13.所述候选目标解码模型预训练步骤包括：基于各压缩策略下的样本压缩脑电数据和所述样本压缩脑电数据的意图标签，对各压缩策略对应的候选目标解码模型进行预训练；
14.所述前向传播步骤包括：基于所述策略模型，对待解码脑电样本数据进行策略选择，得到候选压缩策略和对应的解码模型轻量化策略；基于所述候选压缩策略对所述待解码脑电样本数据进行压缩，得到候选样本压缩数据，并基于所述解码模型轻量化策略所选择的候选目标解码模型对所述候选样本压缩数据进行意图解码，得到意图解码预测结果；
15.所述梯度反传步骤包括：基于所述意图解码预测结果与所述待解码脑电样本数据的分类标签，以及对输入所述候选目标解码模型的所述候选样本压缩数据的浮点运算次数，通过梯度反传，对所述策略模型和所述候选目标解码模型进行参数迭代，并基于参数迭代后的候选目标解码模型，得到所述目标解码模型。
16.根据本发明提供的一种脑电信号解码方法，所述基于所述意图解码预测结果与所述待解码脑电样本数据的分类标签，以及对输入所述候选目标解码模型的所述候选样本压缩数据的浮点运算次数，通过梯度反传，对所述策略模型和所述候选目标解码模型进行参数迭代，并基于参数迭代后的候选目标解码模型，得到所述目标解码模型，包括：
17.基于所述意图解码预测结果与所述分类标签，确定解码精度损失函数；
18.基于对输入所述候选目标解码模型的所述候选样本压缩数据的浮点运算次数进行平均，确定解码效率损失函数；
19.基于所述解码精度损失函数和所述解码效率损失函数，通过梯度反传，对所述策略模型和所述候选目标解码模型进行参数迭代，并基于参数迭代后的候选目标解码模型，得到所述目标解码模型。
20.根据本发明提供的一种脑电信号解码方法，所述策略模型包括策略特征提取模型，以及与所述策略特征提取模型连接的策略决策模型；
21.所述基于策略模型，对所述压缩脑电数据进行策略选择，得到所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略，包括：
22.将所述压缩脑电数据输入至所述策略特征提取模型中，由所述策略特征提取模型提取得到所述压缩脑电数据中的策略特征；
23.将所述策略特征输入至所述策略决策模型中，由所述策略决策模型输出多个数据压缩策略的预测概率和多个解码模型策略的预测概率；
24.基于所述多个数据压缩策略的预测概率和所述多个解码模型策略的预测概率，确定所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略。
25.根据本发明提供的一种脑电信号解码方法，所述基于所述多个数据压缩策略的预测概率和所述多个解码模型策略的预测概率，确定所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略，包括：
26.基于所述多个数据压缩策略的预测概率中的最大值和所述多个解码模型策略的预测概率中的最大值，确定所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略。
27.根据本发明提供的一种脑电信号解码方法，所述对所述待解码脑电数据进行通道压缩，得到压缩脑电数据，包括：
28.基于预设的通道转换规则，对所述待解码脑电数据进行通道压缩，得到压缩脑电数据；所述预设的通道转换规则具体包括差值规则、均值规则和选择性激活规则；
29.所述差值规则通过计算两侧脑区对应电极所采集的脑电数据的差值实现通道数
据压缩；
30.所述均值规则通过将相邻通道的脑电数据进行平均实现通道数据压缩；
31.所述选择性激活规则通过将与待分类任务无关的脑电数据对应的通道去除，实现通道数据压缩。
32.本发明还提供一种脑电信号解码装置，包括：
33.获取单元，用于获取待解码脑电数据；
34.通道压缩单元，用于对所述待解码脑电数据进行通道压缩，得到压缩脑电数据；
35.策略选择单元，用于基于策略模型，对所述压缩脑电数据进行策略选择，得到所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略；
36.意图解码单元，用于基于所述压缩策略对所述待解码脑电数据进行压缩，得到目标压缩数据，并基于所述解码模型轻量化策略所选择的目标解码模型对所述目标压缩数据进行意图解码，得到意图解码结果。
37.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述脑电信号解码方法。
38.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述脑电信号解码方法。
39.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述脑电信号解码方法。
40.本发明提供的脑电信号解码方法、装置、电子设备及存储介质，获取待解码脑电数据，对待解码脑电数据进行通道压缩，得到压缩脑电数据，再基于策略模型，对压缩脑电数据进行策略选择，得到待解码脑电数据的压缩策略和对应的解码模型轻量化策略，最后，基于压缩策略对待解码脑电数据进行压缩，得到目标压缩数据，并基于解码模型轻量化策略所选择的目标解码模型对目标压缩数据进行意图解码，得到意图解码结果，由此，通过待解码脑电数据压缩和解码模型轻量化，降低了脑电解码所需的计算量，提高了解码模型的解码效率，为在许多资源有限的终端(例如康复机器人)上的部署带来了可能。
附图说明
41.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
42.图1是本发明提供的脑电信号解码方法fastereeg的流程示意图；
43.图2是本发明提供的目标解码模型的结构示意图；
44.图3是本发明提供的各类方法的脑电信号解码方法的流程示意图；
45.图4是本发明提供的脑电信号解码效率和解码精度图；
46.图5是本发明提供的预设的通道转换规则的示意图；
47.图6是本发明提供的脑电信号解码装置的结构示意图；
48.图7是本发明提供的电子设备的结构示意图。
具体实施方式
49.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
50.本发明的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类。
51.相关技术中，大脑是我们身体中最为重要的器官之一，它拥有感知、认知和运动等重要功能，是我们认识和改变世界的基石。大脑的工作主要依靠神经元网络内的脉冲电位活动，这些电活动可以通过头皮、颅内等多通道脑电技术进行记录。这些记录蕴含了丰富的空间和精细的时序信息，可以为我们揭示大脑的功能机理和病理机制。
52.基于脑电图的脑机接口(bci)技术为残障人士提供了一种新的交互方式，使他们能够通过意识控制外部设备，例如轮椅或机械臂。
53.此外，bci技术也在神经康复领域得到广泛应用，帮助中风或脑损伤患者恢复运动能力。在神经科学领域，bci技术也被用于研究认知和行为神经科学，促进对大脑内部信息处理机制的认识。
54.随着人工智能技术的迅猛发展，神经网络模型的广泛应用为脑电信号解码带来了新的机遇和挑战。神经网络模型可以通过训练识别出与特定任务相关的脑电模式，例如控制机器人手臂的想象运动。同时，神经网络模型也能够对脑电数据进行分类、特征提取和模式识别等操作，为脑电信号解码提供了更加精准和高效的手段。
55.基于深度学习的脑电信号解码方法尽管在常用的公开数据集上取得了较好的分类效果，但这些模型获得的脑电分类精度通常与解码模型的复杂性和数据量成比例增长，即输入数据维度越高，解码模型越复杂，脑电分类精度越高。
56.然而，上述因素导致现有的脑电信号解码技术对终端的算力要求较高，严重约束了这些技术在许多资源有限的终端(例如康复机器人)上的部署。
57.综上所述，解码模型的输入数据量和解码模型参数量是影响bci模型解码效率的关键因素。
58.首先，对于输入数据量而言，为了保证解码精度，一个典型的基于eeg的bci系统一般包含32到128个脑电通道。使用多个通道虽然能一定程度上提高解码精度，但是由此导致的高额的脑电数据量、较高的计算资源需求使得脑机接口解码效率低下。此外，从高密度脑电通道中获取的信息一般高度冗余(互相关)，而且识别不同类型的大脑意图所涉及的关键脑电通道也是不同的。例如，对于基于稳态视觉诱发的脑机接口范式，分布在枕叶的脑电通道采集的信息对意图解码至关重要。而对于运动想象脑机接口范式，可能只需要分布在运动皮层的cz、c3和c4通道即可实现高效精准解码。
59.其次，对于解码模型而言，以往的工作通常对所有样本使用一个固定大小的分类模型，这样很容易造成资源浪费，尤其是对于简单的样本。例如，区分上肢运动意图(“左手”和“右手”)比区分下肢运动意图(“左脚”和“右脚”)更容易。
60.基于上述问题，本发明提供一种脑电信号解码方法，图1是本发明提供的脑电信号解码方法fastereeg的流程示意图，如图1所示，该方法包括：
61.步骤110，获取待解码脑电数据。
62.具体地，可以获取待解码脑电数据，此处的待解码脑电数据即后续需要进行意图解码的脑电数据，待解码脑电数据可以用表示，即每个试次x0包含n0个脑电通道，t个时序样本。
63.步骤120，对所述待解码脑电数据进行通道压缩，得到压缩脑电数据。
64.具体地，在获取到待解码脑电数据之后，可以对待解码脑电数据进行通道压缩，得到压缩脑电数据，此处的压缩脑电数据是指对待解码脑电数据进行通道压缩后得到的脑电数据，压缩脑电数据可以是eeg数据。
65.此处，对待解码脑电数据进行通道压缩可以采用基于预设的通道转换规则，此处的预设的通道转换规则具体包括差值规则、均值规则和选择性激活规则。
66.即将全通道待解码脑电数据x0压缩为预设的最小数据尺寸的数据格式xk。
67.通道压缩主要是对通道数量进行压缩，压缩脑电数据从大到小的排序可以是x1，x2，...，xk，其中n1＞n2＞
…
＞nk68.为了把全通道脑电数据x0转化为有不同通道数的压缩数据，我们定义了一系列对应的数据压缩策略fk，原始的全通道数据(待解码脑电数据)x0可被压缩为包含nk个通道的数据格式，如公式(1)所示：
69.xk＝fkx0ꢀꢀꢀ
公式(1)
70.其中x
*
表示包含*个输入通道的脑电数据。
71.此处的压缩脑电数据可以为1/5通道的脑电数据，本发明实施例对此不作具体限定。
72.步骤130，基于策略模型，对所述压缩脑电数据进行策略选择，得到所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略。
73.具体地，为了降低策略模型产生的额外的计算量，策略模型的输入是通道数最小的压缩数据xk，从而最小化策略模型的计算量。
74.基于策略模型，对压缩脑电数据xk进行策略选择，得到待解码脑电数据x0的压缩策略和对应的解码模型轻量化策略。
75.此处的策略模型用于对待解码脑电数据的最优解码方式进行选择，从而选择出待解码脑电数据的压缩策略和对应的解码模型轻量化策略。
76.可以理解的是，待解码脑电数据的通道数压缩为最少通道数数据，即去除掉冗余的、无用的等通道，实现初始输入数据量的减少，而后对最少通道数数据进行与最优通道数相关的策略特征提取，通过最少通道数数据提取策略特征，能够利用较少的通道数数据得到较为全面涵盖待解码脑电数据中所有通道的策略特征，使得在策略特征的提取过程中，显著减少了计算量，有效提高了解码速率。
77.此处，压缩策略可以用p
chl
、p
mdl
表示，p
chl
表示待解码脑电数据的压缩策略，p
mdl
表示对应的解码模型轻量化策略，解码模型轻量化策略会选择出一个目标解码模型。
78.图2是本发明提供的目标解码模型的结构示意图，如图2所示，目标解码模型可以
是轻量化的shallowconvnet模型，目标解码模型可以包括顺次连接的时域卷积层、空间卷积层、池化层和分类层，此处的时域卷积层可以是时域卷积网络(temporal convolutional network，tcn)，此处的空间卷积层可以是空间卷积网络(spatial convolution network，scn)，此处的池化层可以是最大池化层，也可以是平均池化层等，此处的分类层可以是线性分类层，本发明实施例对此不作具体限定。
79.可以理解的是，目标解码模型大部分的计算成本来自时域卷积层和空间卷积层，时域卷积层和空间卷积层默认的卷积核的个数是40。通过改变卷积核的数量可以显著降低目标解码模型的计算成本。
80.即，目标解码模型通过改变时域卷积层和空间卷积层的卷积核的数量实现轻量化。
81.可以理解的是，对于每个不同大小的目标解码模型，从小到大定义为m越大，目标解码模型越大，对应的gflops(giga floating-point operations per second)越大。
82.考虑到待解码脑电数据的解码难度，现有技术中是使用固定大小的解码模型，本发明实施例中将大解码模型应用于困难的脑电信号识别，而将小解码模型应用于简单的脑电信号识别，由此，不会造成资源的浪费，提高了资源的利用率。
83.此处的gflops是指每秒10亿次的浮点运算数，常作为gpu性能参数但不一定代表gpu的实际表现，因为还要考虑具体如何拆分多边形和像素、以及纹理填充，理论上该数值越高越好。
84.此处，待解码脑电数据的压缩策略可以有多个，对应的解码模型轻量化策略可以有多个。
85.步骤140，基于所述压缩策略对所述待解码脑电数据进行压缩，得到目标压缩数据，并基于所述解码模型轻量化策略所选择的目标解码模型对所述目标压缩数据进行意图解码，得到意图解码结果。
86.具体地，图3是本发明提供的各类方法的脑电信号解码方法的流程示意图，如图3所示，与常用的“一刀切”(one size fits all)方法相比(图3(a1))相比，本发明实施例更倾向于根据待解码脑电数据的不同，自适应的对待解码脑电数据进行一定程度的数据压缩以降低输入数据量，同时选择合适尺寸的目标解码模型进行分类，在不降低解码精度的前提下，提高解码效率。
87.即，在得到待解码脑电数据的压缩策略和对应的解码模型轻量化策略之后，可以基于压缩策略对待解码脑电数据进行压缩，得到目标压缩数据，并基于解码模型轻量化策略所选择的目标解码模型对目标压缩数据进行意图解码，得到意图解码结果。
88.此处的目标压缩数据即最终用于进行意图解码的压缩数据，此处的目标解码模型即最终用于进行意图解码的解码模型。
89.此处的意图解码结果可以包括上肢运动意图(例如，“左手”和“右手”)和下肢运动意图(例如，“左脚”和“右脚”)。
90.本发明实施例提供的方法，获取待解码脑电数据，对待解码脑电数据进行通道压缩，得到压缩脑电数据，再基于策略模型，对压缩脑电数据进行策略选择，得到待解码脑电数据的压缩策略和对应的解码模型轻量化策略，最后，基于压缩策略对待解码脑电数据进
行压缩，得到目标压缩数据，并基于解码模型轻量化策略所选择的目标解码模型对目标压缩数据进行意图解码，得到意图解码结果，由此，通过待解码脑电数据压缩和解码模型轻量化，降低了脑电解码所需的计算量，提高了解码模型的解码效率，为在许多资源有限的终端(例如康复机器人)上的部署带来了可能。
91.基于上述实施例，所述目标解码模型的训练步骤包括候选目标解码模型预训练步骤、策略模型和所述目标解码模型协同训练步骤两部分；所述协同训练步骤包括前向传播步骤和梯度反传步骤；
92.所述候选目标解码模型预训练步骤包括：基于各压缩策略下的样本压缩脑电数据和所述样本压缩脑电数据的意图标签，对各压缩策略对应的候选目标解码模型进行预训练；
93.所述前向传播步骤包括：基于所述策略模型，对待解码脑电样本数据进行策略选择，得到候选压缩策略和对应的解码模型轻量化策略；基于所述候选压缩策略对所述待解码脑电样本数据进行压缩，得到候选样本压缩数据，并基于所述解码模型轻量化策略所选择的候选目标解码模型对所述候选样本压缩数据进行意图解码，得到意图解码预测结果；
94.所述梯度反传步骤包括：基于所述意图解码预测结果与所述待解码脑电样本数据的分类标签，以及对输入所述候选目标解码模型的所述候选样本压缩数据的浮点运算次数，通过梯度反传，对所述策略模型和所述候选目标解码模型进行参数迭代，并基于参数迭代后的候选目标解码模型，得到所述目标解码模型。
95.具体地，为了更好地获取目标解码模型，目标解码模型的训练步骤可以包括候选目标解码模型预训练步骤、策略模型和目标解码模型协同训练步骤两部分，此处的协同训练步骤包括前向传播步骤和梯度反传步骤。
96.候选目标解码模型预训练步骤包括：可以预先收集各压缩策略下的样本压缩脑电数据和样本压缩脑电数据的意图标签，还可以预先构建各压缩策略对应的初始候选目标解码模型。
97.在得到各压缩策略对应的候选目标解码模型后，即可应用预先收集好的各压缩策略下的样本压缩脑电数据和样本压缩脑电数据的意图标签，对初始候选目标解码模型进行训练：
98.首先，将各压缩策略下的样本压缩脑电数据输入至初始候选目标解码模型中，由初始候选目标解码模型得到并输出各压缩策略下的样本压缩脑电数据的预测意图。
99.在基于初始候选目标解码模型得到预测意图之后，即可将预测意图与预先收集好的样本压缩脑电数据的意图标签进行比较，根据此两者之间的差异程度计算得到第一损失函数值，并基于第一损失函数值对初始候选目标解码模型进行参数迭代，将完成参数迭代之后的初始候选目标解码模型记为候选目标解码模型。
100.可以理解的是，预测意图与预先收集好的样本压缩脑电数据的意图标签之间的差异程度越大，第一损失函数值越大；预测意图与预先收集好的样本压缩脑电数据的意图标签之间的差异程度越小，第一损失函数值越小。
101.在对各压缩策略对应的候选目标解码模型进行预训练之后，可以进行策略模型和目标解码模型协同训练。
102.可以预先收集待解码脑电样本数据与待解码脑电样本数据的分类标签，还可以预
先构建包括初始策略模型和候选目标解码模型的初始策略解码模型。
103.在得到包括初始策略模型和候选目标解码模型的初始策略解码模型后，即可以应用预先收集好的待解码脑电样本数据与待解码脑电样本数据的分类标签对初始策略解码模型进行训练：
104.首先，将待解码脑电样本数据输入至初始策略解码模型中，由初始策略解码模型中的初始策略模型对待解码脑电样本数据进行策略选择，得到候选压缩策略和对应的解码模型轻量化策略，然后，可以基于候选压缩策略对待解码脑电样本数据进行压缩，得到候选样本压缩数据，并基于解码模型轻量化策略所选择的候选目标解码模型对候选样本压缩数据进行意图解码，得到意图解码预测结果。
105.在基于初始策略解码模型得到意图解码预测结果后，即可将意图解码预测结果与预先收集的待解码脑电样本数据的分类标签进行比较，以及对输入候选目标解码模型的候选样本压缩数据的浮点运算次数，通过梯度反传，对策略模型和候选目标解码模型进行参数迭代，并基于参数迭代后的候选目标解码模型，得到目标解码模型。
106.参数迭代之后的初始策略解码模型，与初始策略解码模型具备相同的结构，因此，初始策略解码模型可以划分为两个部分，对于参数迭代后的初始策略模型和参数迭代后的候选目标解码模型。针对其中参数迭代后的候选目标解码模型，可以直接将这一部分作为目标解码模型。
107.基于上述实施例，梯度反传步骤包括：
108.步骤210，基于所述意图解码预测结果与所述分类标签，确定解码精度损失函数；
109.步骤220，基于对输入所述候选目标解码模型的所述候选样本压缩数据的浮点运算次数进行平均，确定解码效率损失函数；
110.步骤230，基于所述解码精度损失函数和所述解码效率损失函数，通过梯度反传，对所述策略模型和所述候选目标解码模型进行参数迭代，并基于参数迭代后的候选目标解码模型，得到所述目标解码模型。
111.具体地，在得到意图解码预测结果与分类标签之后，可以基于意图解码预测结果与分类标签，确定解码精度损失函数，解码精度损失函数的公式如下：
[0112][0113]
其中，(x，y
act
)代表原始输入的脑电数据样本和其实际标签；代表fastereeg模型，θ代表模型参数。
[0114]
对于不同的输入，基于策略模型的行为决策，分类模型输入数据的通道数是不同的，目标解码模型大小也不同，因此完成此次eeg解码所需要的计算量，即gflops也不同。在本发明实施例中，对训练数据的gflops进行平均，作为最终的解码损失函数。
[0115][0116]
其中，代表的是预先构建的不同数据压缩策略和模型轻量化策略下对应的gflops表，在解码损失计算时，根据策略模型实际决策(p
chl
，p
mdl
)，通过查表法，得到l
eff
。
[0117]
最终构建的损失函数是解码精度损失和解码效率损失的加权和：
[0118]
l＝l
acc
+αl
eff
[0119]
其中，α代表权重系数，用于权衡解码效率和解码精度，即α越大，解码效率损失所占比重越高。
[0120]
在得到最终构建的损失函数之后，通过梯度反传，对策略模型和候选目标解码模型进行参数迭代，并基于参数迭代后的候选目标解码模型，得到目标解码模型。
[0121]
可以理解的是，意图解码预测结果与分类标签之间的差异程度越大，解码精度损失函数越大；意图解码预测结果与分类标签之间的差异程度越小，解码精度损失函数越小。
[0122]
此外，以数据源bci competition iv dataset 2a(bcic iv 2a)为例，采用本发明的通道转换规则进行通道压缩的实例利用9名被试，对权重系数α取不同值时，测试目标解码模型的性能，结果如表1所示：
[0123]
表1.权重系数α取不同值时目标解码模型性能的对照表
[0124][0125]
表1中l、m和s表示候选解码模型的大小，22、12和6表示数据压缩后的通道数。
[0126]
图4是本发明提供的脑电信号解码效率和解码精度图，如图4所示，图4与表1对应。
[0127]
与sota模型对比：与eegnet，deepconvnet，shallowconvnet相比，fastereeg(本发明提出的方法)的eeg解码精度和效率最高，
[0128]
与shallowconvnet相比，fastereeg(本发明提出的方法)可以提高1.89％的eeg分类精度，而且所需要的计算量是只要shallowconvnet的28％。
[0129]
基于上述实施例，所述策略模型包括策略特征提取模型，以及与所述策略特征提取模型连接的策略决策模型；
[0130]
步骤130包括：
[0131]
步骤131，将所述压缩脑电数据输入至所述策略特征提取模型中，由所述策略特征提取模型提取得到所述压缩脑电数据中的策略特征；
[0132]
步骤132，将所述策略特征输入至所述策略决策模型中，由所述策略决策模型输出多个数据压缩策略的预测概率和多个解码模型策略的预测概率；
[0133]
步骤133，基于所述多个数据压缩策略的预测概率和所述多个解码模型策略的预测概率，确定所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略。
[0134]
具体地，与使用固定大小的输入数据和目标解码模型进行eeg分类不同，本发明实施例通过学习一个策略实现在保证正确分类的前提下尽可使用最小的输入数据和目标解码模型。具体来说，每个试验共有l＝k
×
m个不同计算成本gflops的选择，k是候选的压缩后数据格式，m是候选的不同大小的目标解码模型。策略模型的输出决定了数据压缩和模型轻量化的程度。
[0135]
此处的策略模型可以包括策略特征提取模型以及与策略特征提取模型连接的策略决策模型ζ(
·
，θζ)，在θ*表示相应的模块中可学习的参数。具体来说，最大压缩程度的压缩脑电数据xk，送入策略特征提取模型中提取策略特征。
[0136]
然后，可以将策略特征输入至策略决策模型中，由策略决策模型输出多个数据压缩策略的预测概率和多个解码模型策略的预测概率。
[0137]
最后，可以基于多个数据压缩策略的预测概率和多个解码模型策略的预测概率，确定待解码脑电数据的压缩策略和对应的解码模型轻量化策略。
[0138]
策略决策模型ζ(
·
，θζ)的输出f
pol_fea
的公式如下：
[0139][0140]
其中，f
pol_fea
输出的是不同数据压缩和模型轻量化的策略被选中的概率。
[0141]
最后，可以基于多个数据压缩策略的预测概率中的最大值和多个解码模型策略的预测概率中的最大值，确定待解码脑电数据的压缩策略和对应的解码模型轻量化策略。
[0142]
即，哪个策略对应的输出概率最高，哪个候选数据压缩以及模型轻量化的策略被选中。
[0143]
如图3(b)所示，策略模型的输出主要是p
chl
和p
mdl
，其中，p
chl
表示待解码脑电数据的压缩策略，p
mdl
表示对应的解码模型轻量化策略，其中，fastereeg框架中p
chl
＝1，如图3(a2)所示，是fastereeg框架，如图3(c)所示，fastereeg框架中p
chl
＝1&p
mdl
＝1。
[0144]
基于上述实施例，图5是本发明提供的预设的通道转换规则的示意图，如图5所示，步骤120包括：
[0145]
基于预设的通道转换规则，对所述待解码脑电数据进行通道压缩，得到压缩脑电数据；所述预设的通道转换规则具体包括差值规则、均值规则和选择性激活规则；
[0146]
所述差值规则通过计算两侧脑区对应电极所采集的脑电数据的差值实现通道数据压缩；
[0147]
所述均值规则通过将相邻通道的脑电数据进行平均实现通道数据压缩；
[0148]
所述选择性激活规则通过将与待分类任务无关的脑电数据对应的通道去除，实现通道数据压缩。
[0149]
具体地，可以基于预设的通道转换规则，对待解码脑电数据进行通道压缩，得到压
缩脑电数据，此处的预设的通道转换规则具体包括差值规则、均值规则和选择性激活规则。
[0150]
脑活动，尤其是由运动或运动想象激发的脑信号，一般会呈现运动(运动想象)肢体同侧脑区脑电信号幅值的增强和对侧脑区脑电信号抑制现象。
[0151]
因此可以通过计算两侧脑区对应电极所采集的脑电信号的差值，即差值规则来实现通道压缩；而考虑到相邻脑电信息的相似性和冗余性，可以基于相邻通道信号的平均原则，即均值规则来实现通道压缩；同时，有些脑区的脑电信号可能与待分类任务无关，这时候可以直接去掉该通道数据，所以，以选择性激活规则来实现通道数的压缩。
[0152]
下面对本发明提供的脑电信号解码装置进行描述，下文描述的脑电信号解码装置与上文描述的脑电信号解码方法可相互对应参照。
[0153]
基于上述任一实施例，本发明提供一种脑电信号解码装置，图6是本发明提供的脑电信号解码装置的结构示意图，如图6所示，该装置包括：
[0154]
获取单元610，用于获取待解码脑电数据；
[0155]
通道压缩单元620，用于对所述待解码脑电数据进行通道压缩，得到压缩脑电数据；
[0156]
策略选择单元630，用于基于策略模型，对所述压缩脑电数据进行策略选择，得到所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略；
[0157]
意图解码单元640，用于基于所述压缩策略对所述待解码脑电数据进行压缩，得到目标压缩数据，并基于所述解码模型轻量化策略所选择的目标解码模型对所述目标压缩数据进行意图解码，得到意图解码结果。
[0158]
本发明实施例提供的装置，获取待解码脑电数据，对待解码脑电数据进行通道压缩，得到压缩脑电数据，再基于策略模型，对压缩脑电数据进行策略选择，得到待解码脑电数据的压缩策略和对应的解码模型轻量化策略，最后，基于压缩策略对待解码脑电数据进行压缩，得到目标压缩数据，并基于解码模型轻量化策略所选择的目标解码模型对目标压缩数据进行意图解码，得到意图解码结果，由此，通过待解码脑电数据压缩和解码模型轻量化，降低了脑电解码所需的计算量，提高了解码模型的解码效率，为在许多资源有限的终端(例如康复机器人)上的部署带来了可能。
[0159]
基于上述任一实施例，所述目标解码模型包括顺次连接的时域卷积层、空间卷积层、池化层和分类层，所述目标解码模型通过改变所述时域卷积层和所述空间卷积层的卷积核的数量实现轻量化。
[0160]
基于上述任一实施例，所述目标解码模型的训练步骤包括候选目标解码模型预训练步骤、策略模型和所述目标解码模型协同训练步骤两部分；所述协同训练步骤包括前向传播步骤和梯度反传步骤；
[0161]
所述候选目标解码模型预训练步骤包括：基于各压缩策略下的样本压缩脑电数据和所述样本压缩脑电数据的意图标签，对各压缩策略对应的候选目标解码模型进行预训练；
[0162]
所述前向传播步骤包括：基于所述策略模型，对待解码脑电样本数据进行策略选择，得到候选压缩策略和对应的解码模型轻量化策略；基于所述候选压缩策略对所述待解码脑电样本数据进行压缩，得到候选样本压缩数据，并基于所述解码模型轻量化策略所选择的候选目标解码模型对所述候选样本压缩数据进行意图解码，得到意图解码预测结果；
[0163]
所述梯度反传步骤包括：基于所述意图解码预测结果与所述待解码脑电样本数据的分类标签，以及对输入所述候选目标解码模型的所述候选样本压缩数据的浮点运算次数，通过梯度反传，对所述策略模型和所述候选目标解码模型进行参数迭代，并基于参数迭代后的候选目标解码模型，得到所述目标解码模型。
[0164]
基于上述任一实施例，所述基于所述意图解码预测结果与所述待解码脑电样本数据的分类标签，以及对输入所述候选目标解码模型的所述候选样本压缩数据的浮点运算次数，通过梯度反传，对所述策略模型和所述候选目标解码模型进行参数迭代，并基于参数迭代后的候选目标解码模型，得到所述目标解码模型，具体用于：
[0165]
基于所述意图解码预测结果与所述分类标签，确定解码精度损失函数；
[0166]
基于对输入所述候选目标解码模型的所述候选样本压缩数据的浮点运算次数进行平均，确定解码效率损失函数；
[0167]
基于所述解码精度损失函数和所述解码效率损失函数，通过梯度反传，对所述策略模型和所述候选目标解码模型进行参数迭代，并基于参数迭代后的候选目标解码模型，得到所述目标解码模型。
[0168]
基于上述任一实施例，所述策略模型包括策略特征提取模型，以及与所述策略特征提取模型连接的策略决策模型；
[0169]
所述基于策略模型，对所述压缩脑电数据进行策略选择，得到所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略，包括：
[0170]
特征提取单元，用于将所述压缩脑电数据输入至所述策略特征提取模型中，由所述策略特征提取模型提取得到所述压缩脑电数据中的策略特征；
[0171]
决策单元，用于将所述策略特征输入至所述策略决策模型中，由所述策略决策模型输出多个数据压缩策略的预测概率和多个解码模型策略的预测概率；
[0172]
确定策略单元，用于基于所述多个数据压缩策略的预测概率和所述多个解码模型策略的预测概率，确定所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略。
[0173]
基于上述任一实施例，确定策略单元具体用于：
[0174]
基于所述多个数据压缩策略的预测概率中的最大值和所述多个解码模型策略的预测概率中的最大值，确定所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略。
[0175]
基于上述任一实施例，通道压缩单元620具体用于：
[0176]
基于预设的通道转换规则，对所述待解码脑电数据进行通道压缩，得到压缩脑电数据；所述预设的通道转换规则具体包括差值规则、均值规则和选择性激活规则；
[0177]
所述差值规则通过计算两侧脑区对应电极所采集的脑电数据的差值实现通道数据压缩；
[0178]
所述均值规则通过将相邻通道的脑电数据进行平均实现通道数据压缩；
[0179]
所述选择性激活规则通过将与待分类任务无关的脑电数据对应的通道去除，实现通道数据压缩。
[0180]
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(communications interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通
信。处理器710可以调用存储器730中的逻辑指令，以执行脑电信号解码方法，该方法包括：获取待解码脑电数据；对所述待解码脑电数据进行通道压缩，得到压缩脑电数据；基于策略模型，对所述压缩脑电数据进行策略选择，得到所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略；基于所述压缩策略对所述待解码脑电数据进行压缩，得到目标压缩数据，并基于所述解码模型轻量化策略所选择的目标解码模型对所述目标压缩数据进行意图解码，得到意图解码结果。
[0181]
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0182]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的脑电信号解码方法，该方法包括：获取待解码脑电数据；对所述待解码脑电数据进行通道压缩，得到压缩脑电数据；基于策略模型，对所述压缩脑电数据进行策略选择，得到所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略；基于所述压缩策略对所述待解码脑电数据进行压缩，得到目标压缩数据，并基于所述解码模型轻量化策略所选择的目标解码模型对所述目标压缩数据进行意图解码，得到意图解码结果。
[0183]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的脑电信号解码方法，该方法包括：获取待解码脑电数据；对所述待解码脑电数据进行通道压缩，得到压缩脑电数据；基于策略模型，对所述压缩脑电数据进行策略选择，得到所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略；基于所述压缩策略对所述待解码脑电数据进行压缩，得到目标压缩数据，并基于所述解码模型轻量化策略所选择的目标解码模型对所述目标压缩数据进行意图解码，得到意图解码结果。
[0184]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0185]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施
例或者实施例的某些部分所述的方法。
[0186]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种脑电信号解码方法，其特征在于，包括：获取待解码脑电数据；对所述待解码脑电数据进行通道压缩，得到压缩脑电数据；基于策略模型，对所述压缩脑电数据进行策略选择，得到所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略；基于所述压缩策略对所述待解码脑电数据进行压缩，得到目标压缩数据，并基于所述解码模型轻量化策略所选择的目标解码模型对所述目标压缩数据进行意图解码，得到意图解码结果。2.根据权利要求1所述的脑电信号解码方法，其特征在于，所述目标解码模型包括顺次连接的时域卷积层、空间卷积层、池化层和分类层，所述目标解码模型通过改变所述时域卷积层和所述空间卷积层的卷积核的数量实现轻量化。3.根据权利要求1所述的脑电信号解码方法，其特征在于，所述目标解码模型的训练步骤包括候选目标解码模型预训练步骤、策略模型和所述目标解码模型协同训练步骤两部分；所述协同训练步骤包括前向传播步骤和梯度反传步骤；所述候选目标解码模型预训练步骤包括：基于各压缩策略下的样本压缩脑电数据和所述样本压缩脑电数据的意图标签，对各压缩策略对应的候选目标解码模型进行预训练；所述前向传播步骤包括：基于所述策略模型，对待解码脑电样本数据进行策略选择，得到候选压缩策略和对应的解码模型轻量化策略；基于所述候选压缩策略对所述待解码脑电样本数据进行压缩，得到候选样本压缩数据，并基于所述解码模型轻量化策略所选择的候选目标解码模型对所述候选样本压缩数据进行意图解码，得到意图解码预测结果；所述梯度反传步骤包括：基于所述意图解码预测结果与所述待解码脑电样本数据的分类标签，以及对输入所述候选目标解码模型的所述候选样本压缩数据的浮点运算次数，通过梯度反传，对所述策略模型和所述候选目标解码模型进行参数迭代，并基于参数迭代后的候选目标解码模型，得到所述目标解码模型。4.根据权利要求3所述的脑电信号解码方法，其特征在于，所述基于所述意图解码预测结果与所述待解码脑电样本数据的分类标签，以及对输入所述候选目标解码模型的所述候选样本压缩数据的浮点运算次数，通过梯度反传，对所述策略模型和所述候选目标解码模型进行参数迭代，并基于参数迭代后的候选目标解码模型，得到所述目标解码模型，包括：基于所述意图解码预测结果与所述分类标签，确定解码精度损失函数；基于对输入所述候选目标解码模型的所述候选样本压缩数据的浮点运算次数进行平均，确定解码效率损失函数；基于所述解码精度损失函数和所述解码效率损失函数，通过梯度反传，对所述策略模型和所述候选目标解码模型进行参数迭代，并基于参数迭代后的候选目标解码模型，得到所述目标解码模型。5.根据权利要求1所述的脑电信号解码方法，其特征在于，所述策略模型包括策略特征提取模型，以及与所述策略特征提取模型连接的策略决策模型；所述基于策略模型，对所述压缩脑电数据进行策略选择，得到所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略，包括：将所述压缩脑电数据输入至所述策略特征提取模型中，由所述策略特征提取模型提取
得到所述压缩脑电数据中的策略特征；将所述策略特征输入至所述策略决策模型中，由所述策略决策模型输出多个数据压缩策略的预测概率和多个解码模型策略的预测概率；基于所述多个数据压缩策略的预测概率和所述多个解码模型策略的预测概率，确定所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略。6.根据权利要求5所述的脑电信号解码方法，其特征在于，所述基于所述多个数据压缩策略的预测概率和所述多个解码模型策略的预测概率，确定所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略，包括：基于所述多个数据压缩策略的预测概率中的最大值和所述多个解码模型策略的预测概率中的最大值，确定所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略。7.根据权利要求1至6中任一项所述的脑电信号解码方法，其特征在于，所述对所述待解码脑电数据进行通道压缩，得到压缩脑电数据，包括：基于预设的通道转换规则，对所述待解码脑电数据进行通道压缩，得到压缩脑电数据；所述预设的通道转换规则具体包括差值规则、均值规则和选择性激活规则；所述差值规则通过计算两侧脑区对应电极所采集的脑电数据的差值实现通道数据压缩；所述均值规则通过将相邻通道的脑电数据进行平均实现通道数据压缩；所述选择性激活规则通过将与待分类任务无关的脑电数据对应的通道去除，实现通道数据压缩。8.一种脑电信号解码装置，其特征在于，包括：获取单元，用于获取待解码脑电数据；通道压缩单元，用于对所述待解码脑电数据进行通道压缩，得到压缩脑电数据；策略选择单元，用于基于策略模型，对所述压缩脑电数据进行策略选择，得到所述待解码脑电数据的压缩策略和对应的解码模型轻量化策略；意图解码单元，用于基于所述压缩策略对所述待解码脑电数据进行压缩，得到目标压缩数据，并基于所述解码模型轻量化策略所选择的目标解码模型对所述目标压缩数据进行意图解码，得到意图解码结果。9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述脑电信号解码方法。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述脑电信号解码方法。

技术总结
本发明提供一种脑电信号解码方法、装置、电子设备及存储介质，其中方法包括：获取待解码脑电数据；对待解码脑电数据进行通道压缩，得到压缩脑电数据；基于策略模型，对压缩脑电数据进行策略选择，得到待解码脑电数据的压缩策略和对应的解码模型轻量化策略；基于压缩策略对待解码脑电数据进行压缩，得到目标压缩数据，并基于解码模型轻量化策略所选择的目标解码模型对所述目标压缩数据进行意图解码，得到意图解码结果。本发明提供的方法、装置、电子设备及存储介质，通过待解码脑电数据压缩和解码模型轻量化，降低了脑电解码所需的计算量，提高了解码模型的解码效率，为在许多资源有限的终端(例如康复机器人)上的部署带来了可能。终端(例如康复机器人)上的部署带来了可能。终端(例如康复机器人)上的部署带来了可能。


技术研发人员：王佳星 侯增广 王卫群 苏健强 王一涵
受保护的技术使用者：中国科学院自动化研究所
技术研发日：2023.05.25
技术公布日：2023/9/22