图像分类模型的类脑连续学习方法、图像分类方法和装置

1.本发明涉及人工智能技术领域，尤其涉及一种图像分类模型的类脑连续学习方法、图像分类方法和装置。


背景技术：

2.近年来，许多深度神经网络被提出用于图像识别和分类，然而，这些深度神经网络存在很多不足。第一个问题就是在连续增量学习下出现灾难性遗忘现象，灾难性遗忘是指一个网络对新任务进行训练时对旧任务学习知识(尤其指权重信息)的覆盖或遗忘问题，导致网络在多任务连续学习下表现不佳。第二个问题是传统的反向传播算法计算能耗比较高，主要是由于该算法需要计算每一层的梯度误差并逐层反向传播到输入层。第三个问题是传统的反向传播算法需要连续梯度才能进行训练，这与大脑中的学习方法有所差距，因此生物合理性较弱。
3.现有的图像分类方法能够分别在一定程度上解决上述的问题，如owm(orthogonal weight modification)，ewc(elastic weight consolidation)方法被来解决灾难性遗忘的问题；适用于脉冲神经网络的stdp(spike-timing dependent plasticity)，hebbian方法被用来解决计算能耗高，生物合理性差的问题。然而，上述图像分类方法并不能同时兼顾生物合理性、连续学习不遗忘和低能耗，从而影响图像分类效率和准确性。


技术实现要素：

4.本发明提供一种图像分类模型的类脑连续学习方法、图像分类方法和装置，用以解决现有技术中不能同时兼顾生物合理性、连续学习不遗忘和低能耗，从而影响图像分类效率和准确性的缺陷。
5.本发明提供一种图像分类模型的类脑连续学习方法，包括：
6.获取初始神经网络、样本图像及其对应的图像类别标签；基于所述样本图像和所述初始神经网络的结构类型，确定输入信号，并将所述输入信号输入至所述初始神经网络，得到所述初始神经网络中各层神经元输出的图像特征；对所述图像类别标签进行编码，得到所述样本图像的期望；并基于所述初始神经网络中各层分别对应的全局期望转换矩阵，将所述样本图像的期望分别映射到所述各层中，得到各层的局部多巴胺浓度；基于所述各层的局部多巴胺浓度，对所述各层的初始局部梯度进行调制，得到各层的调制后局部梯度，其中任一层的初始局部梯度基于所述任一层神经元输出的图像特征或所述任一层神经元激活函数的导数，以及所述任一层的上一层神经元输出的图像特征确定；基于所述调制后局部梯度，对所述初始神经网络的突触连接权重进行更新，以完成类脑连续学习，得到图像分类模型。
7.根据本发明提供的图像分类模型的类脑连续学习方法，所述基于所述各层的局部多巴胺浓度，对所述各层的初始局部梯度进行调制，得到各层的调制后局部梯度，包括：基于所述各层的局部多巴胺浓度，对所述各层的局部非线性神经元活动进行选择，得到各层
的选择结果；基于所述各层的选择结果，对所述各层的初始局部梯度进行调制，得到各层的调制后局部梯度。
8.根据本发明提供的图像分类模型的类脑连续学习方法，所述基于所述各层的局部多巴胺浓度，对所述各层的局部非线性神经元活动进行选择，得到各层的选择结果，包括：
9.将所述各层的局部多巴胺浓度分别输入如下多巴胺调制函数，并将所述多巴胺调制函数的输出结果作为所述各层的选择结果；
[0010][0011]
其中，f
local
(λ
l
,h
l
)是多巴胺调制函数，λ
inv
和θ
max
分别为极性反转因子和最大调制因子，λ1被设置为0.5λ
inv
，λ
l
为第l层的局部多巴胺浓度，h
l
为第l层的神经元活动，该活动范围为0-1之间，
·
为点积操作。
[0012]
根据本发明提供的图像分类模型的类脑连续学习方法，所述基于所述各层的选择结果，对所述各层的初始局部梯度进行调制，得到各层的调制后局部梯度，包括：将所述各层的选择结果与所述各层的初始局部梯度相乘，并基于相乘结果得到各层的所述调制后局部梯度，调制后局部梯度通过如下公式计算得到：
[0013][0014]
其中δe
l
为调制后局部梯度，η是学习率，f
local
(λ
l
,h
l
)是l层的局部非线性神经元活动的选择结果，为神经网络l层的初始局部梯度。
[0015]
根据本发明提供的图像分类模型的类脑连续学习方法，所述基于所述初始神经网络中各层分别对应的全局期望转换矩阵，将所述样本图像的期望分别映射到所述各层中，得到各层的局部多巴胺浓度，包括：基于如下公式计算得到所述各层的局部多巴胺浓度：
[0016][0017]
其中，λ
l
为各层中输入层或隐藏层l对应的局部多巴胺浓度，为输入层或隐藏层l对应的全局期望转换矩阵，不同层的全局期望转换矩阵不同，λ
l
为各层中输出层l对应的局部多巴胺浓度，为输出层l对应的全局期望转换矩阵，u
l
为输出层l输出的图像特征，e为样本图像的期望。
[0018]
根据本发明提供的图像分类模型的类脑连续学习方法，若所述初始神经网络的结构类型为卷积脉冲神经网络，则所述基于所述样本图像和所述初始神经网络的结构类型，确定输入信号，包括：将所述样本图像编码为脉冲序列，并将所述脉冲序列确定为所述输入信号；所述任一层的初始局部梯度基于如下公式计算：
[0019][0020]
其中，为所述卷积脉冲神经网络第l层的初始局部梯度，和分别为l层神经元在t-1时刻和l-1层神经元在t时刻的脉冲信号，为t时刻l层神经元的膜电位，v
th
为神经元阈值，v
lens
为神经元阈值窗口，任一层神经元的膜电位基于所述任一层的上一层神经元的脉冲信号确定。
[0021]
根据本发明提供的图像分类模型的类脑连续学习方法，所述任一层神经元的脉冲信号基于如下公式进行更新：
[0022][0023]
其中，为训练批次中输入脉冲信号的平均值，是维度转换插值函数；g(
·
)是门控函数，当g(
·
)的输入大于0时，g(
·
)的输出为1，否则g(
·
)的输出为0；b
l
是预先定义的偏差值，m
l
是对神经元的选择性调制门控，σ
l
是l层的激活函数，是l层经过调制后的神经元活动，由上一层神经元的脉冲信号s
l-1
和权重w
l
以及m
l
门控共同计算得出。
[0024]
根据本发明提供的图像分类模型的类脑连续学习方法，所述任一层神经元的膜电位基于如下公式进行更新：
[0025][0026]
其中，为l层神经元i在t时刻的膜电位，c为神经元i的膜电容，g为神经元i的突触电导率，v
reset
为神经元i的静息膜电位，n为上一隐藏层中与神经元i连接的神经元的数量，为l-1层中神经元j与神经元i之间连接的突触权重，xj(t)为神经元i接收的来自神经元j的输入，s
l
为l层神经元脉冲信号。
[0027]
根据本发明提供的图像分类模型的类脑连续学习方法，若所述初始神经网络的结构类型为卷积人工神经网络，则所述输入信号为所述样本图像；
[0028]
所述任一层的初始局部梯度基于如下公式计算：
[0029][0030]
其中，为输入层或隐藏层l的初始局部梯度，为输出层l的初始局部梯度，为输入层或隐藏层l的激活函数导数，为输出层l的激活函
数导数，u
l-1
为第l-1层神经元的输出，u
l-1
为输出层l前一层神经元的输出。
[0031]
本发明还提供一种图像分类方法，包括：
[0032]
获取待分类图像；将所述待分类图像输入至图像分类模型，得到所述图像分类模型输出的图像分类结果，所述图像分类模型基于所述的图像分类模型的类脑连续学习方法得到。
[0033]
本发明还提供一种图像分类模型的类脑连续学习装置，包括：
[0034]
第一获取单元，用于获取初始神经网络、样本图像及其对应的图像类别标签；第一输出单元，用于基于所述样本图像和所述初始神经网络的结构类型，确定输入信号，并将所述输入信号输入至所述初始神经网络，得到所述初始神经网络中各层神经元输出的图像特征；映射单元，用于对所述图像类别标签进行编码，得到所述样本图像的期望；并基于所述初始神经网络中各层分别对应的全局期望转换矩阵，将所述样本图像的期望分别映射到所述各层中，得到各层的局部多巴胺浓度；调制单元，用于基于所述各层的局部多巴胺浓度，对所述各层的初始局部梯度进行调制，得到各层的调制后局部梯度，其中任一层的初始局部梯度基于所述任一层神经元输出的图像特征和所述任一层的上一层神经元输出的图像特征确定；更新单元，用于基于所述调制后局部梯度，对所述初始神经网络的突触连接权重进行更新，以完成类脑连续学习，得到图像分类模型。
[0035]
本发明还提供一种图像分类装置，包括：
[0036]
第二获取单元，用于获取待分类图像；第二输出单元，用于将所述待分类图像输入至图像分类模型，得到所述图像分类模型输出的图像分类结果，所述图像分类模型基于所述的图像分类模型的类脑连续学习方法得到。
[0037]
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图像分类模型的类脑连续学习方法。
[0038]
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像分类模型的类脑连续学习方法。
[0039]
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述图像分类模型的类脑连续学习方法。
[0040]
本发明提供的图像分类模型的类脑连续学习方法、图像分类方法和装置，通过将将样本图像的期望映射到对应层中获得各层的局部多巴胺浓度，基于局部多巴胺浓度对初始局部梯度进行调制，得到各层的调制后局部梯度，并基于调制后局部梯度进行权重更新，得到图像分类模型。
[0041]
这类通过全局多巴胺调制启发的局部可塑性调节的连续学习，由于借鉴了大脑中神经网络的可塑性机制，如多巴胺调制选择性的调节特定神经元活动，并通过局部可塑性机制将选择的神经元活动改变传递到突触活动改变上，以达到针对性地对某些权重进行修改，因此可以最大程度上保留旧任务信息(旧任务突触权重)，同时实现对新任务的学习能力。实现的基于多巴胺的连续学习方法有效地减轻了在学习新任务的过程中的灾难性遗忘的问题，同时由于其计算简单、且可以和信号前馈过程并行计算(如标签到期望的编码、全局期望转换矩阵对局部多巴胺浓度的计算、初始局部梯度的计算等)，因此可以降低内存占用、减少计算能耗，且有利于置于芯片上使用。
[0042]
此外，由于学习中能够有效避免灾难性遗忘的问题，由此学习得到的图像分类模型能够有效提高图像分类的准确性，特别适用于在开放环境中较大规模很多图像类别的应用场景中。
附图说明
[0043]
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0044]
图1是本发明提供的图像分类模型的类脑连续学习方法的流程示意图之一；
[0045]
图2是本发明提供的图像分类模型的类脑连续学习方法的流程示意图之二；
[0046]
图3是本发明提供的图像分类模型的类脑连续学习方法的流程示意图之三；
[0047]
图4是本发明提供的图像分类方法的流程示意图；
[0048]
图5是本发明提供的图像分类模型的类脑连续学习装置的结构示意图；
[0049]
图6是本发明提供的图像分类装置的结构示意图；
[0050]
图7是本发明提供的电子设备的结构示意图。
具体实施方式
[0051]
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0052]
连续学习(continual learning或cl)，又称终身学习(lifelong learning)是指人类所具有的可持续学习的能力。目前，人工智能(ai)中的机器学习(machine learning或ml)还缺乏连续学习的能力，在连续学习的过程中会出现“灾难性遗忘”问题。所以，在图像分类场景下，现在的ai需要事前知道需要学习的图像类别，当遇到事先未知的图像类别时，就需要和原来的图像类别(如果保留了的话)一起重新学习。但许多实际应用(如自动驾驶、产品推荐等)中，不可能知道将来会遇到怎样的新场景新产品内容，这就导致很多实际应用难以展开，或者需要付出很大的重新学习代价。
[0053]
相关图像分类方法中，往往在训练过程中需要一次性使用全部类别的样本图像进行训练以避免灾难性遗忘的问题，导致训练成本较高。
[0054]
此外，现有的图像分类模型的训练方法并不能同时兼顾生物合理性、连续学习不遗忘和低能耗，从而影响图像分类效率和准确性。
[0055]
基于上述考虑，本发明的发明构思在于：借鉴了大脑中神经网络的可塑性机制，多巴胺调制选择性的调节特定神经元活动，并通过局部可塑性机制将选择的神经元活动改变传递到突触活动改变上，以达到针对性地对突触权重进行修改，在使用部分训练数据进行连续学习的任务中，本发明提供的方法可以最大程度上保留旧任务信息(旧任务突触权重)，同时实现对新任务的学习能力。
[0056]
基于上述发明构思，本发明提供一种图像分类模型的类脑连续学习方法和装置，
应用于人工智能技术中图像分类模型的连续学习场景，以提高图像分类模型的图像分类准确性。
[0057]
下面将结合附图详细描述本发明的技术方案。图1是本发明提供的图像分类模型的类脑连续学习方法的流程示意图之一，该方法中各步骤的执行主体可以是图像分类模型的类脑连续学习装置，该装置可通过软件和/或硬件实现，该装置可集成在电子设备中，电子设备可以是终端设备(如智能手机、个人电脑等)，也可以是服务器(如本地服务器或云端服务器，也可以为服务器集群等)，也可以是处理器，也可以是芯片等。如图1所示，该方法可以包括如下步骤：
[0058]
步骤110，获取初始神经网络、样本图像及其对应的图像类别标签。
[0059]
具体地，初始神经网络即待进行类脑连续学习的神经网络。神经网络是一种运算模型，由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。
[0060]
初始神经网络可以是人工神经网络(artificial neural network，ann)，卷积神经网络(convolutional neural networks，cnn)，也可以是脉冲神经网络(spiking neutral network，snn)，还可以是循环神经网络(recurrent neural network，rnn)，本发明实施例对此不作具体限定。
[0061]
优选地，初始神经网络可以是卷积脉冲神经网络或卷积人工神经网络，卷积脉冲神经网络即卷积网络和脉冲神经网络的融合网络，卷积人工神经网络即卷积网络和人工神经网络的融合网络。其中卷积网络由卷积层和全连接层组成。其中卷积层和全连接网络之间使用前馈结构连接。
[0062]
样本图像即可作为训练样本的图像，样本图像可通过图像采集设备采集得到，也可以从公开的图像数据集获取，例如mnist、cifar-10。样本图像对应的图像类别标签可以是预先标记好的，可以反映样本图像中的图像类别，例如汽车、人、动物、植物、物体、建筑物，更进一步地，还可以包括动物类别(狗、猫、兔子、大象等)，植物类别(树木、花草等)。
[0063]
步骤120，基于样本图像和初始神经网络的结构类型，确定输入信号，并将输入信号输入至初始神经网络，得到初始神经网络中各层神经元输出的图像特征。
[0064]
初始神经网络的结构类型可包括卷积脉冲神经网络或卷积人工神经网络。考虑到不同结构类型网络的网络输入不同，可根据样本图像和初始神经网络的结构类型，确定输入信号。例如，若初始神经网络的结构类型为卷积脉冲神经网络，则输入信号为脉冲信号，可将样本图像转化为脉冲信号作为输入信号；若初始神经网络的结构类型为卷积人工神经网络，则可直接将样本图像作为输入信号。
[0065]
输入信号确定之后，可将输入信号输入至初始神经网络，得到初始神经网络中各层神经元输出的图像特征。例如，初始神经网络中可包括输入层、卷积层、隐藏层、全连接层和输出层，输入层的神经元数量根据输入样本图像的维度决定，输出神经元数量根据图像类别的个数决定，隐藏层神经元的个数可以自由确定。各层神经元均可输出样本图像的图像特征。其中输入层输出是对输入图像编码后在高维空间中的表示结果，隐藏层输出是在高维空间中进行编码的结果，输出层输出的是降维之后进行分类的结果。
[0066]
步骤130，对图像类别标签进行编码，得到样本图像的期望；并基于初始神经网络中各层分别对应的全局期望转换矩阵，将样本图像的期望分别映射到各层中，得到各层的局部多巴胺浓度。
[0067]
具体地，考虑到相关技术中采用反向传播算法计算能耗比较高，且实际效果和大脑相比还相差很远。而人脑特有的概念细胞的形成是人类具有连续学习能力的核心原因，本发明实施例提供的方法采用类脑的连续学习方法，将样本图像的期望分别映射到各层中，得到各层的局部多巴胺浓度。局部多巴胺浓度能够反映对不同类别图像的预期结构，基于局部多巴胺浓度可以选择性的调节特定神经元活动。
[0068]
样本图像的期望可通过对图像类别标签进行编码得到，例如可将图像类别标签通过2个正态分布(均值分别为0和2，方差同为1)编码后，得到样本图像的期望。
[0069]
为了实现将样本图像的期望分别映射到各层中，可通过初始神经网络中各层分别对应的全局期望转换矩阵实现。全局期望转换矩阵为均匀矩阵，各层分别对应的全局期望转换矩阵可以相同，也可以不同，但具备生物合理性，可以与实际鼠脑生物多巴胺传播矩阵一致。
[0070]
例如，可基于初始神经网络中隐藏层对应的全局期望转换矩阵，将样本图像的期望映射到隐藏层中，得到隐藏层的局部多巴胺浓度；还可基于初始神经网络中输出层对应的全局期望转换矩阵，将样本图像的期望映射到输出层中，得到输出层的局部多巴胺浓度。各层局部多巴胺浓度可以选择性的调节各层特定神经元活动。
[0071]
步骤140，基于各层的局部多巴胺浓度，对各层的初始局部梯度进行调制，得到各层的调制后局部梯度，其中任一层的初始局部梯度基于任一层神经元输出的图像特征或所述任一层神经元激活函数的导数，以及任一层的上一层神经元输出的图像特征确定。
[0072]
具体地，各层的局部多巴胺浓度可以选择性的调节各层特定神经元活动，在此基础上，可借鉴类脑的局部可塑性机制，将选择的神经元活动改变传递到突触活动改变上，以达到针对性地对某些权重进行修改，因此可以最大程度上保留旧的图像分类任务信息(旧任务突触权重)，同时实现对新的图像分类任务的学习能力。
[0073]
此处，各层的初始局部梯度可表征旧任务突触权重，其中任一层的初始局部梯度基于任一层神经元输出的图像特征或任一层神经元激活函数的导数，以及任一层的上一层神经元输出的图像特征确定。
[0074]
例如，针对卷积脉冲神经网络，任一层的初始局部梯度基于任一层神经元输出的图像特征以及任一层的上一层神经元输出的图像特征确定；针对卷积人工神经网络，任一层的初始局部梯度基于任一层神经元激活函数的导数以及任一层的上一层神经元输出的图像特征确定。
[0075]
各层的调制后局部梯度可表征新任务突触权重，可基于各层的局部多巴胺浓度，对各层的初始局部梯度进行调制后得到。
[0076]
步骤150，基于调制后局部梯度，对初始神经网络的突触连接权重进行更新，以完成类脑连续学习，得到图像分类模型。
[0077]
具体地，得到调制后局部梯度之后，可基于调制后局部梯度，对初始神经网络的突触连接权重进行更新，以完成类脑连续学习，得到图像分类模型。根据该方法训练得到的图像分类模型可用于对待分类图像进行分类，特别是在开放环境中较大规模很多类别的应用
场景中，例如自动驾驶场景中，能够显著提高图像分类的准确性。
[0078]
考虑到相关技术中，针对网络学习旧任务后再学习新任务时的灾难性遗忘问题，该问题描述了特定神经网络在学习新知识的时候，由于更改了全局的网络权重而将旧知识覆盖或遗忘的现象。
[0079]
本发明实施例提供的图像分类模型的类脑连续学习方法，通过将将样本图像的期望映射到对应层中获得各层的局部多巴胺浓度，借鉴生物大脑通过基底神经节远程分泌不同浓度的多巴胺来调节前额叶皮层的局部神经元活动。基于局部多巴胺浓度对初始局部梯度进行调制，得到各层的调制后局部梯度，并基于调制后局部梯度进行权重更新，得到图像分类模型。再结合从神经元活动改变到突触权重改变的可塑性传递，从而实现在计算上针对不同的输入图像类别信息而选择性地修改神经网络权重，达到在连续学习过程中可以有效存储旧任务知识的目的，且同时具有接受新任务知识的能力。
[0080]
这类通过全局多巴胺调制启发的局部可塑性调节的连续学习，由于借鉴了大脑中神经网络的可塑性机制，如多巴胺调制选择性的调节特定神经元活动，并通过局部可塑性机制将选择的神经元活动改变传递到突触活动改变上，以达到针对性地对某些权重进行修改，因此可以最大程度上保留旧任务信息(旧任务突触权重)，同时实现对新任务的学习能力。实现的基于多巴胺的连续学习方法有效地减轻了在学习新任务的过程中的灾难性遗忘的问题，同时由于其计算简单、且可以和信号前馈过程并行计算(如标签到期望的编码、全局期望转换矩阵对局部多巴胺浓度的计算、初始局部梯度的计算等)，因此可以降低内存占用、减少计算能耗，且有利于置于芯片上使用。
[0081]
本发明实施例提供的图像分类模型的类脑连续学习方法可以减弱灾难性遗忘的问题，实现连续学习，提高了图像分类模型的鲁棒性和适应性，同时该方法对不同类型任务的神经元选择以及从神经元到突触权重的局部可塑性传递，两者的复杂性都较低，因此相对已有的正交分解、样本回放等方法极大的降低了计算能耗。
[0082]
此外，由于学习中能够有效避免灾难性遗忘的问题，由此学习得到的图像分类模型能够有效提高图像分类的准确性，特别适用于在开放环境中较大规模很多图像类别的应用场景中。
[0083]
基于上述实施例，步骤140中基于各层的局部多巴胺浓度，对各层的初始局部梯度进行调制，得到各层的调制后局部梯度，具体包括：
[0084]
步骤141，基于各层的局部多巴胺浓度，对各层的局部非线性神经元活动进行选择，得到各层的选择结果；
[0085]
步骤142，基于各层的选择结果，对各层的初始局部梯度进行调制，得到各层的调制后局部梯度。
[0086]
具体地，针对各层的调制后局部梯度，可通过首先基于局部多巴胺浓度，对各层的局部非线性神经元活动进行调制，得到各层的选择结果，然后基于各层的选择结果，对各层的初始局部梯度进行调制实现。
[0087]
针对步骤141，可通过多巴胺调制函数实现。可将各层的局部多巴胺浓度分别输入如下多巴胺调制函数，并将多巴胺调制函数的输出结果作为各层的选择结果。
[0088]
在一些实施例中，多巴胺调制函数可表示为如下形式：
[0089][0090]
其中，f
local
(λ
l
,h
l
)是多巴胺调制函数，λ
inv
和θ
max
分别为极性反转因子和最大调制因子，λ1被设置为0.5λ
inv
，λ
l
为第l层的局部多巴胺浓度，h
l
为第l层的神经元活动，该活动范围为0-1之间，
·
为点积操作。
[0091]
基于上述任一实施例，步骤142具体可包括：
[0092]
将各层的选择结果与各层的初始局部梯度相乘，并基于相乘结果得到各层的调制后局部梯度。
[0093]
调制后局部梯度通过如下公式计算得到：
[0094][0095]
其中δw
l
为调制后局部梯度，η是学习率，f
local
(λ
l
,h
l
)是l层的局部非线性神经元活动的选择结果，为神经网络l层的初始局部梯度。
[0096]
具体地，得到局部多巴胺浓度针对各层的局部非线性神经元活动的各层的选择结果之后，可借鉴类脑的局部可塑性机制，将选择的神经元活动改变传递到突触活动改变上，以达到针对性地对某些权重进行修改。针对调制后局部梯度，可首先将各层的选择结果与各层的初始局部梯度相乘，得到相乘结果，在此基础上，基于相乘结果得到各层的调制后局部梯度。例如，可直接将相乘结果作为各层的调制后局部梯度，还可基于相乘结果和学习率，得到各层的调制后局部梯度。
[0097]
在一些实施例中，若初始神经网络的结构类型为卷积脉冲神经网络，任一层的调制后局部梯度可基于如下公式计算得到：
[0098][0099]
其中δw
snn,l
为调制后局部梯度，η是学习率，f
local
(λ
snn,l
,h
l
)是l层的局部非线性神经元活动选择结果，为卷积脉冲神经网络l层的初始局部梯度。
[0100]
在一些实施例中，若初始神经网络的结构类型为卷积人工神经网络，任一层的调制后局部梯度可基于如下公式计算得到：
[0101][0102]
其中δw
ann,l
和δw
ann,l
分别为l层和输出层l的调制后局部梯度，η是学习率，f
loxal
(λ
ann,l
,h
l
)和f
local
(λ
ann,l
,h
l
)分别是l层和输出层l的局部非线性神经元活动选择结果，和分别为卷积人工神经网络l层和输出层l的初始局部梯度。
[0103]
基于上述任一实施例，步骤130中基于初始神经网络中各层分别对应的全局期望
转换矩阵，将样本图像的期望分别映射到各层中，得到各层的局部多巴胺浓度，具体包括：
[0104]
基于如下公式计算得到所述各层的局部多巴胺浓度：
[0105][0106]
其中，λ
l
为各层中输入层或隐藏层l对应的局部多巴胺浓度，为输入层或隐藏层l对应的全局期望转换矩阵，不同层的全局期望转换矩阵不同，λ
l
为各层中输出层l对应的局部多巴胺浓度，为输出层l对应的全局期望转换矩阵，u
l
为输出层l输出的图像特征，e为样本图像的期望。
[0107]
可理解的是，针对输入层和隐藏层突触，可将样本图像的期望映射到对应层中获得局部多巴胺浓度；针对输出层，将图像类别标签直接与输出值相减得到误差，误差通过全局期望转换矩阵生成局部多巴胺浓度。
[0108]
此外，针对卷积脉冲神经网络，u
l
可理解为在当前时刻输出层l输出的脉冲信号，用于表征输出层l输出的图像特征。
[0109]
基于上述任一实施例，若初始神经网络的结构类型为卷积脉冲神经网络，则基于所述样本图像和所述初始神经网络的结构类型，确定输入信号，包括：将样本图像编码为脉冲序列，并将脉冲序列确定为输入信号，具体可使用泊松编码的方式，将样本图像编码为脉冲序列。对于卷积脉冲神经网络，隐藏层中任一神经元的膜电位基于上一层神经元的脉冲信号确定。
[0110]
其中，任一层的初始局部梯度基于如下公式计算：
[0111][0112]
其中，为卷积脉冲神经网络第l层的初始局部梯度，和分别为l层神经元在t-1时刻和l-1层神经元在t时刻的脉冲信号，为t时刻l层神经元的膜电位，v
th
为神经元阈值，v
lens
为神经元阈值窗口，任一层神经元的膜电位基于所述任一层的上一层神经元的脉冲信号确定。
[0113]
基于上述任一实施例，所述任一层神经元的脉冲信号基于如下公式进行更新：
[0114][0115]
其中，为训练批次中输入脉冲信号的平均值，是维度转换插值函数，g(
·
)是门控函数，当g(
·
)的输入大于0时，g(
·
)的输出为1，否则g(
·
)的输出为0；，b
l
是预先定义的偏差值，m
l
是对神经元的选择性调制门控，σ
l
是l层的激活函数，是l层经过调制后的神经元活动，由上一层神经元的脉冲信号s
l-1
和权重w
l
以及m
l
门控共同计算得出。
[0116]
具体地，任一层神经元的脉冲信号是根据如下步骤进行更新的：
[0117]
基于输入神经元的膜电位和阈值，确定输入神经元的脉冲信号；
[0118]
基于输入神经元的脉冲信号，生成对任一神经元的选择性调制门控，上一层脉冲
信号与权重以及选择性调制门控共同计算得到当前层的脉冲输出。
[0119]
基于上述任一实施例，所述任一层神经元的膜电位基于如下公式进行更新：
[0120][0121]
其中，为l层神经元i在t时刻的膜电位，c为神经元i的膜电容，g为神经元i的突触电导率，v
reset
为神经元i的静息膜电位，n为上一隐藏层中与神经元i连接的神经元的数量，为l-1层中神经元j与神经元i之间连接的突触权重，xj(t)为神经元i接收的来自神经元j的输入，s
l
为l层神经元脉冲信号。
[0122]
基于上述任一实施例，若初始神经网络的结构类型为卷积人工神经网络，则输入信号为样本图像。对于卷积人工神经网络，任一神经元的输入基于上一层神经元的输出确定。
[0123]
其中，任一层的初始局部梯度基于如下公式计算：
[0124][0125]
其中，为输入层或隐藏层l的初始局部梯度，为输出层l的初始局部梯度，为输入层或隐藏层l的激活函数导数，为输出层l的激活函数导数，u
l-1
为第l-1层神经元的输出，u
l-1
为输出层l前一层神经元的输出。
[0126]
基于上述任一实施例，图2是本发明提供的图像分类模型的类脑连续学习方法的流程示意图之二，如图2所示，以初始神经网络为卷积脉冲神经网络为例，该方法包括：
[0127]
步骤1，获取卷积脉冲神经网络、样本图像及其对应的图像类别标签，并将样本图像编码成脉冲序列。
[0128]
步骤2，将脉冲序列输入到图2所示的卷积脉冲神经网络中，该网络包括卷积层1，卷积层2，隐藏层和输出层；
[0129]
步骤3，将图像类别标签使用全局期望转换矩阵映射到隐藏层中获得局部多巴胺浓度，使用多巴胺调制函数对局部多巴胺浓度进行编码，生成非线性神经元活动选择结果，将选择结果作用在卷积层和隐藏层的突触连接中；
[0130]
步骤4，计算初始局部梯度，与步骤3生成的局部非线性调制结果共同作用生成调制后局部梯度；使用调制后局部梯度对网络突触连接权重进行更新，得到图像分类模型。
[0131]
在实际应用时，使用输出层对隐藏层生成的脉冲序列进行解码，选择脉冲发放率最高的神经元对应的类别作为图像分类结果。
[0132]
基于上述任一实施例，图3是本发明提供的图像分类模型的类脑连续学习方法的流程示意图之三，如图3所示，以初始神经网络为卷积人工神经网络为例，该方法与上述方
法的区别是，在步骤1中无需将样本图像编码成脉冲序列，在步骤3中可以直接将样本图像输入到图3所示的卷积人工神经网络中。其余步骤可参考上述实施例，在此不再赘述。在实际应用时，可选择输出值最高的神经元作为图像分类结果。
[0133]
本发明实施例提供的图像分类模型的类脑连续学习方法，使用多巴胺神经调节剂启发的方法进行训练，具有以下优点：
[0134]
(1)可扩展性：网络支持卷积脉冲神经网络和卷积人工神经网络，可以支持增加隐藏层数或卷积层数，同时可以使用相同的训练方式支持其他类型的神经网络如循环神经网络。
[0135]
(2)低功耗能力：使用多巴胺神经调节剂启发的训练方法，在训练过程中具有较低的训练能耗，同时保持比较高的网络性能。
[0136]
(3)连续学习能力：在训练过程中可以在保持旧样本图像的信息的前提下支持对新样本图像的学习，能够在减少灾难性遗忘的情况下实现高效的神经网络学习。
[0137]
(4)生物合理性：作为一种脑启发训练方法，本发明提供的方法更接近大脑中突触的学习方式；采用多巴胺调制函数与初始局部梯度结合的训练方法可以在实现高性能图像分类能力的基础上具有更好的生物合理性。
[0138]
基于上述任一实施例，图4是本发明提供的图像分类方法的流程示意图，如图4所示，本发明实施例提供的图像分类方法，包括：
[0139]
步骤410，获取待分类图像；
[0140]
步骤420，将所述待分类图像输入至图像分类模型，得到所述图像分类模型输出的图像分类结果，所述图像分类模型基于上述的图像分类模型的类脑连续学习方法得到。
[0141]
具体地，待分类图像即需要进行图像分类的图像，待分类图像可以是任意图像，可以是图像采集设备采集得到的，例如自动驾驶场景下配置在车辆上的相机实时采集得到的；还可以是从网络上下载得到的，本发明实施例对此不作具体限定。
[0142]
在执行步骤420之前，可根据上述图像分类模型的类脑连续学习方法训练得到图像分类模型，在此基础上，将待分类图像输入至训练好的图像分类模型，得到图像分类模型输出的图像分类结果。
[0143]
本发明实施例提供的方法，基于图像分类模型的类脑连续学习方法得到图像分类模型，能够有效提高图像分类的准确性，特别适用于在开放环境中较大规模很多图像类别的应用场景中。
[0144]
下面对本发明提供的图像分类模型的类脑连续学习装置进行描述，下文描述的图像分类模型的类脑连续学习装置与上文描述的图像分类模型的类脑连续学习方法可相互对应参照。
[0145]
在本发明各实施例的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。
[0146]
基于上述任一实施例，图5是本发明提供的图像分类模型的类脑连续学习装置的结构示意图，如图5所示，该装置包括：第一获取单元510，用于获取初始神经网络、样本图像及其对应的图像类别标签；第二输出单元520，用于基于所述样本图像和所述初始神经网络的结构类型，确定输入信号，并将所述输入信号输入至所述初始神经网络，得到所述初始神
经网络中各层神经元输出的图像特征；映射单元530，用于对所述图像类别标签进行编码，得到所述样本图像的期望；并基于所述初始神经网络中各层分别对应的全局期望转换矩阵，将所述样本图像的期望分别映射到所述各层中，得到各层的局部多巴胺浓度；调制单元540，用于基于所述各层的局部多巴胺浓度，对所述各层的初始局部梯度进行调制，得到各层的调制后局部梯度，其中任一层的初始局部梯度基于所述任一层神经元输出的图像特征或所述任一层神经元激活函数的导数，以及所述任一层的上一层神经元输出的图像特征确定；更新单元550，用于基于所述调制后局部梯度，对所述初始神经网络的突触连接权重进行更新，以完成类脑连续学习，得到图像分类模型。
[0147]
本发明实施例提供的图像分类模型的类脑连续学习装置，通过将将样本图像的期望映射到对应层中获得各层的局部多巴胺浓度，基于局部多巴胺浓度对初始局部梯度进行调制，得到各层的调制后局部梯度，并基于调制后局部梯度进行权重更新，得到图像分类模型。
[0148]
这类通过全局多巴胺调制启发的局部可塑性调节的连续学习，由于借鉴了大脑中神经网络的可塑性机制，如多巴胺调制选择性的调节特定神经元活动，并通过局部可塑性机制将选择的神经元活动改变传递到突触活动改变上，以达到针对性地对某些权重进行修改，因此可以最大程度上保留旧任务信息(旧任务突触权重)，同时实现对新任务的学习能力。实现的基于多巴胺的连续学习方法有效地减轻了在学习新任务的过程中的灾难性遗忘的问题，同时由于其计算简单、且可以和信号前馈过程并行计算(如标签到期望的编码、全局期望转换矩阵对局部多巴胺浓度的计算、初始局部梯度的计算等)，因此可以降低内存占用、减少计算能耗，且有利于置于芯片上使用。
[0149]
基于上述实施例，调制单元540具体用于：基于所述局部多巴胺浓度，对所述各层的局部非线性神经元活动进行选择，得到各层的选择结果；基于所述各层的选择结果，对所述各层的初始局部梯度进行调制，得到各层的调制后局部梯度。
[0150]
基于上述实施例，调制单元540还具体用于：将所述局部多巴胺浓度分别输入如下多巴胺调制函数，并将所述多巴胺调制函数的输出结果作为所述各层的选择结果；
[0151][0152]
其中，f
local
(λ
l
,h
l
)是多巴胺调制函数，λ
inv
和θ
max
分别为极性反转因子和最大调制因子，λ1被设置为0.5λ
inv
，λ
l
为第l层的局部多巴胺浓度，h
l
为第l层的神经元活动，该活动范围为0-1之间，
·
为点积操作。
[0153]
基于上述任一实施例，调制单元540还具体用于：将所述各层的选择结果与所述各层的初始局部梯度相乘，并基于相乘结果得到各层的调制后局部梯度。调制后局部梯度通过如下公式计算得到：
[0154]
[0155]
其中δw
l
为调制后局部梯度，η是学习率，f
local
(λ
l
,h
l
)是l层的局部非线性神经元活动的选择结果，为神经网络l层的初始局部梯度。
[0156]
基于上述任一实施例，映射单元530具体用于：
[0157]
基于如下公式计算得到所述各层的局部多巴胺浓度：
[0158][0159]
其中，λ
l
为各层中输入层或隐藏层l对应的局部多巴胺浓度，为输入层或隐藏层l对应的全局期望转换矩阵，不同层的全局期望转换矩阵不同，λ
l
为各层中输出层l对应的局部多巴胺浓度，为输出层l对应的全局期望转换矩阵，u
l
为输出层l输出的图像特征，e为样本图像的期望。
[0160]
基于上述任一实施例，若所述初始神经网络的结构类型为卷积脉冲神经网络，则第一输出单元520还用于：将所述样本图像编码为脉冲序列，并将所述脉冲序列确定为所述输入信号；该装置还包括初始局部梯度确定单元，用于：
[0161]
所述任一层的初始局部梯度基于如下公式计算：
[0162][0163]
其中，为所述卷积脉冲神经网络第l层的初始局部梯度，和分别为l层神经元在t-1时刻和l-1层神经元在t时刻的脉冲信号，为t时刻l层神经元的膜电位，v
th
为神经元阈值，v
lens
为神经元阈值窗口，任一层神经元的膜电位基于所述任一层的上一层神经元的脉冲信号确定。
[0164]
基于上述任一实施例，所述任一层神经元的脉冲信号基于如下公式进行更新：
[0165][0166]
其中，为训练批次中输入脉冲信号的平均值，是维度转换插值函数，g(
·
)是门控函数，当g(
·
)的输入大于0时，g(
·
)的输出为1，否则g(
·
)的输出为0；b
l
是预先定义的偏差值，m
l
是对神经元的选择性调制门控，σ
l
是l层的激活函数，是l层经过调制后的神经元活动，由上一层神经元的脉冲信号s
l-1
和权重w
l
以及m
l
门控共同计算得出。
[0167]
基于上述任一实施例，所述任一层神经元的膜电位基于如下公式进行更新：
[0168][0169]
其中，为l层神经元i在t时刻的膜电位，c为神经元i的膜电容，g为神经元i的突触电导率，v
reset
为神经元i的静息膜电位，n为上一隐藏层中与神经元i连接的神经元的数
量，为l-1层中神经元j与神经元i之间连接的突触权重，xj(t)为神经元i接收的来自神经元j的输入，s
l
为l层神经元脉冲信号。
[0170]
基于上述任一实施例，若所述初始神经网络的结构类型为卷积人工神经网络，则所述输入信号为所述样本图像；
[0171]
所述任一层的初始局部梯度基于如下公式计算：
[0172][0173]
其中，为输入层或隐藏层l的初始局部梯度，为输出层l的初始局部梯度，为输入层或隐藏层l的激活函数导数，为输出层l的激活函数导数，u
l-1
为第l-1层神经元的输出，u
l-1
为输出层l前一层神经元的输出。
[0174]
基于上述任一实施例，图6是本发明提供的图像分类装置的结构示意图，如图6所示，图像分类装置包括：第二获取单元610，用于获取待分类图像；第二输出单元620，用于将所述待分类图像输入至图像分类模型，得到所述图像分类模型输出的图像分类结果，所述图像分类模型基于所述的图像分类模型的类脑连续学习方法得到。
[0175]
本发明实施例提供的图像分类装置，基于图像分类模型的类脑连续学习方法得到图像分类模型，能够有效提高图像分类的准确性，特别适用于在开放环境中较大规模很多图像类别的应用场景中。
[0176]
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(communications interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行图像分类模型的类脑连续学习方法，该方法包括：
[0177]
获取初始神经网络、样本图像及其对应的图像类别标签；
[0178]
基于所述样本图像和所述初始神经网络的结构类型，确定输入信号，并将所述输入信号输入至所述初始神经网络，得到所述初始神经网络中各层神经元输出的图像特征；
[0179]
对所述图像类别标签进行编码，得到所述样本图像的期望；并基于所述初始神经网络中各层分别对应的全局期望转换矩阵，将所述样本图像的期望分别映射到所述各层中，得到各层的局部多巴胺浓度；
[0180]
基于所述各层的局部多巴胺浓度，对所述各层的初始局部梯度进行调制，得到各层的调制后局部梯度，其中任一层的初始局部梯度基于所述任一层神经元输出的图像特征或所述任一层神经元激活函数的导数，以及所述任一层的上一层神经元输出的图像特征确定；
[0181]
基于所述调制后局部梯度，对所述初始神经网络的突触连接权重进行更新，以完成类脑连续学习，得到图像分类模型。
[0182]
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0183]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的图像分类模型的类脑连续学习方法，该方法包括：
[0184]
获取初始神经网络、样本图像及其对应的图像类别标签；
[0185]
基于所述样本图像和所述初始神经网络的结构类型，确定输入信号，并将所述输入信号输入至所述初始神经网络，得到所述初始神经网络中各层神经元输出的图像特征；
[0186]
对所述图像类别标签进行编码，得到所述样本图像的期望；并基于所述初始神经网络中各层分别对应的全局期望转换矩阵，将所述样本图像的期望分别映射到所述各层中，得到各层的局部多巴胺浓度；
[0187]
基于所述各层的局部多巴胺浓度，对所述各层的初始局部梯度进行调制，得到各层的调制后局部梯度，其中任一层的初始局部梯度基于所述任一层神经元输出的图像特征或所述任一层神经元激活函数的导数，以及所述任一层的上一层神经元输出的图像特征确定；
[0188]
基于所述调制后局部梯度，对所述初始神经网络的突触连接权重进行更新，以完成类脑连续学习，得到图像分类模型。
[0189]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的图像分类模型的类脑连续学习方法，该方法包括：
[0190]
获取初始神经网络、样本图像及其对应的图像类别标签；
[0191]
基于所述样本图像和所述初始神经网络的结构类型，确定输入信号，并将所述输入信号输入至所述初始神经网络，得到所述初始神经网络中各层神经元输出的图像特征；
[0192]
对所述图像类别标签进行编码，得到所述样本图像的期望；并基于所述初始神经网络中各层分别对应的全局期望转换矩阵，将所述样本图像的期望分别映射到所述各层中，得到各层的局部多巴胺浓度；
[0193]
基于所述各层的局部多巴胺浓度，对所述各层的初始局部梯度进行调制，得到各层的调制后局部梯度，其中任一层的初始局部梯度基于所述任一层神经元输出的图像特征或所述任一层神经元激活函数的导数，以及所述任一层的上一层神经元输出的图像特征确定；
[0194]
基于所述调制后局部梯度，对所述初始神经网络的突触连接权重进行更新，以完成类脑连续学习，得到图像分类模型。
[0195]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可
以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0196]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0197]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种图像分类模型的类脑连续学习方法，其特征在于，包括：获取初始神经网络、样本图像及其对应的图像类别标签；基于所述样本图像和所述初始神经网络的结构类型，确定输入信号，并将所述输入信号输入至所述初始神经网络，得到所述初始神经网络中各层神经元输出的图像特征；对所述图像类别标签进行编码，得到所述样本图像的期望；并基于所述初始神经网络中各层分别对应的全局期望转换矩阵，将所述样本图像的期望分别映射到所述各层中，得到各层的局部多巴胺浓度；基于所述各层的局部多巴胺浓度，对所述各层的初始局部梯度进行调制，得到各层的调制后局部梯度，其中任一层的初始局部梯度基于所述任一层神经元输出的图像特征或所述任一层神经元激活函数的导数，以及所述任一层的上一层神经元输出的图像特征确定；基于所述调制后局部梯度，对所述初始神经网络的突触连接权重进行更新，以完成类脑连续学习，得到图像分类模型。2.根据权利要求1所述的图像分类模型的类脑连续学习方法，其特征在于，所述基于所述各层的局部多巴胺浓度，对所述各层的初始局部梯度进行调制，得到各层的调制后局部梯度，包括：基于所述各层的局部多巴胺浓度，对所述各层的局部非线性神经元活动进行选择，得到各层的选择结果；基于所述各层的选择结果，对所述各层的初始局部梯度进行调制，得到各层的调制后局部梯度。3.根据权利要求2所述的图像分类模型的类脑连续学习方法，其特征在于，所述基于所述各层的局部多巴胺浓度，对所述各层的局部非线性神经元活动进行选择，得到各层的选择结果，包括：将所述各层的局部多巴胺浓度分别输入如下多巴胺调制函数，并将所述多巴胺调制函数的输出结果作为所述各层的选择结果；其中，f
local
(λ
l
,h
l
)是多巴胺调制函数，λ
inv
和θ
max
分别为极性反转因子和最大调制因子，λ1被设置为0.5λ
inv
，λ
l
为第l层的局部多巴胺浓度，h
l
为第l层的神经元活动，该活动范围为0-1之间，
·
为点积操作。4.根据权利要求2所述的图像分类模型的类脑连续学习方法，其特征在于，所述基于所述各层的选择结果，对所述各层的初始局部梯度进行调制，得到各层的调制后局部梯度，包括：将所述各层的选择结果与所述各层的初始局部梯度相乘，并基于相乘结果得到所述各层的调制后局部梯度，所述调制后局部梯度通过如下公式计算得到：
其中δw
l
为调制后局部梯度，η是学习率，f
local
(λ
l
,h
l
)是l层的局部非线性神经元活动的选择结果，为神经网络l层的初始局部梯度。5.根据权利要求1所述的图像分类模型的类脑连续学习方法，其特征在于，所述基于所述初始神经网络中各层分别对应的全局期望转换矩阵，将所述样本图像的期望分别映射到所述各层中，得到各层的局部多巴胺浓度，包括：基于如下公式计算得到所述各层的局部多巴胺浓度：其中，λ
l
为各层中输入层或隐藏层l对应的局部多巴胺浓度，为输入层或隐藏层l对应的全局期望转换矩阵，不同层的全局期望转换矩阵不同，λ
l
为各层中输出层l对应的局部多巴胺浓度，为输出层l对应的全局期望转换矩阵，u
l
为输出层l输出的图像特征，e为样本图像的期望。6.根据权利要求1-5中任一项所述的图像分类模型的类脑连续学习方法，其特征在于，若所述初始神经网络的结构类型为卷积脉冲神经网络，则所述基于所述样本图像和所述初始神经网络的结构类型，确定输入信号，包括：将所述样本图像编码为脉冲序列，并将所述脉冲序列确定为所述输入信号；所述任一层的初始局部梯度基于如下公式计算：其中，为所述卷积脉冲神经网络第l层的初始局部梯度，和分别为l层神经元在t-1时刻和l-1层神经元在t时刻的脉冲信号，v
tl
为t时刻l层神经元的膜电位，v
th
为神经元阈值，v
lens
为神经元阈值窗口，任一层神经元的膜电位基于所述任一层的上一层神经元的脉冲信号确定。7.根据权利要求6所述的图像分类模型的类脑连续学习方法，其特征在于，所述任一层神经元的脉冲信号基于如下公式进行更新：其中，为训练批次中输入脉冲信号的平均值，是维度转换插值函数；g(
·
)是门控函数，当g(
·
)的输入大于0时，g(
·
)的输出为1，否则g(
·
)的输出为0；b
l
是预先定义的偏差值，m
l
是对神经元的选择性调制门控，σ
l
是l层的激活函数，是l层经过选择后的神经元活动，由上一层神经元的脉冲信号s
l-1
和权重w
l
以及m
l
门控共同计算得出。8.根据权利要求6所述的图像分类模型的类脑连续学习方法，其特征在于，所述任一层神经元的膜电位基于如下公式进行更新：
其中，为l层神经元i在t时刻的膜电位，c为神经元i的膜电容，g为神经元i的突触电导率，v
reset
为神经元i的静息膜电位，n为上一隐藏层中与神经元i连接的神经元的数量，为l-1层中神经元j与神经元i之间连接的突触权重，x
j
(t)为神经元i接收的来自神经元j的输入，s
l
为l层神经元脉冲信号。9.根据权利要求1-5中任一项所述的图像分类模型的类脑连续学习方法，其特征在于，若所述初始神经网络的结构类型为卷积人工神经网络，则所述输入信号为所述样本图像；所述任一层的初始局部梯度基于如下公式计算：其中，为输入层或隐藏层l的初始局部梯度，为输出层l的初始局部梯度，为输入层或隐藏层l的激活函数导数，为输出层l的激活函数导数，u
l-1
为第l-1层神经元的输出，u
l-1
为输出层l前一层神经元的输出。10.一种图像分类方法，其特征在于，包括：获取待分类图像；将所述待分类图像输入至图像分类模型，得到所述图像分类模型输出的图像分类结果，所述图像分类模型基于如权利要求1-9中任一项所述的图像分类模型的类脑连续学习方法得到。11.一种图像分类模型的类脑连续学习装置，其特征在于，包括：第一获取单元，用于获取初始神经网络、样本图像及其对应的图像类别标签；第一输出单元，用于基于所述样本图像和所述初始神经网络的结构类型，确定输入信号，并将所述输入信号输入至所述初始神经网络，得到所述初始神经网络中各层神经元输出的图像特征；映射单元，用于对所述图像类别标签进行编码，得到所述样本图像的期望；并基于所述初始神经网络中各层分别对应的全局期望转换矩阵，将所述样本图像的期望分别映射到所述各层中，得到各层的局部多巴胺浓度；调制单元，用于基于所述各层的局部多巴胺浓度，对所述各层的初始局部梯度进行调制，得到各层的调制后局部梯度，其中任一层的初始局部梯度基于所述任一层神经元输出的图像特征或所述任一层神经元激活函数的导数，以及所述任一层的上一层神经元输出的图像特征确定；更新单元，用于基于所述调制后局部梯度，对所述初始神经网络的突触连接权重进行
更新，以完成类脑连续学习，得到图像分类模型。12.一种图像分类装置，其特征在于，包括：第二获取单元，用于获取待分类图像；第二输出单元，用于将所述待分类图像输入至图像分类模型，得到所述图像分类模型输出的图像分类结果，所述图像分类模型基于如权利要求1-9中任一项所述的图像分类模型的类脑连续学习方法得到。13.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述的图像分类模型的类脑连续学习方法，或如权利要求10所述的图像分类方法。14.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的图像分类模型的类脑连续学习方法，或如权利要求10所述的图像分类方法。

技术总结
本发明涉及人工智能领域，提供一种图像分类模型的类脑连续学习方法、图像分类方法和装置，学习方法包括：获取初始神经网络、样本图像及其对应的图像类别标签；将输入信号输入至初始神经网络，得到各层神经元输出的图像特征；对图像类别标签进行编码，得到样本图像的期望；并将期望分别映射到各层中，得到各层的局部多巴胺浓度；基于局部多巴胺浓度，对各层的初始局部梯度进行调制，得到各层的调制后局部梯度；基于调制后局部梯度，对初始神经网络的突触连接权重进行更新，以完成类脑连续学习，得到图像分类模型。本发明提供的图像分类模型的类脑连续学习方法、图像分类方法和装置，可以最大程度上保留旧任务信息，同时实现对新任务的学习能力。务的学习能力。务的学习能力。


技术研发人员：张铁林 贾顺程 程翔 徐波
受保护的技术使用者：中国科学院自动化研究所
技术研发日：2023.07.28
技术公布日：2023/9/22