基于自步学习和对抗生成网络的眼底图像分类系统

1.本发明属于图像分类技术领域，具体涉及一种基于自步学习和对抗生成网络的眼底图像分类系统。


背景技术：

2.眼底图像广泛应用于糖尿病性视网膜病变(dr)等眼部疾病的计算机辅助诊断和筛查。在dr诊断中，病变的主要表现为动脉瘤、出血斑点、硬性渗出、棉绒斑以及黄斑水肿等，通过判断dr眼底图像是否包含微动脉瘤、出血点、渗出液等dr早期病理特征来对患者进行相应的诊断。利用机器学习或深度学习进行图像的分类目前已能够取得较为准确的效果，然而机器学习和深度学习均需要大量训练数据，在小样本数据中表现不够好；对于医学图像而言，尚未有足够的样本能够对机器学习和深度学习方法进行有效训练，从而限制了计算机辅助诊断的应用。
3.此外，在眼底图像分析中，病灶点、纹理等特征对dr诊断极为重要，而这些特征在图像中往往是小面积区域，隐藏在阴影、黄斑、背景等大面积区域中。因此，如何从高可信度数据集中学习，从而避免由大量模糊数据在病灶点表现力弱的视觉环境下产生对模型学习的误导的鲁棒性学习策略，对分类的准确性是至关重要的。


技术实现要素：

4.发明目的：针对现有技术中存在的问题，本发明提供一种基于自步学习和对抗生成网络的眼底图像分类系统，该分类系统能够在小样本数据上训练得到较为准确的眼底图像分类系统。
5.技术方案：本发明公开了一种基于自步学习和对抗生成网络的眼底图像分类系统，所述分类系统包括下采样层和全连接层，所述分类系统的输入为眼底图像，输出为输入图像的类别预测概率；
6.所述分类系统的训练步骤包括：
7.s1、构建训练集，所述训练集中的一个样本由样本眼底图像、病变类型标签、文本描述组成；训练集中所有样本眼底图像的分辨率统一至相同维度，并将像素值归一化到[-1,1]范围；所述文本描述由多个表达同一含义的句子组成；
[0008]
s2、构建预训练子系统，所述预训练子系统包括：图像编码器、图像解码器、文本编码器和血管分割网络；
[0009]
所述图像编码器用于提取输入图像的图像特征，包括级联两个2d卷积单元，每个2d卷积单元由级联的conv2d层和池化层组成；
[0010]
所述图像解码器用于根据图像特征重建图像，包括级联的两个convtranspose2d层；
[0011]
所述文本编码器用于提取图像文本描述的文本特征，包括one-hot编码层、三个级联的1d卷积单元和一个全连接层；其中每个1d卷积单元由级联的conv1d层和池化层组成；
全连接层将卷积单元的输出转化为长度是1024的一维向量；
[0012]
所述血管分割网络用于获取眼底图像的血管分割图；
[0013]
s3、对预训练子系统进行训练；
[0014]
s4、构建联合训练子系统，所述联合训练子系统包括：生成器、判别器、采样器；
[0015]
所述生成器用于根据血管分割图和图像文本描述的文本特征生成虚拟眼底图像；所述生成器包括级联的8组下采样单元和级联的8组上采样单元，每一组下采样单元包括一层下采样层、正则化层和激活函数；每一组上采样单元包括一层上采样层、正则化层和激活函数；第一组下采样单元的输入为血管分割图；第8组下采样单元的输入为第7组下采样单元的输出与噪声文本的拼接向量，所述噪声文本为文本特征与随机采样的高斯噪声的拼接向量；
[0016]
第一组上采样单元的输入为第8组下采样单元的输出，第2组到第8组上采样单元的输入为：
[0017]
其中upin
l
为第l组上采样单元的输入，upout
l-1
为第l-1组上采样单元的输出，downout
8-l+1
为第8-l+1组下采样单元的输出；l＝2,3,
…
,8；
[0018]
下采样单元中的下采样层、上采样单元中的上采样层均为卷积核大小为3*3、步长为1的卷积层，其中第一组到第6组下采样单元中卷积层的通道数为2
n+1
；第7组和第8组下采样单元中卷积层的通道数分别为27和28；第一组到第6组上采样单元中卷积层的通道数为2
9-n
，n＝1,2,
…
,6；第7组和第8组下采样单元中卷积层的通道数分别为23和22；8组下采样单元中的激活函数和第1组到第7组上采样单元中的激活函数均为负斜率l的relu激活函数，第8组上采样单元中的激活函数为tanh函数；
[0019]
所述判别器的输入为眼底图像和文本描述的文本特征，用于判别输入的眼底图像与文本描述的文本特征是否相符，如相符输出真，否则输出假；所述判别器包括下采样层和全连接层，输入的眼底图像经过下采样层得到特征向量，所述特征向量与输入的文本描述的文本特征拼接后输入全连接层，输出为标识真假的二进制数；其中下采样层包括6个级联的谱归一化单元，每个谱归一化单元由级联的谱归一化卷积层和激活函数构成；谱归一化卷积层的卷积核大小为4，步长为2；第一至第五各谱归一化单元中的激活函数为负斜率为0.2的leakyrelu，第六个谱归一化单元中的激活函数为sigmoid；
[0020]
所述采样器用于在训练时构建用于分类的支持集和查询集，具体为从c类样本中每类各抽取m个样本，共计c*m个样本，将其中c*k个样本归为支持集，剩余c*(m-k)个样本归为查询集；
[0021]
s5、利用联合训练子系统对生成器、判别器和分类系统进行联合训练。
[0022]
进一步地，所述文本描述由5个表达同一含义的句子组成。
[0023]
进一步地，所述步骤s5中的联合训练包括多轮，一轮联合训练的具体步骤包括：
[0024]
s5.1、采样器从训练集中的c类样本中每类各抽取m个样本，共计c*m个样本，将其中c*k个样本归为支持集，剩余c*(m-k)个样本归为查询集；
[0025]
s5.2、生成器生成虚拟样本：查询集中的样本眼底图像由血管分割网络得到血管分割图，将该血管分割图和对应的文本描述输入生成器，前向传播生成虚拟眼底图像样本，并将生成的虚拟眼底图像样本并入查询集；
[0026]
计算生成器的损失函数值：
[0027]
式中，d表示判别器，表示生成的图像，表示相应的文字描述，为文本编码器编码后的文本向量，表示权重参数，是生成图像和真实图像的二范数；模型参数的更新目标是最小化损失函数；
[0028]
s5.3、将查询集中的样本眼底图像和文本描述的文本特征输入判别器，前向传播获得真实真假概率；
[0029]
将查询集中样本眼底图像对应的虚拟眼底图像样本和文本描述的文本特征输入判别器，前向传播获得虚拟真假概率；
[0030]
计算判别器的损失函数值：
[0031][0032]
式中，x表示真实图像，t表示与之相匹配的文字描述，ψ(tw)表示经过文本编码器编码后的文本向量，tw表示与x不相匹配的文字描述，表示生成的图像；
[0033]
s5.4、将支持集中的样本眼底图像输入分类系统，生成嵌入空间，并计算每个类别在该嵌入空间的原型点；
[0034]
将查询集中的样本眼底图像输入分类系统，计算每个样本眼底图像到自身类别原型点的距离，根据该距离由小到大分别确定真实样本眼底图像和虚拟样本眼底图像的自步学习的顺序；
[0035]
将查询集中的样本眼底图像，按自步学习的顺序输入分类系统，获取每个真实样本的类别预测概率；
[0036]
将查询集中样本眼底图像对应的虚拟眼底图像样本，按自步学习的顺序输入分类系统，获取每个虚拟样本的类别预测概率；如果类别预测概率小于预设的概率阈值，则将对应的虚拟眼底图像样本和对应的类别预测概率删除；
[0037]
计算分类系统的损失函数值：
[0038]
lc(x，y，z)＝ce(c(x)，y)+λce(c(g(z))，argmax(c(g(z)))》t)
[0039]
式中，x表示真实图像，y对应的标签，λ表示权重参数，z表示随机的高斯噪声，c(x)表示分类系统对x的分类结果，ce(c(x)，y)表示计算c(x)和y的交叉熵，g(z)生成的图像，argmax(c(g(z)))表示伪标签，t表示预设的概率阈值；该损失分别表示用真实图像和生成图像训练分类系统，其中用生成图像训练时，伪标签的置信度阈值需要高于t才能使用该样本；
[0040]
根据生成器、判别器和分类系统的损失函数值，进行反向传播与参数优化，直至连续两轮联合训练中生成器、判别器和分类系统的损失函数值的变化值均小于预设的损失变化阈值
[0041]
进一步地，所述步骤s5.4中，生成器、判别器和分类系统的优化方式选用adam，批大小为64，每一批图像对判别器进行一次优化，再对生成器和分类系统进行一次优化，学习率设为为0.0002。
[0042]
进一步地，所述血管分割网络采用u-net网络。
[0043]
进一步地，所述步骤s3包括：将训练集中的样本眼底图像输入图像编码器，提取到的图像特征输入图像解码器，获取输入图像的重建图像；计算重建图像与输入的样本眼底图像的bceloss，再用adam优化器对图像编码器和图像解码器进行优化训练。
[0044]
进一步地，所述步骤s3包括：将训练集中样本眼底图像的文本描述输入文本编码器，获取输出的文本特征；将所述样本眼底图像输入训练好的图像编码器，获取输出的图像特征；通过最小化图像特征与文本特征的结构化联合嵌入损失，对文本编码器的参数进行优化。
[0045]
进一步地，所述步骤s3包括：利用drive数据集对血管分割网络的参数进行优化训练。
[0046]
有益效果：本发明公开了一种一种基于自步学习和对抗生成网络的眼底图像分类系统，该分类系统的训练中利用病灶点文本描述和血管分割图的gan网络生成相对真实有效的虚拟样本扩充数据，考虑了医学图像的分布真实性和诊断可靠性；通过构建基于自步学习的小样本学习方法，对每个病灶类别进行自定进度的自适应学习，消除失散数据的负面影响，并避免落入局部最小值；将上述生成对抗网络和小样本分类方法整合到统一的框架中，在分类过程加入实时生成的最新虚拟样本辅助分类，使多个网络相关联，保持了整个框架的多任务关系，以提高分类系统的分类效果。
附图说明
[0047]
图1为本发明公开的眼底图像分类系统的组成示意图；
[0048]
图2为眼底图像分类系统的训练步骤流程图；
[0049]
图3为眼底图像示意图；
[0050]
图4为预训练子系统的训练示意图；
[0051]
图5为联合训练子系统的示意图；
[0052]
图6为生成器的组成示意图。
具体实施方式
[0053]
下面结合附图和具体实施方式，进一步阐明本发明。
[0054]
本发明公开了一种基于自步学习和对抗生成网络的眼底图像分类系统，如图1所示，该分类系统包括下采样层和全连接层，分类系统的输入为眼底图像，输出为输入图像的类别预测概率；
[0055]
如图2所示，所述分类系统的训练步骤包括：
[0056]
s1、构建训练集，所述训练集中的一个样本由样本眼底图像、病变类型标签、文本描述组成；训练集中所有样本眼底图像的分辨率统一至相同维度，并将像素值归一化到[-1,1]范围；所述文本描述由多个表达同一含义的句子组成。本实施例中，将样本眼底图像的分辨率统一为相同维度256*256*3，文本描述采用5个句子组成。如图3所示，图3(a)为伴有硬质渗出物、微动脉瘤和出血的眼底图像，其文本描述为如下5个句子：
[0057]
1、this fundus image has hardexudates microaneurysms and hemorrhages.
[0058]
2、there are hardexudates microaneurysms and hemorrhages in this fundus image.
[0059]
3、afundus image with hardexudates microaneurysms and hemorrhages.
[0060]
4、adiabetic retinopathy image has hardexudates microaneurysms and hemorrhages.
[0061]
5、hardexudates microaneurysms and hemorrhages are in a diabetic retinopathy fundus image.
[0062]
图3(b)为正常的眼底图像，其文本描述为如下5个句子：
[0063]
1、this is a normal fundus image.
[0064]
2、there is nothing about disease characteristics in this fundus image.
[0065]
3、afundus image of healthy person.
[0066]
4、adiabetic retinopathy image has nothing about disease characteristics.
[0067]
5、ahealthy fundus image.
[0068]
s2、构建预训练子系统，预训练子系统包括：图像编码器、图像解码器、文本编码器和血管分割网络；
[0069]
所述图像编码器用于提取输入图像的图像特征，包括级联两个2d卷积单元，每个2d卷积单元由级联的conv2d层和池化层组成；输入为维度是256*256*3的图像，输出为16*16*4的表达图像特征的矩阵；
[0070]
所述图像解码器用于根据图像特征重建图像，包括级联的两个convtranspose2d层；
[0071]
所述文本编码器用于提取图像文本描述的文本特征，包括one-hot编码层、三个级联的1d卷积单元和一个全连接层；其中每个1d卷积单元由级联的conv1d层和池化层组成；全连接层将卷积单元的输出转化为长度是1024的一维向量；
[0072]
所述血管分割网络用于获取眼底图像的血管分割图，本实施例中，血管分割网络采用论文《u-net:convolutional networks for biomedical image segmentation》中提供u-net网络；
[0073]
s3、对预训练子系统进行训练；
[0074]
如图4(a)所示，将训练集中的样本眼底图像输入图像编码器，提取到的图像特征输入图像解码器，获取输入图像的重建图像；计算重建图像与输入的样本眼底图像的bceloss，再用adam优化器对图像编码器和图像解码器进行优化训练。
[0075]
如图4(b)所示，将训练集中样本眼底图像的文本描述输入文本编码器，获取输出的文本特征；将所述样本眼底图像输入训练好的图像编码器，获取输出的图像特征；通过最小化图像特征与文本特征的结构化联合嵌入损失，对文本编码器的参数进行优化。
[0076]
利用drive数据集对血管分割网络，即u-net网络的参数进行优化训练，drive数据集包含眼底图像及其血管分割图。
[0077]
s4、构建联合训练子系统，所述联合训练子系统包括：生成器、判别器、采样器，如图5所示；
[0078]
所述生成器用于根据血管分割图和图像文本描述的文本特征生成虚拟眼底图像；如图6所示，生成器包括级联的8组下采样单元和级联的8组上采样单元，每一组下采样单元包括一层下采样层、正则化层和激活函数；每一组上采样单元包括一层上采样层、正则化层和激活函数；第一组下采样单元的输入为血管分割图；第8组下采样单元的输入为第7组下采样单元的输出与噪声文本的拼接向量，所述噪声文本为文本特征与随机采样的高斯噪声
的拼接向量；
[0079]
第一组上采样单元的输入为第8组下采样单元的输出，第2组到第8组上采样单元的输入为：
[0080]
其中upin
l
为第l组上采样单元的输入，upout
l-1
为第l-1组上采样单元的输出，downout
8-l+1
为第8-l+1组下采样单元的输出；l＝2,3,
…
,8；
[0081]
下采样单元中的下采样层、上采样单元中的上采样层均为卷积核大小为3*3、步长为1的卷积层，其中第一组到第6组下采样单元中卷积层的通道数为2
n+1
；第7组和第8组下采样单元中卷积层的通道数分别为27和28；第一组到第6组上采样单元中卷积层的通道数为2
9-n
，n＝1,2,
…
,6；第7组和第8组下采样单元中卷积层的通道数分别为23和22；8组下采样单元中的激活函数和第1组到第7组上采样单元中的激活函数均为负斜率l的relu激活函数，第8组上采样单元中的激活函数为tanh函数；
[0082]
所述判别器的输入为眼底图像和文本描述的文本特征，用于判别输入的眼底图像与文本描述的文本特征是否相符，如相符输出真，否则输出假；所述判别器包括下采样层和全连接层，输入的眼底图像经过下采样层得到特征向量，所述特征向量与输入的文本描述的文本特征拼接后输入全连接层，输出为标识真假的二进制数；其中下采样层包括6个级联的谱归一化单元，每个谱归一化单元由级联的谱归一化卷积层和激活函数构成；谱归一化卷积层的卷积核大小为4，步长为2；第一至第五各谱归一化单元中的激活函数为负斜率为0.2的leakyrelu，第六个谱归一化单元中的激活函数为sigmoid；
[0083]
所述采样器用于在训练时构建用于分类的支持集和查询集，具体为从c类样本中每类各抽取m个样本，共计c*m个样本，将其中c*k个样本归为支持集，剩余c*(m-k)个样本归为查询集；
[0084]
s5、利用联合训练子系统对生成器、判别器和分类系统进行联合训练；联合训练包括多轮，一轮联合训练的具体步骤包括：
[0085]
s5.1、采样器从训练集中的c类样本中每类各抽取m个样本，共计c*m个样本，将其中c*k个样本归为支持集，剩余c*(m-k)个样本归为查询集；
[0086]
s5.2、生成器生成虚拟样本：查询集中的样本眼底图像由血管分割网络得到血管分割图，将该血管分割图和对应的文本描述输入生成器，前向传播生成虚拟眼底图像样本，并将生成的虚拟眼底图像样本并入查询集；
[0087]
计算生成器的损失函数值：
[0088]
式中，d表示判别器，表示生成的图像，表示相应的文字描述，为文本编码器编码后的文本向量，表示权重参数，是生成图像和真实图像的二范数；模型参数的更新目标是最小化损失函数；损失函数中第一项损失用于控制生成网络生成的图像与文本描述尽可能匹配；二范数损失控制生成图像与原始图像一致；两者共同作用，更新模型参数以生成类似于原始分布的图像；
[0089]
s5.3、将查询集中的样本眼底图像和文本描述的文本特征输入判别器，前向传播获得真实真假概率；
[0090]
将查询集中样本眼底图像对应的虚拟眼底图像样本和文本描述的文本特征输入判别器，前向传播获得虚拟真假概率；
[0091]
计算判别器的损失函数值：
[0092][0093]
式中，表示真实图像，表示与之相匹配的文字描述，表示经过文本编码器编码后的文本向量，表示与不相匹配的文字描述，表示生成的图像；损失函数控制令判别网络输入真实图像和相应的文字描述时，将输出更大的判别结果(第一项)，当输入图像与文字描述不匹配时，将输出小的判别概率(第二项)，当输入生成图像和相应的判别概率时，也将输出较小的判别概率(第三项)；
[0094]
s5.4、将支持集中的样本眼底图像输入分类系统，生成嵌入空间，并计算每个类别在该嵌入空间的原型点；
[0095]
将查询集中的样本眼底图像输入分类系统，计算每个样本眼底图像到自身类别原型点的距离，根据该距离由小到大分别确定真实样本眼底图像和虚拟样本眼底图像的自步学习的顺序；
[0096]
将查询集中的样本眼底图像，按自步学习的顺序输入分类系统，获取每个真实样本的类别预测概率；
[0097]
将查询集中样本眼底图像对应的虚拟眼底图像样本，按自步学习的顺序输入分类系统，获取每个虚拟样本的类别预测概率；如果类别预测概率小于预设的概率阈值，则将对应的虚拟眼底图像样本和对应的类别预测概率删除；
[0098]
计算分类系统的损失函数值：
[0099]
lc(x，y，z)＝ce(c(x)，y)+λce(c(g(z))，argmax(c(g(z)))》t)
[0100]
式中，x表示真实图像，y对应的标签，λ表示权重参数，z表示随机的高斯噪声，c(x)表示分类系统对x的分类结果，ce(c(x)，y)表示计算c(x)和y的交叉熵，g(z)生成的图像，argmax(c(g(z)))表示伪标签，t表示预设的概率阈值；该损失分别表示用真实图像和生成图像训练分类系统，其中用生成图像训练时，伪标签的置信度阈值需要高于t才能使用该样本；
[0101]
根据生成器、判别器和分类系统的损失函数值，进行反向传播与参数优化，优化方式选用adam，批大小为64，每一批图像对判别器进行一次优化，再对生成器和分类系统进行一次优化，学习率设为为0.0002，直至连续两轮联合训练中生成器、判别器和分类系统的损失函数值的变化值均小于预设的损失变化阈值
[0102]
将待分类的眼底图像输入训练好的分类系统，得到该图像对应的类别预测概率，用于辅助诊断中。

技术特征：
1.一种基于自步学习和对抗生成网络的眼底图像分类系统，其特征在于，所述分类系统包括下采样层和全连接层，所述分类系统的输入为眼底图像，输出为输入图像的类别预测概率；所述分类系统的训练步骤包括：s1、构建训练集，所述训练集中的一个样本由样本眼底图像、病变类型标签、文本描述组成；训练集中所有样本眼底图像的分辨率统一至相同维度，并将像素值归一化到[-1,1]范围；所述文本描述由多个表达同一含义的句子组成；s2、构建预训练子系统，所述预训练子系统包括：图像编码器、图像解码器、文本编码器和血管分割网络；所述图像编码器用于提取输入图像的图像特征，包括级联两个2d卷积单元，每个2d卷积单元由级联的conv2d层和池化层组成；所述图像解码器用于根据图像特征重建图像，包括级联的两个convtranspose2d层；所述文本编码器用于提取图像文本描述的文本特征，包括one-hot编码层、三个级联的1d卷积单元和一个全连接层；其中每个1d卷积单元由级联的conv1d层和池化层组成；全连接层将卷积单元的输出转化为长度是1024的一维向量；所述血管分割网络用于获取眼底图像的血管分割图；s3、对预训练子系统进行训练；s4、构建联合训练子系统，所述联合训练子系统包括：生成器、判别器、采样器；所述生成器用于根据血管分割图和图像文本描述的文本特征生成虚拟眼底图像；所述生成器包括级联的8组下采样单元和级联的8组上采样单元，每一组下采样单元包括一层下采样层、正则化层和激活函数；每一组上采样单元包括一层上采样层、正则化层和激活函数；第一组下采样单元的输入为血管分割图；第8组下采样单元的输入为第7组下采样单元的输出与噪声文本的拼接向量，所述噪声文本为文本特征与随机采样的高斯噪声的拼接向量；第一组上采样单元的输入为第8组下采样单元的输出，第2组到第8组上采样单元的输入为：其中upin
l
为第l组上采样单元的输入，upout
l-1
为第l-1组上采样单元的输出，downout
8-l+1
为第8-l+1组下采样单元的输出；l＝2,3,
…
,8；下采样单元中的下采样层、上采样单元中的上采样层均为卷积核大小为3*3、步长为1的卷积层，其中第一组到第6组下采样单元中卷积层的通道数为2
n+1
；第7组和第8组下采样单元中卷积层的通道数分别为27和28；第一组到第6组上采样单元中卷积层的通道数为2
9-n
，n＝1,2,
…
,6；第7组和第8组下采样单元中卷积层的通道数分别为23和22；8组下采样单元中的激活函数和第1组到第7组上采样单元中的激活函数均为负斜率l的relu激活函数，第8组上采样单元中的激活函数为tanh函数；所述判别器的输入为眼底图像和文本描述的文本特征，用于判别输入的眼底图像与文本描述的文本特征是否相符，如相符输出真，否则输出假；所述判别器包括下采样层和全连接层，输入的眼底图像经过下采样层得到特征向量，所述特征向量与输入的文本描述的文本特征拼接后输入全连接层，输出为标识真假的二进制数；其中下采样层包括6个级联的谱归一化单元，每个谱归一化单元由级联的谱归一化卷积层和激活函数构成；谱归一化卷积
层的卷积核大小为4，步长为2；第一至第五各谱归一化单元中的激活函数为负斜率为0.2的leakyrelu，第六个谱归一化单元中的激活函数为sigmoid；所述采样器用于在训练时构建用于分类的支持集和查询集，具体为从c类样本中每类各抽取m个样本，共计c*m个样本，将其中c*k个样本归为支持集，剩余c*(m-k)个样本归为查询集；s5、利用联合训练子系统对生成器、判别器和分类系统进行联合训练。2.根据权利要求1所述的眼底图像分类系统，其特征在于，所述文本描述由5个表达同一含义的句子组成。3.根据权利要求1所述的眼底图像分类系统，其特征在于，所述步骤s5中的联合训练包括多轮，一轮联合训练的具体步骤包括：s5.1、采样器从训练集中的c类样本中每类各抽取m个样本，共计c*m个样本，将其中c*k个样本归为支持集，剩余c*(m-k)个样本归为查询集；s5.2、生成器生成虚拟样本：查询集中的样本眼底图像由血管分割网络得到血管分割图，将该血管分割图和对应的文本描述输入生成器，前向传播生成虚拟眼底图像样本，并将生成的虚拟眼底图像样本并入查询集；计算生成器的损失函数值：式中，d表示判别器，表示生成的图像，t表示相应的文字描述，ψ(t)为文本编码器编码后的文本向量，λ表示权重参数，是生成图像和真实图像的二范数；模型参数的更新目标是最小化损失函数；s5.3、将查询集中的样本眼底图像和文本描述的文本特征输入判别器，前向传播获得真实真假概率；将查询集中样本眼底图像对应的虚拟眼底图像样本和文本描述的文本特征输入判别器，前向传播获得虚拟真假概率；计算判别器的损失函数值：式中，x表示真实图像，t表示与之相匹配的文字描述，ψ(t
w
)表示经过文本编码器编码后的文本向量，t
w
表示与x不相匹配的文字描述，表示生成的图像；s5.4、将支持集中的样本眼底图像输入分类系统，生成嵌入空间，并计算每个类别在该嵌入空间的原型点；将查询集中的样本眼底图像输入分类系统，计算每个样本眼底图像到自身类别原型点的距离，根据该距离由小到大分别确定真实样本眼底图像和虚拟样本眼底图像的自步学习的顺序；将查询集中的样本眼底图像，按自步学习的顺序输入分类系统，获取每个真实样本的类别预测概率；将查询集中样本眼底图像对应的虚拟眼底图像样本，按自步学习的顺序输入分类系统，获取每个虚拟样本的类别预测概率；如果类别预测概率小于预设的概率阈值，则将对应的虚拟眼底图像样本和对应的类别预测概率删除；
计算分类系统的损失函数值：l
c
(x，y，z)＝ce(c(x)，y)+λce(c(g(z))，argmax(c(g(z)))＞t)式中，x表示真实图像，y对应的标签，λ表示权重参数，z表示随机的高斯噪声，c(x)表示分类系统对x的分类结果，ce(c(x),y)表示计算c(x)和y的交叉熵，g(z)生成的图像，argmax(c(g(z)))表示伪标签，t表示预设的概率阈值；该损失分别表示用真实图像和生成图像训练分类系统，其中用生成图像训练时，伪标签的置信度阈值需要高于t才能使用该样本；根据生成器、判别器和分类系统的损失函数值，进行反向传播与参数优化，直至连续两轮联合训练中生成器、判别器和分类系统的损失函数值的变化值均小于预设的损失变化阈值。4.根据权利要求3所述的眼底图像分类系统，其特征在于，所述步骤s5.4中，生成器、判别器和分类系统的优化方式选用adam，批大小为64，每一批图像对判别器进行一次优化，再对生成器和分类系统进行一次优化，学习率设为为0.0002。5.根据权利要求1所述的眼底图像分类系统，其特征在于，所述血管分割网络采用u-net网络。6.根据权利要求1所述的眼底图像分类系统，其特征在于，所述步骤s3包括：将训练集中的样本眼底图像输入图像编码器，提取到的图像特征输入图像解码器，获取输入图像的重建图像；计算重建图像与输入的样本眼底图像的bceloss，再用adam优化器对图像编码器和图像解码器进行优化训练。7.根据权利要求1所述的眼底图像分类系统，其特征在于，所述步骤s3包括：将训练集中样本眼底图像的文本描述输入文本编码器，获取输出的文本特征；将所述样本眼底图像输入训练好的图像编码器，获取输出的图像特征；通过最小化图像特征与文本特征的结构化联合嵌入损失，对文本编码器的参数进行优化。8.根据权利要求1所述的眼底图像分类系统，其特征在于，所述步骤s3包括：利用drive数据集对血管分割网络的参数进行优化训练。

技术总结
本发明公开了一种基于自步学习和对抗生成网络的眼底图像分类系统，该分类系统包括下采样层和全连接层，所述分类系统的输入为眼底图像，输出为输入图像的类别预测概率；所述分类系统的训练步骤包括：S1、构建训练集；S2、构建预训练子系统；S3、对预训练子系统进行训练；S4、构建联合训练子系统；S5、利用联合训练子系统对生成器、判别器和分类系统进行联合训练。该分类系统能够在小样本数据上训练得到较为准确的眼底图像分类系统。准确的眼底图像分类系统。准确的眼底图像分类系统。


技术研发人员：邵伟 林熙翔 朱旗 张道强
受保护的技术使用者：南京航空航天大学
技术研发日：2023.03.27
技术公布日：2023/8/28