基于多模态数据的类风湿关节炎活动度分级装置

1.本技术涉及多模态医学分析技术领域，尤其涉及一种基于多模态数据的类风湿关节炎活动度分级装置。


背景技术：

2.类风湿关节炎(rheumatoid arthritis,ra)是一种常见的慢性炎症疾病，以侵蚀性关节炎为主要特征。类风湿关节炎起病缓慢而隐匿，通常从手足小关节疾病，逐渐表现为对称性多个关节受累，最终产生典型的关节炎症性病变，如关节疼痛、晨僵、肿胀等，并伴随疲劳和生活质量下降。因此，类风湿关节炎的早期识别和干预至关重要。现有的临床诊断方法需要医生对患者进行专业评估以及患者自我评估，一方面占用较多的专业医生资源，耗时耗力，另一方面非专业的患者自评可能会对诊断结果造成偏差。然而，随着深度学习技术的发展，利用深度学习技术高效准确地预测ra疾病活动度分级能够降低专业医生的评估诊断代价，并有助于医生抓住治疗窗口期，为患者选择合适的药物治疗方案，从而提高治疗达标率，这在临床实践中具有重要意义。
3.总体来说，现有的ra疾病活动度分级预测方法可以分为基于临床数据的方法和基于影像数据的方法。前者旨在利用临床数据回归拟合出疾病活动度。如lee等人[1]提出了一种使用骨显像呈现损伤的关节数目(bs-positive)、红细胞沉降率(esr)和患者整体评估(pga)等变量拟合线性回归模型，以预测类风湿关节炎疾病活动指数评分。而后者旨在利用深度神经网络挖掘影像数据表征，进而预测疾病活动分级。如中国发明专利cn114140393a，公开日为2022年3月4日，公开了一种基于深度学习的类风湿性关节炎x光片评分方法，采用resnet-dwise50网络模型对类风湿性关节炎患者x光片图像进行特征抽取，进而预测相应的疾病活动度分级。
[0004]
基于临床数据的方法通过典型的机器学习技术回归拟合出疾病活动度。其缺点在于：一方面，传统机器学习模型需要人工设计特征提取，模型结构简单、表征能力较差，难以精确拟合疾病活动度；另一方面，部分临床数据由医生逐一检查患者各关节获得，工作量大、效率低、成本高，造成较大的人力物力消耗，甚至可能延误病情诊治。
[0005]
基于影像数据的疾病分级方法的缺点在于：一方面，只使用了单一模态的医学影像数据，信息单一，难以获得准确全面的表征，预测准确率较低；另一方面，使用单独的关节影像预测疾病活动度，未充分挖掘不同关节影像之间的联系，导致预测效果较差。


技术实现要素：

[0006]
本技术实施例的目的是提供一种基于多模态数据的类风湿关节炎活动度分级装置，以解决相关技术中存在的模型表征能力差、模态信息单一和未充分挖掘不同关节影像之间的联系的技术问题。
[0007]
根据本技术实施例的第一方面，提供一种基于多模态数据的类风湿关节炎活动度分级装置，包括：
[0008]
影像预处理模块，用于对于一个病例的多张关节影像进行归一化编码，得到编码矩阵，并将所述图像编码矩阵转换为关节影像特征；
[0009]
提取模块，用于使用transformer d提取全部关节影像特征，得到每个关节影像所对应的特征及分类特征；
[0010]
优化影像表征模块，用于将所述每个关节影像所对应的特征及分类特征输入至第一前馈神经网络ffn中，以获得对应影像的病变分类预测和影像整体的疾病活动度分级预测，并与真实的影像病变类别以及疾病活动度分级标签计算第一交叉熵损失；
[0011]
其他模态特征提取模块，用于使用mlp提取全部关节的其他模态特征，分别得到基础信息和实验室检查数据的特征，再使用交叉注意力机制对二者进行增强，得到增强后的特征；
[0012]
特征融合模块，用于将每个关节影像所对应的特征以及增强后的特征输入至特征融合transformerp中进行特征交互和融合，得到融合特征，并将融合特征输入至第二前馈神经网络ffn中，获得多模态数据的疾病活动度分级预测，并将疾病活动度分级预测与真实疾病活动度分级计算第二交叉熵损失；
[0013]
损失函数优化模块，用于以总损失为第一交叉熵损失和第二交叉熵损失的线性组合对疾病活动度分级预测网络进行训练，通过迭代更新该预测网络的参数，直至总损失函数达到预设收敛条件，所述疾病活动度分级预测网络由提取模块、优化影像表征模块、特征融合模块组成；
[0014]
疾病分级预测模块，用于给定病例的多张关节影像、基础信息和实验室检查数据，输入至训练好的疾病活动度分级预测网络，输出该病例属于各个疾病活动度级别。
[0015]
可选的，所述影像预处理模块，包括：
[0016]
统一图像尺寸单元，用于使用双线性插值算法将所有图像都缩放成固定尺寸，使得输入图像符合影像特征提取网络的输入规格；
[0017]
归一化编码单元，用于将大小相同的图像g中的所有像素值除以255，然后对图像的数值(val)进行归一化处理，得到图像归一化编码；
[0018]
线性化表征单元，用于将每个编码矩阵展平为一维向量s1,s2,...,sn，经过线性映射层映射为u1，u2，...，un；
[0019]
影像特征输出单元，用于为所述u1，u2，...，un添加分类向量和位置编码得到影像特征h0，如公式(1)所示；
[0020][0021]
可选的，所述提取模块，包括：
[0022]
自注意力单元，用于使用transformer d提取影像特征，其中transformer d由l个堆叠的自注意力层组成，其中：
[0023]
transformer d以h0为输入，利用transformer d中的l个自注意力层对影像特征h0进行增强。第l个自注意力层的输出h
l
即为transformer d的输出，如公式(5)所示：
[0024][0025]
可选的，优化影像表征模块，包括：
[0026]
影像病变分类预测单元，用于使用第一前馈神经网络层(ffn)获得对应影像的病
变分类预测和影像整体的疾病活动度分级预测
[0027]
影像特征优化单元，用于使用分类损失优化影像特征，其中分类损失如公式(6)所示：
[0028][0029][0030]
其中i表示关节影像索引，u表示影像病变类别，表示第i张关节影像属于第u个病变类别的概率，c1表示疾病类别总数，表示关节影像整体属于分级v的概率，c2表示疾病分级总数。
[0031]
可选的，其他模态特征提取模块，包括：
[0032]
其他模态特征提取单元，用于使用mlp提取全部关节的基础信息和实验室检查数据特征，得到特征um和us；
[0033]
交叉注意力单元，用于对um和us计算交叉注意力，根据相似度分别对两者特征进行加权，得到加权特征fm和fs，交叉注意力机制将us变换为键向量k和值向量v，um变换为查询向量q进行交叉注意力计算。he表示经过交叉注意力层的其他模态特征，具体如公式(8)所示：
[0034]
he＝[fm，fs]#(8)。
[0035]
可选的，特征融合模块，包括：
[0036]
特征融合单元，用于将每个关节影像所对应的特征以及增强后的特征fm和fs输入至transformer p中进行特征交互和融合，得到融合特征f
p
，其中，transformer p的结构与提取模块中的transformer d结构相同；
[0037]
分级损失计算单元，用于将特征融合模块的融合特征f
p
输入至第二前馈网络ffn中，选择gelu(
·
)函数作为激活函数，获得多模态数据的疾病活动度分级预测并使用公式(9)所示的交叉熵损失(cross entropy loss)计算分级损失
[0038][0039]
其中c表示疾病活动度分级总数，pu表示该输入病例属于分级u的概率。
[0040]
根据本技术实施例的第二方面，提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的基于多模态数据的类风湿关节炎活动度分级装置。
[0041]
根据本技术实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述的基于多模态数据的类风湿关节炎活动度分级装置。
[0042]
本技术的实施例提供的技术方案可以包括以下有益效果：
[0043]
由上述实施例可知，本技术采用深度学习技术，分别对基础信息、实验室检查数据和关节影像三个模态的数据进行表征学习，并对三个模态数据的特征进行交互与融合，运
用三个模态的数据共同评估类风湿关节炎活动度，避免了单一模态数据难以获得准确表征的缺点。此外，本发明使用transformer网络提取多个关节影像特征，医生无需进行额外的检查，极大地节约了人力物力和医疗资源，提高技术实施效率。最后，本发明使用性别、年龄、bmi、病史、关节影像等高置信度数据，有效解决患者自评和医生对疾病活动性或总体健康状况的评估等容易造成误差的数据，提高模型精度。
[0044]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
[0045]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
[0046]
图1是根据一示例性实施例示出的一种基于多模态数据的类风湿关节炎活动度分级装置的框图。
[0047]
图2是根据一示例性实施例示出的基于多模态数据的类风湿关节炎活动度分级装置的结构图。
具体实施方式
[0048]
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
[0049]
在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0050]
应当理解，尽管在本技术可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0051]
图1是根据一示例性实施例示出的一种基于多模态数据的类风湿关节炎活动度分级装置的框图，如图1所示，该装置包括：
[0052]
影像预处理模块1，用于对于一个病例的多张关节影像进行归一化编码，得到编码矩阵，并将所述图像编码矩阵转换为关节影像特征；
[0053]
提取模块2，用于使用transformer d提取全部关节影像特征，得到每个关节影像所对应的特征及分类特征；
[0054]
优化影像表征模块3，用于将所述每个关节影像所对应的特征及分类特征输入至第一前馈神经网络ffn中，以获得对应影像的病变分类预测和影像整体的疾病活动度分级预测，并与真实的影像病变类别以及疾病活动度分级标签计算第一交叉熵损失；
[0055]
其他模态特征提取模块4，用于使用mlp提取全部关节的其他模态特征，分别得到基础信息和实验室检查数据的特征，再使用交叉注意力机制对二者进行增强，得到增强后的特征；
[0056]
特征融合模块5，用于将每个关节影像所对应的特征以及增强后的特征输入至特征融合transformer p中进行特征交互和融合，得到融合特征，并将融合特征输入至第二前馈神经网络ffn中，获得多模态数据的疾病活动度分级预测，并将疾病活动度分级预测与真实疾病活动度分级计算第二交叉熵损失；
[0057]
损失函数优化模块6，用于以总损失为第一交叉熵损失和第二交叉熵损失的线性组合对疾病活动度分级预测网络进行训练，通过迭代更新该预测网络的参数，直至总损失函数达到预设收敛条件，所述疾病活动度分级预测网络由提取模块、优化影像表征模块、特征融合模块组成；
[0058]
疾病分级预测模块7，用于给定病例的多张关节影像、基础信息和实验室检查数据，输入至训练好的疾病活动度分级预测网络，输出该病例属于各个疾病活动度级别。
[0059]
由上述实施例可知，本技术采用深度学习技术，分别对基础信息、实验室检查数据和关节影像三个模态的数据进行表征学习，并对三个模态数据的特征进行交互与融合，运用三个模态的数据共同评估类风湿关节炎活动度，避免了单一模态数据难以获得准确表征的缺点。此外，本发明使用transformer网络提取多个关节影像特征，医生无需进行额外的检查，极大地节约了人力物力和医疗资源，提高技术实施效率。最后，本发明使用性别、年龄、bmi、病史、关节影像等高置信度数据，有效解决患者自评和医生对疾病活动性或总体健康状况的评估等容易造成误差的数据，提高模型精度。
[0060]
所述影像预处理模块1包括：
[0061]
统一图像尺寸单元，用于使用双线性插值算法将所有图像都缩放成固定尺寸，使得输入图像符合影像特征提取网络的输入规格；
[0062]
归一化编码单元，用于将大小相同的图像g中的所有像素值除以255，然后对图像的数值(val)进行归一化处理，得到图像归一化编码；
[0063]
线性化表征单元，用于将每个编码矩阵展平为一维向量s1，s2，...，sn，经过线性映射层映射为u1，u2，...，un，以获得符合影像特征提取模块输入规格的表征，如公式(1)所示：
[0064]
ui＝wdsi+bdꢀꢀꢀ
(1)
[0065]
其中，wd表示，bd表示偏置，i表示向量索引。
[0066]
影像特征输出单元，用于为所述u1，u2，...，un添加分类向量和位置编码得到影像特征h0，如公式(2)所示：
[0067][0068]
所述提取模块2包括：
[0069]
自注意力单元，用于使用transformer d提取影像特征，其中transformer d由l个堆叠的自注意力层组成，以捕获关节影像中不同部分之间的相关性，并挖掘不同关节影像之间的联系。transformer d以影像预处理模块1得到的影像特征表示h0作为输入，以第l层的预测输出h
l
为最终输出。其中，自注意力层由层归一化函数(ln)、自注意力函数(msa)和多层感知机(mlp)构成。具体为：
[0070]
第1个自注意力层以h0为输入，第l个自注意力层(l＝2，3，...，l)以第l-1个自注意力层的输出h
l-1
作为输入，输出增强后的影像特征h
l
。对于第l个自注意力层，将其输入h
l-1
，由变换矩阵转化为对应的查询向量q
l
、键向量k
l
以及值向量v
l
，如公式(3)所示：
[0071][0072][0073][0074]
则自注意力函数可以用公式(4)表示：
[0075][0076]
其中，dk为键向量k
l
的维度，为k
l
的转置。
[0077]
自注意力层的具体结构可由公式(5)表示如下：
[0078]zl
＝ln(msa(q
l
，k
l
，v
l
)+h
l-1
)，
[0079]hl
＝ln(mlp(z
l
)+z
l
)#(5)
[0080]
其中z
l
表示第l层中注意力机制的输出，h
l
表示经过第l个自注意力层的影像特征。ln(
·
)为层归一化函数，用于解决由于网络深度过深造成的网络数值偏大从而影响梯度下降速度的问题，如公式(6)所示：
[0081][0082]
其中γ，β为超参数，mean表示该层的均值，std表示该层的标准差。
[0083]
mlp表示多层感知机，其由多个全连接层和激活函数构成，如公式(7)所示：
[0084]
mlp(x)＝g(w2(w1x+b1)+b2)#(7)
[0085]
其中，w1、w2表示权重，b1、b2表示偏置，g(
·
)表示激活函数。g(
·
)可以选择sigmoid、relu、tanh等函数作为激活函数。
[0086]
第l个自注意力层的输出h
l
即为transformer d的输出，如公式(8)所示：
[0087][0088]
所述优化影像表征模块3包括：
[0089]
影像病变分类预测单元，用于使用第一前馈神经网络层(ffn)获得对应影像的病变分类预测和影像整体的疾病活动度分级预测具体而言：
[0090]
前馈神经网络层(ffn)的模型结构可以通过公式(9)表示：
[0091][0092]
其中，为权重变换矩阵，为偏置系数，gelu(
·
)为高斯误差线性激活函数，如公式(10)所示：
[0093][0094]
影像特征优化单元，用于使用分类损失优化影像特征，其中分类损失如
公式(11)所示：
[0095][0096][0097]
其中i表示关节影像索引，u表示影像病变类别，表示第i张关节影像属于第u个病变类别的概率，c1表示疾病类别总数，表示关节影像整体属于分级v的概率，c2表示疾病分级总数。
[0098]
所述其他模态特征提取模块4包括：
[0099]
其他模态特征提取单元，用于使用mlp提取全部关节的基础信息和实验室检查数据特征，得到特征um和us；
[0100]
交叉注意力单元，用于对um和us计算交叉注意力，以建模基础信息和实验室检查数据的跨模态关联。根据相似度分别对两者特征进行加权，得到加权特征fm和fs，交叉注意力机制将us变换为键向量k和值向量v，um变换为查询向量q进行交叉注意力计算。
[0101]
交叉注意力层可以用公式(12)表示：
[0102][0103]
ze＝ln(mha(q，k，v)+um)，
[0104]
he＝ln(mlp(ze)+ze)#(13)
[0105]
其中mha(q，k，v)表示交叉注意力函数，dk表示键向量k的维度，ze表示交叉注意力机制的输出。
[0106]
he表示经过交叉注意力层的其他模态特征，具体如公式(13)所示：
[0107]
he＝[fm，fs]#(13)。
[0108]
所述特征融合模块5包括：
[0109]
特征融合单元，用于将每个关节影像所对应的特征以及增强后的特征fm和fs输入至transformer p中进行特征交互和融合，以获得准确全面的多模态表征，得到融合特征f
p
，其中，transformer p的结构与提取模块中的transformer d结构相同；
[0110]
分级损失计算单元，用于将特征融合模块的融合特征f
p
输入至第二前馈网络ffn中，选择gelu(
·
)函数作为激活函数，获得多模态数据的疾病活动度分级预测并使用公式(9)所示的交叉熵损失(cross entropy loss)计算分级损失
[0111][0112]
其中c表示疾病活动度分级总数，pu表示该输入病例属于分级u的概率。
[0113]
相应的，本技术还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的基于多模态数据的类风湿关节炎活动度分级装置。
[0114]
相应的，本技术还提供一种计算机可读存储介质，其上存储有计算机指令，该指令
被处理器执行时实现如上述的基于多模态数据的类风湿关节炎活动度分级装置。
[0115]
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由权利要求指出。
[0116]
应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。

技术特征：
1.一种基于多模态数据的类风湿关节炎活动度分级装置，其特征在于，包括：影像预处理模块，用于对于一个病例的多张关节影像进行归一化编码，得到编码矩阵，并将所述图像编码矩阵转换为关节影像特征；提取模块，用于使用transformer d提取全部关节影像特征，得到每个关节影像所对应的特征及分类特征；优化影像表征模块，用于将所述每个关节影像所对应的特征及分类特征输入至第一前馈神经网络ffn中，以获得对应影像的病变分类预测和影像整体的疾病活动度分级预测，并与真实的影像病变类别以及疾病活动度分级标签计算第一交叉熵损失；其他模态特征提取模块，用于使用mlp提取全部关节的其他模态特征，分别得到基础信息和实验室检查数据的特征，再使用交叉注意力机制对二者进行增强，得到增强后的特征；特征融合模块，用于将每个关节影像所对应的特征以及增强后的特征输入至特征融合transformer p中进行特征交互和融合，得到融合特征，并将融合特征输入至第二前馈神经网络ffn中，获得多模态数据的疾病活动度分级预测，并将疾病活动度分级预测与真实疾病活动度分级计算第二交叉熵损失；损失函数优化模块，用于以总损失为第一交叉熵损失和第二交叉熵损失的线性组合对疾病活动度分级预测网络进行训练，通过迭代更新该预测网络的参数，直至总损失函数达到预设收敛条件，所述疾病活动度分级预测网络由提取模块、优化影像表征模块、特征融合模块组成；疾病分级预测模块，用于给定病例的多张关节影像、基础信息和实验室检查数据，输入至训练好的疾病活动度分级预测网络，输出该病例属于各个疾病活动度级别。2.根据权利要求1所述的装置，其特征在于，所述影像预处理模块，包括：统一图像尺寸单元，用于使用双线性插值算法将所有图像都缩放成固定尺寸，使得输入图像符合影像特征提取网络的输入规格；归一化编码单元，用于将大小相同的图像g中的所有像素值除以255，然后对图像的数值(val)进行归一化处理，得到图像归一化编码；线性化表征单元，用于将每个编码矩阵展平为一维向量s1,s2,...,s
n
，经过线性映射层映射为u1,u2,...,u
n
；影像特征输出单元，用于为所述u1,u2,...,u
n
添加分类向量和位置编码得到影像特征h0，如公式(1)所示；3.根据权利要求1所述的装置，其特征在于，所述提取模块，包括：自注意力单元，用于使用transformer d提取影像特征，其中transformer d由l个堆叠的自注意力层组成，其中：transformer d以h0为输入，利用transformer d中的l个自注意力层对影像特征h0进行增强。第l个自注意力层的输出h
l
即为transformer d的输出，如公式(5)所示：4.根据权利要所述的装置，其特征在于，优化影像表征模块，包括：
影像病变分类预测单元，用于使用第一前馈神经网络层(ffn)获得对应影像的病变分类预测和影像整体的疾病活动度分级预测影像特征优化单元，用于使用分类损失优化影像特征，其中分类损失如公式(6)所示：(6)所示：其中i表示关节影像索引，u表示影像病变类别，表示第i张关节影像属于第u个病变类别的概率，c1表示疾病类别总数，表示关节影像整体属于分级v的概率，c2表示疾病分级总数。5.根据权利要求1所述的装置，其特征在于，其他模态特征提取模块，包括：其他模态特征提取单元，用于使用mlp提取全部关节的基础信息和实验室检查数据特征，得到特征u
m
和u
s
；交叉注意力单元，用于对u
m
和u
s
计算交叉注意力，根据相似度分别对两者特征进行加权，得到加权特征f
m
和f
s
，交叉注意力机制将u
s
变换为键向量k和值向量v，u
m
变换为查询向量q进行交叉注意力计算。h
e
表示经过交叉注意力层的其他模态特征，具体如公式(8)所示：h
e
＝[f
m
,f
s
]#(8)。6.根据权利要求1所述的装置，其特征在于，特征融合模块，包括：特征融合单元，用于将每个关节影像所对应的特征以及增强后的特征f
m
和f
s
输入至transformerp中进行特征交互和融合，得到融合特征f
p
，其中，transformerp的结构与提取模块中的transformer d结构相同；分级损失计算单元，用于将特征融合模块的融合特征f
p
输入至第二前馈网络ffn中，选择gelu(
·
)函数作为激活函数，获得多模态数据的疾病活动度分级预测并使用公式(9)所示的交叉熵损失(cross entropy loss)计算分级损失loss)计算分级损失其中c表示疾病活动度分级总数，p
u
表示该输入病例属于分级u的概率。7.一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的基于多模态数据的类风湿关节炎活动度分级装置。8.一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述的基于多模态数据的类风湿关节炎活动度分级装置。

技术总结
本发明公开了一种基于多模态数据的类风湿关节炎活动度分级装置，主要包括：影像预处理模块，用于将病例的多张关节影像转换为影像特征；提取模块，用于使用TransformerD提取全部关节影像特征；优化影像表征模块，用于获得对应影像的病变分类预测和影像整体的疾病分级预测，并与对应病变标签计算第一交叉熵损失；其他模态特征提取模块，用于使用MLP提取其他模态特征并增强；特征融合模块，用于使用TransformerP对上述各模态特征进行交互和融合，获得多模态数据的疾病分级预测，并与真实分级标签计算第二交叉熵损失；损失函数优化模块，用于训练疾病活动度分级预测网络；疾病分级预测模块，用于给定病例的关节影像和其他模态数据，分级预测网络输出该病例疾病活动度。分级预测网络输出该病例疾病活动度。分级预测网络输出该病例疾病活动度。


技术研发人员：林兰芬 余昕遥 牛子未 孙浩 秦锐 白振甲
受保护的技术使用者：浙江大学
技术研发日：2023.06.26
技术公布日：2023/9/23