一种多模态网络互联融合的胸部影像诊断报告自动生成方法

1.本发明涉及医疗信息领域，尤其涉及一种多模态网络互联融合的胸部影像诊断报告自动生成方法。


背景技术：

2.近年来，医疗技术不断进步，其在医学影像诊断中的应用越来越广泛，由此产生了大量的医学影像数据。由于医学影像数据的复杂性和多样性，传统人工操作方式整理形成胸部影像诊断报告，存在书写信息负载高、医生重复劳动强度大等问题。因此，计算机自动生成医学影像报告的研究备受关注。
3.医学影像报告自动生成技术旨在提高医学数据处理的效率和准确性。使用自然语言处理技术和深度学习算法，可对医学影像数据进行训练和意义关联，形成易于理解和使用的基于自然语言文本的医学影像报告。医师根据该类报告科学制定治疗方案。
4.目前，有关医学报告自动生成的研究取得了一定进展，流行的方法主要有基于传统网络规则的方法和基于深度学习的方法。基于规则的方法依赖于专家知识和规则库，通过匹配和组合规则来生成报告。这种方法的优点是可解释性强，但需要人工编写规则，且难以适应新数据。相比之下，基于无监督的深度学习方法能通过网络训练自动从数据中学习报告生成的规律，具有更好的泛化能力。
5.基于深度学习的医学报告自动生成有两个切入点，即以图像处理为切入点和以自然语言处理为切入点。存在的问题是：以图像处理为切入点生成报告，模型很难完全理解领会图像的复杂信息，生成的报告缺乏语言表达的灵活性。以自然语言处理为切入点，生成报告的模型是基于预定义的模板，生成的报告同样缺乏灵活性，难以适应不同的应用场景。为了解决上述问题，本发明提出了一种基于残差网络(resnet)、注意力机制(transformer)模块的网络、跨模态强化记忆网络(dctmn)的多模态网络互联融合医学报告自动生成方法，关照和融通上述两个发力点，促进跨模态(医学影像和对应报告文本)信息的交互与匹配，自动生成图像与文本信息有效融合的医学影像诊断报告。


技术实现要素：

6.针对现有技术不足，本发明提供一种多模态网络互联融合的胸部影像诊断报告自动生成方法，包括以下步骤：
7.s1：双通道残差网络(resnetii)特征提取，
8.c.对输入图像进行对比度增强、图像尺寸变换、图像像素块调整，得到预处理图像；
9.d.对预处理图像通过卷积神经网络(cnn)将图像转化为图像特征矩阵，并将该矩阵所有数据拉长为一列，得到胸部ct图像可训练图像特征矩阵c，之后代入resnetii，提取与胸部器官关联度高的特征信息，得到最终胸部特征矩阵c”。
10.s2：跨模态记忆矩阵文本图像关系强化，
11.c.将胸部特征矩阵c”、文本信息矩阵和前状态跨膜态记忆矩阵m(t-1)代入dctmn，通过网络拼接和多头注意力运算，得到融合特征记忆矩阵。
12.d.将融合特征记忆矩阵代入选择性遗忘门，并将输出结果与胸部特征矩阵、文本信息矩阵计算求和，并代入更新门，得到可表示图像和文字特征的跨膜态记忆矩阵m
(t)
。
13.s3：双通道解码器实现医学影像报告自动生成。
14.a.将resnetii提取的胸部ct影像特征矩阵c”代入编码器和多头注意力机制网络，并将该输出结果与本文信息矩阵、可表示图像和文字特征的跨膜态记忆矩阵m(t)共同输入双通道解码器(decoder)，得到正确的医学影像报告。
15.进一步地，resnetii中包含152层残差网络，其底层模块由12个不同维度卷积构成。
16.进一步地，训练resnetii网络共包括2个步骤：
17.s1：双通道模块特征提取；
18.在双通道模块特征提取过程中，先对胸部ct图像可训练图像特征矩阵c进行卷积运算并增加维数，之后分别通过maxpool和avgpool将图像送入resnet 152的膨胀卷积层得到resnet网络输出结果(膨胀速率为2，卷积核大小为7
×
7)，再将该输出结果分别通过maxpool和avgpool进行双通道残差运算，并与原始输入信息进行相加求和运算，得到resnet网络第一次处理后的特征矩阵c'。
19.resnetii网络第一次处理后的特征矩阵c'的公式表达式如下：
[0020][0021][0022][0023][0024]
resnetιι＝resnet[avg (c)
152
+max (c)
152
] (5)
[0025]c′
＝resnetii+c (6)
[0026]
式中，σ表示sigmoid函数，resnet表示残差网络，n表示残差神经网络的层数，resnet层数共计152层，avg表示平均池化，max表示最大池化，c表示胸部ct图像可训练图像特征矩阵，c表示胸部ct图像每一步得到的特征矩阵；
[0027]
每一步得到的特征矩阵c通过卷积运算学习得到的特征标记为h(c)，预期学习到的残差特征标记为f(c)＝h(c)-c，原始信息的特征标记为f(c)+c；
[0028]
s2：自注意力机制模块特征提取
[0029]
在自注意力机制模块特征提取过程中，将resnetii网络第一次处理后的特征矩阵c'代入自注意力模块进行特征强化训练，生成最终胸部特征矩阵c”。
[0030]
进一步地，dctmn是基于注意力机制研发而成的；
[0031]
其中，胸部特征矩阵c”表示resnetii网络提取特征得到的图像特征矩阵，文本信息矩阵表示医学报告通过分词器编码步骤得到的可训练文本信息特征矩阵，前状态机跨膜态记忆矩阵m
(t-1)
表示前一个状态图像信息和文本信息的关联度。
[0032]
进一步地，在设计dctmn时还改进了transformer多头注意力机制，将主体输入q、评价信息k和v代入多头注意力机制，其计算表达式如下：
[0033][0034]
z＝∑attention(q,k,v) (8)
[0035]
式中，attention(q,k,v)表示单头注意力机制的计算结果，dk表示缩放系数，z表示多头注意力机制的计算结果，之后把每一层的信息权重进行叠加求和，得到融合特征记忆矩阵。
[0036]
进一步地，s2-b中的选择性遗忘门具体操作为将dctmn模块提取的融合特征记忆矩阵代入判别器，通过提前对照设定好的评价指标进行多尺度模型判别，其表达式如下：
[0037]gt(f)
＝sigmoid(wf(m
(t-1)
,y
ei(t-1)
)+bf) (9)
[0038]gt(i)
＝sigmoid(wi(m
(t-1)
,y
ei(t-1)
)+bi) (10)
[0039]
其中，wf是用来控制遗忘门行为的权重矩阵，y
ei(t-1)
表示t-1时刻的遗忘门，g
t(f)
和g
t(i)
分别表示存储有用信息的记忆矩阵和存储无用信息的记忆矩阵，bf和bi分别表示g
t(f)
和g
t(i)
对应的偏置。
[0040]
生成的结果输入更新门中，更新门将对输入的值进行评估并执行如下操作：
[0041]m(t)
＝g
t(f)
+tanh(g
t(i)
+bc) (11)
[0042]
式中，上文中提到的参数bf、bi、bc对应三组不同的权重参数，这些权重参数主要作用是防止模型过饱和，m
(t)
是可表示图像和文字特征的跨膜态记忆矩阵。
[0043]
采用上述技术方案所产生的有益效果在于：
[0044]
(1)在残差网络的基础上提出的多感受野残差网络病灶区域信息提取方法，该方法提高了网络模型对医学ct影像的特征提取能力。
[0045]
(2)以注意力网络为基础提出的能明显增强ct影像和医学报告关联性的跨膜态记忆矩阵m
(t)，
，以及可将不重要特征信息遗忘、将重要特征信息更新的选择性遗忘门网络模型。
[0046]
(3)在生成医学报告时提出的具有较强处理图像文本信息能力的双通道decoder模块。
附图说明
[0047]
图1为本发明的主体网络模型框架实现步骤示意图；
[0048]
图2为本发明的resnetii网络架构示意图；
[0049]
图3为本发明的选择性遗忘模块示意图；
[0050]
图4为本发明的双通道decoder模型对比图；
[0051]
图5为本发明的对比试验结果示意图。
具体实施方式
[0052]
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于
[0053]
说明本发明，但不用来限制本发明的范围。
[0054]
图1为本发明主体网络模型框架实现步骤示意图，包括双通道残差网络(resnetii)特征提取、跨模态记忆矩阵文本图像关系强化、双通道解码器实现医学影像报告自动生成。其具体实现步骤如下：
[0055]
resnetii特征提取实现步骤如下：
[0056]
①
对输入图像进行对比度增强、图像尺寸变换、图像像素块调整，得到预处理图像；
[0057]
②
对预处理图像通过卷积神经网络(cnn)将图像转化为图像特征矩阵，并将该矩阵所有数据拉长为一列，得到胸部ct图像可训练图像特征矩阵c，之后代入resnetii，提取与胸部器官关联度高的特征信息，得到最终胸部特征矩阵c”。该残差网络既可以学习原始图像的胸部器官特征，又可以学习卷积提取后的胸部器官特征，避免了信息传递过程中出现的梯度消失和梯度爆炸问题，其中，resnetii网络架构示意图如图2所示。
[0058]
在图2中，resnet-152表示152层残差网络，其底层模块由12个不同维度卷积(1
×
1和3
×
3为卷积核，64、128、256、512、1024、2048为网络层数)构成，
[0059]
为确保编码器更好地学习胸部ct影像特征，加入双通道模块网络架构，内分最大池化(maxpool)层和平均池化(avgpool)层，并加入自注意力机制，增强maxpool和avgpool提取影像特征的效果。
[0060]
训练resnetii网络共包括2个步骤：双通道模块特征提取和自注意力机制模块特征提取。在双通道模块特征提取过程中，先对胸部ct图像可训练图像特征矩阵c进行卷积运算并增加维数，之后分别通过maxpool和avgpool将图像送入resnet 152的膨胀卷积层得到resnet网络输出结果(膨胀速率为2，卷积核大小为7
×
7)，再将该输出结果分别通过maxpool和avgpool进行双通道残差运算，并与原始输入信息进行相加求和运算，得到resnet网络第一次处理后的特征矩阵c'。双通道模块特征提取增强了模型对胸部ct影像细节的多尺度提取能力，同时减少了单一使用膨胀卷积运算导致的原始图像空间层次信息丢失和不重要信息重复提取等负面影响。resnetii网络第一次处理后的特征矩阵c'的公式表达式如下：
[0061][0062][0063][0064][0065]
resnetιι＝resnet[avg (c)
152
+max (c)
152
] (5)
[0066]c′
＝resnetii+c (6)
[0067]
式中，σ表示sigmoid函数，resnet表示残差网络，n表示残差神经网络的层数，resnet层数共计152层，avg表示平均池化，max表示最大池化，c表示胸部ct图像可训练图像特征矩阵，c表示胸部ct图像每一步得到的特征矩阵。如图2所示，每一步得到的特征矩阵c通过卷积运算学习得到的特征标记为h(c)，预期学习到的残差特征标记为f(c)＝h(c)-c，原始信息的特征标记为f(c)+c。
[0068]
在自注意力机制模块特征提取过程中，将resnetii网络第一次处理后的特征矩阵c'代入自注意力模块进行特征强化训练，生成最终胸部特征矩阵c”。自注意力机制模块特征提取能更好地融合多分支特征信息，加快任务收敛速度，防止梯度分散，提高resnetii对胸部ct影像的特征提取能力。
[0069]
跨模态记忆矩阵文本图像关系强化实现步骤如下：
[0070]
①
将胸部特征矩阵c”(在图1中用绿色矩形框表示)、文本信息矩阵(在图1中用蓝色矩形框表示)和前状态跨膜态记忆矩阵m
(t-1)
代入dctmn(在图1中用红色矩形框表示)，通过网络拼接和多头注意力运算，得到融合特征记忆矩阵。
[0071]
在图1中，本发明提出的dctmn是基于注意力机制研发而成的。其中，胸部特征矩阵c”表示resnetii网络提取特征得到的图像特征矩阵，文本信息矩阵表示医学报告通过分词器编码步骤得到的可训练文本信息特征矩阵，前状态机跨膜态记忆矩阵m
(t-1)
表示前一个状态图像信息和文本信息的关联度。本发明在设计dctmn时还改进了transformer多头注意力机制，将主体输入q、评价信息k和v代入多头注意力机制，其计算表达式如下：
[0072][0073]
z＝∑attention(q,k,v) (8)
[0074]
式中，attention(q,k,v)表示单头注意力机制的计算结果，dk表示缩放系数，z表示多头注意力机制的计算结果。之后把每一层的信息权重进行叠加求和，得到融合特征记忆矩阵。
[0075]
②
将融合特征记忆矩阵代入选择性遗忘门，并将输出结果与胸部特征矩阵、文本信息矩阵计算求和，并代入更新门，得到可表示图像和文字特征的跨膜态记忆矩阵m
(t)
。
[0076]
为了解决dctmn模块提取重要信息较为困难等问题，受长短期记忆网络(lstm)门控单元的启发，基于lstm的遗忘门、更新门和输出门，设计了一个选择性遗忘门模块，它能将多头注意力机制提取到的信息进行筛选，删除不重要的信息，并将重要信息进行权重分配。选择性遗忘门模块示意图如下：
[0077]
如图3所示，α和β分别表示有用信息和无用信息。将dctmn模块提取的融合特征记忆矩阵代入判别器，通过提前对照设定好的评价指标进行多尺度模型判别，主要的操作如下：
[0078]gt(f)
＝sigmoid(wf(m
(t-1)
,y
ei(t-1)
)+bf) (9)
[0079]gt(i)
＝sigmoid(wi(m
(t-1)
,y
ei(t-1)
)+bi) (10)
[0080]
其中，wf是用来控制遗忘门行为的权重矩阵，y
ei(t-1)
表示t-1时刻的遗忘门，g
t(f)
和g
t(i)
分别表示存储有用信息的记忆矩阵和存储无用信息的记忆矩阵，bf和bi分别表示g
t(f)
和g
t(i)
对应的偏置。以g
t(f)
为例，将前状态跨膜态记忆矩阵m
(t-1)
和t-1时刻的遗忘门y
ei(t-1)
连接起来，并用wf去乘连接后的矩阵，然后再加上一个偏置bf防止梯度消失，最后通过sigmoid函数将得到的概率矩阵映射到区间[0,1]，这能极大的减少计算复杂度
[15]
。遗忘模块的输出结果将会与上一个单元的状态值进行对应元素的乘法运算，如果输出结果值为0或接近0，那么上一个单元的对应信息(比方说代表主语的无关信息)将被丢弃，如果结果趋向或等于1，那么对应的信息将被保留。生成的结果输入更新门中，更新门将对输入的值进行评估并执行如下操作：
[0081]m(t)
＝g
t(f)
+tanh(g
t(i)
+bc) (11)
[0082]
式中，上文中提到的参数bf、bi、bc对应三组不同的权重参数，这些权重参数主要作用是防止模型过饱和，m
(t)
是可表示图像和文字特征的跨膜态记忆矩阵，它融合了过去的单元状态信息、旧的单元内部的隐藏信息以及新的输入数据。
[0083]
双通道解码器实现医学影像报告自动生成的实现步骤：
[0084]
①
将resnetii提取的胸部ct影像特征矩阵c”代入编码器和多头注意力机制网络，并将该输出结果与本文信息矩阵、可表示图像和文字特征的跨膜态记忆矩阵m
(t)
共同输入双通道解码器(decoder)，得到正确的医学影像报告，双通道解码器模型示意图如图4所示。
[0085]
在图中，本发明的decoder模块参考了transformer模型、aoa模型和visual gpt模型，其中α、p
l
、pv是所谓的门结构，发明人对aoa模型的α门进行了修改，并在visual gpt模型的基础上增加了一组判别门，负责判别当前状态。上下文双文本通道建立在transformer模型的decoder模块基础上，在train模式下和在test模式下decoder的输入是不同的，在train模式下，decoder的输入是经过resnetii处理后的图像特征和经过dctmn模块处理后的医学ct影像和对应报告的关联矩阵，不论网络模型如何变化，输入永远是上一时刻储存进记忆矩阵的特征信息，然后通过并行运算将正确的语义权重逐个分配，最终得到报告词汇出现概率；在test模式下，会调用已经训练好的权重文件进行测试，验证生成的医学报告是否正确。我们在add&norm后加入了判别门模块，此模块是用来判别当前状态的输入是该词语的过去状态还是未来状态。如果是过去状态，就将之前在dctmn学习到的信息进行强化，如果是未来信息，就会对其进行预测，判断是否与下一个词汇相同，这有助于网络模型加速收敛。最后，引入更新门更新状态权重，防止网络模型学习到重复的知识或者不重要的知识。
[0086]
实施例：第一阶段，本发明选择印第安纳大学研究人员提取出的iu x-ray数据集进行模型初步验证，该数据集内有报告3996份，对应图像8121幅，在预训练阶段，统一设定图像尺寸大小为224
×
224，在文本数据处理时，删除所有非字母数字标记，将所有单词转换为小写，并用特殊标记替换单次出现的标记。第二阶段，选择mimic-cxr数据集进行主体训练，该数据集为麻省理工学院计算生理实验室建立的大型样本数据库，包含bid医学中心的大量数据，选择其中206563份报告和473057图像作为主模型训练数据的主要来源，预训练与第一阶段保持一致。
[0087]
实施例中，通过与其他五种具有代表性的算法比较，验证本发明算法的优越性能。对比算法包括att2in算法、m2算法、r2gen算法、visualgpt算法、cmn算法。文本生成效果采用几种常用评价指标：双语评估替补指标(bleu 1～4)、多样化的机器翻译评价指标(mtr)、翻译输出评价指标(rouge-l)。iu x-ray数据集和mimic-cxr数据集的实验结果如表1所示(最好的评价结果用加粗字体表示)。
[0088]
表1：各网络模型评价指标结果对比图
[0089][0090]
经过与att2in transformer、m2 transformer和r2gen transformer等方法的比较，本发明在iu x-ray和mimic-cxr数据集上展现出了优越的性能。尤其是与att2in transformer和m2 transformer相比，本发明方法具有明显的优势。同时，在与visualgpt算法的比较中，发现visualgpt算法的mtr和rg-l评价指标结果与本发明结果类似。然而，visualgpt算法通过引入gpt预训练步骤增强了模型的学习能力，而本发明方法则通过跨模态网络dctmn来增强图像和报告之间的联系，并借助残差网络和迁移学习来辅助文本生成。通过相关实验，我们发现visualgpt提取了过多的不重要信息，而本发明方法通过注意力机制和门单元只保留了重要信息，从而减少了模型的计算量并加快了网络收敛速度。此外，在对比实验中，本发明提出的跨模态网络模型在bleu-1到bleu-4评价指标上明显优于学界先进算法，进一步验证了本方法的优越性。
[0091]
生成的医学影像报告如图5所示。从图中可以观察到，本发明提出的dctmn方法在动词和名词的生成方面都达到了最佳效果。与att2in和m2方法相比，dctmn能够生成更准确的报告内容，而r2gen存在多处错误理解，cmn存在关键名词生成错误。与visualgpt相比，dctmn生成的内容与之相似，但在个别名词的理解上，dctmn明显具有优势。dctmn模型能够准确预测原文中的伪输入内容，并且预测结果与实际结果一致。
[0092]
综上所述，本发明方法在主观和客观结果上都优于目前主流的方法，表现出色。通过跨模态网络dctmn的引入和注意力机制的优化，本发明方法能够更好地提取重要信息，减少计算量，并生成准确的医学影像报告。
[0093]
除此之外，本发明提出的模型学习到了更多的医学知识，这些知识可能来自于放射图像及其报告之间共享的隐藏和规律性信息，记忆矩阵能明确合理地对其建模，以促进疾病症状的识别和医学报告的生成，对比其他实验方法具有较大优势。医学图像存在大量的潜在信息，本发明方法能极大提高信息收集能力，产生较少错误信息，放射科医生能够较容易地筛选出这些错误信息。总之，本发明提出的模型成功地增强了医学报告的自动生成
能力。
[0094]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
[0095]
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

技术特征：
1.一种多模态网络互联融合的胸部影像诊断报告自动生成方法，其特征包括如下步骤：s1：双通道残差网络(resnetii)特征提取，a.对输入图像进行对比度增强、图像尺寸变换、图像像素块调整，得到预处理图像；b.对预处理图像通过卷积神经网络(cnn)将图像转化为图像特征矩阵，并将该矩阵所有数据拉长为一列，得到胸部ct图像可训练图像特征矩阵c，之后代入resnetii，提取与胸部器官关联度高的特征信息，得到最终胸部特征矩阵c”；s2：跨模态记忆矩阵文本图像关系强化，a.将胸部特征矩阵c”、文本信息矩阵和前状态跨膜态记忆矩阵m(t-1)代入dctmn，通过网络拼接和多头注意力运算，得到融合特征记忆矩阵；b.将融合特征记忆矩阵代入选择性遗忘门，并将输出结果与胸部特征矩阵、文本信息矩阵计算求和，并代入更新门，得到可表示图像和文字特征的跨膜态记忆矩阵m
(t)
；s3：双通道解码器实现医学影像报告自动生成；a.将resnetii提取的胸部ct影像特征矩阵c”代入编码器和多头注意力机制网络，并将该输出结果与本文信息矩阵、可表示图像和文字特征的跨膜态记忆矩阵m(t)共同输入双通道解码器(decoder)，得到正确的医学影像报告。2.根据权利要求1所述的一种多模态网络互联融合的胸部影像诊断报告自动生成方法，其特征在于，resnetii中包含152层残差网络，其底层模块由12个不同维度卷积构成。3.根据权利要求1所述的一种多模态网络互联融合的胸部影像诊断报告自动生成方法，其特征在于，训练resnetii网络共包括2个步骤：s1：双通道模块特征提取；在双通道模块特征提取过程中，先对胸部ct图像可训练图像特征矩阵c进行卷积运算并增加维数，之后分别通过maxpool和avgpool将图像送入resnet 152的膨胀卷积层得到resnet网络输出结果(膨胀速率为2，卷积核大小为7
×
7)，再将该输出结果分别通过maxpool和avgpool进行双通道残差运算，并与原始输入信息进行相加求和运算，得到resnet网络第一次处理后的特征矩阵c'；resnetii网络第一次处理后的特征矩阵c'的公式表达式如下：resnetii网络第一次处理后的特征矩阵c'的公式表达式如下：resnetii网络第一次处理后的特征矩阵c'的公式表达式如下：resnetii网络第一次处理后的特征矩阵c'的公式表达式如下：resnetιι＝resnet[avg(c)
152
+max(c)
152
](5)c
′
＝resnetii+c(6)式中，σ表示sigmoid函数，resnet表示残差网络，n表示残差神经网络的层数，resnet层数共计152层，avg表示平均池化，max表示最大池化，c表示胸部ct图像可训练图像特征矩阵，c表示胸部ct图像每一步得到的特征矩阵；
每一步得到的特征矩阵c通过卷积运算学习得到的特征标记为h(c)，预期学习到的残差特征标记为f(c)＝h(c)-c，原始信息的特征标记为f(c)+c；s2：自注意力机制模块特征提取在自注意力机制模块特征提取过程中，将resnetii网络第一次处理后的特征矩阵c'代入自注意力模块进行特征强化训练，生成最终胸部特征矩阵c”。4.根据权利要求1所述的一种多模态网络互联融合的胸部影像诊断报告自动生成方法，其特征在于，dctmn是基于注意力机制研发而成的；其中，胸部特征矩阵c”表示resnetii网络提取特征得到的图像特征矩阵，文本信息矩阵表示医学报告通过分词器编码步骤得到的可训练文本信息特征矩阵，前状态机跨膜态记忆矩阵m
(t-1)
表示前一个状态图像信息和文本信息的关联度。5.根据权利要求4所述的一种多模态网络互联融合的胸部影像诊断报告自动生成方法，其特征在于，在设计dctmn时还改进了transformer多头注意力机制，将主体输入q、评价信息k和v代入多头注意力机制，其计算表达式如下：z＝∑attention(q,k,v) (8)式中，attention(q,k,v)表示单头注意力机制的计算结果，d
k
表示缩放系数，z表示多头注意力机制的计算结果，之后把每一层的信息权重进行叠加求和，得到融合特征记忆矩阵。6.根据权利要求1所述的一种多模态网络互联融合的胸部影像诊断报告自动生成方法，其特征在于，s2-b中的选择性遗忘门具体操作为将dctmn模块提取的融合特征记忆矩阵代入判别器，通过提前对照设定好的评价指标进行多尺度模型判别，其表达式如下：g
t(f)
＝sigmoid(w
f
(m
(t-1)
,y
ei(t-1)
)+b
f
) (9)g
t(i)
＝sigmoid(w
i
(m
(t-1)
,y
ei(t-1)
)+b
i
) (10)其中，w
f
是用来控制遗忘门行为的权重矩阵，y
ei(t-1)
表示t-1时刻的遗忘门，g
t(f)
和g
t(i)
分别表示存储有用信息的记忆矩阵和存储无用信息的记忆矩阵，b
f
和b
i
分别表示g
t(f)
和g
t(i)
对应的偏置；生成的结果输入更新门中，更新门将对输入的值进行评估并执行如下操作：m
(t)
＝g
t(f)
+tanh(g
t(i)
+b
c
) (11)式中，上文中提到的参数b
f
、b
i
、b
c
对应三组不同的权重参数，这些权重参数主要作用是防止模型过饱和，m
(t)
是可表示图像和文字特征的跨膜态记忆矩阵。

技术总结
本发明提供了一种多模态网络互联融合的胸部影像诊断报告自动生成方法，涉及医疗信息领域。本发明提出了一种基于残差网络(Resnet)、注意力机制(Transformer)模块的网络、跨模态强化记忆网络(DCTMN)的多模态网络互联融合医学报告自动生成方法，关照和融通上述两个发力点，促进跨模态(医学影像和对应报告文本)信息的交互与匹配，自动生成图像与文本信息有效融合的医学影像诊断报告。本信息有效融合的医学影像诊断报告。本信息有效融合的医学影像诊断报告。


技术研发人员：廉敬 董子龙 石斌 刘冀钊 张家骏 张怀堃
受保护的技术使用者：兰州交通大学
技术研发日：2023.06.15
技术公布日：2023/9/20