多模态医学图像融合分类方法及装置、设备、存储介质

1.本发明属于图像分类技术领域，具体涉及一种多模态医学图像融合分类方法及装置、设备、存储介质。


背景技术：

2.胶质母细胞瘤(glioblastoma multiforme，gbm)和单发性脑转移瘤(solitary brain metastasis，sbm)是两种较常见的侵袭性恶性脑瘤，它们的治疗策略有很大差异：胶质母细胞瘤的治疗标准是肿瘤最大限度切除，随后进行放射治疗和替莫唑胺化疗；而单发性脑转移瘤的主要治疗方式是立体定位放射治疗。然而，这两种肿瘤在磁共振成像(magnetic resonance imaging，mri)上具有相似的影像表现，病灶均可能具有肿瘤内坏死中心和被肿瘤周围水肿区域包围的异质增强成分。因此，胶质母细胞瘤和单发性脑转移瘤的术前精确鉴别诊断对个体化治疗决策选择至关重要。
3.近年来，影像组学广泛地应用于疾病的诊断、预后以及治疗反应预测等。许多研究基于常规的mri序列或更先进的mri技术，如弥散加权成像(diffusion-weighted imaging，dwi)、磁共振弥散张量成像(diffusion tensor imaging，dti)或酰胺质子转移成像(amide proton transfer，apt)等，来鉴别胶质母细胞瘤和单发性脑转移瘤。这些影像组学研究显示了能够从图像中高通量地提取大量影像信息，实现肿瘤分割，通过特征提取与模型建立，凭借对海量数据进行更深层次的挖掘、预测和分析，来辅助医师做出诊断，提升了胶质母细胞瘤与单发性脑转移瘤的鉴别能力。
4.以往的很多研究只对单个mri序列进行影像组学分析，例如对比度增强的t1加权像(t1weighted image，t1wi)、表观扩散系数(apparent diffusion coefficient，adc)、磁共振弥散张量成像(iffusion tensor imaging，dti)，或进行简单的多序列对比。事实上，mri序列的选择通常是随机的和启发式的，并且mri序列之间的优势还不清楚。不同的mri序列可以看作是从不同角度描述肿瘤的多模态医学图像。多模态医学图像融合，通过不同模态信息的优势互补，可以更好地描述肿瘤的特性，并从理论上提高影像组学模型的分类准确性，从而实现对疾病更全面刻画，获得更准确的分类性能。
5.通常，多模态医学图像融合可以在早期(例如，在特征层面将多个模态简单地拼接成单个向量)、中期(例如，将从神经网络的中间层学习到的多模态特征连接起来)和后期融合(例如，在分类器输出的决策层面的对不同分类模型的输出进行决策融合)。
6.传统多模态数据融合方法虽较易实现，但实际应用中发现，这些方法往往无法学习边缘表征，不能识别不同模态之间的深层关联和相互作用，存在融合后特征维度过高、对模态不同采样率敏感等问题。因此，利用这些传统方法对不同mri序列特征进行融合后，并不一定能有助于提高gbm和sbm的分类鉴别性能，也即是说现有gbm和sbm分类方法的分类准确性仍然有待提高。


技术实现要素：

7.本发明的目的在于提供一种多模态医学图像融合分类方法及装置、设备、存储介质，可以提高分类准确性。
8.本发明第一方面公开一种多模态医学图像融合分类方法，包括：
9.获取样本对象的多模态医学图像和标签数据，其中，所述多模态医学图像包括至少两个不同的扫描序列图像，所述标签数据用于表征所述样本对象的肿瘤类别，所述肿瘤类别至少包括两个；
10.对各个所述扫描序列图像进行特征提取，获得对应的第一特征数据；
11.将各个所述第一特征数据投影到潜在共享空间获得对应的第二特征数据；其中，所述第二特征数据的维度小于所述第一特征数据的维度；
12.根据所述第一特征数据、所述第二特征数据和对应的标签数据，计算一阶矩、二阶矩、用于规避过拟合的第一正则化值、用于表征特征共线性的第二正则化值、用于表征类内关联的第三正则化值、用于表征类间关联的第四正则化值、用于表征数据属性的第五正则化值；
13.根据所述一阶矩、所述二阶矩、所述第一正则化值、所述第二正则化值、所述第三正则化值、所述第四正则化值和所述第五正则化值，构建目标函数；
14.利用随机数初始化处理，获得当前投影矩阵；
15.根据所述目标函数对所述当前投影矩阵进行迭代更新，直至所述目标函数收敛，获得目标投影矩阵；其中，所述目标投影矩阵用于将所述第一特征数据投影到潜在共享空间；
16.将所述第二特征数据和所述标签数据输入分类器训练获得分类模型；
17.利用所述目标投影矩阵将待测对象的至少两个目标第一特征数据投影到潜在共享空间，获得对应的目标第二特征数据；
18.利用所述分类模型对所述目标第二特征数据进行分类，获得所述待测对象的目标肿瘤类别。
19.本发明第二方面公开一种多模态医学图像融合分类装置，包括：
20.样本获取单元，用于获取样本对象的多模态医学图像和标签数据，其中，所述多模态医学图像包括至少两个不同的扫描序列图像，所述标签数据用于表征所述样本对象的肿瘤类别，所述肿瘤类别至少包括两个；
21.特征提取单元，用于对各个所述扫描序列图像进行特征提取，获得对应的第一特征数据；
22.第一投影单元，用于将各个所述第一特征数据投影到潜在共享空间获得对应的第二特征数据；其中，所述第二特征数据的维度小于所述第一特征数据的维度；
23.构建单元，用于根据所述第一特征数据、所述第二特征数据和对应的标签数据，计算一阶矩、二阶矩、用于规避过拟合的第一正则化值、用于表征特征共线性的第二正则化值、用于表征类内关联的第三正则化值、用于表征类间关联的第四正则化值、用于表征数据属性的第五正则化值；以及，根据所述一阶矩、所述二阶矩、所述第一正则化值、所述第二正则化值、所述第三正则化值、所述第四正则化值和所述第五正则化值，构建目标函数；
24.初始化单元，用于利用随机数初始化处理，获得当前投影矩阵；
25.优化单元，用于根据所述目标函数对所述当前投影矩阵进行迭代更新，直至所述目标函数收敛，获得目标投影矩阵；其中，所述目标投影矩阵用于将所述第一特征数据投影到潜在共享空间；
26.训练单元，用于将所述第二特征数据和所述标签数据输入分类器训练获得分类模型；
27.第二投影单元，用于利用所述目标投影矩阵将待测对象的至少两个目标第一特征数据投影到潜在共享空间，获得对应的目标第二特征数据；
28.分类单元，用于利用所述分类模型对所述目标第二特征数据进行分类，获得所述待测对象的目标肿瘤类别。
29.本发明第三方面公开一种电子设备，包括存储有可执行程序代码的存储器以及与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行第一方面公开的多模态医学图像融合分类方法。
30.本发明第四方面公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行第一方面公开的多模态医学图像融合分类方法。
31.本发明的有益效果在于，通过将样本对象的至少两个不同的扫描序列图像对应的第一特征数据投影到潜在共享空间获得维度较小的第二特征数据，然后根据第一特征数据、第二特征数据和对应的标签数据，计算一阶矩、二阶矩、用于规避过拟合的第一正则化值、用于表征特征共线性的第二正则化值、用于表征类内关联的第三正则化值、用于表征类间关联的第四正则化值、用于表征数据属性的第五正则化值，以此构建目标函数对当前投影矩阵进行迭代更新直至目标函数收敛，以及将第二特征数据和标签数据输入分类器训练，最终获得用于融合处理的目标投影矩阵以及用于分类预测的分类模型，在对未知的待测对象的多模态医学图像进行预测时，利用目标投影矩阵将待测对象的至少两个目标第一特征数据投影到潜在共享空间，获得目标第二特征数据输入分类模型获得目标肿瘤类别，由此通过一阶矩、二阶矩匹配以及多个潜在表征正则化项构建目标函数，可以在保留原始空间中的数据属性，减少信息损失的基础上，同时考虑不同模态间分布相似性，最大限度地减少模态间差异，以及学习潜在共享空间的类内和类间关联，使不同类之间的区分度更大，从而可以提高分类准确性。同时，可以减少特征共线性，以便为预测建模提供有用的信息，并保证模型的可解释性。
附图说明
32.此处的附图，示出了本发明所述技术方案的具体实例，并与具体实施方式构成说明书的一部分，用于解释本发明的技术方案、原理及效果。
33.除非特别说明或另有定义，不同附图中，相同的附图标记代表相同或相似的技术特征，对于相同或相似的技术特征，也可能会采用不同的附图标记进行表示。
34.图1是本发明公开的一种多模态医学图像融合分类方法的流程图；
35.图2是本发明公开的一种多模态医学图像融合分类装置的结构示意图；
36.图3是本发明公开的一种电子设备的结构示意图。
37.附图标记说明：
38.201、样本获取单元；202、特征提取单元；203、第一投影单元；204、构建单元；205、初始化单元；206、优化单元；207、训练单元；208、第二投影单元；209、分类单元；301、存储器；302、处理器。
具体实施方式
39.为了便于理解本发明，下面将参照说明书附图对本发明的具体实施例进行更详细的描述。
40.除非特别说明或另有定义，本文所使用的所有技术和科学术语与所属技术领域的技术人员通常理解的含义相同。在结合本发明的技术方案以现实的场景的情况下，本文所使用的所有技术和科学术语也可以具有与实现本发明的技术方案的目的相对应的含义。本文所使用的“第一、第二
…”
仅仅是用于对名称的区分，不代表具体的数量或顺序。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
41.需要说明的是，当元件被认为“固定于”另一个元件，它可以是直接固定在另一个元件上，也可以是存在居中的元件；当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件，也可以是同时存在居中元件；当一个元件被认为是“安装在”另一个元件，它可以是直接安装在另一个元件，也可以是同时存在居中元件。当一个元件被认为是“设在”另一个元件，它可以是直接设在另一个元件，也可以是同时存在居中元件。
42.除非特别说明或另有定义，本文所使用的“所述”、“该”为相应位置之前所提及或描述的技术特征或技术内容，该技术特征或技术内容与其所提及的技术特征或技术内容可以是相同的，也可以是相似的。此外，本文所使用的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
43.如图1所示，本发明实施例公开一种多模态医学图像融合分类方法，该方法可以通过计算机编程实现。该方法的执行主体可为如计算机电脑、笔记本电脑、平板电脑等电子设备，或内嵌于电子设备中的多模态医学图像融合分类装置，本发明对此不作限定。该方法包括以下步骤110～190：
44.110、获取样本对象的多模态医学图像和标签数据，其中，多模态医学图像包括至少两个不同的扫描序列图像，标签数据用于表征样本对象的肿瘤类别，肿瘤类别至少包括两个。
45.在本发明实施例中，多模态医学图像可以包括多个不同的mri序列图像，分别对应于不同的多种mri序列模态，如临床t1wi、ce_t1wi、t2wi和t2_flair中的至少任意两种。在一种应用场景中，mri序列图像具体为瘤细胞图像，也即，mri序列图像中包含肿瘤区域，而两个肿瘤类别具体包括：一类指代胶质母细胞瘤，另一类指代单发性脑转移瘤。例如，标签数据设置为0或1，然后用0指代胶质母细胞瘤，1指代单发性脑转移瘤；反之亦然。
46.120、对各个扫描序列图像进行特征提取，获得对应的第一特征数据。
47.具体的，步骤120可以包括以下步骤1201～1202：
48.1201、获取各个扫描序列图像的感兴趣区域对应的掩膜图。
49.具体的，该步骤中，可以根据用户输入的操作参数，对各个mri序列图像进行靶区
勾画，获得各个mri序列图像的感兴趣区域(region of interest，roi)，然后对各个mri序列图像的感兴趣区域进行掩膜计算，获得对应的掩膜图(即mask图像)。
50.1202、根据每个掩膜图，对相应的各个扫描序列图像的感兴趣区域进行放射组学特征提取，获得各个扫描序列图像对应的第一特征数据。
51.比如，可以使用开源python包pyradiomics软件对各个mri序列图像的感兴趣区域进行放射组学特征提取，对于不同模态医学图像，所提取的放射组学特征的数量可以相同，也可以不相同。因此在执行放射组学特征提取之前，可以先分别确定各种mri序列图像对应的特征数量mi(即特征维度)，再根据该特征数量对相应的各个mri序列图像的感兴趣区域进行放射组学特征提取，分别得到第i个mri序列图像的第一特征数据其中，n为样本对象的数量。根据全部mri序列图像的第一特征数据，可获得多序列mri放射组学特征矩阵x＝[x1，...，xi，...，xd]，i∈(1,d)。
[0052]
130、将各个第一特征数据投影到潜在共享空间获得对应的第二特征数据。
[0053]
第二特征数据为从多序列mri放射组学特征矩阵x中学习一个潜在共享空间的融合特征矩阵v，大小为k
×
n，其特征维度为k＜mi。也即，第二特征数据的特征维度低于原有的第一特征数据的特征维度。
[0054]
在潜在共享空间的融合特征矩阵通过以下公式(1)表示：
[0055][0056]
其中，q＝[q1，...，qi，...，qd]，qi∈rk×n，i∈(1,d)是针对各个mri序列模态的投影矩阵，用于将每个mri序列模态对应的第一特征数据xi映射到特征维度为k的潜在共享空间rk×n中。
[0057]
140、根据第一特征数据、第二特征数据和对应的标签数据，计算一阶矩、二阶矩、用于规避过拟合的第一正则化值、用于表征特征共线性的第二正则化值、用于表征类内关联的第三正则化值、用于表征类间关联的第四正则化值、用于表征数据属性的第五正则化值。
[0058]
其中，步骤140可以包括以下步骤1401～1403：
[0059]
1401、根据第二特征数据，计算一阶矩、二阶矩、用于规避过拟合的第一正则化值、用于表征特征共线性的第二正则化值。
[0060]
其中，一阶矩、二阶矩分别通过以下公式(2)和(3)表示：
[0061][0062][0063]
通过一阶矩和二阶矩匹配不同mri序列模态的第二特征数据，使其具有相似的数据分布，其中，m(x)≡e(x)和var(x)≡e(x-e(x))2分别表示一阶矩和二阶矩。对于矩阵x，frobenius范数定义为对于向量x＝[x
1 x2…
xm]，l2范数定义为
[0064]
其中，用于规避过拟合的第一正则化值通过以下公式(4)表示：
[0065][0066]
用于表征特征共线性的第二正则化值通过以下公式(5)表示：
[0067][0068]
第二正则化值作为特征共线性正则化项，可以使融合后的第二特征数据v保持低共线性，以便为预测建模提供有用的信息，并保证模型的可解释性。对于v的j
th
行中的每个特征向量vj，均可以定义一个矩阵v
(j)
∈r
(k-1)
×n，该矩阵由v中除vj之外的所有特征向量组成。假设vj可以用v～j表示，这是v
(j)
作为中向量的线性组合。然后，可以通过线性回归(例如，逻辑回归)容易地拟合包含回归变量d
ji
的行向量dj∈r1×
(k-1)
，dj≠0。
[0069]
如果能对v很好地线性拟合，那么v中的潜在共享特征被认为是冗余的，因此，可通过最大化和v之间的差异来减少特征共线。
[0070]
1402、根据第二特征数据和对应的标签数据，计算用于表征类内关联的第三正则化值、用于表征类间关联的第四正则化值。
[0071]
基于特征之间的类内和类间关联正则化项，也即，用于表征类内关联的第三正则化值、用于表征类间关联的第四正则化值，分别通过以下公式(6)和(7)表示：
[0072]
reg
f-intra
(v)＝tr(sw(v))＝tr(vlv
t
)
ꢀꢀ
(6)
[0073]
reg
f-inter
(v)＝-tr(sb(v))＝tr(v(s-e)v
t
)
ꢀꢀ
(7)
[0074]
其中，和分别是v的类内散射矩阵和类间散射矩阵。是v的c
th
类中的j
th
样本，μc是v的c
th
类中样本的平均向量，μ是v的所有样本的平均矢量，nc是c
th
类的样本数。矩阵s中的元素满足如果vi和vj两者都属于该c
th
类，反之s
ij
＝0；矩阵l＝u-s，其中u是一个对角矩阵，其i
th
对角元素是s的i
th
行的和，并且e是一个元素都是的矩阵。
[0075]
1403、根据第一特征数据和第二特征数据，计算用于表征数据属性的第五正则化值。
[0076]
用于表征数据属性的第五正则化值通过以下公式(8)表示：
[0077][0078]
其中，通过数据属性保持正则化项，可以使原始域中xi的数据属性得到保留，从而
减少信息损失。
[0079]
150、根据一阶矩、二阶矩、第一正则化值、第二正则化值、第三正则化值、第四正则化值和第五正则化值，构建目标函数。
[0080]
其中，所构建的目标函数可以通过以下公式(9)所示：
[0081][0082]
式中，，γ1,γ2，ρ，λ1,λ2,λ3和β是平衡上述正则化项的超参数。
[0083]
通过最小化求解以上公式(9)所示的目标函数，可以使得潜在空间的融合特征数据具有以下特征：1)融合了不同mri序列模态信息；2)特征数据的维度低于原有特征维度；3)任意两种模态之间遵循相似的数据分布；4)特征数据具有低共线性；5)特征数据对于不同类别(即gbm和sbm)具有更高的分辨力。
[0084]
160、利用随机数初始化处理，获得当前投影矩阵；根据目标函数对当前投影矩阵进行迭代更新，直至目标函数收敛，获得目标投影矩阵。
[0085]
其中，目标投影矩阵用于将第一特征数据投影到潜在共享空间。
[0086]
在本发明实施例中，最小化求解上述目标函数，本质上是一个无约束最小化问题，优选的，可以使用梯度下降方法对其进行优化。
[0087]
基于此，在步骤160中，根据目标函数对当前投影矩阵进行迭代更新，可以包括以下步骤1601～1603：
[0088]
1601、对当前投影矩阵的每一列进行归一化处理。
[0089]
在每次迭代过程中，通过以下公式(10)对当前投影矩阵qi的每一列进行归一化处理，由j＝1,2,
…
,mi表示为：
[0090][0091]
1602、计算目标函数相对于当前投影矩阵的目标梯度。
[0092]
该步骤中需要计算目标函数相对于当前投影矩阵q的目标梯度。具体的可以包括以下步骤16021～16028：
[0093]
16021、通过下式计算第一正则化值regv相对于当前投影矩阵的第一子梯度：
[0094][0095]
16022、通过下式计算第二正则化值reg
f-c
相对于当前投影矩阵的第二子梯度：
[0096][0097]
16023、通过下式计算第三正则化值reg
f-intra
相对于当前投影矩阵的第三子梯度：
[0098][0099]
16024、通过下式计算第四正则化值reg
f-inter
相对于当前投影矩阵的第四子梯度：
[0100][0101]
16025、通过下式计算第五正则化值regq相对于当前投影矩阵的第五子梯度：
[0102][0103]
16026、通过下式计算一阶矩相对于当前投影矩阵的第六子梯度：
[0104][0105]
16027、通过下式计算二阶矩相对于当前投影矩阵的第七子梯度：
[0106][0107]
16028、根据第一子梯度、第二子梯度、第三子梯度、第四子梯度、第五子梯度、第六子梯度和第七子梯度，计算获得目标函数相对于当前投影矩阵的目标梯度。
[0108]
通过下式(18)计算的总梯度作为目标梯度：
[0109][0110]
1603、根据目标总梯度，计算新一代的当前投影矩阵。
[0111]
给定超参数t，a，t0，t1，按照以下公式迭代更新新一代的当前投影矩阵qi：
[0112][0113]
式中，η＝t0/(a
·
t+t1)。
[0114]
进一步可选的，上述超参数的确定方式可以具体为：
[0115]
参数η主要通过尝试给定不同的t0，t1来确定，参数η的选择需要经过多次测试，从一个较小的值(如0.0001)开始调试，然后并逐渐增大，确保迭代过程中目标函数能够收敛，而且也要保证一定的收敛速度。
[0116]
a是一个与迭代次数t相关的参数，它会使参数η随着迭代次数的增加而减小，这使得参数η在优化开始时具有较大的收敛速度，而在最优点附近时更新的梯度幅度较小避免激荡。可以通过目标函数的梯度变化规律，调整合适的a值。如果在最优点附近，目标函数损失值突然增加，可以加大a的值，使学习率下降得更快。如果在最优点附近，收敛速度过慢，可以减小a值。
[0117]
170、将第二特征数据和标签数据输入分类器训练获得分类模型。
[0118]
在本发明中，分类器可采用线性回归分类器，例如，逻辑回归、svm等。
[0119]
具体的步骤170可以包括：将第二特征数据作为输入信号输入分类器获得分类器的预测分类，根据分类器的预测分类与相应的标签数据计算交叉熵损失值，当交叉熵损失
值小于指定损失值时，判定训练完成，获得训练完成的分类器作为分类模型。其中，交叉熵损失值可通过以下公式(20)计算：
[0120][0121]
其中，y代表样本对象的标签数据得分，代表样本对象的预测分类得分。
[0122]
180、利用目标投影矩阵将待测对象的至少两个目标第一特征数据投影到潜在共享空间，获得对应的目标第二特征数据。
[0123]
190、利用分类模型对目标第二特征数据进行分类，获得待测对象的目标肿瘤类别。
[0124]
需要说明的是，在步骤180之前，还需要首先获取待测对象的目标多模态医学图像，包括至少两个不同模态的目标扫描序列图像，然后对各个目标扫描序列图像进行特征提取，获得目标第一特征数据。然后再利用最终优化得到的目标投影矩阵对第一特征数据进行映射投影到潜在共享空间，得到潜在共享空间的新特征，即目标第二特征数据。
[0125]
综上所述，实施本发明实施例，通过一阶矩、二阶矩匹配以及多个潜在表征正则化项构建目标函数，可以在保留原始空间中的数据属性，减少信息损失的基础上，同时考虑不同模态间分布相似性，最大限度地减少模态间差异，以及学习潜在共享空间的类内和类间关联，使不同类之间的区分度更大，从而可以提高分类准确性。同时，可以减少特征共线性，以便为预测建模提供有用的信息，并保证模型的可解释性。
[0126]
为了验证本发明的效果。在一个实验例中，收集121例经病理证实的胶质母细胞瘤(gbm)与单发性脑转移瘤(sbm)手术前的数据，包括每个经病理证实的gbm和sbm患者对象的多序列mri图像(t1wi，ce_t1wi，t2wi和t2_flair)，相应的mask图像和目标对象为脑部肿瘤类别(即gbm或sbm)的标签数据。表1详细地记录了病人的临床信息。
[0127]
表1.121例胶质母细胞瘤(gbm)与单发性脑转移瘤(sbm)样本信息
[0128][0129]
根据各个mask图像在相应序列的mri图像区域进行放射组学特性数据提取，分别得到4个mri序列(t1wi，ce_t1wi，t2wi和t2_flair)的放射组学特性数据矩阵其中，mi＝109，n＝121，i∈(1,d),d＝4。设置初始化参数k＝20，γ1＝1，γ2＝7，ρ＝0.5，λ1＝1，λ2＝1，λ3＝1，β＝0.05；a＝0，t0＝0.001，t1＝1。按照本发明实施方法执行后输出训练好的分类模型以及目标投影矩阵。
[0130]
对于新的多序列mri特征数据t＝[t1,
…
,ti,
…
,td],i∈(1,d)，利用目标投影矩阵
q，把其投影到潜在共享空间，得到融合后的新特征根据融合后的新特征对训练得到的分类模型进行测试，将新特征vnew输入分类模型进行分类鉴别gbm和sbm。
[0131]
分类性能通过包括曲线下面积(auc)、准确性(acc)、灵敏度(sen)、特异性(spe)进行量化。本发明提出方法与传统的特征降维方法和多模态数据融合方法：pca，cmim，spec，udfs，cca和mdcr的比较结果如表2所示。本发明方法比传统特征降维方法和多模态数据融合，对gbm和sbm分类具有更高的分类精度。
[0132]
表2分类模型的分类性能
[0133][0134]
如图2所示，本发明实施例公开一种多模态医学图像融合分类装置，包括样本获取单元201、特征提取单元202、第一投影单元203、构建单元204、初始化单元205、优化单元206、训练单元207、第二投影单元208、分类单元209；
[0135]
样本获取单元201，用于获取样本对象的多模态医学图像和标签数据，其中，多模态医学图像包括至少两个不同的扫描序列图像，标签数据用于表征样本对象的肿瘤类别，肿瘤类别至少包括两个；
[0136]
特征提取单元202，用于对各个扫描序列图像进行特征提取，获得对应的第一特征数据；
[0137]
第一投影单元203，用于将各个第一特征数据投影到潜在共享空间获得对应的第二特征数据；其中，第二特征数据的维度小于第一特征数据的维度；
[0138]
构建单元204，用于根据第一特征数据、第二特征数据和对应的标签数据，计算一阶矩、二阶矩、用于规避过拟合的第一正则化值、用于表征特征共线性的第二正则化值、用于表征类内关联的第三正则化值、用于表征类间关联的第四正则化值、用于表征数据属性的第五正则化值；以及，根据一阶矩、二阶矩、第一正则化值、第二正则化值、第三正则化值、第四正则化值和第五正则化值，构建目标函数；
[0139]
初始化单元205，用于利用随机数初始化处理，获得当前投影矩阵；
[0140]
优化单元206，用于根据目标函数对当前投影矩阵进行迭代更新，直至目标函数收敛，获得目标投影矩阵；其中，目标投影矩阵用于将第一特征数据投影到潜在共享空间；
[0141]
训练单元207，用于将第二特征数据和标签数据输入分类器训练获得分类模型；
[0142]
第二投影单元208，用于利用目标投影矩阵将待测对象的至少两个目标第一特征数据投影到潜在共享空间，获得对应的目标第二特征数据；
[0143]
分类单元209，用于利用分类模型对目标第二特征数据进行分类，获得待测对象的目标肿瘤类别。
[0144]
作为一种可选的实施方式，上述特征提取单元202可以包括以下未图示的子单元：
[0145]
获取子单元，用于获取各个扫描序列图像的感兴趣区域对应的掩膜图；
[0146]
提取子单元，用于根据每个掩膜图，对相应的各个扫描序列图像的感兴趣区域进行放射组学特征提取，获得各个扫描序列图像对应的第一特征数据。
[0147]
进一步可选的，上述获取子单元，具体用于根据用户输入的操作参数，对各个扫描序列图像进行靶区勾画，获得各个扫描序列图像的感兴趣区域；对各个扫描序列图像的感兴趣区域进行掩膜计算，获得对应的掩膜图。
[0148]
作为一种可选的实施方式，上述的优化单元206可以包括以下未图示的子单元：
[0149]
归一化子单元，用于对当前投影矩阵的每一列进行归一化处理；
[0150]
梯度计算子单元，用于计算目标函数相对于当前投影矩阵的目标梯度；
[0151]
更新子单元，用于根据目标总梯度，计算新一代的当前投影矩阵。
[0152]
作为一种可选的实施方式，梯度计算子单元，具体可以用于：
[0153]
计算第一正则化值相对于当前投影矩阵的第一子梯度；
[0154]
计算第二正则化值相对于当前投影矩阵的第二子梯度；
[0155]
计算第三正则化值相对于当前投影矩阵的第三子梯度；
[0156]
计算第四正则化值相对于当前投影矩阵的第四子梯度；
[0157]
计算第五正则化值相对于当前投影矩阵的第五子梯度；
[0158]
计算一阶矩相对于当前投影矩阵的第六子梯度；
[0159]
计算二阶矩相对于当前投影矩阵的第七子梯度；
[0160]
根据第一子梯度、第二子梯度、第三子梯度、第四子梯度、第五子梯度、第六子梯度和第七子梯度，计算获得目标函数相对于当前投影矩阵的目标梯度。
[0161]
如图3所示，本发明实施例公开一种电子设备，包括存储有可执行程序代码的存储器301以及与存储器301耦合的处理器302；
[0162]
其中，处理器302调用存储器301中存储的可执行程序代码，执行上述各实施例中描述的多模态医学图像融合分类方法。
[0163]
本发明实施例还公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行上述各实施例中描述的多模态医学图像融合分类方法。
[0164]
以上实施例的目的，是对本发明的技术方案进行示例性的再现与推导，并以此完整的描述本发明的技术方案、目的及效果，其目的是使公众对本发明的公开内容的理解更加透彻、全面，并不以此限定本发明的保护范围。
[0165]
以上实施例也并非是基于本发明的穷尽性列举，在此之外，还可以存在多个未列
出的其他实施方式。在不违反本发明构思的基础上所作的任何替换与改进，均属本发明的保护范围。

技术特征：
1.多模态医学图像融合分类方法，其特征在于，包括：获取样本对象的多模态医学图像和标签数据，其中，所述多模态医学图像包括至少两个不同的扫描序列图像，所述标签数据用于表征所述样本对象的肿瘤类别，所述肿瘤类别至少包括两个；对各个所述扫描序列图像进行特征提取，获得对应的第一特征数据；将各个所述第一特征数据投影到潜在共享空间获得对应的第二特征数据；其中，所述第二特征数据的维度小于所述第一特征数据的维度；根据所述第一特征数据、所述第二特征数据和对应的标签数据，计算一阶矩、二阶矩、用于规避过拟合的第一正则化值、用于表征特征共线性的第二正则化值、用于表征类内关联的第三正则化值、用于表征类间关联的第四正则化值、用于表征数据属性的第五正则化值；根据所述一阶矩、所述二阶矩、所述第一正则化值、所述第二正则化值、所述第三正则化值、所述第四正则化值和所述第五正则化值，构建目标函数；利用随机数初始化处理，获得当前投影矩阵；根据所述目标函数对所述当前投影矩阵进行迭代更新，直至所述目标函数收敛，获得目标投影矩阵；其中，所述目标投影矩阵用于将所述第一特征数据投影到潜在共享空间；将所述第二特征数据和所述标签数据输入分类器训练获得分类模型；利用所述目标投影矩阵将待测对象的至少两个目标第一特征数据投影到潜在共享空间，获得对应的目标第二特征数据；利用所述分类模型对所述目标第二特征数据进行分类，获得所述待测对象的目标肿瘤类别。2.如权利要求1所述的多模态医学图像融合分类方法，其特征在于，对各个所述扫描序列图像进行特征提取，获得对应的第一特征数据，包括：获取各个所述扫描序列图像的感兴趣区域对应的掩膜图；根据每个所述掩膜图，对相应的各个所述扫描序列图像的感兴趣区域进行放射组学特征提取，获得各个所述扫描序列图像对应的第一特征数据。3.如权利要求2所述的多模态医学图像融合分类方法，其特征在于，获取各个所述扫描序列图像的感兴趣区域对应的掩膜图，包括：根据用户输入的操作参数，对各个所述扫描序列图像进行靶区勾画，获得各个所述扫描序列图像的感兴趣区域；对各个所述扫描序列图像的感兴趣区域进行掩膜计算，获得对应的掩膜图。4.如权利要求1至3任一项所述的多模态医学图像融合分类方法，其特征在于，根据所述目标函数对所述当前投影矩阵进行迭代更新，包括：对所述当前投影矩阵的每一列进行归一化处理；计算所述目标函数相对于所述当前投影矩阵的目标梯度；根据所述目标总梯度，计算新一代的当前投影矩阵。5.如权利要求4所述的多模态医学图像融合分类方法，其特征在于，计算所述目标函数相对于所述当前投影矩阵的目标梯度，包括：计算所述第一正则化值相对于所述当前投影矩阵的第一子梯度；
计算所述第二正则化值相对于所述当前投影矩阵的第二子梯度；计算所述第三正则化值相对于所述当前投影矩阵的第三子梯度；计算所述第四正则化值相对于所述当前投影矩阵的第四子梯度；计算所述第五正则化值相对于所述当前投影矩阵的第五子梯度；计算所述一阶矩相对于所述当前投影矩阵的第六子梯度；计算所述二阶矩相对于所述当前投影矩阵的第七子梯度；根据所述第一子梯度、所述第二子梯度、所述第三子梯度、所述第四子梯度、所述第五子梯度、所述第六子梯度和所述第七子梯度，计算获得所述目标函数相对于所述当前投影矩阵的目标梯度。6.多模态医学图像融合分类装置，其特征在于，包括：样本获取单元，用于获取样本对象的多模态医学图像和标签数据，其中，所述多模态医学图像包括至少两个不同的扫描序列图像，所述标签数据用于表征所述样本对象的肿瘤类别，所述肿瘤类别至少包括两个；特征提取单元，用于对各个所述扫描序列图像进行特征提取，获得对应的第一特征数据；第一投影单元，用于将各个所述第一特征数据投影到潜在共享空间获得对应的第二特征数据；其中，所述第二特征数据的维度小于所述第一特征数据的维度；构建单元，用于根据所述第一特征数据、所述第二特征数据和对应的标签数据，计算一阶矩、二阶矩、用于规避过拟合的第一正则化值、用于表征特征共线性的第二正则化值、用于表征类内关联的第三正则化值、用于表征类间关联的第四正则化值、用于表征数据属性的第五正则化值；以及，根据所述一阶矩、所述二阶矩、所述第一正则化值、所述第二正则化值、所述第三正则化值、所述第四正则化值和所述第五正则化值，构建目标函数；初始化单元，用于利用随机数初始化处理，获得当前投影矩阵；优化单元，用于根据所述目标函数对所述当前投影矩阵进行迭代更新，直至所述目标函数收敛，获得目标投影矩阵；其中，所述目标投影矩阵用于将所述第一特征数据投影到潜在共享空间；训练单元，用于将所述第二特征数据和所述标签数据输入分类器训练获得分类模型；第二投影单元，用于利用所述目标投影矩阵将待测对象的至少两个目标第一特征数据投影到潜在共享空间，获得对应的目标第二特征数据；分类单元，用于利用所述分类模型对所述目标第二特征数据进行分类，获得所述待测对象的目标肿瘤类别。7.如权利要求6所述的多模态医学图像融合分类装置，其特征在于，所述特征提取单元包括：获取子单元，用于获取各个所述扫描序列图像的感兴趣区域对应的掩膜图；提取子单元，用于根据每个所述掩膜图，对相应的各个所述扫描序列图像的感兴趣区域进行放射组学特征提取，获得各个所述扫描序列图像对应的第一特征数据。8.如权利要求7所述的多模态医学图像融合分类装置，其特征在于，所述获取子单元，具体用于根据用户输入的操作参数，对各个所述扫描序列图像进行靶区勾画，获得各个所述扫描序列图像的感兴趣区域；对各个所述扫描序列图像的感兴趣
区域进行掩膜计算，获得对应的掩膜图。9.电子设备，其特征在于，包括存储有可执行程序代码的存储器以及与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行权利要求1至5任一项所述的多模态医学图像融合分类方法。10.计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行权利要求1至5任一项所述的多模态医学图像融合分类方法。

技术总结
本发明属于图像分类技术领域，公开了一种多模态医学图像融合分类方法，通过根据样本对象的不同扫描序列图像的特征数据学习投影到潜在共享空间获得潜在特征表示，通过一阶矩、二阶矩匹配以及多个潜在表征正则化项构建目标函数，对当前投影矩阵进行迭代更新直至收敛，以及利用特征数据和标签数据训练得到分类模型，利用获得的目标投影矩阵对未知待测对象的特征数据投影到潜在共享空间获得新的特征数据输入分类模型分类，由此可以保留原始空间中的数据属性，减少信息损失，同时考虑不同模态间分布相似性，减少模态间差异，学习潜在共享空间的类内和类间关联，使不同类之间的区分度更大，从而提高分类准确性。从而提高分类准确性。从而提高分类准确性。


技术研发人员：王琳婧 谢金城 甄鑫 张书旭 廖煜良
受保护的技术使用者：广州医科大学附属肿瘤医院
技术研发日：2023.06.28
技术公布日：2023/9/25