一种乳腺癌图像的多分类方法、装置及存储介质

1.本发明涉及医学影像技术领域，尤其涉及一种乳腺癌图像的多分类方法、装置及存储介质。


背景技术：

2.乳腺癌是全球女性最常见的恶性肿瘤，且发病率随着年龄的增长呈上升趋势。据2022年国家癌症中心发布的数据显示，目前乳腺癌的发病率高居中国女性恶性肿瘤之首。乳腺癌是一种高度异质性的肿瘤，其在临床上的不同生物学行为主要由其内在的不同基因表型所决定。根据免疫组织化学检查和荧光原位杂交检测方法检测雌激素受体(estrogen receptor,er)、孕激素受体(progesterone receptor,pr)及人表皮生长因子受体2(human epidermal growth factor receptor-2,her-2)的表达情况，将乳腺癌分为luminal a型、luminal b型、her-2富集型及三阴性乳腺癌四种亚型。这些分子亚型具有不同的临床表现、治疗靶点、疗效反应以及长期生存情况，导致了基于不同分子亚型的系统性的治疗策略。
3.目前临床上主要通过穿刺的活体组织的免疫组化检查来评估治疗前的乳腺癌的分子亚型，但是病理检查作为一种侵入性的有创检查方法，不仅给患者带来痛苦，而且由于采样偏倚难以捕获到肿瘤的整体组织学、基因表型等信息，所反馈的信息也具有滞后性。因此，有必要开发一种新的替代手段，从整个肿瘤中提取作为表征肿瘤表型和预后指标的特征，如分子受体的表达状态和分子亚型，并在治疗过程中对肿瘤生物学的变化进行实时的动态监测。
4.目前多参数磁共振成像(multiparametric magnetic resonance imaging,mmri)检查在乳腺癌的诊断、分子亚型的鉴别、疗效评估和乳腺癌患者预后预测等方面具有良好的应用前景。其中扩散加权成像(diffusion-weighted imaging，dwi)和其衍生的表观扩散系数(apparent diffusion coefficient，adc)图可定量反映肿瘤内水分子扩散的程度，并在分子水平上反映人体病理生理条件下组织结构的空间组成信息变化。既往已有很多研究利用乳腺癌mmr成像的adc直方图分析以进行不同分子亚型的鉴别，但多数研究仅在肿瘤的单一层面或全肿瘤绘制感兴趣区域(region of interest，roi)以获得肿瘤所在roi区域adc的平均值、最小值、最大值等指标作为区分不同分子亚型的截断值，然而以上指标并没有充分反映肿瘤的异质性。此外，绝对adc值容易受到不同医疗中心的mr扫描方案设定的多个b值和不同mr扫描仪的影响，致其普适性欠佳。既往有研究成功地通过分析肿瘤整体的adc直方图的每一个体素的平均adc值中低于第25％位点的肿瘤的比例，来评估接受新辅助舒尼替尼治疗的转移性肾细胞癌患者的预后情况，该研究认为这部分肿瘤区域是转移性肾细胞癌内水分子扩散受限最明显的地方，也可能是肿瘤细胞最密集的区域。本发明尝试性将其命名为肿瘤增殖负荷(tumor proliferative burden,tpb)，并将其延伸定义为肿瘤整体较低adc值处肿瘤体积占全肿瘤体积的比例，然而，目前还没有研究将tpb应用于三阴性乳腺癌与其他三种乳腺癌亚型(非三阴性乳腺癌)的鉴别中。近年来，影像组学作为一种定量的术前无创的肿瘤评估方法在乳腺癌辅助诊断方面得到了广泛的应用。然而现有技术仅
在单个或两个序列上进行影像组学分析以识别三阴性乳腺癌。实际上，不同的序列可以被视为从不同角度描述肿瘤的多模态图像，将多个序列的成像信息融合，可以更好地表征肿瘤的特性，并在理论上可以提高影像组学模型的分类性能。目前，还没有研究试图充分利用从临床工作中常规扫描的多个mri序列获得的影像组学特征整合的潜力来区分三阴性乳腺癌和非三阴性乳腺癌。


技术实现要素：

5.本发明的目的是针对上述现有技术的不足，提出一种乳腺癌图像的多分类方法、装置及存储介质，能够结合肿瘤增殖负荷参数以提高三阴性乳腺癌与非三阴性乳腺癌的鉴别性能，能够实现乳腺癌图像更好的分类效果。
6.第一方面，本发明提供了一种乳腺癌图像的多分类方法，包括：
7.根据多个目标对象待分类的第一图像数据，获取对应的基于全肿瘤表观扩散系数成像序列直方图的第一特性目标数据；其中，所述第一图像数据包含多种特征序列，所述表观扩散系数成像序列直方图包括肿瘤增殖负荷；
8.根据预设的目标组合序列，对多个目标对象的第一图像数据的特征序列进行组合，并将得到的组合序列结果按照目标对象进行融合，对应得到基于影像组学特征的第二特性目标数据；
9.将所述第一特性目标数据和所述第二特性目标数据进行结合，得到第三特性目标数据，将所述第三特性目标数据作为训练好的第一分类网络的输入，以使输出第一分类结果；其中，所述第一分类网络包含一个或者多个分类器。
10.本发明采用全肿瘤表观扩散系数成像序列直方图作为基于表观扩散系数成像序列直方图的第一特性目标数据，能够探究肿瘤增殖负荷指标对于三阴性乳腺癌与非三阴性乳腺癌分类性能的影响，这是由于利用基于全肿瘤表观扩散系数成像序列直方图的形式可以完全反映肿瘤的异质性信息；其次，通过对所有不同的序列进行组合，有利于多序列信息进行互补，将获得的多个基于影像组学特征的第二特性目标数据与基于全肿瘤表观扩散系数成像序列直方图的第一特性目标数据进行融合后作为第一分类网络的输入，可以构建出性能优良、稳健的分类系统，能够实现乳腺癌图像更好的分类效果。采用本发明不仅可以充分利用肿瘤整体的表观扩散系数成像序列信息，还可以融合来自多个序列的成像信息进行分类，融合后的成像信息可以更好地描述肿瘤的特性，进而可以提高分类准确性，以减轻进行人工分类的工作量，并提高效率。
11.进一步，所述将得到的组合序列按照目标对象进行融合，对应得到基于影像组学特征的第二特性目标数据，包括：
12.对所述组合序列中的多种特征序列按照同一目标对象进行融合，对应得到基于影像组学特征的第二特性目标数据；其中，所述组合序列包含至少两种特征序列。
13.本发明采用对所有不同的序列进行融合，有利于多序列之间进行信息互补，避免由于单独处理序列后，单个序列对整体分类效果产生较大的影响偏差，从而能够提高乳腺癌图像的分类效果。
14.进一步，所述对所述组合序列中的多种特征序列按照同一目标对象进行融合，对应得到基于影像组学特征的第二特性目标数据，具体为：
15.依次根据不同的特征序列，获得所述多个目标对象对应的基于影像组学的第四特性目标数据，并根据所述组合序列，计算所述多个目标对象对应的所述第四特性目标数据的转换矩阵；
16.根据所述转换矩阵，将属于同一目标对象的特征序列对应的第四特性目标数据进行融合，对应得到基于影像组学特征的第二特性目标数据。
17.本发明采用对每种组合序列按照目标将特性样本数据进行融合，能够对组合序列进行降维，从而得到按照目标对象对应的第二特性目标数据，以便第三分类网络使用不同的分类器进行分类。
18.进一步，所述的乳腺癌图像的多分类方法，还包括：将所述第一特性目标数据作为训练好的第二分类网络的输入，以输出第二分类结果；其中，所述第二分类网络包含一个或者多个分类器。
19.再进一步，所述的乳腺癌图像的多分类方法，还包括：将所述第二特性目标数据作为训练好的第三分类网络的输入，以输出第三分类结果；其中，所述第三分类网络包含一个或者多个分类器。
20.本发明采用对第一特性目标数据和第二特性目标数据分别作为第二分类网络和第三分类网络的输入，分别得到对应的分类结果，能够根据提取的不同的特性目标数据得到乳腺癌图像的多分类，能够探究不同的乳腺癌的特性目标数据对乳腺癌图像分类的影响。
21.进一步，得到所述训练好的第一分类网络包括：
22.根据多个样本对象待分类的第二图像数据，获取对应的基于全肿瘤表观扩散系数成像序列直方图的第一特性样本数据；其中，所述第二图像数据包含多种特征序列，所述表观扩散系数成像序列直方图包括肿瘤增殖负荷；
23.对多种第二图像数据进行不同的组合，对应得到多个组合序列，并依次对每个组合序列按照样本对象进行融合，对应得到基于影像组学特征的第二特性样本数据；
24.将所述第一特性样本数据和所述第二特性样本数据进行结合，根据得到的第三特性样本数据，分别对初始的第一分类网络进行训练，对应得到训练好的第一分类网络；其中，所述第一分类网络包含一个或者多个分类器。
25.进一步，所述根据预设的目标组合序列，对多个目标对象的第一图像数据的特征序列进行组合，包括：
26.根据多个训练好的子分类网络，依次计算每个子分类网络在对应的组合序列下的auc指标；
27.选择auc指标最优的组合序列作为目标组合序列，根据所述目标组合序列，对多个目标对象的第一图像数据的特征序列进行组合；
28.其中，每个子分类网络包含一个或者多个分类器，并选择auc指标最优的子分类网络为训练好的第三分类网络。
29.优选地，所述第一图像数据的特征序列包含表观扩散系数成像序列、扩散加权成像序列、t2加权成像序列和动态增强扫描的早期序列。
30.第二方面，本发明提供了一种乳腺癌图像的多分类装置，包括：
31.第一特性目标数据单元，用于根据多个目标对象待分类的第一图像数据，获取对
应的基于全肿瘤表观扩散系数成像序列直方图的第一特性目标数据；其中，所述第一图像数据包含多种特征序列，所述表观扩散系数成像序列直方图包括肿瘤增殖负荷；
32.第二特性目标数据单元，用于根据预设的目标组合序列，对多个目标对象的第一图像数据的特征序列进行组合，并将得到的组合序列结果按照目标对象进行融合，对应得到基于影像组学特征的第二特性目标数据；
33.第三特性目标数据单元，用于将所述第一特性目标数据和所述第二特性目标数据进行结合，得到第三特性目标数据；
34.第一分类网络单元，用于将所述第三特性目标数据作为训练好的第一分类网络的输入，以使输出第一分类结果；其中，所述第一分类网络包含一个或者多个分类器。
35.第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行如第一方面所述的乳腺癌图像的多分类方法。
附图说明
36.图1是本发明实施例提供的乳腺癌图像的多分类方法的流程示意图；
37.图2是本发明实施例提供的adc直方图及对应的直方图指标的示意图；
38.图3是本发明实施例提供的乳腺癌图像的多分类方法的测试过程的流程示意图；
39.图4是本发明实施例提供的乳腺癌图像的多分类方法的初始的第一分类网络的测试过程的流程示意图；
40.图5是本发明实施例提供的乳腺癌图像的多分类方法的得到第二特性样本数据获取的流程示意图；
41.图6是本发明实施例提供的乳腺癌图像的多分类方法的训练过程的流程示意图；
42.图7是本发明实施例提供的第一分类网络的特征筛选的示意图；
43.图8是本发明实施例提供的乳腺癌图像的多分类装置的结构示意图；
44.图9是本发明实施立体提供的计算机可读存储介质的结构示意图。
具体实施方式
45.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.本发明的目的在于提供一种乳腺癌图像的分类方法、装置及存储介质，通过研究乳腺癌不同分子亚型的全肿瘤表观扩散系数(apparent diffusion coefficient，adc)成像序列直方图的指标，尤其是肿瘤增殖负荷(tumor proliferative burden,tpb)，这是由于tpb可以提供全面的肿瘤异质性的信息，通过融合多参数的图像数据的成像信息，可以更好地表征肿瘤并提高分类的准确性。
47.参见图1，是本发明实施例提供的乳腺癌图像的多分类方法的流程示意图，包括步骤s11～s13，具体为：
48.步骤s11、根据多个目标对象待分类的第一图像数据，获取对应的基于全肿瘤表观
扩散系数成像序列直方图的第一特性目标数据；其中，所述第一图像数据包含多种特征序列，所述表观扩散系数成像序列直方图包括肿瘤增殖负荷。
49.值得说明的是，第一图像数据为多个目标对象对应的mri图像，根据多种磁共振扫描(magnetic resonance imaging,mri)，得到包含多种特征序列的mri图像，可以将mri图像视为从不同角度描述肿瘤的多模态图像。根据mri图像可以得到掩膜(mask)图像数据，包括：根据用户输入的操作参数，对各多模态的mri图像的每一层面进行靶区勾画，得到每一层面的二维感兴趣区域(region of interest，roi)，再将所有层面的二维感兴趣区域保存为三维的mask图像数据；其中，用户包括经验丰富的至少两名放射诊断专家。
50.对mri图像中的adc序列的掩模图像数据进行基于全肿瘤表观扩散系数成像序列直方图的特征提取，得到多个目标对象各自对应的基于全肿瘤表观扩散系数成像序列直方图的第一特性目标数据。具体地，在adc图像上勾画3d roi，得到相应的adc直方图，并对乳腺癌不同分子亚型的包括肿瘤增殖负荷(tpb)在内的adc直方图指标提取，依次对多个目标对象进行指标提取，对应获得多个基于全肿瘤表观扩散系数成像序列直方图的第一特性样本数据样本。
51.步骤s12、根据预设的目标组合序列，对多个目标对象的第一图像数据的特征序列进行组合，并将得到的组合序列结果按照目标对象进行融合，对应得到基于影像组学特征的第二特性目标数据。
52.优选地，第一图像数据的特征序列包含表观扩散系数成像序列、扩散加权成像序列、t2加权成像序列和动态增强扫描的早期序列。
53.值得说明的是，动态增强扫描的早期序列为动态增强扫描(dynamic contrast-enhanced,dce)的早期强化(dce2)序列，所述第一图像数据包括：mri图像和对应的mask图像。因此，mri图像和mask图像均包括adc序列、扩散加权成像序列(diffusion weighted imaging,dwi)序列、t2加权成像序列(t2 weighted imaging,t2wi)和dce2序列。
54.本发明采用对所有不同序列进行融合，有利于多序列之间进行信息互补，避免由于单独处理序列后，单个序列对整体分类效果产生较大的影响偏差，从而能够提高乳腺癌图像的分类效果。
55.其中，将得到的组合序列按照目标对象进行融合，对应得到基于影像组学特征的第二特性目标数据，包括：对所述组合序列中的多种序列按照同一目标对象进行融合，对应得到基于影像组学特征的第二特性目标数据；其中，所述组合序列包含至少两种特征序列。
56.具体地，对所述组合序列中的多种序列按照同一目标对象进行融合，对应得到基于影像组学特征的第二特性目标数据，包括：依次根据不同的特征序列，获得所述多个目标对象对应的基于影像组学的第四特性目标数据；根据所述组合序列，计算所述多个目标对象对应的所述第四特性目标数据的转换矩阵；根据所述转换矩阵，将属于同一目标对象的特征序列对应的所述第四特性目标数据进行融合，对应得到基于影像组学特征的第二特性目标数据。
57.值得说明的是，依次根据不同的特征序列，获得所述多个目标对象对应的基于影像组学的第四特性目标数据，具体为：依次对不同的特征序列对应的掩模图像数据进行影像组学特征提取，得到基于影像组学的第四特性目标数据，并依次为所有目标对象获取对应的第四特性目标数据。
58.本发明采用对每种mri组合序列按照目标对象进行融合，能够对mri组合序列进行降维，从而得到按照目标对象对应的第二特性目标数据，以便第三分类网络使用不同的分类器进行分类。
59.其中，根据预设的目标组合序列，对多个目标对象的第一图像数据的特征序列进行组合，包括：根据多个训练好的子分类网络，依次计算每个子分类网络在对应的组合序列下的auc指标；选择auc指标最优的组合序列作为目标组合序列，根据所述目标组合序列，对多个目标对象的第一图像数据的特征序列进行组合；其中，每个子分类网络包含一个或者多个分类器，并选择auc指标最优的子分类网络为训练好的第二分类网络。
60.此外，还包括：将所述第一特性目标数据作为训练好的第二分类网络的输入，以输出第二分类结果；其中，所述第二分类网络包含一个或者多个分类器。并且，将所述第二特性目标数据作为训练好的第三分类网络的输入，以输出第三分类结果；其中，所述第三分类网络包含多个第三子分类网络，每个第三子分类网络包含一个或者多个分类器。
61.值得说明的是，分类器的数量可以包括一个或多个，当分类器的数量包括多个时，分类网络具体为多分类模型系统，即乳腺癌图像的多分类方为多分类模型系统。考虑到分类模型的分类能力与其所使用的原始的分类器相关联，而不同的分类器即使在相同的任务上应用也可能会产生不一致的结果。因此，在本实施例中，优选地将训练数据输入到多个不同的分类器中进行训练，以构建多分类模型系统，该多分类模型系统包括多个分类模型。根据“没有免费的午餐”的定理，任何分类器都有其优势与不足，与单一分类器相比，比较多个不同的分类器的性能可以提供一个更鲁棒、分类精度更高的分类系统。
62.优选地，第一分类网络、第二分类网络和第三分类网络均为多分类模型；其中，根据特征选择算法的种数和分类器的个数，确定多分类模型的个数。
63.示例性地，若设置n种特征选择算法和m个分类器，可以得到m
×
n个分类模型，可以理解的是，第一分类网络、第二分类网络和第三分类网络均包括对应的m
×
n个分类模型。在第三分类网络当中，将每个组合序列的基于影像组学的第四特性样本数据以及对应的标签数据输入到上述的m
×
n个分类模型的每个分类模型中，每个分类模型中的指定特征选择算法会先获取特征代表集合，再把这个特征代表集合输入到分类器中调用predict函数进行预测，保存并输出对应的第三分类结果。
64.本发明采用对第一特性目标数据和第二特性目标数据分别作为第二分类网络和第三分类网络的输入，分别得到对应的分类结果，能够根据提取的不同的特性目标数据得到乳腺癌图像的多分类，能够探究不同的乳腺癌的特性目标数据对乳腺癌图像分类的影响。
65.步骤s13、将所述第一特性目标数据和所述第二特性目标数据进行结合，得到第三特性目标数据，将所述第三特性目标数据作为训练好的第一分类网络的输入，以使输出第一分类结果；其中，所述第一分类网络包含一个或者多个分类器。
66.示例性地，129例经病理证实的三阴性乳腺癌与非三阴性乳腺癌患者对象作为测试的目标对象；其中，在这129例经病理证实的三阴性乳腺癌与非三阴性乳腺癌患者中，包括11例三阴性乳腺癌患者和118例非三阴性乳腺癌患者。采集4种序列数据，包括采集11例三阴性乳腺癌患者手术前基于目标组合序列所包括adc序列、dwi序列、t2w序列i和dce2序列四种不同的mri序列进行扫描得到的图像作为多模态测试的第一图像，对构建的第一分
类网络、第二分类网络和第三分类网络进行测试。
67.对各个测试的目标对象进行肿瘤类型标记，获得各个目标对象的标签数据，对于每种mri序列，先获取对129个目标对象进行磁共振扫描得到的一一对应的129个多模态测试图像，再对多模态测试图像中的adc图像进行adc直方图指标提取以获得129个基于adc直方图的第一特性目标数据，并分别对各个多模态图像数据进行影像组学特征提取，以获得129个基于影像组学的第一特性目标数据，第一特性目标数据的标签数据与其所属的目标对象的标签数据相对应。其中，对adc测试图像进行直方图指标提取和对多模态测试图像进行影像组学特征提取，具体步骤包括如下步骤s21～s23中的直方图指标提取和对多模态测试图像进行影像组学特征提取方式。
68.根据adc+dwi+t2wi+dce2组合序列的转换矩阵，按照包含adc序列、dwi、t2wi和dce2四种不同的目标组合序列，将129个基于影像组学的第一特性目标数据的特征序列进行组合，得到129个基于影像组学的第二特性目标数据，结合129个基于adc直方图的第一特性目标数据与129个基于影像组学的第二特性目标数据，获得129个第三特性目标数据。
69.将129个基于adc直方图的第一特性目标数据、129个基于影像组学的第二特性目标数据和129个第三特性目标数据分别输入到第二分类网络、第三分类网络、第一分类网络，以使分类网络的150个分类模型逐一对每个特性目标数据进行分类处理，并输出每个特性目标数据属于三阴性乳腺癌和非三阴性乳腺癌的概率得分，根据150个分类模型输出的概率得分，确定每个测试的目标对象的肿瘤类型分类结果。
70.根据129例经病理证实的三阴性乳腺癌与非三阴性乳腺癌的测试的目标对象的肿瘤类型分类结果，分别计算第二分类网络、第三分类网络、第一分类网络的auc最大的分类模型的分类性能，包括auc、分类准确率、灵敏度和特异度，如下表1所示。其中f代表使用wilcoxon符号秩检验比较每个分类网络与第一分类网络的性能，p值＜0.05认为具有统计学差异，以粗体表示。
71.表1 3个分类网络auc值最大的分类模型的分类性能比较
[0072][0073]
由测试结果可知，本发明实施例所公开的乳腺癌图像的分类方法，可以构建一个充分利用肿瘤的异质性信息以及融合多个mri序列的图像信息的多分类模型系统。一方面基于全肿瘤adc直方图生成待测的第一特性目标数据，另一方面利用所提出的组合算法对不同mri序列的基于影像组学的待测的第一特性目标数据进行组合，生成新的待测的第二特性目标数据，并结合待测的第一特性目标数据与待测的第二特性目标数据，生成新的待测的第三特性目标数据，这些待测的特性目标数据均通过不同的分类器和不同的特征选择算法，可以构造多个由不同类型的分类器和不同的特征选择算法构成的分类模型进行性能比较，以达到更可靠的分类结果，以及提高分类系统的鲁棒性。
[0074]
值得说明的是，在整个分类的测试过程中，先根据adc直方图来获取目标对象的一个基于adc直方图的第一特性目标数据，再对根据第一特性目标数据的特征序列进行组合的组合序列的转换矩阵，得到基于影响组学特征的第二特性目标数据，最后将基于adc直方
roi，得到相应的adc直方图，并对乳腺癌不同分子亚型的包括肿瘤增殖负荷(tpb)在内的adc直方图指标提取，获得对应的多个基于adc直方图的第一特性样本数据。可以理解的是，adc序列下的多个基于adc直方图的第一特性样本数据分别与其所属的样本对象的标签数据相对应。
[0081]
优选地，肿瘤类型包括三阴性乳腺癌类型(tnbc)和非三阴性乳腺癌类型(non-tnbc)。
[0082]
示例性地，若肿瘤类型仅包括三阴性乳腺癌和非三阴性乳腺癌这两种类型，那么标签数据可以包括两类，一类指代三阴性乳腺癌，另一类指代非三阴性乳腺癌。例如，标签数据设置为0或1，然后用0指代非三阴性乳腺癌，1指代三阴性乳腺癌；反之亦然。若肿瘤类型包括两种以上的肿瘤类别，除了继续使用数字外，还可以使用二进制进行标号或者进行独热编码，在此不做限定。
[0083]
表2 tnbc和non-tnbc样本对象的临床信息
[0084][0085]
示例性地，假设训练时的样本对象有337个，其中，337例经病理是已经证实的不同分子亚型乳腺癌患者对象，分别采集337个样本对象在手术前基于adc、dwi、t2wi和dce2四种不同的mri序列进行扫描得到的图像作为多模态样本图像。在这337例经病理证实的不同分子亚型乳腺癌患者中，包括43例三阴性乳腺癌患者和294例非三阴性乳腺癌患者。参见表2，是tnbc和non-tnbc样本对象的临床信息。表中的数据为肿瘤的数量，括号内为百分比。*表示数据是平均值，括号内表示范围。表示其他浸润性癌症包括1例tnbc恶性叶状肿瘤、1例神经内分泌癌及2例non-tnbc的小叶原位癌。a、b、c、d和e分别代表student’s t检验、mann-whitney u检验、pearson卡方检验、卡方检验的连续性修正、费舍尔精确检验，其中p值＜0.05认为具有统计学差异，以粗体表示。
[0086]
根据训练时的目标样本，获取基于adc直方图的第一特性样本数据，可以先得到不
同分子亚型在整个肿瘤区域的adc直方图。示例性地，包括59个包括肿瘤增殖负荷(tpb)在内的adc直方图指标，参见图2，是本发明实施例提供的adc直方图及对应的直方图指标的示意图，图2(a)是adc直方图的示意图，图2(b)是adc直方图对应的直方图指标的示意图。图2中，包含59个adc直方图指标，具体adc直方图指标参见表3，59个adc直方图指标。
[0087]
表3 59个adc直方图指标
[0088][0089]
值得说明的是，提取测试的目标对象或者训练的目标样本的基于影像组学的第一特性目标数据或者第一特性样本数据，可以使用开源python包pyradiomics软件对各个感兴趣区域进行影像组学特征提取，获得各个多模态样本图像的影像组学特征作为基于影像组学的第一特性目标数据或者第一特性样本数据样本，即获得各个多种特征序列的影像组学特征作为基于影像组学的第一特性目标数据或者第一特性样本数据样本。由于样本对象存在严重的数据不均衡，还可以对第一特性样本数据样本对应的标签数据进行数据标准化，再用合成少数类过采样(smote)算法对数据进行类别均衡，通过引入合成的特征样本对少数类患有三阴性乳腺癌的样本对象进行过采样，再进行后续处理，以克服数据类别不均衡带来的消极影响。
[0090]
优选地，影像组学特征包括109个特征。
[0091]
示例性地，将多个影像组学特征可以分为三类，分别是形状特征、一阶统计学特征(直方图分析)和二阶统计学特征(图像灰度分布，俗称纹理特征)，参见表4，109个影像组学特征。
[0092]
表4 109个影像组学特征
[0093]
[0094]
值得说明的是，在测试过程中和在训练过程中，对adc测试图像进行直方图指标提取和对多模态测试图像进行影像组学特征提取的具体步骤均可使用步骤s21～s23中使用到的直方图指标提取、对多模态测试图像进行影像组学特征提取方式。
[0095]
步骤s22、对多种第二图像数据进行不同的组合，对应得到多个组合序列，并依次对每个组合序列按照样本对象进行融合，对应得到基于影像组学特征的第二特性样本数据。
[0096]
示例性地，对第二图像数据中的adc序列、dwi序列、t2wi序列和dce2序列进行组合，可以得到11种组合序列，包括：adc+dwi、adc+t2wi、adc+dce2、dwi+t2wi、dwi+dce2、t2wi+dce2、adc+dwi+t2wi、adc+dwi+dce2、adc+t2wi+dce2、dwi+t2wi+dce2、adc+dwi+t2wi+dce2，其中，每种组合序列至少包含了两种不同的特征序列。
[0097]
值得说明的是，依次对每个组合序列按照样本对象进行融合，对应得到基于影像组学特征的第二特性样本数据，包括：对所述组合序列中的多种特征序列按照同一样本对象进行融合，对应得到基于影像组学特征的第二特性目标数据；其中，所述组合序列包含至少两种特征序列。具体地，依次根据不同的特征序列，获得所述多个样本对象对应的基于影像组学的第四特性目标数据，并根据所述组合序列，计算所述多个样本对象对应的所述第四特性目标数据的转换矩阵；根据所述转换矩阵，将属于同一样本对象的特征序列对应的第四特性目标数据进行融合，对应得到用于基于影像组学特征的第二特性目标数据。值得注意的是，此时获取到第二特性目标数据用于训练。
[0098]
需要说明的是，针对每个组合序列所包括的至少两种mri序列，每种mri序列下的每个样本对象的第一特性样本数据样本中均包括有上述的109个影像组学特征，mri序列包括：adc序列、dwi序列、t2wi序列和dce2序列。对于每一个影像组学特征，可以根据该组合序列所包括的所有样本对象的第一特性样本数据样本，获得所述多个目标对象对应的基于影像组学的第四特性目标数据，根据第四特性目标数对应的组合序列，计算所述多个目标对象对应的所述第四特性目标数据的转换矩阵；具体地，构造出每一个影像组学特征的多序列特征矩阵，该多序列特征矩阵包括基于该组合序列所需融合的各种mri序列的特征矩阵，再基于所提出的特征融合方法，从多序列特征矩阵中计算获得每个影像组学特征的转换矩阵，然后再根据转换矩阵，对每个影像组学特征的多序列特征矩阵进行融合，获得每个影像组学特征的第四特性样本数据，即得到多个目标对象对应的所述第四特性目标数据的转换矩阵。
[0099]
其中，根据步骤s22得到第二特性样本数据的过程包括子步骤s221～s238，参见图5，是本发明实施例提供的乳腺癌图像的多分类方法的得到第二特性样本数据获取的流程示意图。示例性地，对于每个组合序列，对109个影像组学特征的每一个影像组学特征都执行一遍以下计算过程，具体如下：
[0100]
子步骤s221、根据影像组学特征的特征序列，并根据得到的多序列特征矩阵，计算各类样本对象的第一特征向量。
[0101]
具体地，根据影像组学特征的特征序列，并根据得到的多序列特征矩阵，计算各类样本对象的第一特征向量和所有样本对象的第一特征向量均值。
[0102]
优选地，样本对象的第一特征向量以及所有样本对象的第一特征向量均值可分别表示为：
[0103][0104][0105]
其中，c(c＝2)代表肿瘤类别数，ni代表第i类的样本数，i＝1,
…
,c；x
ij
代表第i类的第j个样本，j＝1,2,
…
,ni。
[0106]
子步骤s222、根据所述第一特征向量，计算多序列特征矩阵的类间散射矩阵以及协方差矩阵。
[0107]
具体地，根据所述第一特征向量和所述所有样本对象的第一特征向量均值，计算多序列特征矩阵的类间散射矩阵以及协方差矩阵。
[0108]
优选地，多序列特征矩阵的类间散射矩阵以及协方差矩阵可以分别表示为：
[0109][0110][0111]
其中，t为转置符号。
[0112]
子步骤s223、根据类间散射矩阵以及协方差矩阵，并将得到类间散射矩阵的转置矩阵对角化，得到对角化后的第二特征向量矩阵。
[0113]
优选地，所述类间散射矩阵的转置矩阵可以表示为：
[0114]stbx
＝φ
bxt
φ
bx
.
[0115]
优选地，第二特征向量矩阵可以表示为：
[0116][0117]
其中，代表特征值矩阵。
[0118]
子步骤s224、根据所述第二特征向量矩阵，获取前r个最大的第一特征值对应的第三特征向量，并将r个最大的第一特征值对应的第三特征向量组成第三特征向量矩阵；其中，r为正整数。
[0119]
优选地，第三特征向量矩阵可以表示为：
[0120]qt
(φ
bxt
φ
bx
)q＝λr×r，
[0121]
其中，r代表融合后的维度，优选地，r＝1。
[0122]
子步骤s225、根据所述类间散射矩阵、所述协方差矩阵和所述第三特征向量矩阵，得到所述类间散射矩阵前r个第二特征值和对应的第四特征向量。
[0123]
优选地，所述第二特征值λ
(r
×
r)
及其对应的第四特征向量之间的关系式可以表示为：
[0124][0125]
子步骤s226、根据前r个第二特征值和对应的第四特征向量，获得每个影像组学特征的转换矩阵。
[0126]
可以理解的是，根据当前计算的组合序列，依次根据不同的特征序列，获得所述多个目标对象对应的基于影像组学的第四特性目标数据，计算多个目标对象对应的所述第四特性目标数据的转换矩阵。
[0127]
优选地，所述转换矩阵可以表示为：
[0128][0129]
子步骤s227、根据每个影像组学特征的多序列特征矩阵和对应的转换矩阵，对每个影像组学特征的多序列特征矩阵进行融合，得到融合后的第一融合向量。
[0130]
优选地，所述第一融合向量可以表示为：
[0131]
f＝w
t
x
p
×n，
[0132]
其中，p代表每个组合序列所需融合的mri序列数，n代表样本数，优选地，(p＝2,3,4)。
[0133]
子步骤s228、依次遍历每个组合序列，分别得到对应的第一融合向量，并将所有第一融合向量进行拼接，根据得到的第二融合向量，按照不同样本对象进行划分，获得与多个样本对象一一对应的基于影像组学的第二特性样本数据。
[0134]
值得说明的是，对于每一个组合序列(组合序列)来说，重复执行以上子步骤s221-s227，直至遍历109个影像组学特征之后，可以获得每个影像组学特征的第一融合向量，然后将所有影像组学特征的第一融合向量进行拼接，获得第二融合向量，该第二融合向量对应于所有样本对象，因此可以根据不同样本对象对第二融合向量进行划分，获得与多个样本对象一一对应的多个基于影像组学的第二特性样本数据。可以理解的是，多个第二特性样本数据也与其所属的样本对象的标签数据相对应。
[0135]
示例性地，根据不同样本对象对第二融合向量进行划分，可以获得与n个样本对象一一对应的n个基于影像组学的第二特性样本数据；其中，n为样本对象的数量。可以理解的是，n个第二特性样本数据也与其所属的样本对象的标签数据相对应。
[0136]
或者，在子步骤s225后执行子步骤s236～s228，具体为：
[0137]
子步骤s236、根据前r个第二特征值和对应的第四特征向量，获得每个影像组学特征的转换矩阵，根据每一个组合序列，拼接所述转换矩阵，得到融合转换矩阵。
[0138]
子步骤s237、根据每个影像组学特征的多序列特征矩阵和所述融合转换矩阵，对每个影像组学特征的多序列特征矩阵进行融合，得到融合后的第二融合向量。
[0139]
子步骤s238、依次遍历每个组合序列，分别得到对应的第二融合向量，根据得到的多个第二融合向量，按照不同样本对象进行划分，获得与多个样本对象一一对应的基于影像组学的第二特性样本数据。
[0140]
示例性地，直至遍历所有组合序列之后，即可获得l个最终的转换矩阵以及l个第二融合向量，每个第二融合向量包括n个基于影像组学的第二特性样本数据，该n个基于影像组学的第二特征数据样本是融合了其所属的组合序列所需融合的所有mri序列而得到的；其中，l为mri序列进行组合的组合序列个数，n为样本对象的数量。
[0141]
步骤s23、将所述第一特性样本数据和所述第二特性样本数据进行结合，根据得到的第三特性样本数据，将所述第一特性样本数据和所述第二特性样本数据进行结合，根据得到的第三特性样本数据，分别对初始的第一分类网络进行训练，对应得到训练好的第一分类网络；其中，所述第一分类网络包含一个或者多个分类器。
[0142]
值得说明的是，将第三特性样本数据以及各个特性样本数据对应的标签数据输入到第一分类网络中进行训练，以得到训练好的第一分类网络。
[0143]
具体地，在训练时建立1个第一分类网络，第三特性样本数据分别通过对应的第一分类网络的n种特征选择算法进行特征选取，获得相应的n个特征代表集合；其中，特征代表集合与特征选择算法一一对应，每一特征代表集合均包括指定的n个重要的有意义的特征代表样本，特征代表集合对应的标签数据与其所属的第三特性样本数据的标签数据相同；然后将多个特征代表集合以及各个特征代表集合对应的标签数据分别依次输入到m个不同的分类器中进行训练。
[0144]
若设置n种特征选择算法和m个分类器，将每个组合序列的基于影像组学的第三特性样本数据以及对应的标签数据输入到上述的m
×
n个分类模型的每个分类模型中，采用n折交叉验证，每个分类模型中的指定特征选择算法会先获取特征代表集合，再把这个特征代表集合输入到分类器中调用fit函数进行训练，保存并输出第一分类结果。
[0145]
优选地，n的取值可以为15，m的取值可以为10。
[0146]
示例性地，15种特征选择算法和10个分类器分别如下表5，可用的特征选择算法和分类器。
[0147]
表5可用的特征选择算法和分类器
[0148][0149]
以上15种特征选择算法和10个不同的分类器之间交叉组合，可以形成150个分类模型组成多分类模型系统。具体地，可以采用python编程语言环境下的scikit-learn机器学习软件包，针对不同的分类器进行训练，并与以上15种特征选择算法进行组合，获得150个分类模型。
[0150]
值得说明的是，还需将所述第二特性目标数据作为训练好的第三分类网络的输入，以输出第三分类结果；其中，所述第三分类网络包含一个或者多个分类器。
[0151]
具体地，得到训练好的第三分类网络包括：对每个组合序列均建立对应的第三分类网络，依次将每个组合序列的基于影像组学的第三特性样本数据分别通过对应的第三分类网络的n种特征选择算法进行特征选取，获得相应的n个特征代表集合。可以理解的是，在训练时构建了多个初始的子分类网络，每个初始的子分类网络对应一种组合序列，将训练后的性能最优的子分类网络作为训练好的第三分类网络；其中，特征代表集合与特征选择算法一一对应，每一特征代表集合均包括指定的n个重要的有意义的特征代表样本，特征代表集合对应的标签数据与其所属的第二特性样本数据的标签数据相同；然后将多个特征代
表集合以及各个特征代表集合对应的标签数据分别依次输入到m个不同的分类器中进行训练，以构建l个子分类网络；其中，l为组合序列的个数。
[0152]
换句话说，每一个子分类网络包括多个分类模型，根据特征选择算法的种数n与分类器的个数m确定多分类模型的个数，可以计算得到m
×
n各多分类模型，n和m均为正整数；在多分类模型系统框架下，可以理解的是，每个初始的子分类网络对应处理一种组合序列，每个初始的分类网络可以包含m
×
n个分类模型。
[0153]
并且，根据多个训练好的子分类网络，依次计算每个子分类网络在对应的组合序列下的auc指标；选择auc指标最优的组合序列作为目标组合序列，根据所述目标组合序列，对多个目标对象的第一图像数据的特征序列进行组合；其中，每个子分类网络包含一个或者多个分类器，并选择auc指标最优的子分类网络为训练好的第三分类网络。从而根据得到的预设的目标组合序列，以使对多个目标对象的第一图像数据的特征序列进行组合。
[0154]
具体地，在训练过程中，将n个样本对象对应的第二特性样本数据和第二特性样本数据对应的标签作为初始的多个子分类网络的输入，每个子分类网络包含多个分类模型，采用n折交叉验证，每个分类模型中的指定特征选择算法会先获取特征代表集合，再把这个特征代表集合输入到分类器中调用fit函数进行训练，得到对应训练好的第三分类网络。在测试或者直接使用过程中，直接使用训练好的第三分类网络，将第二特性目标数据作为训练好的第三分类网络的输入，输出第三分类结果。
[0155]
示例性地，根据初始的第一分类网络的150个分类模型的分类结果，计算各个分类模型的auc(area under curve)，并以这些分类模型的平均auc作为整个的多分类模型系统的性能指标，用于评估不同组合序列融合后的多分类模型系统的分类性能，其中auc的取值范围在0.5和1之间。auc越接近1.0，真实性越高，说明分类性能越好。单一序列与组合序列的分类性能如下表6，单一序列与组合序列的性能(auc)一览表。
[0156]
表6单一序列与组合序列的性能(auc)一览表
[0157][0158]
从上表6可知，组合多个mri序列后，在auc性能指标方面，组合序列所获得的auc总体上高于单一序列的auc；其中取得最佳性能的是adc+dwi+t2wi+dce2组合序列，auc值为
0.828，比单一序列中最优的adc序列的值(auc＝0.808)都高，因此，将组合序列adc+dwi+t2wi+dce2所对应的子分类网络作为训练好的第三分类网络，并将组合序列adc+dwi+t2wi+dce2作为预设的目标组合序列以使进行测试或者直接使用。
[0159]
值得注意的是，在本实施例中，优选根据各组合序列的auc性能指标，选取性能最优的子分类网络对应的分类模型为训练好的第三分类网络，即在测试或者直接使用的过程中，只需根据第三分类网络对第二特性目标数据进行处理，输出对应的第三分类结果即可。
[0160]
值得说明的是，在测试或者直接使用过程中，还需将第一特性目标数据作为训练好的第二分类网络的输入，以使进行分类，具体为：将所述第一特性目标数据作为训练好的第二分类网络的输入，以输出第二分类结果；其中，所述第二分类网络包含一个或者多个分类器。
[0161]
得到训练好的第二分类网络，具体为：第二图像数据对应的将各个基于adc直方图的第一特性样本数据和第一特性样本数据对应的标签作为初始的第二分类网络的输入，初始的第二分类网络包含一个或者多个分类器。
[0162]
优选地，构建初始的第二分类网络包含1个分类网络，其中，第二分类网络包含多个分类器，与训练好的第一分类网络类似，根据n种特征选择算法和m个分类器，初始的第二分类网络有m
×
n个分类模型。在训练过程中，将n个样本对象对应的n个基于adc直方图的第一特性样本数据和第一特性样本数据对应的标签作为初始的第二分类网络的输入，采用n折交叉验证，每个分类模型中的指定特征选择算法会先获取特征代表集合，再把这个特征代表集合输入到分类器中调用fit函数进行训练，得到对应训练好的第二分类网络。在测试或者直接使用过程中，直接使用训练好的第一分类网络，将第一特性目标数据作为训练好的第二分类网络的输入，输出第二分类结果。
[0163]
本发明提供了对初始的第一分类网络、初始的第二分类网络和初始的第三分类网络的训练过程，参见图6，是本发明实施例提供的乳腺癌图像的多分类方法的训练过程的流程示意图。通过对样本对象的特征序列的提取，得到包含adc的直方图特征的第一特性样本数据；其中，第一特性样本数据包括肿瘤增殖负荷参数；对样本对象的第二图像数据进行特征提取，还得到包含多种特征序列的组合序列的影像组学特征；其中，组合序列包括11种；将第一特性样本数据和第二特性样本数据分别作为初始的第二分类网络和初始的第三分类网络的输入，对初始的第二分类网络和初始的第三分类网络分别进行训练；并且，将第一特性样本数据和第二特性样本数据进行结合，得到包含adc的直方图特征和多种特征序列的组合序列的影像组学特征的第三特性样本数据，将第三特性样本数据作为第一分类网络的输入进行训练；其中，初始的第一分类网络、初始的第二分类网络和初始的第三分类网络均为多分类模型，初始的第一分类网络、初始的第二分类网络和初始的第三分类网络分别包含1个分类网络、l个子分类网络和1个分类网络；l为组合序列的个数。
[0164]
可以根据多分类模型系统包括的150个分类模型中最优的分类模型结果比较第二分类网络、第三分类网络以及第一分类网络的分类性能，用于衡量模型结果的性能指标可以为受试者工作特性曲线下面积(the area under the receiver operative characteristic curve,auc)、分类准确率(accuracy,acc)、灵敏度(sensibility,sen)和特异度(specificity,spe)。其中auc的取值范围在0.5和1之间、剩余三个指标的取值范围在0-1之间。auc、准确率、灵敏度和特异度的值越接近1.0，真实性越高，说明分类性能越好。
第一分类网络、第二分类网络以及第三分类网络的auc最大的分类模型的分类性能如下表7，3个分类网络的auc最大的分类模型的分类性能比较。其中f代表使用wilcoxon符号秩检验比较每个分类网络与第一分类网络的性能，p值＜0.05认为具有统计学差异，以粗体表示。
[0165]
表7 3个分类网络的auc最大的分类模型的分类性能比较
[0166][0167]
从上表7可知，当仅使用adc序列的直方图指标(第二分类网络)时就已经能够获得较好的三阴性乳腺癌与非三阴性乳腺癌的鉴别性能(auc＝0.808)，这证实了使用全肿瘤adc直方图的有效性；当仅使用分类性能最好的组合序列(adc+dwi+t2wi+dce2)的影像组学特征时，相比于仅使用adc直方图指标，分类性能有较小幅度的提升(auc＝0.818)；而当结合adc直方图指标和adc+dwi+t2wi+dce2的影像组学特征时，分类性能有较大幅度的提升(auc＝0.839)，且提升具有统计学差异。
[0168]
此外，本发明根据第一分类网络的150个模型中的特征筛选总次数进行排序，分析了按照重要性前十的特征的分析，参见图7，是本发明实施例提供的第一分类网络的特征筛选的示意图。从上图7中可知，前10个特征均为肿瘤增殖负荷(tpb)相关指标，证明tpb指标在鉴别三阴性乳腺癌与非三阴性乳腺癌中发挥了重要作用。
[0169]
优选地，将三阴性乳腺癌的样本设置成了阳性病例，非三阴性乳腺癌的样本设置成了阴性病例，因此各个分类网络的auc可以表示为：
[0170][0171]
其中，∑
insi
∈1class代表将证实为三阴性乳腺癌的样本序号加起来，rank
insi
代表第i个证实为三阴性乳腺癌的样本的排列序号，根据分类模型输出的概率得分从小到大排列；n0为证实为非三阴性乳腺癌的个数，n1为三阴性乳腺癌的个数。
[0172]
优选地，各个分类网络的准确率可以表示为：
[0173][0174]
优选地，各个分类网络的灵敏度可以表示为：
[0175][0176]
优选地，各个分类网络的特异度可以表示为：
[0177][0178]
其中，tn是真实类别与预测类别均为阴性的病例样本总数，tp是真实类别与预测类别均为阳性的病例样本总数，fn是真实类别为阳性，而预测类别为阴性的病例样本总数，fp是真实类别为阴性，而预测类别为阳性的病例样本总数。
[0179]
本发明采用全肿瘤表观扩散系数成像序列直方图作为基于表观扩散系数成像序
列直方图的第一特性样本数据，能够探究肿瘤增殖负荷指标对于三阴性乳腺癌与非三阴性乳腺癌分类性能的影响，这是由于利用基于全肿瘤表观扩散系数成像序列直方图的形式可以完全反映肿瘤的异质性信息；其次，通过对所有不同的mri序列进行组合，有利于多序列信息进行互补，将获得的多个基于影像组学特征的第二特性目标数据与基于全肿瘤表观扩散系数成像序列直方图的第一特性目标数据进行融合后作为第一分类网络的输入，可以构建出性能优良、稳健的分类系统，能够实现乳腺癌图像更好的分类效果。采用本发明不仅可以充分利用肿瘤整体的表观扩散系数成像序列信息，还可以融合来自多个mri序列的成像信息进行分类，融合后的成像信息可以更好地描述肿瘤的特性，进而可以提高分类准确性，以减轻进行人工分类的工作量，并提高效率。
[0180]
参见图8，是本发明实施例提供的乳腺癌图像的多分类装置的结构示意图，包括：第一特性目标数据单元、第二特性目标数据单元、第三特性目标数据单元和第一分类网络单元。
[0181]
第一特性目标数据单元，用于根据多个目标对象待分类的第一图像数据，获取对应的基于全肿瘤表观扩散系数成像序列直方图的第一特性目标数据；其中，所述第一图像数据包含多种特征序列，所述表观扩散系数成像序列直方图包括肿瘤增殖负荷。
[0182]
第二特性目标数据单元，用于根据预设的目标组合序列，对多个目标对象的第一图像数据的特征序列进行组合，并将得到的组合序列结果按照目标对象进行融合，对应得到基于影像组学特征的第二特性目标数据。
[0183]
其中，将得到的组合序列按照目标对象进行融合，对应得到基于影像组学特征的第二特性目标数据，包括：对所述组合序列中的多种特征序列按照同一目标对象进行融合，对应得到基于影像组学特征的第二特性目标数据；其中，所述组合序列包含至少两种特征序列。
[0184]
具体地，对所述组合序列中的多种序列按照同一目标对象进行融合，对应得到基于影像组学特征的第二特性目标数据，包括：依次根据不同的特征序列，获得所述多个目标对象对应的基于影像组学的第四特性目标数据，并根据所述组合序列，计算所述多个目标对象对应的所述第四特性目标数据的转换矩阵；根据所述转换矩阵，将属于同一目标对象的特征序列对应的第四特性目标数据进行融合，对应得到基于影像组学特征的第二特性目标数据。
[0185]
其中，根据预设的目标组合序列，对多个目标对象的第一图像数据的特征序列进行组合，包括：根据多个训练好的子分类网络，依次计算每个子分类网络在对应的组合序列下的auc指标；选择auc指标最优的组合序列作为目标组合序列，根据所述目标组合序列，对多个目标对象的第一图像数据的特征序列进行组合；其中，每个子分类网络包含一个或者多个分类器，并选择auc指标最优的子分类网络为训练好的第三分类网络。
[0186]
此外，还包括：将所述第一特性目标数据作为训练好的第二分类网络的输入，以输出第二分类结果；其中，所述第二分类网络包含一个或者多个分类器。并且，将所述第二特性目标数据作为训练好的第三分类网络的输入，以输出第三分类结果；其中，所述第三分类网络包含一个或者多个分类器。
[0187]
第三特性目标数据单元，用于将所述第一特性目标数据和所述第二特性目标数据进行结合，得到第三特性目标数据。
[0188]
第一分类网络单元，用于将所述第三特性目标数据作为训练好的第一分类网络的输入，以使输出第一分类结果；其中，所述第一分类网络包含一个或者多个分类器。
[0189]
乳腺癌图像的多分类装置还包括：第二分类网络单元和第三分类网络单元；其中，第二分类网络用于根据第一特性样本数据单元传输的第一特性样本数据进行乳腺癌图像的分类，对应得到第二分类结果；第三分类网络用于根据第二特性样本数据单元传输的第二特性样本数据进行乳腺癌图像的分类，对应得到第三分类结果。
[0190]
值得说明的是，第一特性目标数据单元用于根据待分类的第一图像数据，获得全肿瘤表观扩散系数成像序列直方图的第一特性目标数据，并将得到的第一特性目标数据传输给第二特性目标数据单元、第三特性目标数据单元和第二分类网络单元；根据预设的目标组合序列，第二特性目标数据单元接收到第一特性目标数据后，计算得到基于影像组学特征的第二特性目标数据，并将得到的第二特性目标数据传输给第三特性目标数据单元和第三分类网络单元；第三特性目标数据单元接收到第一特性目标数据和第二特性目标数据后，对二者进行结合，得到第三特性目标数据，第三特性目标数据单元将第三特性目标数据传输给第一分类网络单元。第一分类网络单元、第二分类网络单元和第三分类网络单元分别得到第三特性目标数据、第一特性目标数据和第二特性目标数据后，分别进行乳腺癌图像的分类，对应分别输出第一分类结果、第二分类结果和第三分类结果。
[0191]
此外，所述乳腺癌图像的多分类装置还包括：第一训练单元、第二训练单元、第三训练单元、第一特性样本数据单元、第二特性样本数据单元和第三特性样本数据单元；其中，第一训练单元、第二训练单元、第三训练单元分别用于对初始的第一分类网络、初始的第二分类网络和初始的多个子分类网络进行训练，得到训练好的第一分类网络、训练好的第二分类网络和训练好的第三分类网络，并将得到的训练好的第一分类网络、训练好的第二分类网络和训练好的第三分类网络分别传输给第一分类网络单元、第二分类网络单元和第三分类网络单元，以使分别进行乳腺癌分类，并分别输出对应的分类结果。
[0192]
其中，第一特性样本数据单元用于根据训练的第二图像数据，获得全肿瘤表观扩散系数成像序列直方图的第一特性样本数据，并将得到的第一特性样本数据传输给第二特性样本数据单元、第三特性样本数据单元和第二训练单元；根据预设的样本组合序列，第二特性样本数据单元接收到第一特性样本数据后，计算得到基于影像组学特征的第二特性样本数据，并将得到的第二特性样本数据传输给第三特性样本数据单元和第三训练单元；第三特性样本数据单元接收到第一特性样本数据和第二特性样本数据后，对二者进行结合，得到第三特性样本数据，第三特性样本数据单元将第三特性样本数据传输给第一训练单元。第一训练单元、第二训练单元和第三训练单元分别得到第三特性样本数据、第一特性样本数据和第二特性样本数据后，分别进行乳腺癌图像的训练，对应分别得到的训练好的第一分类网络、训练好的第二分类网络和训练好的第三分类网络分别传输给第一分类网络单元、第二分类网络单元和第三分类网络单元，分别进行乳腺癌分类，以使分别输出分类结果。
[0193]
得到训练好得第一分类网络包括步骤s21～s23，具体为：
[0194]
步骤s21、根据多个样本对象待分类的第二图像数据，获取对应的基于全肿瘤表观扩散系数成像序列直方图的第一特性样本数据；其中，所述第二图像数据包含多种特征序列，所述表观扩散系数成像序列直方图包括肿瘤增殖负荷。
[0195]
步骤s22、对多种第二图像数据进行不同的组合，对应得到多个组合序列，并依次对每个组合序列按照样本对象进行融合，对应得到基于影像组学特征的第二特性样本数据。
[0196]
步骤s23、将所述第一特性样本数据和所述第二特性样本数据进行结合，根据得到的第三特性样本数据，分别对初始的第一分类网络进行训练，对应得到训练好的第一分类网络；其中，所述第一分类网络包含一个或者多个分类器。
[0197]
优选地，第一图像数据的特征序列包含表观扩散系数成像序列、扩散加权成像序列、t2加权成像序列和动态增强扫描的早期序列。
[0198]
参见图9，是本发明实施立体提供的计算机可读存储介质的结构示意图，包括存储器401和处理器402，所述计算机可读存储介质存储计算机程序；其中，所述计算机程序使得计算机执行如所述的乳腺癌图像的多分类方法。
[0199]
本发明采用全肿瘤表观扩散系数成像序列直方图作为基于表观扩散系数成像序列直方图的第一特性目标数据，能够探究肿瘤增殖负荷指标对于三阴性乳腺癌与非三阴性乳腺癌分类性能的影响，这是由于利用基于全肿瘤表观扩散系数成像序列直方图的形式可以完全反映肿瘤的异质性信息；其次，通过对所有不同的序列进行组合，有利于多序列信息进行互补，将获得的多个基于影像组学特征的第二特性目标数据与基于全肿瘤表观扩散系数成像序列直方图的第一特性目标数据进行融合后作为第一分类网络的输入，可以构建出性能优良、稳健的分类系统，能够实现乳腺癌图像更好的分类效果。采用本发明不仅可以充分利用肿瘤整体的表观扩散系数成像序列信息，还可以融合来自多个序列的成像信息进行分类，融合后的成像信息可以更好地描述肿瘤的特性，进而可以提高分类准确性，以减轻进行人工分类的工作量，并提高效率。
[0200]
本领域内的技术人员应明白，本技术的实施例还可提供包括计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0201]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0202]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0203]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0204]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

技术特征：
1.一种乳腺癌图像的多分类方法，其特征在于，包括：根据多个目标对象待分类的第一图像数据，获取对应的基于全肿瘤表观扩散系数成像序列直方图的第一特性目标数据；其中，所述第一图像数据包含多种特征序列，所述表观扩散系数成像序列直方图包括肿瘤增殖负荷；根据预设的目标组合序列，对多个目标对象的第一图像数据的特征序列进行组合，并将得到的组合序列结果按照目标对象进行融合，对应得到基于影像组学特征的第二特性目标数据；将所述第一特性目标数据和所述第二特性目标数据进行结合，得到第三特性目标数据，将所述第三特性目标数据作为训练好的第一分类网络的输入，以使输出第一分类结果；其中，所述第一分类网络包含一个或者多个分类器。2.如权利要求1所述的乳腺癌图像的多分类方法，其特征在于，所述将得到的组合序列按照目标对象进行融合，对应得到基于影像组学特征的第二特性目标数据，包括：对所述组合序列中的多种特征序列按照同一目标对象进行融合，对应得到基于影像组学特征的第二特性目标数据；其中，所述组合序列包含至少两种特征序列。3.如权利要求2所述的乳腺癌图像的多分类方法，其特征在于，所述对所述组合序列中的多种特征序列按照同一目标对象进行融合，对应得到基于影像组学特征的第二特性目标数据，具体为：依次根据不同的特征序列，获得所述多个目标对象对应的基于影像组学的第四特性目标数据，并根据所述组合序列，计算所述多个目标对象对应的所述第四特性目标数据的转换矩阵；根据所述转换矩阵，将属于同一目标对象的特征序列对应的第四特性目标数据进行融合，对应得到基于影像组学特征的第二特性目标数据。4.如权利要求1所述的乳腺癌图像的多分类方法，其特征在于，还包括：将所述第一特性目标数据作为训练好的第二分类网络的输入，以输出第二分类结果；其中，所述第二分类网络包含一个或者多个分类器。5.如权利要求1所述的乳腺癌图像的多分类方法，其特征在于，还包括：将所述第二特性目标数据作为训练好的第三分类网络的输入，以输出第三分类结果；其中，所述第三分类网络包含一个或者多个分类器。6.如权利要求1所述的乳腺癌图像的多分类方法，其特征在于，得到所述训练好的第一分类网络包括：根据多个样本对象待分类的第二图像数据，获取对应的基于全肿瘤表观扩散系数成像序列直方图的第一特性样本数据；其中，所述第二图像数据包含多种特征序列，所述表观扩散系数成像序列直方图包括肿瘤增殖负荷；对多种第二图像数据进行不同的组合，对应得到多个组合序列，并依次对每个组合序列按照样本对象进行融合，对应得到基于影像组学特征的第二特性样本数据；将所述第一特性样本数据和所述第二特性样本数据进行结合，根据得到的第三特性样本数据，分别对初始的第一分类网络进行训练，对应得到训练好的第一分类网络；其中，所述第一分类网络包含一个或者多个分类器。7.如权利要求1所述的乳腺癌图像的多分类方法，其特征在于，所述根据预设的目标组
合序列，对多个目标对象的第一图像数据的特征序列进行组合，包括：根据多个训练好的子分类网络，依次计算每个子分类网络在对应的组合序列下的auc指标；选择auc指标最优的组合序列作为目标组合序列，根据所述目标组合序列，对多个目标对象的第一图像数据的特征序列进行组合；其中，每个子分类网络包含一个或者多个分类器，并选择auc指标最优的子分类网络为训练好的第三分类网络。8.如权利要求2所述的乳腺癌图像的多分类方法，其特征在于，所述第一图像数据的特征序列包含表观扩散系数成像序列、扩散加权成像序列、t2加权成像序列和动态增强扫描的早期序列。9.一种乳腺癌图像的多分类装置，其特征在于，包括：第一特性目标数据单元，用于根据多个目标对象待分类的第一图像数据，获取对应的基于全肿瘤表观扩散系数成像序列直方图的第一特性目标数据；其中，所述第一图像数据包含多种特征序列，所述表观扩散系数成像序列直方图包括肿瘤增殖负荷；第二特性目标数据单元，用于根据预设的目标组合序列，对多个目标对象的第一图像数据的特征序列进行组合，并将得到的组合序列结果按照目标对象进行融合，对应得到基于影像组学特征的第二特性目标数据；第三特性目标数据单元，用于将所述第一特性目标数据和所述第二特性目标数据进行结合，得到第三特性目标数据；第一分类网络单元，用于将所述第三特性目标数据作为训练好的第一分类网络的输入，以使输出第一分类结果；其中，所述第一分类网络包含一个或者多个分类器。10.一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-8任一所述的乳腺癌图像的多分类方法。

技术总结
本发明公开了一种乳腺癌图像的多分类方法、装置及存储介质，包括：根据多个目标对象待分类的第一图像数据，获取对应的基于全肿瘤表观扩散系数成像序列直方图的第一特性目标数据；根据预设的目标组合序列，对多个目标对象的第一图像数据的特征序列进行组合，并将得到的组合序列结果按照目标对象进行融合，对应得到基于影像组学特征的第二特性目标数据；将第一特性目标数据和第二特性目标数据进行结合，得到第三特性目标数据，将第三特性目标数据作为训练好的第一分类网络的输入，以使输出第一分类结果；能够提高乳腺癌图像的分类效果。能够提高乳腺癌图像的分类效果。能够提高乳腺癌图像的分类效果。


技术研发人员：杨蕊梦 甄鑫 樊浩 梁芳蓉 张婉丽 赖胜圣 韦瑞丽
受保护的技术使用者：广州市第一人民医院（广州消化疾病中心、广州医科大学附属市一人民医院、华南理工大学附属第二医院）
技术研发日：2023.06.13
技术公布日：2023/9/20