肝细胞癌CD34免疫组化图像识别与微血管密度计算方法

肝细胞癌cd34免疫组化图像识别与微血管密度计算方法
技术领域
1.本发明涉及图像识别技术领域，特别是涉及一种肝细胞癌cd34免疫组化图像识别与微血管密度计算方法。


背景技术：

2.肝细胞癌是临床上常见的恶性肿瘤疾病，可发生在任何年龄段。中国的肝癌发病率很高。肝细胞癌的年死亡率在恶性肿瘤死因排名中处于较高的位置，且发病率持续上升。因此，尽早诊断对治疗非常重要。肝癌识别与分割技术的研究对于降低肝癌的死亡率具有重要意义。
3.肝细胞癌的发病是隐蔽的。据统计，在中国约70％的肝细胞癌患者在诊断时已经是晚期肝细胞癌。对于肝细胞癌患者而言，早期诊断的患者治愈率相对较高。因此，肝细胞癌的早期智能诊断对患者的治疗和预后具有重要意义。在医学领域，计算机辅助诊断系统发展迅速。使用计算机对医学影像数据进行客观和定量分析，以帮助医生对病变进行临床诊断，有助于提高医生的诊断准确性和效率。
4.cd34是一种105-115kda糖蛋白，与细胞粘附和初始血管生成有关。它在成熟的细胞中表达较低。研究表明，cd34的阳性表达与肝细胞癌呈正相关。医生观察免疫组织化学染色的cd34切片以帮助判断患者诊断病症。微血管形成与肿瘤的发生、发展密切相关。因此，在进行cd34癌灶区域诊断的同时，需要计算微血管密度(micro-vessel density,mvd)。mvd值可代表cd34在组织中的表达情况，从而定量的反映出微血管的增生情况。
5.传统切片诊断方式全程由医生人工操作完成，其过程复杂、费时费力、依靠长时间的诊断经验。随为解决现有技术中的缺点和不足，本发明提出一种基于深度学习的肝细胞癌cd34病理图像识别与微血管密度计算方法。该方法将深度学习与数字病理切片图像识别与分析相结合，并进行可视化操作生成概率热图，能够较好辅助医生诊断肝细胞癌，具有重要的临床意义。


技术实现要素：

6.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种肝细胞癌cd34免疫组化图像识别与微血管密度计算方法，以解决人工方法诊断过程复杂、费时费力、依靠长时间的诊断经验的问题，并更全面的评估肝细胞癌患者的患病程度，指导接下来的治疗。本发明采用深度学习网络对图像进行二分类，其泛化能力强，鲁棒性高；生成的概率热图直观反应了模型识别结果；微血管密度的计算的可解释性强，简单方便，易于医生操作调整。
7.因此，本发明的技术方案是：
8.根据本发明的第一方面，提供一种肝细胞癌cd34免疫组化图像识别与微血管密度计算方法，所述方法包括：
9.获取原始数据集，所述原始数据集包括cd34全数字切片病理扫描图像数据集；
10.对所述原始数据集进行下采样并对其进行组织区域提取获得组织区域坐标列表，
并将原始数据集划分为训练集和测试集；
11.生成训练集切片的组织区域中的癌灶区域与正常区域掩码，并根据所述癌灶区域与正常区域掩码和组织区域坐标列表进行癌灶区域与正常区域的小图提取；
12.将所述训练集进行数据增广与颜色标准化；
13.将训练集划分为训练子集、验证子集、测试子集；
14.将所述训练子集与所述验证子集放入不同的卷积神经网络进行深度学习模型训练，并利用测试子集对训练后的卷积神经网络模型进行评估以确定训练效果最优的卷积神经网络模型；
15.根据测试集的组织区域坐标列表中每一个坐标对应取得原始切片的一个小图，将各小图进行颜色标准化后放入所述效果最优的卷积神经网络模型得到对应的预测分类置信度；
16.将测试集的预测分类置信度按序拼接并绘制概率热图；
17.基于所述测试集的预测分类置信度，使用阈值进行划分，并填充孔洞，绘制分类预测结果；
18.对分类预测结果为癌灶区的小图进行颜色空间转换，提取棕色部分，计算提取得到的棕色面积与总面积比得到微血管密度。
19.进一步地，所述获取原始数据集具体包括：
20.获取cd34全数字切片病理扫描图像数据集，所述cd34全数字切片病理扫描图像数据集包括cd34全数字切片病理扫描图像及每张扫描图像中所有癌灶区的标注，并已进行数据脱敏；
21.对所述cd34全数字切片病理扫描图像数据集进行质量控制筛选，剔除具有质控问题的切片，所述质控问题包括扫描切片虚焦、染色着色未处于预设范围、超出预设面积的污渍以及超出预设数量的组织细胞重叠中的一种及其组合。
22.进一步地，以2^7或2^6的下采样比例对所述原始数据集进行下采样，所述下采样比例为下采样前图片长度或宽度与下采样后图片长度或宽度的比值。
23.进一步地，所述生成训练集切片的组织区域中的癌灶区域与正常区域掩码，并根据所述癌灶区域与正常区域掩码和组织区域坐标列表进行癌灶区域与正常区域的小图提取，具体包括：
24.在癌灶区域与组织区域提取时，小图大小大于244px*244px，小图所在层为扫描图像的原图所在层。
25.进一步地，所述将所述训练集进行数据增广与颜色标准化，具体包括：
26.通过随机旋转、随机翻转对小图进行增广；
27.通过使用颜色标准化方法对图像进行颜色标准化操作。
28.进一步地，所述将所述训练子集与所述验证子集放入不同的卷积神经网络进行深度学习模型训练，并利用测试子集对训练后的卷积神经网络模型进行评估以确定训练效果最优的卷积神经网络模型，具体包括：
29.不同的卷积神经网络模型包括resnet34、resnet50、vgg19、mobilenet v2、inceptionnet v3中的至少两种；
30.在模型训练时，通过如下公式对图像进行归一化：
31.dst＝(src-128)/128
32.其中src为转换前的小图，dst为转换后的小图，二者均为二维数组形式，且所在区间为[0,255]；
[0033]
训练时输出的损失值采用交叉熵损失；训练时的学习率采用分段衰减策略，设置gamma值和step_size值，每隔step_size轮迭代训练，学习率乘以gamma值；
[0034]
在对模型进行测试与评估时，计算测试集的准确率accuracy、精确率precision、召回率recall、f1分数的值f1score，并计算受试者工作特性曲线的线下面积的值进行综合评定：
[0035][0036][0037][0038][0039]
其中tp为模型预测为阳性的阳性样本；tn为模型预测为阴性的阴性样本；fp为模型预测为阳性的阴性样本；fn为模型预测为阴性的阳性样本。
[0040]
进一步地，所述基于所述测试集的预测分类置信度，使用阈值进行划分，并填充孔洞，绘制分类预测结果，具体包括：
[0041]
通过如下公式计算置信度的阈值：
[0042][0043][0044]
y＝sensitivity+specificity-1
[0045]
其中，sensitivity表示灵敏度，specificity表示特异度，y表示置信度的阈值；
[0046]
将所有连通面积小于阈值th1的面积中所有点的值置零；将连通面积小于阈值th2的面积中所有点的值置一；在组织区域为1但预测区域依然为0的区域，将该点由内向外递归寻找所围面积包含点的数量最大的类别，并置为该类。
[0047]
进一步地，所述对分类预测结果为癌灶区的小图进行颜色空间转换，提取棕色部分，具体包括：
[0048]
基于如下公式，将小图的原始颜色空间bgr转换为hsv颜色空间：
[0049]
dst＝cv2.cvtcolor(src,cv2.color_bgr2hsv)
[0050]
其中src为转换前的小图，dst为转换后的小图；
[0051]
时应设置hsv空间的上界thup和下界thdown以提取棕色部分。
[0052]
根据本发明的第二方面，提供一种肝细胞癌cd34免疫组化图像识别与微血管密度计算装置，所述装置包括处理器，所述处理器被配置为：
[0053]
获取模块，被配置为获取原始数据集，所述原始数据集包括cd34全数字切片病理扫描图像数据集；
[0054]
列表提取模块，被配置为对所述原始数据集进行下采样并对其进行组织区域提取
获得组织区域坐标列表，并将原始数据集划分为训练集和测试集；
[0055]
小图提取模块，被配置为生成训练集切片的组织区域中的癌灶区域与正常区域掩码，并根据所述癌灶区域与正常区域掩码和组织区域坐标列表进行癌灶区域与正常区域的小图提取；
[0056]
训练集处理模块，被配置为将所述训练集进行数据增广与颜色标准化；
[0057]
划分模块，被配置为将训练集划分为训练子集、验证子集、测试子集；
[0058]
训练模块，被配置为将所述训练子集与所述验证子集放入不同的卷积神经网络进行深度学习模型训练，并利用测试子集对训练后的卷积神经网络模型进行评估以确定训练效果最优的卷积神经网络模型；
[0059]
预测模块，被配置为根据测试集的组织区域坐标列表中每一个坐标对应取得原始切片的一个小图，将各小图进行颜色标准化后放入所述效果最优的卷积神经网络模型得到对应的预测分类置信度；
[0060]
热图绘制模块，被配置为将测试集的预测分类置信度按序拼接并绘制概率热图；
[0061]
预测结果绘制模块，被配置为基于所述测试集的预测分类置信度，使用阈值进行划分，并填充孔洞，绘制分类预测结果；
[0062]
提取与计算模块，被配置为对分类预测结果为癌灶区的小图进行颜色空间转换，提取棕色部分，计算提取得到的棕色面积与总面积比得到微血管密度。
[0063]
根据本发明的第三方面，提供一种存储有指令的非暂时性计算机可读存储介质，当所述指令由处理器执行时，执行如本发明任一实施例所述的肝细胞癌cd34免疫组化图像识别与微血管密度计算方法。
[0064]
与现有技术相比，本发明的有益效果在于：
[0065]
1、本发明是一种基于深度学习的肝细胞癌cd34免疫组化病理图像识别与微血管密度计算方法，能够减轻医生压力，充分发挥深度学习的在图像处理领域的优势，实现对组织区域是否有癌变进行精确判别与计算，从而辅助医生对cd34免疫组化病理切片进行诊断。
[0066]
2、本发明结合肝细胞癌cd34免疫组化病理切片的特点，在深度学习图像中的处理流程中对小图进行数据增广、颜色标准化处理，提高模型泛化能力与模型分类的准确性。此外，针对模型输出概率热图，本发明在确保分类精度的基础上对分类二值结果进行后处理以实现对切片的效果增强。
[0067]
3、本发明结合微血管与组织的区分度以及医生在计算mvd时的实际情况，采用颜色空间转换方法进行提取并得到mvd值，具有较好的可解释性，便于调整，易于被医生接受。
附图说明
[0068]
在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的相同附图标记可以表示相似部件的不同实例。附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所发明的实施例进行说明。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。
[0069]
图1为根据本发明实施例的一种肝细胞癌cd34免疫组化图像识别与微血管密度计算方法的流程图。
[0070]
图2为根据本发明实施例的图像增广与颜色标准化示意图。
[0071]
图3为根据本发明实施例的含有医生标注癌灶区域的原始肝细胞癌cd34免疫组化病理切片示意图。
[0072]
图4为根据本发明实施例的采用本发明中模型输出的概率热图。
[0073]
图5为根据本发明实施例的采用本发明中模型输出的二值预测图。
[0074]
图6为根据本发明实施例的采用后处理方法的二值预测图。
[0075]
图7为根据本发明实施例的二值预测图中癌灶区域轮廓与原图的叠加图。
[0076]
图8为根据本发明实施例的含有微血管的cd34免疫组化病理切片小图。
[0077]
图9为根据本发明实施例的采用本发明中微血管提取方法的二值图。
[0078]
图10为根据本发明实施例的一种肝细胞癌cd34免疫组化图像识别与微血管密度计算装置的结构图。
具体实施方式
[0079]
以下列举的部分实施例仅仅是为了更好地对本发明进行说明，但本发明的内容并不局限在应用于所举的实施例中。所以熟悉本领域的技术人员根据上述发明内容对实施方案进行非本质的改进和调整而应用于其他实施例中，仍在本发明的保护范围之内。
[0080]
现在结合说明书附图对本发明做进一步的说明。
[0081]
本发明实施例提供一种肝细胞癌cd34免疫组化图像识别与微血管密度计算方法，以某医院在半年内获取的肝细胞癌cd34免疫组化病理切片图像数据为例进行本发明实施案例的构建。本发明首先采用一个深度学习网络以完成癌灶区域与正常区域的二分类任务，然后对癌灶区域提取微血管计算mvd。本发明基于实施样例的流程图如图1所示，包括以下步骤：
[0082]
s1、获取cd34全数字切片病理扫描图像数据集并进行图像质量控制筛选。
[0083]
在一些实施例中，步骤s1具体包括如下步骤：
[0084]
s1-1、获取某医院半年内的肝细胞癌cd34全数字切片病理扫描图像数据集，其中数据集应包括cd34全数字切片病理扫描图像及每张图像中所有癌灶区的精确标注，并已进行数据脱敏，具体的切片示意图请参考图3所示。
[0085]
s1-2、在进行质量控制筛选过程中，对于扫描切片虚焦、染色着色过浅或过深、有大片污渍、有大片组织细胞重叠等指控问题的切片，应当予以排除。
[0086]
s2、对原始数据集进行下采样并对其进行组织区域提取获得组织区域坐标列表，并按照5:1的比例将原始数据集分别划分为训练集、测试集。
[0087]
在一些实施例中，步骤s2具体包括如下步骤：
[0088]
s2-1、下采样的比例(即下采样前图片长度或宽度:下采样后图片长度或宽度)通常为2^7或2^6。优选下采样比例为2^7，因为2^7比2^6速度要快约4倍，而准确率并没有太大影响。
[0089]
s3、生成训练集切片的组织区域中的癌灶区域与正常区域掩码，并依据掩码和s2中的组织区域坐标列表进行癌灶区域与正常区域的小图提取。
[0090]
在一些实施例中，步骤s3具体包括如下步骤：
[0091]
s3-1、癌灶区域与组织区域提取时，小图大小应大于244px*244px，优选的，小图大小为256px*256px。小图所在层应为扫描图像的原图所在层，一般为40倍率下的图像。如图8所示，为含有微血管的cd34免疫组化病理切片小图。
[0092]
s4、将训练集进行数据增广与颜色标准化操作，如图2所示。
[0093]
在一些实施例中，步骤s4具体包括如下步骤：
[0094]
s4-1、通过随机旋转(旋转90
°
的正整数倍)、随机翻转(上下翻转、左右翻转)对小图进行增广；
[0095]
s4-2、通过使用颜色标准化方法对图像进行颜色标准化操作。建议选用macenko或vahadane方法，优选macenko方法，因为该处理方法具有更快的处理速度和相对较优的处理效果。
[0096]
s5、将训练集按照7:1:2的比例将训练集分别划分为训练子集、验证子集、测试子集。
[0097]
s6、训练分类模型，将s5中的训练子集与验证子集放入不同的卷积神经网络进行深度学习模型训练，并利用测试子集对模型进行评估以选择训练效果最优的模型。
[0098]
在一些实施例中，步骤s6具体包括如下步骤：
[0099]
s6-1、采用pytorch深度学习框架搭建本模型训练的方法；
[0100]
s6-2、对于预训练主干网络模型的选择，可采用resnet34、resnet50、vgg19、mobilenet v2、inceptionnet v3或其他分类模型。从实际训练效果看，推荐由先到后是：resnet34、resnet50、mobilenet v2、inceptionnet v3、vgg19。从实际训练效果看，预训练主干网络模型所用数据集优先选用imagenet数据集、其次是cifar系列数据集。
[0101]
s6-3、模型在训练时进行批标准化与否对于模型结果无显著影响。从训练效率来讲，不需要批标准化；
[0102]
s6-4、在模型训练时，需要对图像进行归一化，从而让模型更快速的收敛。对于新的数据集，并不需要根据数据集计算数据集的均值和标准差，仅使用最基础的归一化方法即可，即：
[0103]
dst＝(src-128)/128
[0104]
其中src为转换前的小图，dst为转换后的小图，二者均为二维数组形式，且所在区间为[0,255]。训练时输出的损失值采用交叉熵损失；训练时采用的优化器为sgd优化器或adam优化器，优选sgd优化器；训练时的学习率采用分段衰减策略，设置适当的gamma和step_size值，每隔step_size轮迭代训练，其学习率就乘以gamma；
[0105]
s6-5、在对模型进行测试与评估时，应计算测试集的准确率(accuracy)、精确率(precision)、召回率(recall)、f1分数的值，并计算受试者工作特性曲线(receiver operating characteristic,roc)的线下面积(area under curve,auc)的值进行综合评定。其公式如下：
[0106][0107]
[0108][0109][0110]
其中tp为模型预测为阳性(癌灶区域)的阳性样本；tn为模型预测为阴性(正常区域)的阴性样本；fp为模型预测为阳性的阴性样本；fn为模型预测为阴性的阳性样本。
[0111]
s7、将s2中测试集的组织区域坐标列表中每一个坐标对应取得原始切片的一个方形小图，将每个小图进行颜色标准化后放入s6中效果最优的卷积神经网络得到对应的预测分类置信度。
[0112]
s8、将s7中测试集的预测分类置信度按序拼接并绘制概率热图，如图4所示。
[0113]
s9、将s8中得到的测试集概率热图使用阈值对置信度进行划分，并采用后处理方法填充孔洞，绘制分类预测结果，如图5所示。
[0114]
在一些实施例中，步骤s9具体包括如下步骤：
[0115]
s9-1、置信度的区间为[0,1]，对于置信度的阈值划分优选使用0.7，也可以用采用约登指数进行更精确的计算，约登指数的计算需用到灵敏度(sensitivity)和特异度(specificity)，其计算公式如下：
[0116][0117][0118]
y＝sensitivity+specificity-1
[0119]
s9-2、后处理方法共包括三个部分，以串联形式由先到后进行运算。它们分别为：剔除算法、填充算法、扩增算法。剔除算法将所有连通面积小于阈值th1的面积中所有点的值置零；填充算法将连通面积小于阈值th2的面积中所有点的值置一；扩增算法在填充算法之后进行操作，应用于组织区域为1但预测区域依然为0的区域，将该点由内向外递归寻找所围面积包含点的数量最大的类别，并置为该类。
[0120]
优选的，后处理算法中th1的值为5，th2的值为20。
[0121]
如图6所示，为采用后处理方法得到的二值预测图，如图7所示，为二值预测图中癌灶区域轮廓与原图的叠加图。
[0122]
s10、对s2中测试集的分类预测结果为癌灶区的方形小图进行颜色空间转换，提取棕色部分，计算提取得到的棕色面积与总面积比即为mvd。
[0123]
在一些实施例中，步骤s10具体包括如下步骤：
[0124]
s10-1、使用opencv读取小图，其原始颜色空间为bgr，应转为hsv颜色空间，需调用opencv函数：
[0125]
dst＝cv2.cvtcolor(src,cv2.color_bgr2hsv)
[0126]
其中src为转换前的小图，dst为转换后的小图；
[0127]
s10-2、提取棕色部分时应设置hsv空间的上界th
up
和下界th
down
。优选的，上界th
up
的值为[11,70,46]，下界th
down
为[20,255,255]。
[0128]
如图9所示，为为采用本发明中微血管提取方法的二值图，本发明采用深度学习网络对图像进行二分类，其泛化能力强，鲁棒性高；生成的概率热图直观反应了模型识别结
果；微血管密度的计算的可解释性强，简单方便，易于医生操作调整。
[0129]
本发明实施例还提供一种肝细胞癌cd34免疫组化图像识别与微血管密度计算装置，如图10所示，所述装置1000包括：
[0130]
获取模块1001，被配置为获取原始数据集，所述原始数据集包括cd34全数字切片病理扫描图像数据集；
[0131]
列表提取模块1002，被配置为对所述原始数据集进行下采样并对其进行组织区域提取获得组织区域坐标列表，并将原始数据集划分为训练集和测试集；
[0132]
小图提取模块1003，被配置为生成训练集切片的组织区域中的癌灶区域与正常区域掩码，并根据所述癌灶区域与正常区域掩码和组织区域坐标列表进行癌灶区域与正常区域的小图提取；
[0133]
训练集处理模块1004，被配置为将所述训练集进行数据增广与颜色标准化；
[0134]
划分模块1005，被配置为将训练集划分为训练子集、验证子集、测试子集；
[0135]
训练模块1006，被配置为将所述训练子集与所述验证子集放入不同的卷积神经网络进行深度学习模型训练，并利用测试子集对训练后的卷积神经网络模型进行评估以确定训练效果最优的卷积神经网络模型；
[0136]
预测模块1007，被配置为根据测试集的组织区域坐标列表中每一个坐标对应取得原始切片的一个小图，将各小图进行颜色标准化后放入所述效果最优的卷积神经网络模型得到对应的预测分类置信度；
[0137]
热图绘制模块1008，被配置为将测试集的预测分类置信度按序拼接并绘制概率热图；
[0138]
预测结果绘制模块1009，被配置为基于所述测试集的预测分类置信度，使用阈值进行划分，并填充孔洞，绘制分类预测结果；
[0139]
提取与计算模块1010，被配置为对分类预测结果为癌灶区的小图进行颜色空间转换，提取棕色部分，计算提取得到的棕色面积与总面积比得到微血管密度。
[0140]
在一些实施例中，所述获取模块被进一步配置为：
[0141]
获取cd34全数字切片病理扫描图像数据集，所述cd34全数字切片病理扫描图像数据集包括cd34全数字切片病理扫描图像及每张扫描图像中所有癌灶区的标注，并已进行数据脱敏；
[0142]
对所述cd34全数字切片病理扫描图像数据集进行质量控制筛选，剔除具有质控问题的切片，所述质控问题包括扫描切片虚焦、染色着色未处于预设范围、超出预设面积的污渍以及超出预设数量的组织细胞重叠中的一种及其组合。
[0143]
在一些实施例中，所述列表提取模块被进一步配置为：以2^7或2^6的下采样比例对所述原始数据集进行下采样，所述下采样比例为下采样前图片长度或宽度与下采样后图片长度或宽度的比值。
[0144]
在一些实施例中，所述小图提取模块被进一步配置为：
[0145]
在癌灶区域与组织区域提取时，小图大小大于244px*244px，小图所在层为扫描图像的原图所在层。
[0146]
在一些实施例中，所述训练集处理模块被进一步配置为：
[0147]
通过随机旋转、随机翻转对小图进行增广；
[0148]
通过使用颜色标准化方法对图像进行颜色标准化操作。
[0149]
在一些实施例中，所述训练模块块被进一步配置为：
[0150]
不同的卷积神经网络模型包括resnet34、resnet50、vgg19、mobilenet v2、inceptionnet v3中的至少两种；
[0151]
在模型训练时，通过如下公式对图像进行归一化：
[0152]
dst＝(src-128)/128
[0153]
其中src为转换前的小图，dst为转换后的小图，二者均为二维数组形式，且所在区间为[0,255]；
[0154]
训练时输出的损失值采用交叉熵损失；训练时的学习率采用分段衰减策略，设置gamma值和step_size值，每隔step_size轮迭代训练，学习率乘以gamma值；
[0155]
在对模型进行测试与评估时，计算测试集的准确率accuracy、精确率precision、召回率recall、f1分数的值f1score，并计算受试者工作特性曲线的线下面积的值进行综合评定：
[0156][0157][0158][0159][0160]
其中tp为模型预测为阳性的阳性样本；tn为模型预测为阴性的阴性样本；fp为模型预测为阳性的阴性样本；fn为模型预测为阴性的阳性样本。
[0161]
在一些实施例中，所述预测结果绘制模块被进一步配置为：
[0162]
通过如下公式计算置信度的阈值：
[0163][0164][0165]
y＝sensitivity+specificity-1
[0166]
其中，sensitivity表示灵敏度，specificity表示特异度，y表示置信度的阈值；
[0167]
将所有连通面积小于阈值th1的面积中所有点的值置零；将连通面积小于阈值th2的面积中所有点的值置一；在组织区域为1但预测区域依然为0的区域，将该点由内向外递归寻找所围面积包含点的数量最大的类别，并置为该类。
[0168]
在一些实施例中，所述提取与计算模块被进一步配置为：
[0169]
基于如下公式，将小图的原始颜色空间bgr转换为hsv颜色空间：
[0170]
dst＝cv2.cvtcolor(src,cv2.color_bgr2hsv)
[0171]
其中src为转换前的小图，dst为转换后的小图；
[0172]
时应设置hsv空间的上界thup和下界thdown以提取棕色部分。
[0173]
需要注意，本实施例提供的肝细胞癌cd34免疫组化图像识别与微血管密度计算装置与在先的肝细胞癌cd34免疫组化图像识别与微血管密度计算方法属于同一技术思路，其
可以起到同样的有益效果，此处不赘述。
[0174]
本发明实施例还提供一种存储有指令的非暂时性计算机可读存储介质，当所述指令由处理器执行时，执行如上任一实施例所述的肝细胞癌cd34免疫组化图像识别与微血管密度计算方法。
[0175]
以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

技术特征：
1.一种肝细胞癌cd34免疫组化图像识别与微血管密度计算方法，其特征在于，所述方法包括：获取原始数据集，所述原始数据集包括cd34全数字切片病理扫描图像数据集；对所述原始数据集进行下采样并对其进行组织区域提取获得组织区域坐标列表，并将原始数据集划分为训练集和测试集；生成训练集切片的组织区域中的癌灶区域与正常区域掩码，并根据所述癌灶区域与正常区域掩码和组织区域坐标列表进行癌灶区域与正常区域的小图提取；将所述训练集进行数据增广与颜色标准化；将训练集划分为训练子集、验证子集、测试子集；将所述训练子集与所述验证子集放入不同的卷积神经网络进行深度学习模型训练，并利用测试子集对训练后的卷积神经网络模型进行评估以确定训练效果最优的卷积神经网络模型；根据测试集的组织区域坐标列表中每一个坐标对应取得原始切片的一个小图，将各小图进行颜色标准化后放入所述效果最优的卷积神经网络模型得到对应的预测分类置信度；将测试集的预测分类置信度按序拼接并绘制概率热图；基于所述测试集的预测分类置信度，使用阈值进行划分，并填充孔洞，绘制分类预测结果；对分类预测结果为癌灶区的小图进行颜色空间转换，提取棕色部分，计算提取得到的棕色面积与总面积比得到微血管密度。2.根据权利要求1所述的肝细胞癌cd34免疫组化图像识别与微血管密度计算方法，其特征在于，所述获取原始数据集具体包括：获取cd34全数字切片病理扫描图像数据集，所述cd34全数字切片病理扫描图像数据集包括cd34全数字切片病理扫描图像及每张扫描图像中所有癌灶区的标注，并已进行数据脱敏；对所述cd34全数字切片病理扫描图像数据集进行质量控制筛选，剔除具有质控问题的切片，所述质控问题包括扫描切片虚焦、染色着色未处于预设范围、超出预设面积的污渍以及超出预设数量的组织细胞重叠中的一种及其组合。3.根据权利要求1所述的肝细胞癌cd34免疫组化图像识别与微血管密度计算方法，其特征在于，以2^7或2^6的下采样比例对所述原始数据集进行下采样，所述下采样比例为下采样前图片长度或宽度与下采样后图片长度或宽度的比值。4.根据权利要求1所述的肝细胞癌cd34免疫组化图像识别与微血管密度计算方法，其特征在于，所述生成训练集切片的组织区域中的癌灶区域与正常区域掩码，并根据所述癌灶区域与正常区域掩码和组织区域坐标列表进行癌灶区域与正常区域的小图提取，具体包括：在癌灶区域与组织区域提取时，小图大小大于244px*244px，小图所在层为扫描图像的原图所在层。5.根据权利要求1所述的肝细胞癌cd34免疫组化图像识别与微血管密度计算方法，其特征在于，所述将所述训练集进行数据增广与颜色标准化，具体包括：通过随机旋转、随机翻转对小图进行增广；
通过使用颜色标准化方法对图像进行颜色标准化操作。6.根据权利要求1所述的肝细胞癌cd34免疫组化图像识别与微血管密度计算方法，其特征在于，所述将所述训练子集与所述验证子集放入不同的卷积神经网络进行深度学习模型训练，并利用测试子集对训练后的卷积神经网络模型进行评估以确定训练效果最优的卷积神经网络模型，具体包括：不同的卷积神经网络模型包括resnet34、resnet50、vgg19、mobilenet v2、inceptionnet v3中的至少两种；在模型训练时，通过如下公式对图像进行归一化：dst＝(src-128)/128其中src为转换前的小图，dst为转换后的小图，二者均为二维数组形式，且所在区间为[0,255]；训练时输出的损失值采用交叉熵损失；训练时的学习率采用分段衰减策略，设置gamma值和step_size值，每隔step_size轮迭代训练，学习率乘以gamma值；在对模型进行测试与评估时，计算测试集的准确率accuracy、精确率precision、召回率recall、f1分数的值f1score，并计算受试者工作特性曲线的线下面积的值进行综合评定：定：定：定：其中tp为模型预测为阳性的阳性样本；tn为模型预测为阴性的阴性样本；fp为模型预测为阳性的阴性样本；fn为模型预测为阴性的阳性样本。7.根据权利要求6所述的肝细胞癌cd34免疫组化图像识别与微血管密度计算方法，其特征在于，所述基于所述测试集的预测分类置信度，使用阈值进行划分，并填充孔洞，绘制分类预测结果，具体包括：通过如下公式计算置信度的阈值：通过如下公式计算置信度的阈值：y＝sensitivity+specificity-1其中，sensitivity表示灵敏度，specificity表示特异度，y表示置信度的阈值；将所有连通面积小于阈值th1的面积中所有点的值置零；将连通面积小于阈值th2的面积中所有点的值置一；在组织区域为1但预测区域依然为0的区域，将该点由内向外递归寻找所围面积包含点的数量最大的类别，并置为该类。8.根据权利要求1所述的肝细胞癌cd34免疫组化图像识别与微血管密度计算方法，其特征在于，所述对分类预测结果为癌灶区的小图进行颜色空间转换，提取棕色部分，具体包
括：基于如下公式，将小图的原始颜色空间bgr转换为hsv颜色空间：dst＝cv2.cvtcolor(src,cv2.color_bgr2hsv)其中src为转换前的小图，dst为转换后的小图；时应设置hsv空间的上界thup和下界thdown以提取棕色部分。9.一种肝细胞癌cd34免疫组化图像识别与微血管密度计算装置，其特征在于，所述装置包括：获取模块，被配置为获取原始数据集，所述原始数据集包括cd34全数字切片病理扫描图像数据集；列表提取模块，被配置为对所述原始数据集进行下采样并对其进行组织区域提取获得组织区域坐标列表，并将原始数据集划分为训练集和测试集；小图提取模块，被配置为生成训练集切片的组织区域中的癌灶区域与正常区域掩码，并根据所述癌灶区域与正常区域掩码和组织区域坐标列表进行癌灶区域与正常区域的小图提取；训练集处理模块，被配置为将所述训练集进行数据增广与颜色标准化；划分模块，被配置为将训练集划分为训练子集、验证子集、测试子集；训练模块，被配置为将所述训练子集与所述验证子集放入不同的卷积神经网络进行深度学习模型训练，并利用测试子集对训练后的卷积神经网络模型进行评估以确定训练效果最优的卷积神经网络模型；预测模块，被配置为根据测试集的组织区域坐标列表中每一个坐标对应取得原始切片的一个小图，将各小图进行颜色标准化后放入所述效果最优的卷积神经网络模型得到对应的预测分类置信度；热图绘制模块，被配置为将测试集的预测分类置信度按序拼接并绘制概率热图；预测结果绘制模块，被配置为基于所述测试集的预测分类置信度，使用阈值进行划分，并填充孔洞，绘制分类预测结果；提取与计算模块，被配置为对分类预测结果为癌灶区的小图进行颜色空间转换，提取棕色部分，计算提取得到的棕色面积与总面积比得到微血管密度。10.一种存储有指令的非暂时性计算机可读存储介质，当所述指令由处理器执行时，执行根据权利要求1至8中任一项所述的方法。

技术总结
本发明公开了一种肝细胞癌CD34免疫组化图像识别与微血管密度计算方法，针对人工方法诊断过程复杂、费时费力、依靠长时间的诊断经验的问题，为了更全面的评估肝细胞癌患者的患病程度，指导接下来的治疗，本发明采用深度学习网络对图像进行二分类，其泛化能力强，鲁棒性高；生成的概率热图直观反应了模型识别结果；微血管密度的计算的可解释性强，简单方便，易于医生操作调整。易于医生操作调整。易于医生操作调整。


技术研发人员：姚小红 卞修武 唐卓 李壮 赵泽 任菲 车宇轩 林勇 钮芹
受保护的技术使用者：中国科学院计算技术研究所
技术研发日：2023.05.16
技术公布日：2023/8/1