基于深度学习的数据增强三分类白血病算法的制作方法

1.本发明属于图像处理技术领域，具体是基于深度学习的数据增强三分类白血病算法。


背景技术：

2.白血病早期诊断对于提高患者的生存率非常重要。传统的识别白血病细胞的方法是由病理专家在光学显微镜下观察血液涂片中细胞的特征进行的。但由于白血病细胞与正常细胞的形态非常相似，难以分辨，传统的人工诊断方法费时费力，而且受医生主观影响较大，存在漏诊和误诊的问题。
3.随着信息技术的发展，深度学习逐渐应用在医学领域，通过图像技术辅助医生诊断，诸如三分类方法和五分类方法，现有的五分类方法需要对细胞核图像进行分析，所需训练数据较多，成本较高，而现有的三分类方法虽然无需对细胞核图像进行分析，所需训练数据较少，但是容易存在过拟合和欠拟合的问题，并且三分类方法通常是先在训练过程中对白细胞进行分类再对其计数，容易造成计数重复而影响结果的准确性。因此，我们提出了基于深度学习的数据增强三分类白血病算法。


技术实现要素：

4.本发明的目的是基于深度学习的数据增强三分类白血病算法,以解决现有技术存在的问题。
5.为了实现上述目的，本发明的技术方案如下：基于深度学习的数据增强三分类白血病算法,包括如下步骤：s1、外周血涂片经瑞氏染色后，利用显微镜图像采集系统获取细胞图像；s2、基于yolov7算法构建分类计数模型，分类计数模型中：改进的cspdarknet53架构为主干网络，以提取细胞图像中白细胞图像特征，fpn层为加强特征提取网络，对提取的白细胞图像特征进行特征融合，elan模块、ssp模块和mpconv层作为head，基于体积特征检测不同体积的白细胞；s3、将细胞图像输入分类计数模型获得第一次白细胞图像特征及第一次白细胞计数结果；s4、对获取的第一次白细胞图像特征进行数据增强，获得数据增强后的白细胞图像，再输入分类计数模型获得第二次白细胞计数结果；s5、第二次白细胞计数结果后，将分类计数模型中的分类层替换为白细胞分类网络层，白细胞分类包括大、中、小三类细胞，其中小粒径白细胞包括淋巴细胞，中粒径白细胞包括嗜酸细胞、嗜碱细胞和单核细胞，大粒径白细胞包括中性粒细胞，将数据增强后的白细胞图像再次输入分类计数模型，获得初始的大、中、小三类白细胞的分类及数量；s6、大、中两类白细胞图像中亮度较低的部分对其加强亮度，再基于细胞形态学判断是否重叠，若重叠，则对重叠的白细胞进行分割，再输入分类计数模型，输出最终的大、
中、小三类白细胞的分类及数量；s7、基于白细胞大、中、小三类白细胞的计数与总数对比，判断患者白细胞是否异常。
6.进一步，所述s3中细胞图像输入分类计数模型，主干网络从细胞图像中提取白细胞体积特征，fpn层将不同尺度的特征信息进行融合，再通过head输出第一次白细胞图像特征及第一次白细胞计数结果。
7.进一步，所述s4中对获取的第一次白细胞图像特征进行数据增强包括：向图像添加随机值，对于相邻像素使用可能不同的值向图像像素添加值，将从高斯分布采样的噪声元素添加到图像中，将图像中的所有像素与特定值相乘，使图像变暗或变亮，使用 alpha/不透明度值对两个图像源进行 alpha 混合，沿垂直线性渐变混合来自两个分支的图像，使用高斯核模糊图像，将图像的饱和度乘以随机值，通过将每个像素缩放来调整对比度，再水平翻转、随机旋转图像，输出增强后的白细胞图像。
8.进一步，所述s4中数据增强后的白细胞图像输入分类计数模型时加入迁移学习，将学习率和weight decay均设置为0.001、将batch size设置为8，训练100轮。
9.有益效果：通过迁移学习能够加快训练并减轻小数据集带来的过拟合问题，能够获得较好的收敛效果，避免模型不稳定。
10.进一步，对白细胞的计数均基于12-28像素下进行计数。
11.进一步，所述s6中对白细胞基于细胞形态学判断是否重叠包括：通过形状因子分析法白细胞是否出现重叠，pe＝4πa/l2，式中a为白细胞面积，由白细胞中像素个数得出；l为白细胞周长，用边缘上相邻像素间距离之和表示，若采用8邻点距离d ,2个倾斜方向上的相邻像素fi ,j与f、m 、n间的距离为：；形状因子的取值范围为0《pe≤1，当判定图像接近圆时 ,其形状因子接近1，确定形状因子的阀值p0，若pe》p0，则表示白细胞不存在重叠，若pe＜＝po，则表示白细胞重叠。
12.进一步，所述s6中对重叠白细胞的分割包括：步骤一：通过向量积法判断重叠细胞图像顶点的凹凸性，得出凹点；步骤二：根据凹点数n1与细胞核心坐标数量n2关系，若n1＝n2则判定为并联，若n1》n2则判定为串联；步骤三：若细胞之间为串联，则将成对的凹点连接直线分离重叠区域，若细胞之间为并联，则将凹点与重叠区域的核心坐标e连接成直线分离重叠区域。
13.进一步，所述s7中对患者白细胞是否异常的判断包括：若大、中、小三类白细胞的计数超过正常指标，则判断患者的白细胞异常，其中，对于小粒径白细胞，淋巴细胞的正常指标为每微升4*109，对于中粒径白细胞，嗜酸细胞的正常指标为每微升0.5*109，嗜碱细胞的正常指标为每微升0.2*109，单核细胞的正常指标为每微升0.5*109，对于大粒径白细胞，中性粒细胞的正常指标为每微升1.8*109。
14.进一步，基于深度学习的数据增强白血病三分类系统，包括：数据采集模块，与显微镜图像采集系统联网，用于获取细胞图像；特征提取模块，基于yolov7算法构建的分类计数模型，提取细胞图像中的白细胞图像特征；
特征融合模块，用于对提取的白细胞图像特征进行特征融合；分类计数模块，基于体积特征，对不同体积的白细胞进行分类计数；数据增强模块，基于数据增强技术对白细胞图像特征进行数据增强；重叠判断模块，基于细胞形态学判断白细胞图像中白细胞是否重叠；细胞分割模块，用于对重叠的白细胞进行进行分割。
15.本方案的原理及有益效果：本方案基于yolov7算法构建分类计数模型，将显微镜下的细胞图像输入模型进行第一次训练，得到白细胞图像特征，再对其进行数据增强，减小白细胞图像存在模糊、失去焦点后不清晰、粘连聚团、细胞碎片、杂质等多种因素干扰，以提升泛化能力；然后数据增强后的图像输入模型获得白细胞总数，再将分类层替换为白细胞分类网络层，根据分类阈值进行白细胞分类，由于本方案是基于体积对白细胞进行分类，在同一体积下，对于大、中两类细胞容易存在重叠的情况，此时对大、中两类细胞重叠部分进行亮度加强再输入分类计数模型，可以纠偏数据，避免重叠的大、中两类细胞影响白细胞分类计数的准确性，以获得更准确的大、中、小三类白细胞的分类及数量。
16.首先，对于白血病患者而已，由于白细胞异常增生，常常会出现早幼粒细胞增多，而早幼粒细胞的体积普遍比正常成熟的白细胞大，因此，本方案基于体积特征对白细胞进行大、中、小三分类，基于白细胞大、中、小三类白细胞的计数与总数对比，判断患者白细胞是否异常，能够作为辅助医生诊断的依据之一。
17.其次，由于本方案是先对白细胞图像特征进行数据增强，避免了在小数据集的运算中模型容易过拟合和欠拟合的问题，再进行总数计量，在检测步骤不直接进行分类，也就不存在分类曲线，可以很好的避免杂质或计数重复的影响，提高了白细胞计数的精准性，解决了现有技术先在训练过程中对白细胞进行分类再对其计数，容易造成计数重复而影响结果的准确性的问题，并且基于yolov7算法进行计数能够在保持准确率的同时大幅度缩小模型体积和运算量，从而提高检测速度与准确性；在总数白细胞的基础上对其亮度较低的图像进行亮度加强，再判断是否重叠，对重叠的白细胞图像分割后再分类计数，避免了亮度较低时细胞重叠影响分类及对应数量的准确性，提高了白细胞分类及计数结果的准确性，实现了白血病细胞的自动分类和计数。
18.相较于现有技术，本方案无需太多的训练数据，即可快速找到白细胞分类特征值，结合重叠判断能够实现更准确的对白细胞进行三分类，与常规的三分类方法相比，准确性更高，成本较低，能够辅助医生达到快速诊断的目的。
附图说明
19.图1为本发明实施例的基于深度学习的数据增强三分类白血病算法的流程示意图。
20.图2为本发明实施例的基于深度学习的数据增强三分类白血病算法的分类计数模型的结构示意图。
21.图3为本发明实施例的基于深度学习的数据增强三分类白血病算法的数据增强后输出的白细胞计数结果图，其中wbc为白细胞。
22.图4为本发明实施例的基于深度学习的数据增强三分类白血病算法的重叠的大、
中两类白细胞亮度加强前的显微镜图像。
23.图5为本发明实施例的基于深度学习的数据增强三分类白血病算法的重叠的大、中两类白细胞亮度加强后的显微镜图像。
24.图6为本发明实施例的基于深度学习的数据增强三分类白血病算法的纠偏后的分类计数结果图。
25.图7为本发明实施例的基于深度学习的数据增强白血病三分类系统的模块示意图。
实施方式
26.下面通过具体实施方式进一步详细说明：实施例基本如附图1-图7所示：基于深度学习的数据增强白血病三分类系统，包括：数据采集模块，与显微镜图像采集系统联网，用于获取细胞图像；特征提取模块，基于yolov7算法构建的分类计数模型，提取细胞图像中的白细胞图像特征；特征融合模块，用于对提取的白细胞图像特征进行特征融合；分类计数模块，基于体积特征，对不同体积的白细胞进行分类计数；数据增强模块，基于数据增强技术对白细胞图像特征进行数据增强；重叠判断模块，基于细胞形态学判断白细胞图像中白细胞是否重叠；细胞分割模块，用于对重叠的白细胞进行进行分割。
27.基于深度学习的数据增强三分类白血病算法的具体实施过程如下：s1、外周血涂片经瑞氏染色后，利用显微镜图像采集系统获取细胞图像，传递至白血病三分类细胞的数据采集模块。
28.s2、如图2所示，分类计数模块基于yolov7算法构建分类计数模型，分类计数模型中：改进的cspdarknet53架构为主干网络，以提取细胞图像中白细胞图像特征，fpn层为加强特征提取网络，对提取的白细胞图像特征进行特征融合，elan模块、ssp模块和mpconv层作为head输出，其中，elan模块为高效轻量注意力网络，用于对白细胞进行标记，ssp模块是一种空间注意机制，可以选择性地强调重要的图像区域，mpconv层是一个混合精度的卷积层，使用较低精度的数据类型来减少计算和内存需求，本实施例中的分类计数模型基于体积特征检测不同体积的白细胞。
29.s3、将细胞图像输入分类计数模型，特征提取模块基于主干网络从细胞图像中提取白细胞体积特征，fpn层将不同尺度的特征信息进行融合，分类计数模块再通过head输出第一次白细胞图像特征及第一次白细胞计数结果。
30.s4、数据增强模块对获取的第一次白细胞图像特征进行数据增强，向图像添加随机值，对于相邻像素使用可能不同的值向图像像素添加值，将从高斯分布采样的噪声元素添加到图像中，将图像中的所有像素与特定值相乘，使图像变暗或变亮，使用 alpha/不透明度值对两个图像源进行 alpha 混合，沿垂直线性渐变混合来自两个分支的图像，使用高斯核模糊图像，将图像的饱和度乘以随机值，通过将每个像素缩放来调整对比度，再水平翻转、随机旋转图像，获得数据增强后的白细胞图像，再输入分类计数模型，加入迁移学习，将
学习率和weight decay均设置为0.001、将batch size设置为8，训练100轮，在12-28像素下获得第二次白细胞计数结果，如图3所示。
31.通过迁移学习能够加快训练并减轻小数据集带来的过拟合问题，能够获得较好的收敛效果，避免模型不稳定，基于混淆矩阵进行评估，本方法能够检出超过98%的白细胞。
32.s5、第二次白细胞计数结果后，将分类计数模型中的分类层替换为白细胞分类网络层，白细胞分类包括大、中、小三类细胞，其中小粒径白细胞的直径为6-10微米，主要为淋巴细胞，中粒径白细胞的直径为10-15微米，主要为嗜酸细胞、嗜碱细胞及单核细胞，大粒径白细胞的直径为15-20微米，主要为中性粒细胞，将数据增强后的白细胞图像再次输入分类计数模型，在12-28像素下获得初始的大、中、小三类白细胞的分类及数量。
33.由于本方案是先对白细胞图像特征进行数据增强，避免了在小数据集的运算中模型容易过拟合和欠拟合的问题，再进行总数计量，在检测步骤不直接进行分类，也就不存在分类曲线，可以很好的避免杂质或计数重复的影响，提高了白细胞计数的精准性，解决了现有技术先在训练过程中对白细胞进行分类再对其计数，容易造成计数重复而影响结果的准确性的问题，并且基于yolov7算法进行计数能够在保持准确率的同时大幅度缩小模型体积和运算量，从而提高检测速度与准确性。
34.s6、如图4所示，图4为重叠的大、中两类白细胞亮度加强前的显微镜图像，图4中黑色阴影部分为重叠的白细胞，对于大、中两类白细胞图像中亮度较低的黑色阴影部分，对其加强亮度，得到如图5所示的重叠的大、中两类白细胞亮度加强后的显微镜图像，对重叠的白细胞图像基于细胞形态学判断是否重叠：重叠判断模块通过形状因子分析法白细胞是否出现重叠，pe＝4πa/l2，式中a为白细胞面积，由白细胞中像素个数得出；l为白细胞周长，用边缘上相邻像素间距离之和表示，若采用8邻点距离d ,2个倾斜方向上的相邻像素fi ,j与f、m 、n间的距离为：；形状因子的取值范围为0《pe≤1，当判定图像接近圆时 ,其形状因子接近1，确定形状因子的阀值p0，若pe》p0，则表示白细胞不存在重叠，若pe＜＝po，则表示白细胞重叠。
35.若重叠，则细胞分割模块对重叠的白细胞进行分割：步骤一：通过向量积法判断重叠细胞图像顶点的凹凸性，得出凹点；步骤二：根据凹点数n1与细胞核心坐标数量n2关系，若n1＝n2则判定为并联，若n1》n2则判定为串联；步骤三：若细胞之间为串联，则将成对的凹点连接直线分离重叠区域，若细胞之间为并联，则将凹点与重叠区域的核心坐标e连接成直线分离重叠区域。
36.再输入分类计数模型，输出最终的大、中、小三类白细胞的分类及数量，如图6所示。
37.在总数白细胞的基础上对其亮度较低的图像进行亮度加强，再判断是否重叠，对重叠的白细胞图像分割后再分类计数，避免了亮度较低时细胞重叠影响分类及对应数量的准确性，提高了白细胞分类及计数结果的准确性，实现了白血病细胞的自动分类和计数，能够辅助医生达到快速诊断的目的。
38.s7、基于白细胞大、中、小三类白细胞的计数与总数对比，判断患者白细胞是否异
常，具体的：若大、中、小三类白细胞的计数超过正常指标，则判断患者的白细胞异常，其中，对于小粒径白细胞，淋巴细胞的正常指标为每微升4*109，对于中粒径白细胞，嗜酸细胞的正常指标为每微升0.5*109，嗜碱细胞的正常指标为每微升0.2*109，单核细胞的正常指标为每微升0.5*109，对于大粒径白细胞，中性粒细胞的正常指标为每微升1.8*109。
39.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
40.以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本技术给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本技术的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本技术要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

技术特征：
1.基于深度学习的数据增强三分类白血病算法，其特征在于：包括如下步骤：s1、外周血涂片经瑞氏染色后，利用显微镜图像采集系统获取细胞图像；s2、基于yolov7算法构建分类计数模型，分类计数模型中：改进的cspdarknet53架构为主干网络，以提取细胞图像中白细胞图像特征，fpn层为加强特征提取网络，对提取的白细胞图像特征进行特征融合，elan模块、ssp模块和mpconv层作为head，基于体积特征检测不同体积的白细胞；s3、将细胞图像输入分类计数模型获得第一次白细胞图像特征及第一次白细胞计数结果；s4、对获取的第一次白细胞图像特征进行数据增强，获得数据增强后的白细胞图像，再输入分类计数模型获得第二次白细胞计数结果；s5、第二次白细胞计数结果后，将分类计数模型中的分类层替换为白细胞分类网络层，白细胞分类包括大、中、小三类细胞，其中小粒径白细胞包括淋巴细胞，中粒径白细胞包括嗜酸细胞、嗜碱细胞和单核细胞，大粒径白细胞包括中性粒细胞，将数据增强后的白细胞图像再次输入分类计数模型，获得初始的大、中、小三类白细胞的分类及数量；s6、大、中两类白细胞图像中亮度低于阈值的部分对其加强亮度，再基于细胞形态学判断是否重叠，若重叠，则对重叠的白细胞进行分割，再输入分类计数模型，输出最终的大、中、小三类白细胞的分类及数量；s7、基于白细胞大、中、小三类白细胞的计数与总数对比，判断患者白细胞是否异常。2.根据权利要求1所述的基于深度学习的数据增强三分类白血病算法，其特征在于：所述s3中细胞图像输入分类计数模型，主干网络从细胞图像中提取白细胞体积特征，fpn层将不同尺度的特征信息进行融合，再通过head输出第一次白细胞图像特征及第一次白细胞计数结果。3. 根据权利要求1所述的基于深度学习的数据增强三分类白血病算法，其特征在于：所述s4中对获取的第一次白细胞图像特征进行数据增强包括：向图像添加随机值，使用 alpha/不透明度值对两个图像源进行 alpha 混合，沿垂直线性渐变混合来自两个分支的图像，使用高斯核模糊图像，将图像的饱和度乘以随机值，通过将每个像素缩放来调整对比度，再水平翻转、随机旋转图像，输出增强后的白细胞图像。4. 根据权利要求1所述的基于深度学习的数据增强三分类白血病算法，其特征在于：所述s4中数据增强后的白细胞图像输入分类计数模型时加入迁移学习，将学习率和weight decay均设置为0.001、将batch size设置为8，训练100轮。5.根据权利要求1所述的基于深度学习的数据增强三分类白血病算法，其特征在于：对白细胞的计数均基于12-28像素下进行计数。6.根据权利要求1所述的基于深度学习的数据增强三分类白血病算法，其特征在于：所述s6中判断白细胞否重叠的步骤包括：白细胞图像输入形状因子分析公式判断白细胞是否出现重叠，pe＝4πa/l2，式中a为白细胞面积，由白细胞中像素个数得出；l为白细胞周长，用边缘上相邻像素间距离之和表示；形状因子的取值范围为0<pe≤1，当判定图像为近似圆时,此时为形状因子的阀值p0，若pe>p0，则表示白细胞不存在重叠，若pe＜＝po，则表示白细胞重叠。7.根据权利要求1所述的基于深度学习的数据增强三分类白血病算法，其特征在于：所
述s6中对重叠白细胞的分割包括：步骤一：通过向量积法判断重叠细胞图像顶点的凹凸性，得出凹点；步骤二：根据凹点数n1与细胞核心坐标数量n2关系，若n1＝n2则判定为并联，若n1>n2则判定为串联；步骤三：若细胞之间为串联，则将成对的凹点连接直线分离重叠区域，若细胞之间为并联，则将凹点与重叠区域的核心坐标e连接成直线分离重叠区域。8.根据权利要求1所述的基于深度学习的数据增强三分类白血病算法，其特征在于：所述s7中对患者白细胞是否异常的判断包括：若大、中、小三类白细胞的计数超过正常指标，则判断患者的白细胞异常，其中，对于小粒径白细胞，淋巴细胞的正常指标为每微升4*109，对于中粒径白细胞，嗜酸细胞的正常指标为每微升0.5*109，嗜碱细胞的正常指标为每微升0.2*109，单核细胞的正常指标为每微升0.5*109，对于大粒径白细胞，中性粒细胞的正常指标为每微升1.8*109。

技术总结
本发明公开了图像处理技术领域的基于深度学习的数据增强三分类白血病算法，包括：S1、外周血涂片瑞氏染色，获取细胞图像；S2、基于YOLOv7算法构建分类计数模型；S3、提取白细胞图像特征；S4、数据增强，获得白细胞计数结果；S5、分类层替换为白细胞分类网络层，获得初始的大、中、小三类白细胞的分类及数量；S6、白细胞图像中亮度低于阈值的部分加强亮度，基于细胞形态学判断是否重叠，对重叠的白细胞进行分割，输出最终的大、中、小三类白细胞的分类及数量；S7、判断患者白细胞是否异常。本方案基于体积特征对白细胞进行大、中、小三分类，能够辅助医生快速诊断。医生快速诊断。医生快速诊断。


技术研发人员：郭劲宏 马星
受保护的技术使用者：成都云芯医联科技有限公司
技术研发日：2023.06.27
技术公布日：2023/8/1