一种基于目标检测的血管狭窄病变识别方法及其应用

1.本发明涉及泛血管智能诊疗技术领域，涉及一种基于目标检测的血管狭窄病变识别方法及其应用。


背景技术：

2.冠心病是一种由于冠状动脉狭窄导致心脏供血不足的疾病。因此，在冠心病诊疗领域，实现血管狭窄病变识别具有必要性。
3.血管狭窄病变识别可以帮助医生确诊冠心病。通过检测冠状动脉的狭窄程度和位置，确定病变的严重程度，为医生提供治疗方案；同时，血管狭窄病变检测可以为冠心病患者提供更加精准的治疗方案。根据病变程度，医生可以决定是否需要进行手术治疗或药物治疗，对于患者的治疗进展情况进行跟踪和评估也是重要的一个参考。
4.随着各类成像技术的发展，有多种医学影像可以用于血管狭窄病变的识别。超声检查是一种利用声波观察血管内部结构和血流速度的无创方法。cta成像可以对血管进行建模，直观查看血管的狭窄部位。多普勒超声可以发现阻塞或狭窄的动脉，血管内超声(ivus)可以更精确地评估血管壁和斑块的特征。血流储备分数可以通过值的变化估计血管狭窄的位置。此外，冠脉造影是冠心病临床诊断的“金标准”，对于造影图像处理，并从中通过各种方法识别血管狭窄也已成为一大研究热点。
5.cn 202010354792.8公开了一种冠状动脉x光序列造影中血管狭窄检测方法及装置，其提出了一种将连续多帧的图像检测结果进行深度的序列特征融合的狭窄检测方法；cn 201910142018.8公开了一种血管狭窄的检测方法及设备，其提出了一种利用查找血管直径梯度值来确定血管狭窄部位的方法。这些方法分别可以实现血管狭窄病变部位的确定，但目前利用目标检测方法实现对血管狭窄病变部位的识别的研究较少，而目标检测方法具有实时性能好、速度快、训练使用简单的特点，使得其特别适用于手术这种应用场景。
6.因此，开发一种基于目标检测方法实现对血管狭窄病变部位的识别的方法极具现实意义。


技术实现要素：

7.由于现有技术存在上述缺陷，本发明提供了一种基于目标检测方法实现对血管狭窄病变部位的识别的方法，克服了现有识别方法实时性能、速度难以满足手术应用场景需要的缺陷。
8.为了实现上述目的，本发明提供以下技术方案：
9.一种基于目标检测的血管狭窄病变识别方法，对待识别的血管dsa图像数据进行预处理及血管分割后，将其输入病变识别模型后，病变识别模型输出待识别的血管dsa图像数据中各位置对应的标签类型，所述标签类型包括正常和病变；
10.所述病变识别模型为改进yolo v7算法模型，所述改进yolo v7算法模型的改进之处在于模型中的head应用正样本分配策略改进了soft-label分配策略，即根据预测框和真
实框之间的iou给预测框分配一个0到1之间的软标签，而不是一个0或1的硬标签，这样可以更好地反映预测框和真实框之间的相似度，同时也可以平衡正负样本的比例，aux head使用repconv层来替代卷积层和归一化层，即将卷积层与归一层进行了合并，减少了参数和计算量；
11.所述改进yolo v7算法模型的训练过程是以训练数据集中的图像数据作为输入，以与图像数据对应的已知标签数据作为理论输出，不断调整模型的参数的过程，所述训练数据集中的训练数据包括图像中有标签类型为正常的训练数据和图像中有标签类型为病变的训练数据。
12.本发明的基于目标检测的血管狭窄病变识别方法，以改进yolo v7算法模型作为目标检测分类模型，以当前性能较好的yolov7模型作为基础，同时对其进行改进(改进了分配策略及aux head)，优化了模型性能，进一步提高了目标检测的精度，特别是适用于识别血管狭窄病变，处理步序简单，数据处理量较小且反馈速度快，应用前景好。
13.作为优选的技术方案：
14.如上所述的一种基于目标检测的血管狭窄病变识别方法，所述预处理包括调整大小、归一化、去噪和平滑化，以减少噪音和其他干扰因素的影响，提高模型的准确性。
15.如上所述的一种基于目标检测的血管狭窄病变识别方法，所述训练数据集中的训练数据是进行预处理及血管分割后的数据。
16.如上所述的一种基于目标检测的血管狭窄病变识别方法，所述血管分割是应用语义分割完成的。
17.本发明还提供了一种计算机设备，所述计算机设备包括：
18.至少一个处理器；以及，
19.与所述至少一个处理器通信连接的存储器；其中，
20.所述存储器存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的基于目标检测的血管狭窄病变识别方法。
21.此外，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的基于目标检测的血管狭窄病变识别方法。
22.以上技术方案仅为本发明的一种可行的技术方案而已，本发明的保护范围并不仅限于此，本领域技术人员可根据实际需求合理调整具体设计。
23.上述发明具有如下优点或者有益效果：
24.(1)本发明的基于目标检测的血管狭窄病变识别方法，相比传统人工读片评估，能够更客观地提供量化的信息，减少主观误差和人为干扰；
25.(2)本发明的基于目标检测的血管狭窄病变识别方法，能够在图像上标记出血管狭窄的病变部位，能够为医生或患者提供直观和易于理解的病变位置与形态学信息；
26.(3)本发明的基于目标检测的血管狭窄病变识别方法，采用了目前性能sota的yolov7目标检测模型并在其上进行了优化性能的改进，进一步提高了目标检测，特别是在血管狭窄病变检测领域的性能；
27.(4)本发明的基于目标检测的血管狭窄病变识别方法，目标检测模型是基于深度学习框架开发的，可以方便地进行模型优化和部署，同时也可以很容易地进行扩展和修改，
适应不同场景下的应用需求，应用前景好。
附图说明
28.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明及其特征、外形和优点将会变得更加明显。在全部附图中相同的标记指示相同的部分。并未可以按照比例绘制附图，重点在于示出本发明的主旨。
29.图1为本发明的基于目标检测的血管狭窄病变识别方法的步序图；
30.图2为本发明使用的改进yolov7模型示意图；
31.图3为实施例1设置的步序示意图；
32.图4为本发明的效果示意图；
33.图5为实施例2的计算机设备的结构示意图。
具体实施方式
34.下面结合附图和具体的实施例对本发明中的结构作进一步的说明，但是不作为本发明的限定。
35.实施例1
36.一种基于目标检测的血管狭窄病变识别方法，其步序如图1所示，具体如下：
37.(1)对待识别的血管dsa图像数据进行预处理，预处理包括调整大小、归一化、去噪和平滑化；
38.(2)对预处理后的数据进行血管语义分割；
39.(3)将步骤(2)获取的数据输入病变识别模型后，病变识别模型输出待识别的血管dsa图像数据中各位置对应的标签类型，标签类型包括正常和病变；
40.病变识别模型为改进yolo v7算法模型，改进yolo v7算法模型的改进之处在于模型中的head应用正样本分配策略改进了soft-label分配策略，aux head使用repconv层来替代卷积层和归一化层；
41.改进yolo v7算法模型的训练过程是以训练数据集中的图像数据(具体为进行预处理及血管分割后的数据)作为输入，以与图像数据对应的已知标签数据作为理论输出，不断调整模型的参数的过程，所述训练数据集中的训练数据包括图像中有标签类型为正常的训练数据和图像中有标签类型为病变的训练数据。
42.上述的改进yolov7目标检测模型(如图2所示)构成与流程如下：
43.输入：输入一张图片，将其进行图片尺寸大小的批处理，然后进行归一化和数据增强处理。
44.backbone(由50层卷积层、归一化层、激活函数、池化层和elan模块组成的深度网络，用于提取输入图片的高层语义特征)：将输入图片送入backbone网络，提取三个不同尺度和通道数的特征图c3、c4、c5。
45.head(由sppcsp模块、elan-h模块、repconv层和卷积层组成的pafpn结构，用于对backbone提取的特征图进行上采样、下采样、融合和预测)：将backbone提取的特征图c3、c4、c5送入head网络，进行上采样、下采样、融合和预测，得到三个不同尺度和通道数的预测结果p3’、p4’、p5’(首先对c5进行sppcsp操作，然后自顶向下和c4、c3进行融合，得到三个不
同尺度和通道数的特征图，分别记为p3、p4、p5，然后自底向上和p4、p5进行融合，得到融合后的特征图p3’、p4’、p5’)，分别包含了每个网格单元的目标类别、置信度和边界框信息。根据预测框和真实框之间的iou给预测框分配一个0到1之间的软标签，作为正样本分配策略。
46.其中head的改进之处在于，它采用了正样本分配策略改进了soft-label分配策略，即根据预测框和真实框之间的iou给预测框分配一个0到1之间的软标签，而不是一个0或1的硬标签，这样可以更好地反映预测框和真实框之间的相似度，同时也可以平衡正负样本的比例。
47.在训练时使用aux head(由卷积层、归一化层、激活函数、池化层和全连接层组成的简单网络，用于在训练时提供额外的监督信号，从而提高网络性能)：将backbone提取的特征图c5送入aux head网络，输出一个二分类结果，表示图片中是否存在目标，作为额外的监督信号。
48.其中aux head的改进之处在于，它将卷积层与归一层进行了合并，即使用了repconv层来替代原来的卷积层和归一化层，从而减少了参数和计算量。
49.输出：将head输出的三个预测结果p3’、p4’、p5’进行后处理，包括：置信度阈值过滤与类别选择，得到最终的检测结果，包括目标的类别、置信度和边界框坐标。
50.具体地，本发明的方法构建的步序如下(如图3所示)：
51.1.数据收集：获取大量的血管狭窄病变的血管dsa影像数据。这些图像可以来自于医院、科研机构和其他医疗机构。数据必须包括正常的和有病变的影像，以便进行模型的训练；
52.这一步骤的目的是为了获取足够多的数据来训练一个有效的模型，因为数据的质量和数量直接影响模型的性能。血管dsa影像是一种使用x射线和造影剂来显示血管结构和功能的医学影像技术，它可以用来诊断血管狭窄等疾病。
53.为了获取这些图像，需要与合作的医疗机构联系，获得他们的授权和同意，并遵守相关的伦理和法律规范。数据必须包括正常的和有病变的影像，以便让模型能够区分两者，并学习到病变的特征和位置。
54.2.数据处理：将收集到的图像进行预处理，包括调整大小、归一化、去噪和平滑化。这一步骤是为了减少噪音和其他干扰因素的影响，以提高模型的准确性；
55.这一步骤的目的是为了使数据更适合模型的输入格式和要求，以及提高数据的质量。由于不同来源的图像可能有不同的分辨率、尺寸、亮度、对比度等属性，需要将它们统一到一个标准化的形式，以便模型能够更好地处理。
56.此外，由于图像中可能存在噪音、模糊、伪影等不利因素，需要对图像进行去噪和平滑化，以减少这些因素对模型识别能力的干扰。
57.3.模型训练：使用改进型yolov7算法训练血管狭窄病变的识别模型，该模型能够识别血管狭窄病变。训练过程中需要使用大量的图像数据，以使模型能够识别不同状况的病变；
58.这一步骤的目的是为了利用数据来训练一个能够自动识别血管狭窄病变的模型。本发明所用的改进型yolov7算法是一种基于深度学习和计算机视觉的算法，它可以在单张图像中同时检测多个目标，并给出它们的位置和类别。该算法相比于其他算法具有更高的速度和准确性，并且可以适应不同场景和环境。为了训练该算法，需要使用大量已经标注好
正常和有病变区域的图像数据，以便让算法学习到如何区分两者，并且能够适应不同大小、形状、位置、角度等变化。
59.4.模型评估：评估模型的准确性和性能，这一步骤是为了确定模型的实际效果和潜在缺陷，以便在需要时进行改进；
60.这一步骤的目的是为了检验模型是否能够达到预期的目标，以及是否存在可以改进的地方。为了评估模型，需要使用一些指标来衡量模型的表现，包括miou、ap50等。这些指标可以反映模型在识别血管狭窄病变方面的正确性和完整性。除了这些指标，还需要考虑模型的速度、稳定性、可扩展性等因素，以保证模型在实际应用中的可用性和效率。
61.5.优化和改进：根据评估结果对模型进行优化和改进。包括使用更多的数据来训练模型、调整超参数等；
62.这一步骤的目的是为了提高模型的性能和质量，以适应更复杂和多变的实际情况。根据评估结果，可以发现模型的优点和缺点，以及可能存在的问题和不足。根据这些信息，可以对模型进行优化和改进，例如使用更多的数据来训练模型，以增加模型的泛化能力和鲁棒性；调整超参数，如学习率、批量大小、优化器等，以提高模型的收敛速度和效果。
63.6.应用部署：将优化后的模型部署到医疗设备中，以实现对血管狭窄病变的实时检测。部署过程中需要确保模型的稳定性、安全性和可靠性，并制定相应的管理措施。
64.这一步骤的目的是为了将训练好的模型应用到实际场景中，以帮助医生和患者进行血管狭窄病变的诊断和治疗。为了部署模型，需要将模型转换成适合医疗设备运行的格式，并与设备进行连接和交互。部署过程中需要确保模型的稳定性、安全性和可靠性，即模型能够在不同环境下正常工作，并且不会出现错误或故障。此外，还需要制定相应的管理措施，如监控模型的运行状态、更新模型的版本、处理异常情况等。
65.应用本发明的方法对血管狭窄病变的血管dsa影像数据进行识别的示意图如图4所示，图4中上板块第一列为原始血管造影图像，第二列为分割处理后的血管图像，最后一列是最终血管狭窄处检测结果，狭窄部位由红色方形框标出，下板块为更多的血管检测结果显示。本发明对原始造影图像进行相关算法处理后，对图像进行了图像降噪以及血管分割，最后定位血管狭窄处，通过预处理提高了最终目标检测的精度。
66.实施例2
67.一种计算机设备，如图5所示，包括：至少一个处理器以及与至少一个处理器通信连接的存储器；
68.其中，存储器存储有计算机可读指令，处理器执行计算机可读指令时实现如实施例1所述的基于最速下降法的血管内狭窄位置判断方法。
69.实施例3
70.一种计算机可读存储介质，计算机可读存储介质上存储计算机可读指令，计算机可读指令被处理器执行时实现如实施例1所述的基于最速下降法的血管内狭窄位置判断方法。
71.上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个
人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，randomaccess memory)、磁碟或者光盘等各种可以存储程序代码的介质。
72.本领域技术人员应该理解，本领域技术人员在结合现有技术以及上述实施例可以实现变化例，在此不做赘述。这样的变化例并不影响本发明的实质内容，在此不予赘述。
73.以上对本发明的较佳实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，其中未尽详细描述的设备和结构应该理解为用本领域中的普通方式予以实施；任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例，这并不影响本发明的实质内容。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

技术特征：
1.一种基于目标检测的血管狭窄病变识别方法，其特征在于：对待识别的血管dsa图像数据进行预处理及血管分割后，将其输入病变识别模型后，病变识别模型输出待识别的血管dsa图像数据中各位置对应的标签类型，所述标签类型包括正常和病变；所述病变识别模型为改进yolov7算法模型，所述改进yolov7算法模型的改进之处在于模型中的head应用正样本分配策略改进了soft-label分配策略，auxhead使用repconv层来替代卷积层和归一化层；所述改进yolov7算法模型的训练过程是以训练数据集中的图像数据作为输入，以与图像数据对应的已知标签数据作为理论输出，不断调整模型的参数的过程，所述训练数据集中的训练数据包括图像中有标签类型为正常的训练数据和图像中有标签类型为病变的训练数据。2.根据权利要求1所述的一种基于目标检测的血管狭窄病变识别方法，其特征在于，所述预处理包括调整大小、归一化、去噪和平滑化。3.根据权利要求1所述的一种基于目标检测的血管狭窄病变识别方法，其特征在于，所述训练数据集中的训练数据是进行预处理及血管分割后的数据。4.根据权利要求1所述的一种基于目标检测的血管狭窄病变识别方法，其特征在于，所述血管分割是应用语义分割完成的。5.一种计算机设备，其特征在于：所述计算机设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1～4任一项所述的基于目标检测的血管狭窄病变识别方法。6.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质上存储计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1～4任一项所述的基于目标检测的血管狭窄病变识别方法。

技术总结
本发明公开了一种基于目标检测的血管狭窄病变识别方法及其应用，方法：对待识别的血管DSA图像数据进行预处理及血管分割后，将其输入病变识别模型后，病变识别模型输出待识别的血管DSA图像数据中各位置对应的标签类型；病变识别模型为改进YOLOv7算法模型，改进YOLOv7算法模型的改进之处在于模型中的Head应用正样本分配策略改进了分配策略，AuxHead使用RepConv层来替代卷积层和归一化层。本发明的识别方法，以目前性能SOTA的YOLOv7目标检测模型作为基础并在其上进行了优化性能的改进，进一步提高了目标检测精度，特别适用于检测血管狭窄病变；能标记出血管狭窄的病变部位，直观且易于理解。直观且易于理解。直观且易于理解。


技术研发人员：齐鹏 汪欣怡 马浩楠 刘媛
受保护的技术使用者：同济大学
技术研发日：2023.05.31
技术公布日：2023/9/6