用于皮肤异常干预的支持机器学习的系统的制作方法

1.本发明涉及应用于图像分析的机器学习领域。更具体地，本发明涉及兼具向医务人员提供使用工具和机器学习功能的系统和方法。


背景技术：

2.人体外皮系统，包括皮肤，会因为癌症或热烧伤等内外因素的变化而异常【1】。机器学习技术，特别是卷积神经网络(cnn)或卷积网络(convnets)，已被用于依据皮肤镜图像、临床图像和相机医学图像分类并划分皮肤癌病变【2,3,4,5】。在cnn中，图像被视为张量，并通过一个由多层人工神经元组成的架构传递，一些人工神经元执行卷积运算，另一些执行池化功能【6,7】。这些层散布有激活函数，张量信息通过激活函数作为一组权重传递。整个结构就像一个计算图一样运作。首先，使用一组图像来训练该构造，随后，使用另一组图像来验证分类器的准确性。具体操作是权重在两个方向上移动，称为前向传播和反向传播，并在图像的真实类别或“真值”与图像的cnn预测类别之间持续经历损失最小化。如果具有线性架构，cnn的结构还允许提取特征图，即模型在轮廓方面“看到”图像的什么特征，以及模型在进行图像分类决定时使用的图像特征。
3.如上所述，已尝试过使用基于cnn的技术对皮肤异常的图像进行分类。然而，这种尝试不具有可接受的成功率。
4.因此，需要提供具有更高成功率并可用于其他目的的技术。


技术实现要素：

5.本发明提供了一种用于分类和测量皮肤异常图像的系统和方法。该系统和方法可用于支持增强现实(ar)系统，该系统可用于辅助皮肤手术和皮肤异常分类和诊断。该系统使用卷积神经网络对初始图像中的皮肤异常进行分类。cnn也可以用于确定皮肤异常的边界。基准标记可以存在于初始图像中，并且该标记可以用于自动测量皮肤异常的大小。基于所测量的异常生成调整图像，并且该调整图像可以用作支持ar系统中的覆盖图，用于辅助外科手术。
6.在第一方面,本发明提供了一种用于数字图像的系统。所述系统包括：处理器，该处理器用于接收初始数字图像，该初始数字图像显示了患者皮肤上的皮肤异常，所述处理器还用于接收该初始数字图像的调整图像版本；数据通信通路，该数据通信通路用于将该初始数字图像传送到至少一个处理单元，所述至少一个处理单元包括至少一个卷积神经网络，所述至少一个处理单元用于分类和修正所述初始数字图像以产生调整图像，并且所述调整图像在产生后由所述系统接收；数字成像设备，该数字成像设备用于产生皮肤异常的工作图像；覆盖模块，该覆盖模块用于将所述调整图像覆盖在所述工作图像上，使得所述调整图像中的皮肤异常覆盖在所述工作图像中的所述皮肤异常上。
7.在第二方面,本发明提供了一种用于处理初始数字图像的方法，所述方法包括：
通过数据处理器接收所述初始数字图像，所述初始数字图像是患者皮肤异常的图像；使用数据通信通路将所述初始数字图像发送到至少一个处理单元，所述至少一个处理单元包括至少一个卷积神经网络(cnn)；在所述至少一个处理单元中使用所述cnn对所述初始数字图像中的至少一个元素进行分类；通过所述至少一个处理单元对基于所述初始数字图像的处理，由所述初始数字图像生成调整图像；通过所述数据处理器，从所述至少一个处理单元接收所述调整图像；使用覆盖模块，将所述调整图像覆盖在所述皮肤异常的工作图像上。
8.在第三方面，本发明提供了一种计算机可读介质，储存有其上编码的计算机可读和计算机可执行代码，该代码在被执行时，实现用于数字图像分类的卷积神经网络(cnn),该cnn包括：茎块；构建模块；最终模块；稠密层；其中，所述构建模块接收所述茎块的输出；所述构建模块的输出由所述最终模块接收；所述最终模块的输出由所述稠密层接收；可变跳跃连接由所述茎块和所述构建模块中的至少一个使用；所述稠密层是全连接层；初始数字图像中的注意力像素被所述最终模块捕获；被所述cnn分类的所述初始数字图像为皮肤异常的图像。
附图说明
9.现在将参考以下附图描述本发明的实施例，其中不同附图中相同的附图标记表示相同的元件。其中：图1示出了根据本发明一个方面的系统中不同组件之间的框图；图2示出了本发明的各种组件以及这些组件如何相交互的框图；图3a-3e示出了本发明的一个方面使用的卷积神经网络的架构框图；图4示出了可用来训练将在下文详述的cnn的一个训练模式的流程图；图5详细描述了根据本发明的一个方面在边界和注意力子单元(bam)中使用的cnn的分量；图6示出了使用在从皮肤异常的初始图像进展到可被ar模块用作覆盖图的调整图像的创建的过程和组件的概览；图7示出了在创建调整图像中对bam空间测量组件的使用；图8示出了根据本发明的一个方面使用移动ar单元的数据流；
图9示出了用于本发明各个方面的2d基准标记和3d基准标记；图10详细示出了根据本发明另一方面的一个版本的cnn的性能结果；图11示出了从两位鳞状细胞癌患者的图像中的bam系统的结果；图12显示了bam和bam空间测量组件的结果，以及如何测量皮肤异常(基底细胞癌)的大小；图13显示了bam和bam空间测量的结果，以及如何确定黑素瘤患者皮肤异常的边界和大小。
具体实施方式
10.为更好地理解本发明，阅读者可以参考本说明书末尾的引用列表。为便于参考，在本文件中，这些引用和参考文献通过其列表编号来引用。本说明书末尾的列表中的引用内容以此方式全部于此参考纳入。
11.如上所述，cnn在过去被用于对皮肤异常的图像进行分类。许多开源cnn已经被修改，以应对皮肤相关分类任务的挑战，主要用于筛查皮肤癌或皮肤病病变【2,4】。这些cnn具有从大量数据集【2,4,6】中生成的架构【2,4,5】和预训练权重【6,7】，从而使得它们对广义图像分类精确。然而，没有专门为皮肤图像分类从头开始，优化和训练设计的cnn，其包括移动设备相机图像以及皮肤镜皮肤图像分类【4】。如果想要使用从患者或医生的移动设备获取的皮肤病变图像，当前可用的cnn价值很低。首先，可用于训练这些cnn的大型皮肤数据集来自于皮肤镜，因此通过迁移学习在基于移动设备相机的图像上实现的预测精度较低。这主要是因为皮肤的皮肤镜图像中的皮肤异常的分辨率为5x-15x【4】。第二，在分辨率、异常的框架、照明等方面，相机图像的图像质量存在较高的差异，而可用于训练cnn的精选数据集针对这些参数进行了严格的质量控制【4】。此外，这些cnn在随机图像上进行预训练，用于学习边缘和其他轮廓。这些使它们成为用作这些对象的优选分类器，并为迁移学习提取高层特征。然而，皮肤及其异常，尤其是皮肤病变，具有与其他部位呈现的不同的高粒度特征，例如正常皮肤的纹理和颜色相对于皮肤病变的纹理和颜色，因此不能使用这些策略来学习。
12.除了上述之外，不存在皮肤特定的、使用皮肤特定的异常边界映射或轮廓映射的cnn。也不存在机器学习系统，该系统将这些轮廓图与分类器的注意力映射(也称为显著特征映射)相结合，以理解皮肤异常的分类过程，并使用这些有价值的信息直接指导医疗干预【8,9,10】。当前的显著性映射系统使用反向传播方法或类激活图仅从cnn的后面激活层提取决策/注意力像素。
13.理解卷积网络(convnet)的操作需要在中间层和更高层，特别是与最后一个卷积层相关联的激活层，对学习到的可视化和特征活动进行定性分析。各种版本的显著性模型可用于检测和分割感兴趣的对象或区域【9,10】，并使了解cnn的建模类别的深度。这些工作的重点是使用预测类值相对于像素强度的偏导数(称为梯度)来突出显示重要的“注意力”像素，或者对激发模型中任何层的单个特征图的原始梯度进行修改【11,12】。通过在像素空间中执行梯度上升来构建类别特定的显著图是最新的具有显著定位能力的可视化技术。类激活映射(cam)和基于梯度的cam(称为gradcam)突出显示图像中与任何感兴趣的决策相对应的重要区域【13】。虽然这两种技术已经被广泛使用，但无法高效定位同一类别的多次出
现，并且不能完整地捕获整个对象【14】。这两种技术本质上是抽象的，并且不提供皮肤异常(如皮肤病变)的最佳轮廓或“边界”映射。需要增强轮廓/边界和显著/“注意力”像素的可视化，以突出皮肤病变的高粒度特征。
14.此外，还选优使用基于计算机视觉的系统，该系统使用这些边界注意力图来测量病变的二维(面积)和三维(相对高度/深度)的空间大小。自动测量皮肤异常大小并在移动设备屏幕上将最终输出显示为增强现实对象的移动应用程序将有助于医疗干预，包括病变局部治疗和手术。
15.本公开只在实现具有新颖cnn架构的卷积神经网络(cnn)。在一个方面，提供了一种用于分析动物皮肤上的目标的图像处理系统，包括新型的cnn。cnn使用常见的cnn构建块，具有优化的独特排列，以利用在专有移动和/或皮肤镜图像上进行的训练，这些图像已经使用专有协议进行了预处理。
16.在一个或多个实施方式中，主要基于数据集的大小，针对构建块(深度)和神经元(宽度)的数量，使用通用超参数优化技术来缩放cnn架构，包括使用再强化学习的神经架构搜索。这使得cnn可以通过调整架构来分类不同大小的数据集。在一个或多个实施方式中，本发明进一步使用算法来寻找激活函数(relu、leakyrelu、switch和sigmoid函数的排列)的泰勒级数近似器的值。这允许对数据集中的基础函数进行精确的、数据大小导向的近似操作。
17.在一个或多个实施方式中，主要基于分类器的大小，使用针对构建块的数量(深度)和神经元的数量(宽度)的生物启发黄金比例来缩放cnn架构。这使得cnn可以通过调整架构来分类不同大小的数据集。在一个或多个实施方式中，本发明进一步使用算法基于黄金比例的平方根寻找激活函数(relu和sigmoid函数的排列)的泰勒级数近似器的值。这允许对数据集中的基础函数进行精确的、数据大小导向的近似操作。为了避免权重初始化的任意性，在激活函数接合点，使用了一种新颖的基于黄金比例的权重初始化操作。
18.在一个或多个实施方式中，使用纹理优化对本公开的cnn进行预处理以用于cnn分类，该纹理优化受灰度共生矩阵(glcm)的启发，称为皮肤特定的二阶灰度共生矩阵(sglcm)，使得图像识别过程对“异常”相对于“正常”皮肤敏感，其中“异常”包括但不限于皮肤癌病变、其他非癌性皮肤病等。应该清楚的是，本发明的各个方面可以用于有关的皮肤异常，包括可能需要手术切除的癌性皮肤病变、黑色素瘤、基底细胞癌、鳞状细胞癌和发育不良痣。
19.在一个或多个实施方式中，用于训练本公开的cnn的图像被预处理，以分割“异常”与“正常”皮肤，其中“异常”包括但不限于皮肤病变。通过使用单独的、预训练的cnn来完成，该cnn创建用于训练分类器cnn的屏蔽图像。
20.在一个或多个实施方式中，使用两种策略来训练本公开的分类器cnn，这两种策略利用了用于高层特征提取的开源通用数据集，例如imagenet【6】，开源皮肤病变数据集，但是主要依赖于皮肤镜和移动设备相机图像的皮肤数据集。
21.在一个或多个实施方式中，本公开的cnn用于使用创新的边界注意力映射器(bam)系统来产生合成皮肤显著特征图，以理解算法在早期激活层以及cnn倒数第二层的决策像素中可视化的基于像素的轮廓。结果是基于cnn的边界注意力映射器组件。
22.在一个或多个实施方式中，边界注意力映射器(bam)集成了1)通过利用来自所描
述的cnn的茎(stem)模块的激活层及其排列来创建细粒度边界图的皮肤病变的高度轮廓区分定位的方法，以及2)使用来自cnn的最终模块的激活图的乘积及其数学运算的排列或其激活层来创建注意力图形式的皮肤病变的细粒度高度区分类别定位的方法。
23.在一个或多个实施方式中，bam被集成到基于机器学习的空间测量系统中，以产生bam空间测量分量。该分量使用2d基准标记和3d基准标记，允许测量bam系统识别的病变面积和相对深度/高度。
24.根据另一方面，该系统的各种部件用于增强现实(ar)移动应用中。在一个实施方式中，移动应用包括bam显著性系统和bam空间测量组件，并且移动应用可用于指导皮肤治疗。这种皮肤治疗包括但不限于皮肤病变手术以及局部和亚局部治疗。
25.bam空间测量分量使用一种新的参考对象(2d和3d基准标记)来确定异常的大小，并对图像进行标准化。
26.在一个或多个实施方式中，本公开的cnn-bam显著性系统使用移动设备或移动数据处理系统来实现，诸如智能电话或平板电脑。在其他实施方式中，cnn-bam显著性系统被设置远离移动数据处理系统。
27.在一个或多个实施方式中，本公开的cnn显著性系统可以用于引导程序，例如筛查皮肤异常。这种皮肤异常包括由患者体内因素引起的病变和其他病痛。类似地，cnn显著性系统可以用于辅助医疗介入，例如皮肤手术。cnn显著性系统可以在下面详述的移动应用中实现。
28.根据另一方面，提供了一种使用新型cnn分析动物皮肤图像的方法。在一个或多个实施方式中，该方法还包括生成由所描述的bam系统产生的皮肤显著特征图的步骤。
29.参考图1，示出了本发明一个方面的框图和流程图。可以看出，系统10包括接收初始数字图像30的数据处理器20。初始图像30显示皮肤异常，并且图像30通过数据通道35被发送到处理单元40用于分类。包括cnn 45的处理单元40对图像30中的异常进行分类，并产生调整图像50，其是初始图像30的一个版本。
30.调整图像50被发送回处理器20，并被增强现实(ar)模块60使用。ar模块60将调整图像50覆盖在同一皮肤异常的工作图像70上。所得到的ar特征然后可以被医务人员用于治疗/减轻皮肤异常。
31.在一个实施方式中，系统10可以在具有成像能力的便携式数据处理设备中实现。这种数据处理设备可以是智能手机或平板电脑。对于该实施方式，具有cnn的处理单元40设于设备内部，并且数据通道35是内部数据通道。相反，在其他实施方式中，具有cnn的处理单元40可以在便携式数据处理设备的外部并且远离便携式数据处理设备。对于这样的实施方式，便携式数据处理设备可以获取初始图像，通过众所周知的数据通道(例如，无线传输、合适的网络数据通道、互联网数据通道、通向在线云存储/容器的数据通道等)将皮肤异常的初始图像传输到处理单元40。一旦产生了调整图像，处理单元40就可以将调整图像发送回便携式数据处理设备，以便与ar模块60一起使用。因此，在ar覆盖皮肤异常的实时或接近实时图像时，用户可通过便携式数据处理设备的屏幕观看调整图像。
32.参考图2，该图示出了使用本发明的一个实施方式的处理流程。具有病变110和二维基准标记120的图像100被捕获并用作基于cnn的bam系统130的输入。bam系统生成合成边界注意力图140和个体边界图150。然后，这些输出被用作bam空间测量组件160的输入，用于
使用基准标记120测量所识别的病变110的轮廓。得到的调整图像170是网格标记的图像。之后，调整图像170可以被ar模块60用作在移动设备屏幕上显示的工作图像180的覆盖图。然后，该覆盖图可以与工作图像180上的真实的病变对准，并且该覆盖图可以用于指导皮肤上病变区域的临床分割，以用于进一步的干预。皮肤特定的cnn组件
33.参考图3a-图3f详细描述了根据本发明一个方面的cnn的架构和功能组件。
34.参考图3a，示出了根据本发明一个方面的基本cnn模型10的神经元层模块的4个不同块。这些模块是茎(stem)模块300、构建模块310、最终模块320和稠密层模块330。
35.参考图3b，示出了根据本发明一个方面的茎(stem)模块300的架构。在该架构中，茎(stem)模块300包括224x224x3输入层300a、7x7初始卷积核层300b、批量归一化300c、激活函数(relu或sigmoid)300d、最大池化层300e，和随后的5个卷积层300f-300h。卷积块300f-300h以“扇出-扇入”(“fan out-fan in”)核序列排列，具体为1x1层300f，接着是3x3层300g，然后是5x5层300h，然后再次接着是3x3层300g，然后再次是1x1层300f。该序列之后是连接运算符300i。这5个卷积层具有它们和连接运算符300i之间的跳连接，以级联方式，并且卷积块连接具有可变性。连接运算符之后是激活函数300d。茎(stem)模块的神经元数目(宽度)由下面等式1的实施例指示，如通过使用keras随机搜索的自动超参数优化所确定的。该茎(stem)模块300用作本发明的bam组件的边界/轮廓映射器的下游创建的固有组件。
36.参考图3c，示出了构建模块310的一个实施方式的架构。对于这种架构，构建模块310具有从一个到n个子模块的可变长度。对于这种实施方式，有5个卷积块，核采用扇出-扇入排列。在卷积块之间存在可变的与散置的批量归一化和激活函数层的级联跳连接。在该实施方式中，有1x1层310a，接着是批量归一化块310b，然后是激活函数310c。之后是3x3层310d。这个3x3层之后是另一个批量归一化块310b和激活函数310c。随后是5x5层310e，另一批量归一化块310b和激活函数310c。随后是另一个3x3层310d和批量归一化块310b以及激活函数310c。最后，在连接运算符310f和另一个激活函数310c结束模块310之前，跟随1x1层和激活函数310c。从图3a可以看出，构建模块310直接连接到茎(stem)模块300(前)和最终模块320(后)。构建模块310的神经元数目(宽度)由下面等式1的实施例指示，如通过使用keras随机搜索的自动超参数优化所确定。
37.参考图3d，示出了最终模块320的架构。可以看出，该架构包括深度方向卷积块320a、批量归一化320b、激活层320c和零填充层320d的顺序连接。随后是另一个深度卷积块320a、批量归一化320b和激活层320c。在这之后是1x1核卷积层320e、批量归一化320b和最终最大池化层320f。最终模块320的神经元数目(宽度)由等式1的实施例指示，如通过使用keras随机搜索的自动超参数优化所示。该模块320用作本发明的一个方面的bam组件的注意力/显著性映射器的下游创建的固有组件。
38.参考图3e，示出了稠密层330的架构。可以看出，稠密层模块330包括全局平均池化层330a、softmax激活层330b和两个或更多全连接稠密层(多层感知器)。最初使用1536个神经元创建第一层330c，并且最后一层330d的数量由c值(即所需类别或其排列的数量)指导，其与等式1中的构建模块(m)相关。上面的稠密层模块架构也使用keras随机搜索进行了优化。
39.为了更清楚，cnn的茎(stem)块或模块是cnn的第一块，主要由2d卷积层组成。与其
他cnn不同，该茎(stem)块具有可变跳连接(n＝1到6)。根据本发明的茎(stem)块提供了轮廓/边界图，bam提取该轮廓/边界图以可视化皮肤异常(例如病变)的边界。
40.cnn的构建模块是可变的基本块，可以堆叠(1-n)，以增加cnn的深度，并且还使用可变跳连接。构建模块是cnn的开放、方向图形系统的主要计算模块。
41.上面详述的最终模块在将这些信息馈送到决策/稠密层之前，捕获并缩减来自先前模块的所有信息。这个最终模块包括深度方向的卷积块。bam组件使用最终模块来捕获系统的注意力像素。
42.上面详述的稠密层主要是多层感知器，在神经元层的深度和宽度方面是可变的。这个稠密层通过改变前一层的向量的维度来起作用。稠密层是没有卷积层的全连接层，并且针对皮肤病变进行了优化。这个稠密层提供了cnn的最终输出。2)缩放和优化i)架构缩放
43.构建模块310是可变模块，其中子块的数量(每个子块主要由散布有批量归一化130和激活层140的5个卷积层120组成)可以根据用于训练的变化的图像数据集大小和/或分类任务的类别数量(c)的需要而增加：其中m＝构建模块的数量(四舍五入到下一个整数)，c＝类别的数量(相当于稠密层)，n＝层中神经元的数量，a是用于补偿数据集大小的用户特定值。
44.应当注意，最终的缩放也取决于如上所述的超参数优化。
45.构建模块(m)架构缩放模式源自黄金比例值，该黄金比例值已经在神经网络中用于确定与本发明无关的参数【16】。由于类别数量的变化，m的缩放由上面的等式1确定，或者由超参数优化来指示。此外，由于数据集大小的变化，m的缩放由用户特定的值指导，该值由等式1中的变量a给出，或者由使用keras随机搜索的超参数搜索的结果指示的具有最佳训练参数的值。此外，一层中神经元的最小数量为8xm，这也适用于非构建模块。ii)激活函数近似
46.泰勒级数运算允许通过执行计算将数据集中的基础函数进行n次的准确近似【17】。在一些实施方式中，本发明使用黄金比例值的平方根来计算与sigmoid或relu激活层结合使用的适当的第n个值:其中，n表示泰勒级数的n次近似值，m是构建模块的数量，a是用于补偿数据集大小的用户特定值。iii)relu层权重初始化
47.在一些实施方式中，本发明对relu层使用独特的权重初始化操作，该权重初始化操作是进入激活层(n)的神经元数量与黄金比例值的平方根或其数学排列的乘积：
其中v是relu激活函数的权重初始化因子，n是输入层的神经元数量，a是用于补偿数据集大小的用户特定值。
48.黄金比例乘数使得权重初始化不再具有任意性，就像权重初始化的何恺明【18】或xavier方法【19】。然而，与这些传统的权重初始化方法不同，根据数据集的大小和超参数调整的指示，本发明的组件可通过用户特定的因子a来缩放。iv)纹理优化
49.在一个或多个实施方式中，本发明使用图像预处理步骤，即经典灰度共生矩阵(glcm)运算(等式4的数学置换)的推导，用作细化和区分“异常”皮肤的纹理特征的方法，该“异常”皮肤包括但不限于正常皮肤上的皮肤损伤：sglcm＝p[a'1,a"2」(等式4)其中p是联合概率，a1是参考像素，a2是远离a1的另一个像素d向量。对于皮肤特异性，a'1是皮肤上“异常区域”(除外：病变)中的一个像素,而a”2是来自正常皮肤的一个像素。
[0050]
像传统的glcm一样，皮肤特定的共生矩阵计算来自图像的一对像素的联合概率【20】。然而，操作者具体通过从异常皮肤区域中提取参考像素(a'1)并将其与正常皮肤区域中的第二组像素(a"2)进行匹配，第二组像素与参考像素相距一个向量d。此处，基矩阵m是16x16的矩阵，选择的度量是熵的推导(等式5的数学置换)，推导是两类像素实体的联合概率(p)的对数乘积：其中m＝16x16矩阵，p【a’1,a”2】是图像上两个像素的联合概率，参考像素位于皮肤异常中。训练数据集1)专门的数据集
[0051]
大多数用于皮肤特定分类任务的cnn使用大型预训练模型，具有在开源imagenet数据集上进行训练的数百万个参数【6,18】。这些随后在小型皮肤数据集上进行训练，例如来自isic的皮肤镜开放数据集【2】。由于像imagenet这样的大型数据集是通用对象，而像isic这样的较小数据集是非常详细的皮肤镜皮肤病变，因此上面两者不能代表从移动设备获取的异常/正常皮肤图像。
[0052]
此外，开源皮肤数据集仅限于少数皮肤异常类别。特定的数据集数据库(如可从skinopathy
tm
获得的数据库)包含高质量皮肤异常移动设备和皮肤镜图像的临床精选数据集。诸如此类的在几年内收集的数据集优选地包括很多皮肤异常，包括单个癌性病变、皮肤病如痤疮、烧伤和病理伤口。使用这种特定的数据库或其子集，结合用于从较大的通用图像数据集或皮肤特异性开放数据集进行高层特征提取的训练模式，提高了本发明对于皮肤图像的特异性。
2)训练模式
[0053]
开源图像数据集(如imagenet)包含1000个对象的140多万张图像，允许使用cnn模型训练和/提取高层图像特征，如边缘和曲率【6,8】。皮肤特定数据集(如皮肤疾病的isic治疗【2】)允许cnn模型针对皮肤特定特征进行训练，但受限于皮肤镜检查，并且仅用于少数皮肤疾病。在一些实施方式中，本公开的cnn使用两种训练策略来提取和训练高层特征和皮肤特异性特征，包括病变。该策略避免在任何专有/封闭源数据库(除了来自诸如skinopathy
tm
等公司的特定图像数据库)上进行训练。图4示意性地示出了训练策略，该策略使用训练cnn的级联过程，在对特定的图像数据库进行训练之前，在随机对象和皮肤特定图像的较大开源图像数据集上学习高层一般特征。此外，对于低层、细粒度特征，cnn仅在开源皮肤特定图像和来自特定数据库的皮肤图像550上被训练。对于这两种学习策略，模型的最终迭代使用预先训练的权重或其排列。显著性图生成器/边界注意力映射器组件
[0054]
图5示出了cnn-bam模块130，其具有如上详述的基本cnn模型的神经元层模块的4个不同块：茎(stem)块300、构建模块310、最终模块320和稠密层330。
[0055]
图6描绘了图像进入bam模块130的其他部分的处理流程。一旦图像被分类，bam模块(例如，显著性生成器)的其他子组件可以用于计算边界注意力图。从图6中可以看出，子组件使用一系列操作来计算图像的可视化，该可视化可用于显著对象检测以供进一步处理。给定输入图像和感兴趣的类别，显著性/bam模块包括以下步骤：i)输入初始图像100(可以是rgb彩色图像)被调整大小并被前向传播到cnn层中。ii)边界映射器400从cnn的茎(stem)模块300中提取特征映射图410。来自具有高分辨率和边界精度的特征图410的通道索引由用户预先确定或者通过迭代函数来选择。所有张量信息继续通过cnn的图像分类计算，以通过最终模块320特征图激活获得该类的原始值。原始值被传递到稠密层模块330(即皮肤数据集的特定层)，用于最终的类别预测。iii)注意力映射器420利用来自cnn(具有或不具有来自最终模块320的其他层图)的顶激活(top_activation)层的具有梯度的类别激活图作为基本输入。注意力映射器420使用像素阈值(0.5或其排列)来移除通用的基于梯度的类别激活图中的非决策像素。该阈值图以迭代方式与来自边界映射器400(从cnn的茎(stem)模块300创建)的所选通道和特征图410相关。使用与边界图(即，具有《0.05的平均差或更低的用户选择的平均差)高度相关的合成注意力图140来创建最终的bam图430。
[0056]
在本发明的一个或多个实施方式中，最终合成注意力图140由【等式5】的置换给出：{∑[边界图].∑[注意力图]-χ.[f:χ
→
χ]}(等式5)其中，χ表示用于关联注意力和边界图的像素阈值，而f:
→
χ表示该阈值的迭代，直到图之间的平均差《0.05。bam空间测量分量
[0057]
图7示出了来自bam模块130的输出张量作为空间测量组件160的输入。空间测量组件160使用在注意力图150中具有已知颜色和直径的基准标记图像440来计算病变/皮肤异常450的轮廓掩模像素的2d(长度x宽度和面积)测量值。该信息由bam模块130的轮廓/边界
映射器单元产生。测量单元将数字生成的网格框放置在参考标记和识别的病变区域上，并将测量值作为调整图像170上的标签。移动增强现实(ar)单元
[0058]
图8描绘了被用作增强现实组件60的输入的调整图像170(bam空间测量组件160的输出)。ar组件60转换该调整图像，并将其用作移动设备460的屏幕上的覆盖图。基准标记
[0059]
图9示出了2d和3d基准标记设计的一个版本，作为图2所示的通用蓝色基准标记的替代标记。2d标记470是直径小于1英寸(inch)的粘性圆形标签。该标记具有图示色轮设计(或具有颜色子集的设计)，以优化尺寸检测、病变颜色的颜色校准和图像捕获移动设备的颜色校准。3d标记480是直径大约小于1英寸(inch)的粘性圆形合成皮肤兼容标签。在一个实施方式中，该标记的高度小于0.2英寸(inch)，在非粘性表面上具有图示的2d设计。
[0060]
基于以上描述，应当清楚，在一个方面，包括上述cnn、bam和空间测量组件的各种组件结合增强现实移动设备应用来使用。然后，该应用可用于指导皮肤治疗(包括病变手术)。
[0061]
为了更清楚，图2中所示的系统和流程描述了本发明的一个特定方面：使用上述基于cnn、bam、bam的测量组件作为应用后端的移动设备应用。这些组件用于检测皮肤异常，使用cnn对该异常进行分类，并生成轮廓和注意力图。bam空间测量组件使用图像中的基准标记作为参考点来测量皮肤异常的大小，并在病变轮廓图上生成网格线以产生调整图像。然后，当显示皮肤异常的实时或近实时图像时，ar单元将调整图像用作设备屏幕上的覆盖图。轮廓尺寸和形状的规格可以由用户指导，以允许上下文灵活性并满足医疗要求。应该清楚的是，具有轮廓图和网格尺度的调整图像将作为增强现实对象显示在移动设备上，该增强现实对象覆盖有背景中的皮肤异常的真实视图。然后，临床医生可以使用增强现实对象在皮肤异常周围做出轮廓标记。
[0062]
为了说明本发明的特定配置的cnn的功效，在图10中详细描述了该cnn的一个版本的性能数据。图10显示了上面详述的cnn的一个版本的性能指标。如上所述，该cnn在智能手机摄像头图像上针对3种病变类别进行训练。这些类别是基底细胞癌(bcc)、另一组病变(other_lm)和鳞状细胞癌(scc)。性能指标显示f1的平均准确率为86％。混淆矩阵表明3个类别的假阳性值和假阴性值较低。
[0063]
参考图11，描述了bam系统(仅边界亚单位)对来自两个鳞状细胞癌(scc)患者的图像的结果。顶部水平面板500的前三幅图像分别描绘了来自1号患者的颜色、bam边界图和合成图像。并与最后三个图像(分别是彩色、梯度cam(gradcam)和合成图)并列放置，以将本发明的bam系统的边界组件与现有技术的梯度cam(gradcadm)显著性系统进行比较。面板510描绘了相同的scc病变，但是包括外科医生的切除边缘。面板520和530描绘了与上述面板500和面板510相同的结果，但是针对2号患者。
[0064]
参考图12，示出了如上所述的bam系统(边界和注意力子单元)和bam空间测量组件的结果。如上所述，基底细胞癌病变600的图像充当cnn-bam系统的输入。创建边界图610，其与本发明的注意力子单元的输出一起使用，以创建合成bam图620。对于bam空间测量单元，具有基准标记(此处使用蓝色19mm直径的粘贴标签并贴在皮肤异常附近)的病变图像630被用作输入。bam单元产生边界图640，然后用于测量基准标记和病变650的边界图。在660中示
出了没有bam图覆盖的空间测量子单元的可选输出。
[0065]
参考图13，示出了使用来自黑素瘤患者的病变图像(面板700，左侧彩色图像)的上述bam和bam空间测量单元的结果。面板700比较输入彩色图像、高度抽象的gradcam显著性图(中间图像，面板700)和根据本发明的另一方面产生的bam边界图(右边图像，面板700)结果中的高分辨率轮廓。这里还描绘了来自cnn的中间激活图(见面板710)，bam组件使用该中间激活图来识别最佳的肿瘤边界。图像720描绘了根据本发明的另一方面由bam系统产生的合成最终bam图像(最佳bam产生边界和最佳注意力图的集成)。图像720使用来自面板710的所选边界图，以及通过使用类别激活图的函数而创建的修改的注意力图，如上面的显著性图/边界注意力映射器部分中所述。图像730描绘了使用如图2所示的通用基准标记的黑色素瘤病变的空间测量结果，包括bam图的所有像素。
[0066]
如上所述，为了更好地理解本发明，可以参考以下参考文献。这些参考文献各自的全部内容通过参考纳入本说明书。1.2010年全球皮肤病负担：皮肤病患病率和影响分析，hay、r.j.等人，《皮肤病学研究杂志》，第134页，1527-1534(2014)。(the global burden of skin disease in 2010:an analysis of the prevalence and impact of skin conditions.hay,r.j.et al.journal of investigative dermatology 134,1527-1534(2014))2.“基于人工智能的图像分类方法在皮肤癌诊断中的应用：挑战与机遇”，goyal,m.、knackstedt,t.、yan,s.、hassanpour,s.、hassanpour，s，《计算机与生物医学》，第127卷，2020年。(artificial intelligence-based image classification methods for diagnosis of skin cancer:challenges and opportunities”goyal,m.,knackstedt,t.,yan,s.,hassanpour,s.computers in biology and medicine,volume 127,2020)3.深度学习与医疗保健专业人员在从医学影像中检测疾病方面的性能比较：系统综述和元分析liu,x.、faes,l.、kale,a.u.等人，2019年，《柳叶刀数字健康》，第1卷，第6期，e271-e297。(a comparison of deep learning performance against health-care professionals in detecting diseases from medical imaging:a systematic review and meta-analysis liu,x.,faes,l.,kale,a.u.,et al.2019.,the lancet digital health,volume 1,issue 6,e271-e297)4.用深度神经网络对皮肤癌进行皮肤科医生级别的分类，esteva,a.、kuprel,b.、novoa,r.等人，《自然》542，115-118(2017年)。(dermatologist-level classification of skin cancer with deep neural networks.esteva,a.,kuprel,b.,novoa,r.et al.nature 542,115-118(2017))5.一个用于皮肤病鉴别诊断的深度学习系统，liu,y.、jain,a.、eng,c.等人，2019年，《自然医学》第26卷，第900-908页(2020年)。(a deep learning system for differential diagnosis of skin diseases.liu,y.,jain,a.,eng,c.et al 2019.nature medicine volume 26,pages900-908(2020))6.使用深度卷积神经网络的imagene分类，krizhevsky,a.、sutskever,i.和geoffrey e.hinton.，2017年，《acm通信》,60,6,84
–
90.(2017)。(imagenet classification with deep convolutional neural networks”krizhevsky,a.sutskever,i.,and geoffrey e.hinton.2017.commun.acm 60,6,84-90.(2017))
7.深度卷积神经网络的最新结构综述，khan,a.、sohail,a.、zahoora,u.等人，《人工智能评论》53，5455
–
5516(2020)。(a survey of the recent architectures of deep convolutional neural networks.khan,a.,sohail,a.,zahoora,u.et al.et al.artif intell rev 53,5455-5516(2020))8.“皮肤镜图像中病变的监督显著图驱动分割”，jahanifar,m.、zamani tajeddin,n.、mohammadzadeh asl b.和gooya,a.，《ieee生物医学和健康信息学杂志》，第23卷，第2期，第509-518页，(2019年)。("supervised saliency map driven segmentation of lesions in dermoscopic images"jahanifar,m.,zamani tajeddin,n.,mohammadzadeh asl b.and gooya,a.,,in ieee journal of biomedical and health informatics,vol.23,no.2,pp.509-518,(2019))9.“通过传播激活差异来学习重要特征”，avanti shrikumar、greenside peyton和anshul kundaje；arxiv预印本arxiv：1704.02685(2017)。(“learning important features through propagating activation differences”,avanti shrikumar,greenside peyton and anshul kundaje；arxiv preprint arxiv:1704.02685(2017))10.“语境解释网络”，maruan al-shedivat、avinava dubey和eric p.xing；arxiv预印本arxiv：1705.10301(2017)。(“contextual explanation networks”,maruan al-shedivat,avinava dubey,eric p.xing；arxiv preprint arxiv:1705.10301(2017))11.“争取简单：全卷积网络”，j.t.springenberg、a.dosovitskiy、t.brox和m.a.riedmiller；校正，abs/1412.6806(2014年)。(“striving for simplicity:the all convolutional net”,j.t.springenberg,a.dosovitskiy,t.brox,and m.a.riedmiller；corr,abs/1412.6806(2014))12.“深入卷积网络内部：可视化图像分类模型和显著图”，karen simonyan、andrea vedaldi和andrew zisserman；arxiv预印本arxiv：1312.6034(2017)。(“deep inside convolutional networks:visualising image classification models and saliency maps”,karen simonyan,andrea vedaldi and andrew zisserman；arxiv preprint arxiv:1312.6034(2017))13.“grad-cam：通过基于梯度的定位进行深度网络的视觉解释”，ramprasaath r.selvaraju、michael cogswell、abhishek das、ramakrishna vedantam、devi parikh、dhruv batra，在iccv，第626—618页。(2017)。(“grad-cam:visual explanations from deep networks via gradient-based localization”,ramprasaath r.selvaraju,michael cogswell,abhishek das,ramakrishna vedantam,devi parikh,dhruv batra；in iccv,pp.618-626.(2017))14.“平稳的grad-cam++：深度卷积神经网络模型的增强推理级可视化技术”，daniel omeiza、skyler speakman、celia cintas和komminist weldemariam，arxiv，abs/1908.01224(2019)。(“smooth grad-cam++:an enhanced inference level visualization technique for deep convolutional neural network models”,daniel omeiza,skyler speakman,celia cintas,komminist weldemariam arxiv,abs/1908.01224(2019))15.“具有动态约束的新的梯度加权自适应梯度方法”，liang,f.、ma和w.li，第8
卷，第110929-110942页，(2020)。("new gradient-weighted adaptive gradient methods with dynamic constraints",d.liang,f.ma,and w.li；in ieee access,vol.8,pp.110929-110942,(2020))16.“学习和动力的黄金比例”，jaeger,s.s.arxiv预印本arxiv：2006.04751，2020。(“the golden ratio of learning and momentum”,jaeger,s.s.arxiv preprint arxiv:2006.04751,2020)17.神经泰勒近似：整流器网络中的收敛和探索，balduzzi,d.、mcwilliams,b.和butler-yeoman,t.，2018，1611.02345，arxiv。(neural taylor approximations:convergence and exploration in rectifier networks,balduzzi,d.,mcwilliams,b.and butler-yeoman,t.,2018,1611.02345,arxiv)18.深入研究整流器：在imagenet分类上超越人类水平的性能，he,k.、zhang,x.、ren,s.和sun,j.,2015，1502.01852。(delving deep into rectifiers:surpassing human-level performance on imagenet classification.he,k.,zhang,x.,ren,s.and sun,j.,2015,1502.01852arxiv)19.关于激活函数及其与xavier和he正规初始化的关系的综述，datta,l.，2020，2004.06632arxiv。(a survey on activation functions and their relation with xavier and he normal initialization,datta,l.,2020,2004.06632arxiv)20.灰度共生矩阵：归纳和一些新特征，sebastian,v.b.、unnikrishnan,a.、balakrishnan和k.ijcseit，2012年。(grey level co-occurrence matrices:generalisations and some new features,sebastian,v.b.,unnikrishnan,a.,balakrishnan,k.ijcseit,2012)
[0067]
应当清楚，本发明的各个方面可以作为整个软件系统中的软件模块来实现。因此，本发明可以采取计算机可执行指令的形式，当执行时，实现具有预定功能的各种软件模块。
[0068]
此外，应当清楚，除非另有说明，本文对“一张图像”或“多张图像”的任何引用都是指一个数字图像或一些数字图像，包括像素或图片单元。同样，除非另有说明，对“一个音频文件”或“多个音频文件”的任何引用都是指数字音频文件。除非另有说明，“视频”、“视频文件”、“数据对象”、“数据文件”和所有其他该类术语应该被认为是指数字文件和/或数据对象。
[0069]
本发明的实施例可以由计算机处理器或以方法步骤的方式编程的类似设备来执行，或者可以由配备有用于执行这些步骤的装置的电子系统来执行。类似地，诸如计算机磁盘、只读光盘(cd-rom)、随机存贮器(ram)、只读存储器(rom)或本领域已知的类似计算机软件存储介质的电子存储装置可以被编程来执行这些方法步骤。同样，表示这些方法步骤的电子信号也可以通过通信网络传输。
[0070]
本发明的实施例可以用任何传统的计算机编程语言来实现。例如，优选实施例可以用过程编程语言(例如，“c”或“go”)或面向对象的语言(例如，“c++”、“java”、“php”、“python”或“c#”)来实现。本发明的替代实施例可以以预编程的硬件元件、其他相关组件或者硬件和软件组件的组合实现。
[0071]
实施例可以以供计算机系统使用的计算机程序产品实现。这种实施方式可以包括一系列计算机指令，这些指令固定在诸如计算机可读介质(例如，磁盘、cd-rom、rom或硬盘)
的有形介质上，或者可以经由调制解调器或其他接口设备(例如通过介质连接到网络的通信适配器)传输到计算机系统。该介质可以是有形介质(例如，光或电通信线路)或用无线技术(例如，微波、红外或其他传输技术)实现的介质。该系列计算机指令体现了本文先前描述的全部或部分功能。本领域技术人员应该理解，这种计算机指令可以用多种编程语言编写，用于许多计算机体系结构或操作系统。此外，这些指令可以存储在任何存储设备中，例如半导体、磁、光或其他存储设备，并且可以使用任何通信技术来传输，例如光、红外、微波或其他传输技术。预计这种计算机程序产品可以作为和附带的预载有计算机系统(例如，在系统rom或硬盘上)的印刷或电子文档(例如，现成软件)的可移动介质来分发，或者通过网络(例如，因特网或万维网)从服务器分发。当然，本发明的一些实施例可以以软件(例如，计算机程序产品)和硬件的组合实现。本发明的其他实施例可以以完全硬件或完全软件(例如，计算机程序产品)实现。在理解本发明的基础上可以构想出的上述内容的替代结构和实施例或变型都应属于由所附权利要求限定的本发明的保护范围。

技术特征：
1.一种用于数字图像的系统，所述系统包括：处理器，所述处理器用于接收初始数字图像，所述初始数字图像显示了患者皮肤上的皮肤异常，所述处理器还用于接收所述初始数字图像的调整图像版本；数据通信通路，所述数据通信通路用于将所述初始数字图像传送到至少一个处理单元，所述至少一个处理单元包括至少一个卷积神经网络，所述至少一个处理单元用于分类和修正所述初始数字图像以产生调整图像，并且所述调整图像在产生后由所述系统接收；数字成像设备，所述数字成像设备用于产生皮肤异常的工作图像；覆盖模块，所述覆盖模块用于将所述调整图像覆盖在所述工作图像上，使得所述调整图像中的皮肤异常覆盖在所述工作图像中的所述皮肤异常上。2.根据权利要求1所述的系统，其中，所述初始图像包括基准标记。3.根据权利要求2所述的系统，其中，所述至少一个卷积神经网络使用所述基准标记来确定所述皮肤异常的大小。4.根据权利要求1所述的系统，其中，所述系统和所述至少一个处理单元被包含在移动计算设备中。5.根据权利要求1所述的系统，其中，所述系统用于由所述患者体内因素引起的皮肤异常。6.根据权利要求1所述的系统，其中，所述至少一个处理单元远离所述处理器。7.根据权利要求1所述的系统，其中，所述cnn包括：茎块；构建模块；最终模块；稠密层；其中，-所述茎块的输出由所述构建模块接收；-所述构建模块的输出由所述最终模块接收；-所述最终模块的输出由所述稠密层接收；并且-使用由手持成像设备成像的图像数据库来训练所述cnn。8.根据权利要求7所述的系统，其中，可变跳连接由所述茎块和所述构建模块中的至少一个使用。9.根据权利要求7所述的系统，其中，所述稠密层是全连接层；并且所述初始数字图像中的注意力像素被所述最终模块捕获。10.一种用于处理初始数字图像的方法，所述方法包括：通过数据处理器接收所述初始数字图像，所述初始数字图像是患者皮肤异常的图像；使用数据通信通路将所述初始数字图像发送到至少一个处理单元，所述至少一个处理单元包括至少一个卷积神经网络(cnn)；在所述至少一个处理单元中使用所述cnn对所述初始数字图像中的至少一个元素进行分类；基于所述至少一个处理单元对所述初始数字图像的处理，由所述初始数字图像生成调
整图像；通过所述数据处理器从所述一个处理单元接收所述调整图像；使用覆盖模块将所述调整图像覆盖在所述皮肤异常的工作图像上。11.根据权利要求10所述的方法，还包括：使用所述cnn生成所述初始数字图像的轮廓图，以说明所述皮肤异常的边界。12.根据权利要求10所述的方法，还包括：使用所述cnn从所述初始数字图像中捕获注意力像素。13.根据权利要求10所述的方法，其中，所述工作图像是所述皮肤异常的实时图像。14.根据权利要求10所述的方法，还包括：使用所述初始数字图像中的基准标记来确定所述皮肤异常的2d大小。15.根据权利要求10所述的方法，还包括：使用所述初始数字图像中的基准标记来确定所述皮肤异常的3d相对大小。16.根据权利要求10所述的方法，其中，所述皮肤异常由所述患者体内的因素引起。17.一种计算机可读介质，储存有编码的计算机可读和计算机可执行代码，所述代码在被执行时实现用于数字图像分类的卷积神经网络(cnn),所述cnn包括：茎块；构建模块；最终模块；和稠密层；其中，-所述构建模块接收该茎块的输出；-所述构建模块的输出由所述最终模块接收；-所述最终模块的输出由所述稠密层接收；-可变跳连接由所述茎块和所述构建模块中的至少一个使用；-所述稠密层是全连接层；-初始数字图像中的注意力像素被所述最终模块捕获；并且-被所述cnn分类的所述初始数字图像为皮肤异常的图像。18.根据权利要求17所述的计算机可读介质，其中，所述cnn在包括使用移动数据处理设备拍摄的图像的数据集上进行训练。19.根据权利要求17所述的计算机可读介质，其中，所述皮肤异常由所述患者体内的因素引起。

技术总结
一种用于分类和测量皮肤异常图像的系统和方法。该系统和方法可用于支持增强现实(AR)系统，该系统可用于辅助皮肤手术和皮肤异常分类和诊断。该系统使用卷积神经网络对初始数字图像中的皮肤异常进行分类。CNN也可以用于确定皮肤异常的边界。基准标记可以存在于初始数字图像中，并且该标记可以用于自动测量皮肤异常的大小。基于所测量的异常生成调整图像，并且该调整图像可以用作支持AR系统中的覆盖图，用于辅助外科手术。用于辅助外科手术。用于辅助外科手术。


技术研发人员：洪柯林 拉凯什
受保护的技术使用者：肤源有限公司
技术研发日：2022.02.01
技术公布日：2023/10/20