基于先验正则的齿痕舌分类方法与装置与流程

1.本发明涉及分类技术领域，具体涉及一种基于先验正则的齿痕舌分类方法与装置。


背景技术：

2.齿痕舌是舌体边缘有牙齿的痕迹，通常由舌体发育异常导致。目前对于判断是否为齿痕舌方法大多采用深度学习方法。其中，齿痕舌分类模型通过判断舌体边缘是否有牙齿的痕迹来判断是否为齿痕舌。因此齿痕舌分类模型应更倾向于关注舌体边缘。而现有技术中的模型热力图如图4所示，图中展示出该模型并没有重点关注舌体边缘。因此该模型的性能有待提高。


技术实现要素：

3.为解决上述技术问题的一个或多个，本发明提供一种基于先验正则的齿痕舌分类方法与装置。
4.根据本发明的一个方面，提供了基于先验正则的齿痕舌分类方法，包括：
5.获取舌象图；
6.对所述舌象图处理，得到掩码图；
7.对所述舌象图进行卷积神经网络处理后获得至少两种注意力图；
8.计算总损失函数，所述计算总损失函数包括计算第一损失函数和计算第二损失函数；
9.根据所述注意力图计算第一损失函数，结合所述掩码图和注意力图计算第二损失函数。
10.本发明的齿痕舌分类模型，通过将掩码图和注意力图作为该模型的输入以及计算损失函数等该步骤，引导模型重点关注舌体边缘区域，实则限制了需要关注的范围，从而提高模型的准确率等性能。
11.在一些实施方式中，对所述舌象图处理，得到掩码图m进一步包括：
12.将舌象图通过舌象分割得到初始掩码图m0；
13.将所述初始掩码图m0转为灰度图；
14.将指定尺寸的单位矩阵在灰度图上进行矩阵平移操作后进行腐蚀，得到腐蚀图m1；
15.结合初始掩码图m0和腐蚀图m1计算得到掩码图m。
16.所述掩码图m根据以下公式进行计算：m＝m0
×
(1.0-m1)，得到掩码图m。掩码图实则限制了模型需要重点关注的目标关键候选区域。
17.在一些实施方式中，舌象分割包括先进行舌象图的舌象分割标注，再进行舌象分割算法处理，所述舌象分割算法处理包括：先得到分割标准，再利用所述分割标准对舌象图进行舌象分割。舌象分割包括分割为舌体与非舌体。
18.在一些实施方式中，对所述舌象图进行卷积神经网络处理后获得注意力图进一步包括：
19.对所述特征图进行第一卷积操作得到第一注意力图a ttention1，对特征图进行第二卷积操作得到第二注意力图a ttention 2。
20.在一些实施方式中，所述骨干网络模型为vgg网络或resnet网络或其他cnn网络。
21.结合所述第一注意力图a ttention1和第二注意力图a ttention 2计算第一损失函数，结合掩码图m、第一注意力图attention1和第二注意力图a ttention 2计算第二损失函数。
22.所述计算总损失函数还包括计算第三损失函数；所述第一损失函数为不同区域关注损失函数，所述第二损失函数为掩码正则损失函数，所述第三损失函数为分类交叉熵损失函数。所述分类交叉熵损失函数l
ce
通过以下计算公式获得：
23.其中q(x)为实际类别的0-1编码，p(x)为模型预测的概率，k为实际类别数目；
24.所述不同区域关注损失函数l
cross
通过以下计算公式获得：
[0025][0026]
所述掩码正则损失函数l
exclusion
通过以下计算公式获得：
[0027]
其中w为图像的宽，h为图像的高；
[0028]
所述总损失函数通过以下计算公式获得：
[0029]
l＝α
×
l
ce
+β
×
l
cross
+γ
×
l
exclusion
，其中，总损失函数为l，α为分类交叉熵损失函数l
ce
的加权系数，β为不同区域关注损失函数l
cross
的加权系数，γ为掩码正则损失函数l
exclusion
的加权系数。
[0030]
基于先验正则的齿痕舌分类装置，包括：
[0031]
获取舌象图模块,用于获取舌象图；
[0032]
处理模块，包括第一处理单元，用于对所述舌象图进行处理，得到掩码图m；还包括第二处理单元，用于对所述舌象图通过卷积神经网络处理后得到第一注意力图attention1和第二注意力图a ttention2；
[0033]
计算模块，用于结合所述掩码图m、第一注意力图attention1和第二注意力图a ttention2计算总损失函数。
附图说明
[0034]
图1为本发明一实施方式的齿痕舌分类方法的训练阶段流程示意图；
[0035]
图2为本发明一实施方式的齿痕舌分类方法的测试阶段流程示意图；
[0036]
图3为舌象图生成掩码图的流程示意图；
[0037]
图4为现有技术中的模型热力示意图；
[0038]
图5为使用本发明齿痕舌分类装置的模型热力示意图。
具体实施方式
[0039]
下面结合附图对本发明作进一步详细的说明。
[0040]
图1示意性地显示了齿痕舌分类方法的训练阶段流程示意图。图2示意性地显示了齿痕舌分类方法的测试阶段流程示意图，与训练阶段不同，测试阶段不需要生成舌象图的掩码图。
[0041]
齿痕舌分类方法包括：
[0042]
获取舌象图；
[0043]
对所述舌象图经过处理，得到掩码图；
[0044]
对所述舌象图进行卷积神经网络处理后获得至少两种注意力图；
[0045]
结合所述掩码图和注意力图计算总损失函数。
[0046]
基于先验正则的齿痕舌分类装置，包括：
[0047]
获取舌象图模块,用于获取舌象图；
[0048]
处理模块，包括第一处理单元，用于对所述舌象图进行处理，得到掩码图m；还包括第二处理单元，用于对所述舌象图通过卷积神经网络处理后得到第一注意力图attention1和第二注意力图a ttention2；
[0049]
计算模块，用于结合掩码图m、第一注意力图attention1和第二注意力图a ttention2计算总损失函数。
[0050]
生成掩码图m方法包括：
[0051]
将从获取舌象图模块获取到的舌象图通过舌象分割算法得到初始掩码图m0；
[0052]
其中，舌象图为rgb格式；
[0053]
将所述初始掩码图m0转为灰度图；
[0054]
将3
×
3的单位矩阵在灰度图上进行矩阵平移操作后进行腐蚀，得到腐蚀图m1；
[0055]
根据以下公式进行计算：m＝m0
×
(1.0-m1)，得到掩码图m。
[0056]
本实施例中原始的舌象图像尺寸为255
×
255，即宽度和高度都为255个像素点，模型前向计算时对应255
×
255
×
3矩阵。本实施例中用的单位矩阵为3
×
3的单位矩阵。单位矩阵也可以为5
×
5或者7
×
7的。矩阵平移操作的方向为由左至右，由上至下。每次移动一个像素点。矩阵平移操作实则为3
×
3的单位矩阵和对应舌象灰度图255
×
255的矩阵进行对应位置的数值相乘求和。矩阵平移操作的次数越大，舌象图上的舌边缘掩码越大。具体次数可根据实际需求选择。
[0057]
对舌象图进行舌象分割包括对舌象图运用图片标注工具进行舌象标注和进行舌象分割算法处理，上述舌象分割算法处理包括：先得到分割标准，再利用所述分割标准对舌象图进行舌象分割。舌象分割时运用图像分割模型进行舌象分割。本实施方案中，图片标注工具是labelme工具，图像分割模型是unet图像分割模型。
[0058]
生成注意力图方法包括：
[0059]
将从获取舌象图模块获取到的舌象图输入骨干网络模型，通过骨干网络模型得到该舌象图的舌象特征图；
[0060]
其中，骨干网络模型为卷积神经网络模型，用于提取图像特征，本实施例中的骨干
网络所用的是resnet网络；
[0061]
将特征图分别进行两种卷积分支操作，得到两种注意力图。
[0062]
其中，根据舌象图上有齿痕和舌象图上没有齿痕两种图像模式得出两种注意力图。舌象图上有齿痕图像模式的第一注意力图为a ttention1，舌象图上无齿痕图像模式的第二注意力图为a tten tion 2。
[0063]
卷积分支操作在本实施例中包括对特征图进行全局平均池化、全连接层以及运用激活函数处理。激活函数包括relu激活函数和sigmoid激活函数。通过现有技术中的双线性注意力池化操作融合第一注意力图(或第二注意力图)和特征图得到舌象图的特征向量，对特征向量执行分类操作得到分类交叉熵损失函数，如图1。其中，特征向量为指定长度的一维向量。指定长度可以从以下中选择：64、128、256和512，也可自定义。分类操作包括特征向量接连经过现有技术的全连接层和softmax函数的处理。
[0064]
构建齿痕舌分类模型除了需要掩码图和两种注意力图，还需要计算总损失函数。计算总损失函数包括计算第一损失函数、计算第二损失函数和计算第三损失函数。本实施例中第一损失函数为不同区域关注损失函数，第二损失函数为掩码正则损失函数，第三损失函数为分类交叉熵损失函数。
[0065]
其中，不同区域关注损失函数为了限制齿痕舌分类模型中的两种图像模式所需要关注的不同区域。鉴于齿痕位于舌体边缘，齿痕舌分类模型对有齿痕的舌象图需要关注舌体边缘上的牙印区域，而对无齿痕的舌象图需要关注舌体边缘上的非牙印区域。
[0066]
掩码正则损失函数为了限制齿痕舌分类模型中的两种图像模式均关注舌边缘区域。
[0067]
不同区域关注损失函数l
cross
通过以下计算公式获得：
[0068][0069]
掩码正则损失函数l
exclusion
通过以下计算公式获得：
[0070]
其中，w为图像的宽，h为图像的高。
[0071]
分类交叉熵损失函数l
ce
通过以下计算公式获得：
[0072][0073]
q(x)为实际类别的0-1编码。本实施例用的编码是0-1编码。p(x)为模型预测的概率。将有齿痕的舌象图编码为1，没有齿痕的舌象图编码为0。k为实际类别数目，在本实施例中舌象图分为有齿痕和无齿痕两个类别，因此k为2。
[0074]
总损失函数通过以下计算公式获得：
[0075]
l＝α
×
l
ce
+β
×
l
cross
+γ
×
l
exclusion
[0076]
其中，总损失函数为l，α为分类交叉熵损失函数l
ce
的加权系数，β为不同区域关注损失函数l
cross
的加权系数，γ为掩码正则损失函数l
exclusion
的加权系数。
[0077]
构建好的齿痕舌分类模型在训练中可以使用反向梯度传播算法来更新模型参数，
让模型对无齿痕的舌象图输出一个尽可能趋近于0的数值，对有齿痕的舌象图输出一个尽可能趋近于1的数值。
[0078]
图3示意性地显示了现有技术中的模型热力示意图，而图4示意性地显示了使用本发明齿痕舌分类装置的模型热力示意图。齿痕位于舌边缘，那么对于判断舌象图上是否有齿痕，模型应该重点关注舌体边缘。图3与图4相比，可以看出图4关注到了应该重点关注的区域。应该重点关注的区域在图1中为掩码图的白色区域。
[0079]
运用本发明方法模型进行判断舌象图上有无齿痕。本发明模型的准确率较现有技术的模型相比，提高了约百分之五。准确率是通过提前知道每张舌象图的真实标签，让训练好的模型预测每张舌象图的预测标签，统计预测标签和真实标签相等的比例。
[0080]
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

技术特征：
1.基于先验正则的齿痕舌分类方法，其特征在于，包括：获取舌象图；对所述舌象图处理，得到掩码图；对所述舌象图进行卷积神经网络处理后获得至少两种注意力图；计算总损失函数，所述计算总损失函数包括计算第一损失函数和计算第二损失函数；根据所述注意力图计算第一损失函数，结合所述掩码图和注意力图计算第二损失函数。2.根据权利要求1所述的基于先验正则的齿痕舌分类方法，其特征在于，对所述舌象图处理，得到掩码图m进一步包括：将舌象图通过舌象分割得到初始掩码图m0；将所述初始掩码图m0转为灰度图；将指定尺寸的单位矩阵在灰度图上进行矩阵平移操作后进行腐蚀，得到腐蚀图m1；结合初始掩码图m0和腐蚀图m1计算得到掩码图m。3.根据权利要求2所述的基于先验正则的齿痕舌分类方法，其特征在于，所述舌象分割包括先进行舌象图的舌象分割标注，再进行舌象分割算法处理，所述舌象分割算法处理包括：先得到分割标准，再利用所述分割标准对舌象图进行舌象分割。4.根据权利要求2所述的基于先验正则的齿痕舌分类方法，其特征在于，所述掩码图m根据以下公式进行计算：m＝m0
×
(1.0-m1)，得到掩码图m。5.根据权利要求4所述的基于先验正则的齿痕舌分类方法，其特征在于，对所述舌象图进行卷积神经网络处理后获得注意力图进一步包括：所述舌象图通过骨干网络模型进行提取舌象的特征，得到特征图；对所述特征图进行第一卷积操作得到第一注意力图a ttention1，对特征图进行第二卷积操作得到第二注意力图a ttention 2。6.根据权利要求5所述的基于先验正则的齿痕舌分类方法，其特征在于，所述骨干网络模型为vgg网络或resnet网络或其他cnn网络。7.根据权利要求5所述的基于先验正则的齿痕舌分类方法，其特征在于，结合所述第一注意力图a ttention1和第二注意力图a ttention 2计算第一损失函数，结合掩码图m、第一注意力图a ttention1和第二注意力图a tten tion 2计算第二损失函数。8.根据权利要求1所述的基于先验正则的齿痕舌分类方法，其特征在于，所述计算总损失函数还包括计算第三损失函数；所述第一损失函数为不同区域关注损失函数，所述第二损失函数为掩码正则损失函数，所述第三损失函数为分类交叉熵损失函数。9.根据权利要求8所述的基于先验正则的齿痕舌分类方法，其特征在于，所述分类交叉熵损失函数l
ce
通过以下计算公式获得：其中q(x)为实际类别的0-1编码，p(x)为模型预测的概率，k为实际类别数目；所述不同区域关注损失函数l
cross
通过以下计算公式获得：
所述掩码正则损失函数l
exclusion
通过以下计算公式获得：其中w为图像的宽，h为图像的高；所述总损失函数通过以下计算公式获得：l＝α
×
l
ce
+β
×
l
cross
+γ
×
l
exclusion
，其中，总损失函数为l，α为分类交叉熵损失函数l
ce
的加权系数，β为不同区域关注损失函数l
cross
的加权系数，γ为掩码正则损失函数l
exclusion
的加权系数。10.基于先验正则的齿痕舌分类装置，其特征在于，包括：获取舌象图模块,用于获取舌象图；处理模块，包括第一处理单元，用于对所述舌象图进行处理，得到掩码图m；还包括第二处理单元，用于对所述舌象图通过卷积神经网络处理后得到第一注意力图a ttention1和第二注意力图a tten tion 2；计算模块，用于结合所述掩码图m、第一注意力图a ttention1和第二注意力图a tten tion 2计算总损失函数。

技术总结
本发明公开一种基于先验正则的齿痕舌分类方法与装置，方法包括：获取舌象图；对所述舌象图处理，得到掩码图；舌象图通过卷积神经网络处理后获得注意力图；结合所述掩码图和注意力图构建齿痕舌分类模型。本发明提供一种基于先验正则的齿痕舌分类方法与装置，克服现有技术中的模型没有重点关注目标关键区域的问题，提高模型性能。提高模型性能。提高模型性能。


技术研发人员：陆靖桥 陈虹
受保护的技术使用者：陈虹
技术研发日：2022.12.16
技术公布日：2023/9/22