一种结合图文信息的皮肤病分类系统的制作方法

1.本发明涉及皮肤病诊疗领域，特别是涉及一种结合图文信息的皮肤病分类系统。


背景技术：

2.研发新的皮肤病诊断和评估工具可以将皮肤科顶尖专家的诊疗经验赋能基层皮肤科和全科医生，实现皮肤病的分级诊疗，有着重要的医学和科研价值。
3.当前皮肤病诊疗主要采用基于图像的算法，但是单纯采用图像进行皮肤病的诊疗，并没有考虑患者自身对于病症的描述，如图像中观测不到的体感、过往病史等信息，因此导致皮肤病分类的准确度不够高，不能满足目前患者的需求。


技术实现要素：

4.本发明的目的是提供一种结合图文信息的皮肤病分类系统，可提高皮肤病分类的精度。
5.为实现上述目的，本发明提供了如下方案：
6.一种结合图文信息的皮肤病分类系统，包括：
7.图文获取单元，用于获取目标皮肤的图像信息及医疗文本信息；所述医疗文本信息包括病症描述信息及过往病史；
8.图像特征确定单元，与所述图文获取单元连接，用于对所述图像信息进行目标检测，确定所述图像信息中的病灶候选框，并对各病灶候选框进行分类，确定图像特征；所述图像特征包括各病灶候选框属于每种皮肤病的概率；
9.文本特征确定单元，与所述图文获取单元连接，用于对所述医疗文本信息进行名词实体识别并编码，确定多个文本特征；
10.分类单元，分别与所述图像特征确定单元及所述文本特征确定单元连接，用于根据所述图像特征及所述文本特征，基于图文分类模型，确定所述目标皮肤的皮肤病类型；所述图文分类模型为预先采用第一训练样本集，对支持向量机进行训练得到的；所述第一训练样本集包括多个样本特征及各样本特征对应的皮肤病类型。
11.可选地，所述图像特征确定单元包括：
12.目标检测模块，与所述图文获取单元连接，用于对所述图像信息进行目标检测，确定所述图像信息中的病灶候选框；
13.图像分类模块，与所述目标检测模块连接，用于根据所述图像信息及所述图像信息中的病灶候选框，基于双通道分类模型，确定图像特征；所述双通道分类模型为预先采用第二训练样本集，对卷积神经网络进行训练得到的；所述第二训练样本集中包括多张第一样本图像、各第一样本图像中的病灶候选框及各病灶候选框的皮肤病类别。
14.可选地，所述目标检测模块基于病灶检测模型，对所述图像信息进行目标检测；所述病灶检测模型为预先采用第三训练样本集，对centernet进行训练得到的；所述第三训练样本集中包括多张第二样本图像及各第二样本图像中的病灶候选框。
15.可选地，所述文本特征确定单元包括：
16.实体识别模块，与所述图文获取单元连接，用于采用flat模型对所述医疗文本信息进行名词实体识别，得到多个名词实体；
17.映射模块，与所述实体识别模块连接，用于将各名词实体映射为医学实体；所述医学实体为具有医学意义的实体；
18.编码模块，与所述映射模块连接，用于对各医学实体进行独热编码，得到对应的多个文本特征。
19.可选地，所述映射模块包括：
20.向量嵌入子模块，与所述实体识别模块连接，用于对各名词实体进行句向量嵌入，以将各名词实体转变为对应的向量，得到对应各名词实体的句向量；
21.距离计算子模块，与所述向量嵌入子模块连接，用于针对任一句向量，计算所述句向量与医学实体数据库中各医学实体向量的余弦距离；所述医学实体数据库中包括多个医学实体及各医学实体对应的医学实体向量；
22.实体确定子模块，与所述距离计算子模块连接，用于将与所述句向量的余弦距离最小的医学实体向量对应的医学实体作为所述句向量的医学实体。
23.可选地，采用sentencebert对各名词实体进行句向量嵌入。
24.可选地，所述分类单元包括：
25.合并模块，分别与所述图像特征确定单元及所述文本特征确定单元连接，用于将所述图像特征及所述文本特征合并为一个特征向量；
26.类型确定模块，与所述合并模块连接，用于根据所述特征向量，基于图文分类模型，确定所述目标皮肤的皮肤病类型；所述第一训练样本集中的样本特征为向量。
27.根据本发明提供的具体实施例，本发明公开了以下技术效果：
28.通过图文获取单元获取目标皮肤的图像信息及医疗文本信息，其中医疗文本信息包括病症描述信息及过往病史，图像特征确定单元对图像信息进行目标检测，确定图像信息中的病灶候选框，并对各病灶候选框进行分类，确定图像特征(各病灶候选框属于每种皮肤病的概率)，文本特征确定单元对医疗文本信息进行名词实体识别并编码，确定多个文本特征，分类单元根据图像特征及文本特征，基于图文分类模型，确定目标皮肤的皮肤病类型，提高了皮肤病分类的准确度。
附图说明
29.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
30.图1为本发明结合图文信息的皮肤病分类系统的模块示意图；
31.图2为双通道分类模型的示意图；
32.图3为皮肤病分类的整体流程示意图。
33.符号说明：
34.图文获取单元-1，图像特征确定单元-2，文本特征确定单元-3，分类单元-4。
具体实施方式
35.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.本发明的目的是提供一种结合图文信息的皮肤病分类系统，通过结合图像信息及文本信息对患者皮肤进行分类，以提高分类精度。
37.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
38.如图1所示，本发明结合图文信息的皮肤病分类系统包括：图文获取单元1、图像特征确定单元2、文本特征确定单元3及分类单元4。在本实施例中，图文获取单元1、图像特征确定单元2、文本特征确定单元3及分类单元4保存在存储器中，并通过处理器运行。
39.其中，图文获取单元1用于获取目标皮肤的图像信息及医疗文本信息；所述医疗文本信息包括病症描述信息及过往病史。在本实施例中，图像信息指的是病例对应的包含病灶的图片。医疗文本信息指的是医生收集到的患者主诉信息，是患者自己对于病症的描述，包含图像中观测不到的体感、过往病史等信息。
40.图像特征确定单元2与所述图文获取单元1连接，图像特征确定单元2用于对所述图像信息进行目标检测，确定所述图像信息中的病灶候选框，并对各病灶候选框进行分类，确定图像特征。所述图像特征包括各病灶候选框属于每种皮肤病的概率。
41.进一步地，图像特征确定单元2包括：目标检测模块及图像分类模块。
42.其中，目标检测模块与所述图文获取单元1连接，目标检测模块用于对所述图像信息进行目标检测，确定所述图像信息中的病灶候选框。具体地，基于病灶检测模型对图像信息进行目标检测。所述病灶检测模型为预先采用第三训练样本集，对centernet进行训练得到的。所述第三训练样本集中包括多张第二样本图像及各第二样本图像中的病灶候选框。
43.图像分类模块与所述目标检测模块连接，图像分类模块用于根据所述图像信息及所述图像信息中的病灶候选框，基于双通道分类模型，确定图像特征。所述双通道分类模型为预先采用第二训练样本集，对卷积神经网络进行训练得到的。所述第二训练样本集中包括多张第一样本图像、各第一样本图像中的病灶候选框及各病灶候选框的皮肤病类别。
44.如图2所示，双通道分类模型包括第一卷积神经网络层、第二卷积神经网络层及线性网络层。病灶候选框输入第一卷积神经网络层，图像信息输入第二卷积神经网络层，得到两个向量，将卷积神经网络层输出的两个向量点乘后，经过线性网络层，输出皮肤病的概率。
45.对于图像信息，本发明在过往以图像为基础的诊断模型上，不止采用局部的病灶信息，更包含全局的背景信息。病灶信息是由病灶检测模型检测筛选出来的病灶候选框。需要注意的是，出于准确性考量，所有的病灶候选框虽然由算法提出候选，但都由医生或患者本人自行选择出正确的候选框。背景信息则是包含病灶之外部位的患者上传的原图，通过背景信息，双通道分类模型可以了解到病灶的部位和光照信息。为了兼顾病灶区位信息和局部纹理信息，本发明将病灶候选框和原图同时输入双通道分类模型，所谓双通道是在较底层的网络中，同时并联接入病灶候选框和原图的输入。通过收集到的病例的诊疗记录和
图像，可以对双通道分类模型进行训练，训练采用后向求导的梯度下降方法。在同时纳入局部和全局病灶信息之后，双通道分类模型相对于单通道分类模型获得了显著的性能提升。
46.文本特征确定单元3与所述图文获取单元1连接，文本特征确定单元3用于对所述医疗文本信息进行名词实体识别并编码，确定多个文本特征。
47.进一步地，文本特征确定单元3包括：实体识别模块、映射模块及编码模块。
48.其中，实体识别模块与所述图文获取单元1连接，实体识别模块用于采用flat(flat-latticetransformer)模型对所述医疗文本信息进行名词实体识别，得到多个名词实体。本发明通过名称实体识别技术从回顾性临床文本中提取有效的名词实体。flat模型是一个基于transformer的模型，加上了针对中文分词的结构设计。
49.映射模块与所述实体识别模块连接，映射模块用于将各名词实体映射为医学实体。所述医学实体为具有医学意义的实体。由于抽取出来的名词实体是较为零散的，因此通过映射模块将整理出来的名词实体通过一个映射表将零散的名词实体映射到具有医学意义的实体。
50.具体地，所述映射模块包括向量嵌入子模块、距离计算子模块及实体确定子模块。
51.向量嵌入子模块与所述实体识别模块连接，向量嵌入子模块用于对各名词实体进行句向量嵌入，以将各名词实体转变为对应的向量，得到对应各名词实体的句向量。在本实施例中，采用sentencebert对各名词实体进行句向量嵌入。
52.距离计算子模块与所述向量嵌入子模块连接，距离计算子模块用于针对任一句向量，计算所述句向量与医学实体数据库中各医学实体向量的余弦距离。所述医学实体数据库中包括多个医学实体及各医学实体对应的医学实体向量。
53.实体确定子模块与所述距离计算子模块连接，实体确定子模块用于将与所述句向量的余弦距离最小的医学实体向量对应的医学实体作为所述句向量的医学实体。作为另一种具体的实施方式，如果句向量与医学实体数据库中的医学实体向量的余弦距离小于设定阈值，则此医学实体向量对应的医学实体作为句向量的医学实体。
54.编码模块与所述映射模块连接，编码模块用于对各医学实体进行独热编码，得到对应的多个文本特征。
55.如经过flat模型后，患者描述中有“隆起”字样，获得“隆起”的向量表示。随后找到医学实体数据库中和“隆起”语义最接近的词“丘疹”，如果两者向量表示的余弦距离小于设定阈值，则说明“隆起”和丘疹”的语义相当接近，可以被判定为同一个词。通过以上方法一共可整理出约五百个具有皮肤病医疗意义的实体。在此之后本发明通过对文本名称实体进行编码，获得了呈现为独热向量形式的文本特征。
56.分类单元4分别与所述图像特征确定单元2及所述文本特征确定单元3连接，分类单元4用于根据所述图像特征及所述文本特征，基于图文分类模型，确定所述目标皮肤的皮肤病类型。所述图文分类模型为预先采用第一训练样本集，对支持向量机进行训练得到的。所述第一训练样本集包括多个样本特征及各样本特征对应的皮肤病类型。本发明进行皮肤病分类的整体流程如图3所示。皮肤病类型包括黑头、白头、粉刺、丘疹、结节、脓疱、痘印、囊肿、痤疮等等。
57.进一步地，分类单元4包括合并模块及类型确定模块。合并模块分别与所述图像特征确定单元2及所述文本特征确定单元3连接，合并模块用于将所述图像特征及所述文本特
征合并为一个特征向量。类型确定模块与所述合并模块连接，类型确定模块用于根据所述特征向量，基于图文分类模型，确定所述目标皮肤的皮肤病类型。所述第一训练样本集中的样本特征为向量。
58.作为单层分类模型，支持向量机可以对此种向量在分类的同时，输出各特征重要性的数值。这样就解决了目前分类模型可解释性差的问题。最终可以同时获得病例的皮肤病分类结果，病例在各皮肤病上的概率分布数值，以及作为分类依据的各图像文字特征的占比。
59.皮肤病诊断不仅需要结合皮损图像信息，问诊信息同样非常重要。本发明从医疗主述中提取了问诊信息，并将其与皮损图像信息结合，纳入文字信息之后，相对于纯图像模型或者纯文字模型，图文模型获得了显著的性能提升，相较于目前大部分仅基于图像数据的皮肤病诊断模型，本发明同时采用医疗文本信息和图像信息，所以在获得更好的模型性能同时，也更符合医生诊断逻辑。
60.在临床的实验中，以病理结果为金标准，本发明可以远超低年资皮肤病医生的性能，总体性能在中年资医生平均性能和高年资医生平均性能之间。同时，相对于纯粹使用神经网络的模型，使用单层的支持向量机也可以获得更好的可解释性。在医学实践中，可解释性可以帮助医生更好地理解模型的决策结果。
61.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的系统及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种结合图文信息的皮肤病分类系统，其特征在于，所述结合图文信息的皮肤病分类系统包括：图文获取单元，用于获取目标皮肤的图像信息及医疗文本信息；所述医疗文本信息包括病症描述信息及过往病史；图像特征确定单元，与所述图文获取单元连接，用于对所述图像信息进行目标检测，确定所述图像信息中的病灶候选框，并对各病灶候选框进行分类，确定图像特征；所述图像特征包括各病灶候选框属于每种皮肤病的概率；文本特征确定单元，与所述图文获取单元连接，用于对所述医疗文本信息进行名词实体识别并编码，确定多个文本特征；分类单元，分别与所述图像特征确定单元及所述文本特征确定单元连接，用于根据所述图像特征及所述文本特征，基于图文分类模型，确定所述目标皮肤的皮肤病类型；所述图文分类模型为预先采用第一训练样本集，对支持向量机进行训练得到的；所述第一训练样本集包括多个样本特征及各样本特征对应的皮肤病类型。2.根据权利要求1所述的结合图文信息的皮肤病分类系统，其特征在于，所述图像特征确定单元包括：目标检测模块，与所述图文获取单元连接，用于对所述图像信息进行目标检测，确定所述图像信息中的病灶候选框；图像分类模块，与所述目标检测模块连接，用于根据所述图像信息及所述图像信息中的病灶候选框，基于双通道分类模型，确定图像特征；所述双通道分类模型为预先采用第二训练样本集，对卷积神经网络进行训练得到的；所述第二训练样本集中包括多张第一样本图像、各第一样本图像中的病灶候选框及各病灶候选框的皮肤病类别。3.根据权利要求2所述的结合图文信息的皮肤病分类系统，其特征在于，所述目标检测模块基于病灶检测模型，对所述图像信息进行目标检测；所述病灶检测模型为预先采用第三训练样本集，对centernet进行训练得到的；所述第三训练样本集中包括多张第二样本图像及各第二样本图像中的病灶候选框。4.根据权利要求1所述的结合图文信息的皮肤病分类系统，其特征在于，所述文本特征确定单元包括：实体识别模块，与所述图文获取单元连接，用于采用flat模型对所述医疗文本信息进行名词实体识别，得到多个名词实体；映射模块，与所述实体识别模块连接，用于将各名词实体映射为医学实体；所述医学实体为具有医学意义的实体；编码模块，与所述映射模块连接，用于对各医学实体进行独热编码，得到对应的多个文本特征。5.根据权利要求4所述的结合图文信息的皮肤病分类系统，其特征在于，所述映射模块包括：向量嵌入子模块，与所述实体识别模块连接，用于对各名词实体进行句向量嵌入，以将各名词实体转变为对应的向量，得到对应各名词实体的句向量；距离计算子模块，与所述向量嵌入子模块连接，用于针对任一句向量，计算所述句向量与医学实体数据库中各医学实体向量的余弦距离；所述医学实体数据库中包括多个医学实
体及各医学实体对应的医学实体向量；实体确定子模块，与所述距离计算子模块连接，用于将与所述句向量的余弦距离最小的医学实体向量对应的医学实体作为所述句向量的医学实体。6.根据权利要求5所述的结合图文信息的皮肤病分类系统，其特征在于，采用sentencebert对各名词实体进行句向量嵌入。7.根据权利要求1所述的结合图文信息的皮肤病分类系统，其特征在于，所述分类单元包括：合并模块，分别与所述图像特征确定单元及所述文本特征确定单元连接，用于将所述图像特征及所述文本特征合并为一个特征向量；类型确定模块，与所述合并模块连接，用于根据所述特征向量，基于图文分类模型，确定所述目标皮肤的皮肤病类型；所述第一训练样本集中的样本特征为向量。

技术总结
本发明提供一种结合图文信息的皮肤病分类系统，属于皮肤病诊疗领域，皮肤病分类系统包括：图文获取单元，用于获取目标皮肤的图像信息及医疗文本信息；医疗文本信息包括病症描述信息及过往病史；图像特征确定单元，用于对图像信息进行目标检测，确定图像信息中的病灶候选框，并对各病灶候选框进行分类，确定图像特征；文本特征确定单元，用于对医疗文本信息进行名词实体识别并编码，确定多个文本特征；分类单元，用于根据图像特征及文本特征，基于图文分类模型，确定目标皮肤的皮肤病类型；图文分类模型为预先采用第一训练样本集对支持向量机进行训练得到的。通过结合图像信息及医疗文本信息提高了皮肤病分类的准确度。疗文本信息提高了皮肤病分类的准确度。疗文本信息提高了皮肤病分类的准确度。


技术研发人员：李寰宇 胡锟 魏子昆 朱玲 吕君蔚
受保护的技术使用者：李寰宇
技术研发日：2023.03.31
技术公布日：2023/8/1