一种基于T-LSTM双向自动编码器的疾病数据分型方法

一种基于t-lstm双向自动编码器的疾病数据分型方法
技术领域
1.本发明属于医疗自然语言处理领域，涉及多变量时间序列预测，具体涉及的是一种基于t-lstm双向自动编码器的疾病数据分型方法。


背景技术：

2.电子病历可以为了解人口健康管理提供重要的资源，在电子病历中隐藏着被现有的临床描述所限制的多种子类型，通过学习患者深层表示，对其进行聚类来发掘被隐藏模式的巨大潜力，可以挖掘对病情和治疗的更深入了解。从复杂的患者数据中分析异质患者获取其子类型极具挑战,深度学习已被应用于获得更稳健的患者表征，以挖掘疾病的亚型分类。
3.因医疗数据多为时序数据，利用机器学习等技术可以从数据本身获取其疾病描述和其他临床概念，且用于此方面的数据具有纵向时序特点，所以捕捉各个记录间的时序关系就尤为重要,患者入院就诊的时序数据通常为不规律时间间隔数据，这些时间间隔可能预示着某些疾病的发生，若一位患者在短期内频繁入院，其自身可能存在严重的健康问题，而若两次就诊间间隔较长时间，则前一次的就诊记录往往不能对当次诊断提供有用信息。然而处理数据不但需要抓住不规律间隔元素之间的依赖性，在处理患者入院就诊的时序数据时，患者诊断结果是由其上下文记录共同决定，仅利用当前记录前向信息无法做出完善详尽的决策，这在很多任务中都有局限性。


技术实现要素：

4.为了克服上述现有技术的不足，本发明提出了一种基于t-lstm双向自动编码器的疾病数据分型方法，将就诊记录存在的不规律时间间隔和病历数据本身分别作为输入，同时从前向和后向两个方向对数据进行处理，充分考虑时序数据的正反向信息规律，进一步挖掘当前记录同过去及未来时刻记录的内在联系，有效增强模型对于原序列特征的提取，最终输出编码器学习的患者强大的单一表示，提高模型对于疾病数据分型的聚类效果。
5.本发明为实现上述目的所采用的技术方案是：
6.一种基于t-lstm双向自动编码器的疾病数据分型方法，包括以下步骤：
7.1)获取纵向时间序列电子病历数据，并对其进行预处理；
8.2)构建并训练基于t-lstm的双向自动编码器；
9.3)通过训练好的双向自动编码器对电子病历数据进行处理，并通过k-means算法对处理结果进行聚类，得到疾病数据的亚型分型结果。
10.所述步骤1)包括以下步骤：
11.1.1)获取纵向时间序列电子病历数据，将数据中缺失值大于百分之九十的特征列删除；
12.1.2)剩余存在缺失值的特征列中，连续变量使用均值填充，分类变量使用“not recorded”填充，将填充后的特征进行独热编码；
13.1.3)计算电子病历数据中同一患者两次相邻记录的时间间隔。
14.所述基于t-lstm的双向自动编码器由两个不同的t-lstm编码器单元和两个不同的t-lstm解码器单元组成，其中，编码器单元的前向t-lstm以[x1,x2,x3]和[δ1,δ2,δ3]序列作为输入，后向t-lstm以[x3,x2,x1]和[δ3,δ2,δ1]序列作为输入，双向末端t-lstm单元输出的隐藏状态和单元记忆均分别作为解码器单元的双向首个t-lstm单元的初始隐藏状态和上一单元记忆，解码器单元的双向首个t-lstm单元数据输入和间隔时间输入均被设置为零，解码器单元的前向t-lstm第一个输出为原始序列最后一个元素x3的重构输出序列为解码器单元的后向t-lstm第一个输出为原始序列首个元素x1的重构输出序列为其中，x1,x2,x3均为电子病历数据，δ1,δ2,δ3均为电子病历数据对应的时间间隔数据，二者构成输入数据，均为通过输入数据自动编码器处理后的重构数据。
[0015]
基于t-lstm的双向自动编码器的重构误差er为：
[0016][0017]
其中，l为输入序列长度，xi为正向序列的第i个元素，xj为反向序列的第j个元素，为正向序列的第i个重构元素，为反向序列的第j个重构元素，所述基于t-lstm的双向自动编码器的训练目标为使重构误差er最小。
[0018]
所述步骤3)具体为：
[0019]
将预处理后的数据序列输入至基于t-lstm的双向自动编码器中，分别获取编码器单元中，双向末端t-lstm输出的隐藏状态，所述隐藏状态携带了前向t-lstm和后向t-lstm的所有信息，数据序列输入后经编码器单元将高维数据降维至低维数据，将两个隐藏状态进行拼接得到双向序列经编码器学习后的表示向量，使用k-means算法对表示向量进行聚类。
[0020]
一种基于t-lstm双向自动编码器的疾病数据分型系统，包括：
[0021]
数据预处理模块，用于获取纵向时间序列电子病历数据，并对其进行预处理；
[0022]
编码器构建模块，用于构建并训练基于t-lstm的双向自动编码器；
[0023]
分型结果输出模块，用于通过训练好的双向自动编码器对电子病历数据进行处理，并通过k-means算法对处理结果进行聚类，得到疾病数据的亚型分型结果。
[0024]
一种基于t-lstm双向自动编码器的疾病数据分型系统，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现所述的一种基于t-lstm双向自动编码器的疾病数据分型方法。
[0025]
一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现所述的一种基于t-lstm双向自动编码器的疾病数据分型方法。
[0026]
本发明具有以下有益效果及优点：
[0027]
1.本发明构建模型使用t-lstm单元，能够处理医疗记录序列数据中连续元素之间的不规则运行时间；
[0028]
2.本发明构建的自动编码器为双向自动编码器，捕获时间序列内部上下文隐藏信息，即当前患者就诊记录的过去和未来记录信息，能够更加充分的提取数据特征信息；
[0029]
3.使用本发明模型能够学习患者强大的单一表示，用此表示进行聚类可以挖掘患者隐藏的被现有临床描述所限制的多种子类型，解决患者群异质性，有助于解释不同的潜在疾病机制。
附图说明
[0030]
图1为本发明的流程图；
[0031]
图2为本发明的模型结构图；
[0032]
图3为t-lstm单元内部结构图；
[0033]
图4为模型聚类可视化图(a：lstm，b：t-lstm，c:双向t-lstm)。
具体实施方式
[0034]
下面结合附图及实施例对本发明做进一步的详细说明。
[0035]
如图1所示，本文提出的基于t-lstm双向自动编码器的患者疾病分型方法主要步骤如下：
[0036]
步骤1：获取电子病历数据集，对其进行预处理；
[0037]
步骤2：将输入分为两部分，一部分为电子病历中患者记录经数据清洗后的信息，一部分为连续记录间时间间隔信息；
[0038]
步骤3：将上述两部分信息输入双向t-lstm自动编码器进行训练使重构误差最小化；
[0039]
步骤4：获取双向编码器的两个末端隐藏状态；
[0040]
步骤5：将两隐藏状态进行拼接得到患者双向序列经编码器学习后的表示；
[0041]
步骤6：使用k-means算法对此患者的表示向量进行聚类；
[0042]
步骤7：输出聚类结果作为患者亚型分类。
[0043]
本发明步骤1中，获取纵向时间序列电子病历数据，对其进行数据预处理将数据中缺失值大于百分之九十的特征列删除，剩余存在缺失值的特征列，连续变量使用均值填充，分类变量使用“not recorded”填充后进行独热编码。
[0044]
本发明步骤2中，获取纵向时间序列电子病历数据的时间间隔，计算电子病历数据中同一患者两相邻记录的时间间隔，与病历信息同时作为输入。
[0045]
本发明步骤3中，构建一种基于t-lstm的双向自动编码器，步骤3分为以下步骤：
[0046]
步骤3-1：使用的t-lstm的单元首先，通过网络获取长期记忆c
t-1
，使用tanh(双曲正切函数)作为激活函数，其中wd为权重，bd为偏置，得到短期记忆使用非递增函数将间隔时间δ
t
转换为适当权重，g(.)代表启发式衰减函数，将其与短期记忆相乘得到折损后的短期记忆使得δ
t
的值越大，短期记忆的影响越小，然后将长期记忆的补子空间与短期记忆相加，组成调整后的前一记忆后接lstm标准门控体系结构。t-lstm单元结构公式如下：
[0047][0048][0049][0050][0051]it
＝σ(wix
t
+u
iht-1
+bi)
[0052]ft
＝σ(wfx
t
+ufh
t-1
+bf)
[0053]ot
＝σ(wox
t
+u
oht-1
+bo)
[0054][0055][0056]ht
＝o*tanh(c
t
)
[0057][0058]
其中，f
t
表示遗忘门，i
t
表示输入门，o
t
表示输出门，表示候选记忆，x
t
表示当前输入，h
t-1
和h
t
表示之前和当前的隐藏状态，c
t
表示当前单元记忆，{wf,uf,bf}，{wi,ui,bi}，{wo,uo,bo}，{wc,uc,bc}分别为遗忘门、输入门、输出门和候选记忆的网络参数，σ为sigmoid激活函数。
[0059]
步骤3-2：t-lstm双向自动编码器是由两个t-lstm编码器单元和两个t-lstm解码器单元组成。其中，两个t-lstm编码器单元分别为前向编码器和后向编码器。前向编码器由多个t-lstm单元组成，t-lstm单元的个数由当前输入的单个患者的序列记录数决定，如图3所示的当前输入患者有三条就诊记录，则此t-lstm前向编码器单元就由三个t-lstm单元构成(即encoder中三个浅色的t-lstm)；同理，t-lstm后向编码器单元，也由三个t-lstm单元构成(即encoder中三个深色t-lstm)。解码器单元与编码器单元结构相同，图3所示的自动编码器由12个t-lstm单元构成。
[0060]
t-lstm双向自动编码器使用两个不同的t-lstm编码器单元和t-lstm解码器单元，前向t-lstm以[x1,x2,x3]序列作为输入，后向t-lstm以[x3,x2,x1]序列作为输入，编码器双向末端t-lstm单元输出的隐藏状态和单元记忆均分别作为解码器双向首个t-lstm单元的初始隐藏状态和上一单元记忆。解码器的双向首个t-lstm单元数据输入和间隔时间输入均被设置为零。前向解码器第一个输出为原始序列最后一个元素x3的重构输出序列为后向解码器第一个输出为原始序列首个元素x1的重构输出序列为
[0061][0062]
l为输入序列长度，xi为正向序列的第i个元素，为重构后的正向序列的第i个元
素，xj为反向序列的第j个元素，为重构后的反向序列的第j个元素，和分别为输入就诊序列的前向重构元素(数据序列正向输入)和后向重构元素(同一位患者的数据序列反向输入)，编码器将输入数据降维，然后解码器使用此低维数据重建原始输入，即反转编码。原始数据和重建数据的误差为重构误差，将前向重构误差(数据序列正向输入)和后向重构误差(同一位患者的数据序列反向输入)相加构成自动编码器的重构误差er，进行联合训练，训练目标为重构误差er最小化，即，通过训练网络来最小化此重构误差寻找一个有效地低维表示。
[0063]
本发明步骤4中，将处理好的数据输入一种基于t-lstm的双向自动编码器进行训练，双向t-lstm编码器的隐藏层维度均设为2，所有权重的学习均以数据驱动方式同时进行，将患者时序数据按照相同序列长度分批，使用固定迭代次数，以小批量adam optimizer优化器进行优化。
[0064]
本发明步骤5中，重新将序列输入至一种基于t-lstm双向自动编码器中，分别获取双向编码器末端的隐藏状态，隐藏状态携带了前向和后向的所有信息，序列输入后经编码器将高维数据减小至2维，将两隐藏状态进行拼接即得到双向序列经编码器学习后的表示，即四维表示向量，使用k-means算法对此向量进行聚类，在进行聚类可视化时仅选取表示向量的前两维，使其能够在二维空间中绘制表示。
[0065]
一种基于t-lstm双向自动编码器的患者疾病分型方法的具体实施例如下：
[0066]
由于现实世界的患者电子病历数据无法得知其聚类的基本事实，因此本实施例首先使用人工生成的电子病历，从中选取数据用于评估其聚类效果，此数据集中数据分布具有与真实世界电子病历数据相似的特征，故可用其进行研究。获取四种具有不同均值和相同协方差的正态分布聚类数据，计算连续记录之间的时间间隔作为输入的一部分，其分批序列长度为4，6，18，22，30，输入数据维度为5。
[0067]
分别使用双向t-lstm、t-lstm、lstm构造自动编码器，比较各个自动编码器学习数据表征的能力。所构造的t-lstm双向自动编码器，模型结构图如图2所示，前向t-lstm以[x1,x2,x3]及时间间隔[δ1,δ2,δ3]序列作为输入，后向t-lstm以[x3,x2,x1]及时间间隔[δ3,δ2,δ1]序列作为输入。
[0068]
构造编码器所使用的t-lstm单元结构图如图3所示，t-lstm不将长期记忆完全丢弃，而是对于前一时间步的记忆进行子空间分解，将短期记忆按照时间步t和t-1记录之间的时间跨度大小进行调整，使用连续记录之间的间隔时间来对短期记忆进行加权，使得短期记忆产生相应折损，分解网络的参数通过反向传播与其他网络参数同时学习。首先，通过网络获取长期记忆c
t-1
，使用tanh(双曲正切函数)作为激活函数得到短期记忆其公式为使用非递增函数将间隔时间转换为适当权重，将其与短期记忆相乘得到折损后的短期记忆其公式为然后将长期记忆的补子空间与短期记忆相加，组成调整后的前一记忆后接lstm标准门控体系结构。t-lstm单元结构其余公式如下：
[0069]it
＝σ(wix
t
+u
iht-1
+bi)(输入门)
[0070]ft
＝σ(wfx
t
+ufh
t-1
+bf)(遗忘门)
[0071]ot
＝σ(wox
t
+u
oht-1
+bo)(输出门)
[0072]
(候选记忆)
[0073]
(当前记忆)
[0074]ht
＝o*tanh(c
t
)(当前隐藏状态)
[0075]
由图2所示编码器双向末端t-lstm单元输出的隐藏状态和单元记忆均分别作为解码器双向首个t-lstm单元的初始隐藏状态和上一单元记忆。解码器的双向首个t-lstm单元数据输入和间隔时间输入均被设置为零。前向解码器第一个输出为原始序列最后一个元素x3的重构输出序列为后向解码器第一个输出为原始序列首个元素x1的重构输出序列为训练目的为重构误差er最小化，重构误差计算公式为
[0076][0077]
l为输入序列长度，xi为正向序列的第i个元素，xj为反向序列的第j个元素。训练完成后重新将序列输入至t-lstm双向自动编码器中，分别获取双向编码器末端的隐藏状态，隐藏状态携带了前向和后向的所有信息，因此解码器可根据其重构原始序列，将两隐藏状态进行拼接，其中h
l
表示正序t-lstm隐藏层输出，hr表示逆序t-lstm隐藏层输出，得到双向序列经编码器学习后的表示r。
[0078]
t-lstm双向自动编码器的隐藏层维度均设为2，序列输入后经编码器将高维数据减小至2维，将前向和后向输出进行拼接，得到四维表示向量，使用k-means算法对此向量进行聚类，k-means聚类的k值设为4，每组均进行十次重复实验，在进行聚类可视化时仅选取表示向量的前两维，使其能够在二维空间中绘制表示。使用rand指数(rand index,ri)评估各个模型对于数据的聚类效果，ri用于衡量聚类结果与数据的外部标准类之间的一致程度，评估聚类方法所学习表示的辨别能力。令tp表示预测为正类的正样本；tn为预测为负类的负样本；fp为预测为正类的负样本；fn为预测为负类的正样本。ri计算公式为：
[0079][0080]
ri取值范围为[0,1]，值越大意味着聚类结果与真实情况越吻合,划分的一致程度越高，当ri值取1时，划分完全一致。
[0081]
各模型对比ri值如表1所示，将三种模型所得二维表示进行聚类可视化如图4a～图4c所示
[0082]
表1人工数据集下不同模型聚类结果
[0083]
[0084][0085]
由表2结果双向t-lstm的平均rand指数比标准lstm高0.0783，比单向t-lstm高0.0081，可知双向t-lstm聚类性能优于其他两种表示学习方法，拥有不规律时间间隔的序列数据对于此不规律性较为敏感，t-lstm双向自动编码器不但能够更为全面的学习到在数据中存在非结构化时间间隔时数据的隐含信息，同时能够捕捉输入序列所携带的前后信息。观察图4可知，t-lstm双向自动编码器对于输入序列的学习表示能够在二维空间中产生更为紧凑的组，使其聚类结果更为准确。
[0086]
由上述人工合成数据集上的实施例可以证明本发明提出的t-lstm双向自动编码器能够更加全面的学习记录所包含的信息，形成更加准确的聚类分组结果。
[0087]
下面在真实世界数据集上进行本方法的实施。选取帕金森氏症进展标志物计划(ppmi)公开数据集中序列长度不小于3的患者记录，选择：1)运动并发症，2)认知功能，3)神经行为学测试，4)神经心理学测试，5)睡眠障碍测试，6)datscan成像所包含原始特征，统计特征缺失值百分比，删除缺失率大于百分之九十的特征列，共保留226维特征。对于数值型特征使用平均值进行插值，对于分类特征使用“not recorded”填充，然后进行独热编码，最终得到809例患者时序数据，共12833条数据，数据维度为953，其中655例pd患者和154例健康对照。
[0088]
使用双向t-lstm、t-lstm、lstm构造自动编码器，将编码器学习到的单一表示用于k-means聚类。分别对于ppmi数据分析患者聚类的子类型，由于无法得知聚类的基本事实，因此通过统计分析了解聚类结果间接知悉聚类性能。
[0089]
尝试使用多个k值进行k-means聚类，观察结果发现常见两种主要聚类，因此设置k-means聚类参数为k＝2。为研究聚类产生的子类型分类性能，对于聚类结果进行解释，将分类特征使用卡方检验，连续特征使用f检验进行聚类比较，将对应的p-value小于0.05的特征认定为存在显著群体效应的相关特征。表3列出了使用三种模型分别进行聚类所得结果，表中仅列出p-value小于0.05的显著特征及其分别在各自类群中的均值。
[0090]
表2真实数据集下不同模型聚类结果分析
[0091][0092]
由表2可知，lstm聚类结果中无显著相关性特征，大多数患者被归为一个类群；双向t-lstm较之t-lstm多识别出sdmtotal以及datscan_putamen_l两种特征，比较双向t-lstm所得两聚类均值，已知pd患者的datscan值均低于健康对照者，因此可知pd患者主要集中于子类型1，健康对照者主要集中于子类型2中。双向t-lstm产生了更多具有小p-value的显著特征，意味着该方法在真实世界数据集对于存在未知基本事实的数据进行患者亚型聚类分析，能够通过加入非结构化时间间隔和通过双向获取电子病历信息提供更为精确的患者分型结果。
[0093]
使用双向t-lstm结构分别在人工生成的数据以及真实世界的数据上分别进行有监督分类和无监督聚类实施例，本实施例结果表明使用t-lstm结构构建的t-lstm双向自动编码器模型在对患者电子病历数据进行聚类时，不但能够通过加入到输入中的时间间隔信息来挖掘数据中因两连续记录间隔时间长短产生的影响，同时能够抓住当前处理数据的过去和未来两部分信息，联合进行更为全面的数据学习，所输出的患者单一表示更深刻的抓住了患者信息，为研究疾病子类型的聚类提供了极大的积极影响，通过统计分析得到患者针对当前疾病的亚型分型，可针对不同群体采用不同类型的治疗干预，为不同类患者提供针对其健康状况的精准医疗。

技术特征：
1.一种基于t-lstm双向自动编码器的疾病数据分型方法，其特征在于，包括以下步骤：1)获取纵向时间序列电子病历数据，并对其进行预处理；2)构建并训练基于t-lstm的双向自动编码器；3)通过训练好的双向自动编码器对电子病历数据进行处理，并通过k-means算法对处理结果进行聚类，得到疾病数据的亚型分型结果。2.根据权利要求1所述的一种基于t-lstm双向自动编码器的疾病数据分型方法，其特征在于，所述步骤1)包括以下步骤：1.1)获取纵向时间序列电子病历数据，将数据中缺失值大于百分之九十的特征列删除；1.2)剩余存在缺失值的特征列中，连续变量使用均值填充，分类变量使用“not recorded”填充，将填充后的特征进行独热编码；1.3)计算电子病历数据中同一患者两次相邻记录的时间间隔。3.根据权利要求1所述的一种基于t-lstm双向自动编码器的疾病数据分型方法，其特征在于，所述基于t-lstm的双向自动编码器由两个不同的t-lstm编码器单元和两个不同的t-lstm解码器单元组成，其中，编码器单元的前向t-lstm以[x1,x2,x3]和[δ1,δ2,δ3]序列作为输入，后向t-lstm以[x3,x2,x1]和[δ3,δ2,δ1]序列作为输入，双向末端t-lstm单元输出的隐藏状态和单元记忆均分别作为解码器单元的双向首个t-lstm单元的初始隐藏状态和上一单元记忆，解码器单元的双向首个t-lstm单元数据输入和间隔时间输入均被设置为零，解码器单元的前向t-lstm第一个输出为原始序列最后一个元素x3的重构输出序列为解码器单元的后向t-lstm第一个输出为原始序列首个元素x1的重构输出序列为其中，x1,x2,x3均为电子病历数据，δ1,δ2,δ3均为电子病历数据对应的时间间隔数据，二者构成输入数据，均为通过输入数据自动编码器处理后的重构数据。4.根据权利要求1或3所述的一种基于t-lstm双向自动编码器的疾病数据分型方法，其特征在于，基于t-lstm的双向自动编码器的重构误差e
r
为：其中，l为输入序列长度，x
i
为正向序列的第i个元素，x
j
为反向序列的第j个元素，为正向序列的第i个重构元素，为反向序列的第j个重构元素，所述基于t-lstm的双向自动编码器的训练目标为使重构误差e
r
最小。5.根据权利要求1所述的一种基于t-lstm双向自动编码器的疾病数据分型方法，其特征在于，所述步骤3)具体为：将预处理后的数据序列输入至基于t-lstm的双向自动编码器中，分别获取编码器单元中，双向末端t-lstm输出的隐藏状态，所述隐藏状态携带了前向t-lstm和后向t-lstm的所有信息，数据序列输入后经编码器单元将高维数据降维至低维数据，将两个隐藏状态进行
拼接得到双向序列经编码器学习后的表示向量，使用k-means算法对表示向量进行聚类。6.一种基于t-lstm双向自动编码器的疾病数据分型系统，其特征在于，包括：数据预处理模块，用于获取纵向时间序列电子病历数据，并对其进行预处理；编码器构建模块，用于构建并训练基于t-lstm的双向自动编码器；分型结果输出模块，用于通过训练好的双向自动编码器对电子病历数据进行处理，并通过k-means算法对处理结果进行聚类，得到疾病数据的亚型分型结果。7.一种基于t-lstm双向自动编码器的疾病数据分型系统，其特征在于，包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如权利要求1-5任一项所述的一种基于t-lstm双向自动编码器的疾病数据分型方法。8.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如权利要求1-5任一项所述的一种基于t-lstm双向自动编码器的疾病数据分型方法。

技术总结
本发明属于医疗自然语言处理领域，公开了一种基于T-LSTM双向自动编码器的疾病数据分型方法。包括以下步骤：1)获取纵向时间序列电子病历数据，并对其进行预处理；2)构建并训练基于T-LSTM的双向自动编码器；3)利用预处理后的电子病历数据训练双向自动编码器；4)通过训练好的双向自动编码器对电子病历数据进行处理，并通过k-means算法对处理结果进行聚类，得到疾病数据的亚型分型结果。本发明构建的自动编码器为双向自动编码器，捕获时间序列内部上下文隐藏信息，即当前患者就诊记录的过去和未来记录信息，能够更加充分的提取数据特征信息。息。息。


技术研发人员：赵奎 于金刚 李琦 高延军 马慧敏 徐凯 张帅康 高天 王浩 董莉颖
受保护的技术使用者：中国科学院沈阳计算技术研究所有限公司
技术研发日：2023.04.25
技术公布日：2023/9/20