用于将生物电信号数据转换为数值向量的方法和装置及利用其分析疾病的方法和装置

1.本发明涉及一种用于将心电图数据等生物电信号数据转换为数值向量的方法和装置及利用其分析、预测疾病并提供疾病相关的诊断辅助信息的方法和装置。
背景技术：
：：2.生物电信号(electricalbiosignal)作为将生物信号变化表现为电信号变化的信号，代表性的有脑电图(eeg，electroencephalogram)、肌电图(emg，electromyogram)、眼电图(eog，electrocoulography)、心电图(ecg，electrocardiography)等。这种生物电信号为非结构化数据，因此，难以解析及应用。3.其中，尤其，心电图(ecg，electrocardiography)是指根据心脏跳动记录的心肌所产生的动作电流。心电图检测作为测定时间不到一分钟的简单检查，用于诊断急性心肌梗塞和心律失常。在研究患者心脏功能及用于识别上述心脏疾病的层面上，心电图分析已经十分成熟，几十年来医生一直使用心电图(ecg)系统监测患者的心脏活动。4.然而，心电图包含即使是专家也难以解析的各种信息，虽然这种信息可用于进一步预测患者的多种未来状态及适当治疗，但是，当前其用途仍受限制。技术实现要素：5.技术问题6.根据一实施方式，本发明的例示性实例提供一种方法及装置，即，可从心电图(ecg)等生物电信号数据提取数值信息以最大化其应用范围，并将其应用于临床框架内或与患者的其他信息融合来提供用于分析、预测或诊断疾病的辅助信息。7.技术方案8.本发明例示性实例提供用于将生物电信号数据转换为数值向量的装置，包括：获取部，用于获取生物电信号数据；以及编码器(encoder)，接收上述生物电信号数据并利用深度学习算法来计算数值向量。9.并且，本发明再一例示性实例提供疾病分析装置，包括：上述编码器；以及分析部，利用上述数值向量提供用于分析、预测或诊断疾病的辅助信息。10.并且，本发明另一例示性实例提供用于将生物电信号数据转换为数值向量的方法，由处理器执行，用于将心电图(ecg)等生物电信号数据转换为数值向量，上述方法包括如下步骤：获取生物电信号数据；向编码器(encoder)输入上述生物电信号数据；以及通过上述编码器利用深度学习算法来计算数值向量。11.并且，本发明又一例示性实例提供疾病分析方法，不仅执行上述步骤，而且包括如下步骤：利用上述数值向量生成分析结果，上述分析结果用于提供分析、预测或诊断疾病的辅助信息。12.具体地，根据一实施方式，用于将生物电信号数据转换为数值向量的装置或疾病分析装置包括：获取部，用于获取生物电信号数据；以及编码器，接收上述生物电信号数据并利用深度学习算法来计算第一数值向量，上述第一数值向量为与从生物电信号数据提取的特征相关的结构化数据，上述特征包括，尤其在脉络上包括能够从生物电信号数据提取的解剖学(位置)特征及时间特征中的至少一种。这种第一数值向量可有效用于后述的下游任务或机器学习。13.本发明例示性一实例的装置还包括分析部，上述分析部利用上述第一数值向量进行疾病或健康相关的分析、预测或提供诊断辅助信息。14.在本发明例示性一实例的装置中，上述装置包括利用上述第一数值向量同时处理多个任务的多个下游处理部。随着来自各个下游任务网络输出端的误差信号因反向传播而汇集到一个编码器的末端，可通过训练一个编码器来提高第一数值向量的通用性。15.在本发明例示性一实例的装置中，上述第一数值向量本身可用作下游处理部的输入向量或与其他结构化数据信息合并(concatenate)用作下游处理部的输入向量。16.在本发明例示性一实例的装置中，上述编码器可以为两个或更多，可通过合并(concatenate)从各个编码器输出的多个第一数值向量来生成一个输入数值向量。17.在本发明例示性一实例的装置中，可使得n个连续的生物电信号数据通过一个编码器，以获取n个连续的第一数值向量。18.在本发明例示性一实例的装置中，上述装置在按照规定时间间隔划分生物电信号数据后，可基于使得所划分的各个数据区间的信息通过上述编码器或上述编码器及下游处理部来获取的各个时间点结果值或相应时间点结果值的时间点加权平均，提供特定疾病的相关分析、诊断或预测。19.在本发明例示性一实例的装置中，当训练下游任务的网络时，上述装置可在固定上述编码器的网络加权值(weight)后，通过训练来修改(更新)下游任务的网络加权值，通过追加训练来整体修改(更新)上述编码器的网络及上述下游任务的网络的整体加权值。20.在本发明例示性一实例的装置中，上述多个下游处理部可分别由具有两个或更多的全连接层(fullyconnectedlayer)的多层感知器(mlp，multi-layerperceptron)执行。21.在本发明例示性一实例的装置中，上述mlp可与上述编码器的编码网络训练一并通过多任务学习((jointly)multi-tasklearning)进行训练，或者，在编码器先完成训练后单独进行训练。22.在本发明例示性一实例的装置中，上述mlp能够接收与上述第一数值向量不同(different)的额外结构化数据输入信息，上述额外结构化数据输入信息可包括年龄、性别、生物信号、数值检测结果、变形为结构化数据的自然语言信息、以及从与获取自获取部的生物电信号数据不同种类的生物信号数据转换的结构化数据信息中的一种或更多，上述生物信号可包括选自由血压、脉率、体温、呼吸频率及氧饱和度组成的组中的一种或更多。上述额外结构化数据输入信息可与上述第一数值向量合并(concatenate)或与上述第一数值向量分开输入。23.本发明例示性一实例的装置还可包括显示部，在上述mlp预测是否发生特定疾病的情况下，当上述mlp输出时，可按照基线风险概率(baselineriskprobability)同时显示考虑所获取的生物电信号数据的特定疾病发生边际概率及不考虑所获取的生物电信号数据的特定疾病发生边际概率(marginalprobability)，并显示上述考虑所获取的生物电信号数据的特定疾病发生边际概率相对于上述不考虑所获取的生物电信号数据的特定疾病发生边际概率增加了多少倍。24.在本发明例示性一实例的装置中，上述编码器的深度学习算法以卷积神经网络(cnn)为基础，所述装置可包括编码器子单元(subunit)。25.在本发明例示性一实例的装置中，上述编码器子单元包括：一个或更多卷积层；一个或更多全连接层，上述全连接层包括非线性激活函数；以及集中层，汇总从各个通道生物电信号数据中提取的特征集来分别提取代表值，并再次调整各个通道的特征集以反映基于上述代表值的上述各个通道的特征集的贡献度，上述特征集包括与各个通道的解剖学结构相关的特征，与上述特征集相比，经再次调整的各个通道的特征集可更集中于各个通道的解剖学特征。26.在本发明例示性一实例的装置中，上述一个或更多卷积层可包括单独卷积(convolution)上述一个或更多通道的各个生物电信号数据的深度可分离卷积层(depthwise-seperableconvolutionlayer)。27.在本发明例示性一实例的装置中，上述集中层可为了汇总上述特征集而池化(pooling)处理上述特征集。28.在本发明例示性一实例的装置中，上述集中层可使得各个通道的代表值通过上述全连接层来计算各个通道的贡献度，分别将上述各个通道的贡献度乘以上述特征集来再次调整各个通道的特征集。29.在本发明例示性一实例的装置中，上述集中层可将使得上述各个通道的代表值通过全连接层的结果缩放为特定范围之间的数值，从而计算上述各个通道的贡献度。30.在本发明例示性一实例的装置中，上述编码器子单元包括按照各个通道提取平均来计算一个标量(scalar)值的压缩激励层(sqeeze-excitationlayer)，上述各个通道的标量值为0至1之间，按照通道的重要程度进行标量(scale)，在使得汇集上述各个通道的标量值的向量通过全连接层(fullyconnectedlayer)后，可应用激活(sigmoid/relu)函数来缩减维度。31.在本发明例示性一实例的装置中，上述编码器包括多个卷积块，上述子单元可包括在除第一卷积层之外的剩余卷积块中。32.在本发明例示性一实例的装置中，上述卷积块包括第一编码器子单元及第二编码器子单元，相比于上述第二编码器子单元，上述第一编码器子单元更接近上述卷积块的输入端，而非上述卷积块的输出端，在上述集中层汇总上述特征集来提取代表值的工作和基于各个通道贡献度的再次调整的工作中，相比于上述第二编码器子单元，上述集中层更集中于汇总上述特征集来提取代表值的工作，相比于上述第二编码器子单元的代表值，上述第一编码器子单元的代表值反映更多有关上述解剖学结构的特征，相比于上述第一编码器子单元，上述第二编码器子单元更接近上述卷积块的输出端，而非上述卷积块的输入端，在上述集中层汇总上述特征集来提取代表值的工作和基于各个通道贡献度的再次调整的工作中，相比于上述第一编码器子单元，上述集中层更集中于基于各个通道贡献度的再次调整的工作。33.在本发明例示性一实例的装置中，上述编码器的最后卷积块还包括非本地网络(non-localnetwork)，上述非本地网络可通过比较上述生物电信号数据的空间点(spatialpoint)之间的相似度来实现空间注意力(spatialattention)。34.在本发明例示性一实例的装置中，上述生物电信号数据为单通道或多通道的信号，输入于上述编码器的生物电信号可以为c×m(各个输入导联(通道)的数量×各个通道测定值的数量)的二维阵列(array)形态。35.在本发明例示性一实例的装置中，上述生物电信号数据为生物电信号图像，上述生物电信号图像示出二维平面上的所有通道的生物电信号，上述生物电信号图像被转换成包括所有导联(lead)通道的图像或按照各个导联通道裁剪(cropping)的各个导联通道的图像，输入于上述编码器的生物电信号图像可被转换成一个或更多导联通道的黑白图像或具有红色(r，red)、绿色(g，green)、蓝色(b，blue)三个通道的c×w×h(通道数×水平像素数×垂直像素数)的三维阵列(array)形态。36.在本发明例示性一实例的装置中，上述分析结果包括疾病预测，当上述分析部预测疾病时，上述生物电信号数据为单通道的生物电信号数据，在上述生物电信号数据为心电图(ecg)数据的情况下，上述疾病可包括休克(shock)、呼吸衰竭、心脏骤停、急性冠状动脉综合症、心肌梗塞、高钾血症。37.在本发明例示性一实例的装置中，上述分析结果可包括利用上述第一数值向量确定疾病好转还是恶化的疾病诊断辅助信息。当上述分析部提供上述疾病诊断辅助信息时，上述生物电信号数据为按照规定间隔测定的多个生物电信号数据，可使得上述多个生物电信号数据分别通过上述编码器的池化层(poolinglayer)，以从所获取的第一数值向量提供用于确定疾病好转还是恶化的诊断辅助信息。38.在本发明例示性一实例的装置中，上述分析结果包括提供疾病诊断辅助信息，上述生物电信号数据为按照规定时间间隔或不规则时间间隔测定的多个生物电信号数据，上述分析部也可以以如下方式进行训练：将上述多个生物电信号数据的第一数值向量分别排列为顺序向量(sequentialvector)，沿着向量的长度方向合并(concatenate)上述顺序向量来使其通过多层感知器网络(multilayerperceptron(mlp)network)，或者，沿着向量长度的垂直方向合并(concatenate)上述顺序向量来使其通过变换器网络(transformernetwork)，或者，不合并上述顺序向量来使其依次通过循环神经网络(rnn)，从而提取第二数值向量，并基于所提取的第二数值向量确定患者的特定疾病随着时间的推移好转还是恶化。在此情况下，为了分析部的训练而输入的向量也可以为时间相关信息的编码值与第一数值向量合并后的向量。39.在本发明例示性一实例的装置中，上述编码器可基于生物电信号数据的特性中临床定义的形态特性并通过自监督学习(self-supervisedlearning)来训练。40.在本发明例示性一实例的装置中，上述编码器可将按照特定方式转换生物电信号数据用作训练数据并通过自监督学习(self-supervisedlearning)来训练。41.在本发明例示性一实例的装置中，上述编码器可将增强生物电信号数据用作训练数据并通过无监督学习(unsupervisedlearning)来训练，将共同有原始生物电信号数据的增强的生物电信号数据分别输入于编码器，调整使得所计算的各个第一数值向量相同或具有高相似度。42.在本发明例示性一实例的装置中，上述调整使得所计算的各个第一数值向量相同或具有高相似度可指最大限度地减少上述所计算的各个第一数值向量的距离。43.在本发明例示性一实例的装置中，上述装置可以与智能手表、安装有生物电信号测定装置的医疗装置或运动设备、设置有智能手机应用程序或电子健康档案系统的设备相结合。44.优选地，在本发明例示性一实例中，以上装置中的上述生物电信号尤其优选为心电图(ecg)。45.另一方面，根据再一实施方式，由处理器执行，用于将生物电信号数据转换为数值向量的方法或装置由处理器执行，利用深度学习根据生物电信号数据分析疾病的方法包括如下步骤：获取生物电信号数据；向编码器输入上述生物电信号数据；以及通过上述编码器利用深度学习算法来计算第一数值向量，上述第一数值向量为与从生物电信号数据提取的特征相关的结构化数据，上述特征包括，尤其从脉络上包括能够从生物电信号数据提取的解剖学(位置)特征及时间特征中的至少一种。这种第一数值向量可有效用于后述的下游任务或机器学习。46.在本发明例示性一实例中，上述方法还可包括如下步骤：利用第一数值向量进行疾病或健康相关的分析、预测或提供诊断辅助信息。47.在本发明例示性一实例中，上述方法可包括如下步骤：利用上述第一数值向量同时处理多个下游任务。随着来自各个下游任务网络输出端的误差信号因反向传播而汇集到一个编码器的末端，可通过训练一个编码器来提高第一数值向量的通用性。48.在本发明例示性一实例的方法中，上述第一数值向量本身可用作下游任务处理步骤的输入向量或与额外结构化数据信息合并(concatenate)用作下游任务处理步骤的输入向量。49.在本发明例示性一实例的方法中，上述编码器可以为两个或更多，可通过合并(concatenate)从各个编码器输出的多个第一数值向量来生成一个输入数值向量。50.在本发明例示性一实例的方法中，可使得n个连续的生物电信号数据通过一个编码器，以获取n个连续的第一数值向量。51.在本发明例示性一实例的方法中，上述方法在按照规定时间间隔划分生物电信号数据后，可基于使得所划分的各个数据区间的信息通过上述编码器或上述编码器及下游任务处理来获取的各个时间点结果值或相应时间点结果值的时间点加权平均，提供特定疾病的相关分析、诊断或预测。52.在本发明例示性一实例的方法中，当训练下游任务的网络时，上述方法可在固定上述编码器的网络加权值(weight)后，通过训练来修改(更新)下游任务的网络加权值，通过追加训练来整体修改(更新)上述编码器的网络及上述下游任务的网络的整体加权值。53.在本发明例示性一实例的方法中，上述多个下游任务处理可分别由具有两个或更多的全连接层(fullyconnectedlayer)的多层感知器(mlp，multi-layerperceptron)执行。54.在本发明例示性一实例的方法中，上述mlp可与上述编码器的编码网络训练一并通过(联合)多任务学习((jointly)multi-tasklearning)进行训练，或者，在编码器先完成训练后单独进行训练。55.在本发明例示性一实例的方法中，上述mlp能够接收与上述第一数值向量不同(different)的额外结构化数据输入信息，上述额外结构化数据输入信息可包括年龄、性别、生物信号、数值检测结果、变形为结构化数据的自然语言信息、以及从与获取自获取部的生物电信号数据不同种类的生物信号数据转换的结构化数据信息中的一种或更多，上述生物信号可包括选自由血压、脉率、体温、呼吸频率及氧饱和度组成的组中的一种或更多。上述额外结构化数据输入信息可与上述第一数值向量合并(concatenate)或与上述第一数值向量分开输入。56.在本发明例示性一实例的方法中，在上述mlp预测是否发生特定疾病的情况下，当上述mlp输出时，可按照基线风险概率(baselineriskprobability)同时显示考虑所获取的生物电信号数据的特定疾病发生边际概率及不考虑所获取的生物电信号数据的特定疾病发生边际概率(marginalprobability)，并显示上述考虑所获取的生物电信号数据的特定疾病发生边际概率相对于上述不考虑所获取的生物电信号数据的特定疾病发生边际概率增加了多少倍。57.在本发明例示性一实例的方法中，上述编码器的深度学习算法以cnn为基础，可包括编码器子单元(subunit)。58.在本发明例示性一实例的方法中，上述编码器子单元包括：一个或更多卷积层；一个或更多全连接层，上述全连接层包括非线性激活函数；以及集中层，汇总从各个通道生物电信号数据中提取的特征集来分别提取代表值，并再次调整各个通道的特征集以反映基于上述代表值的上述各个通道的特征集的贡献度，上述特征集包括与各个通道的解剖学结构相关的特征，与上述特征集相比，经再次调整的各个通道的特征集可以更集中于各个通道的解剖学特征。59.在本发明例示性一实例的方法中，上述一个或更多卷积层可包括单独卷积(convolution)上述一个或更多通道的各个生物电信号数据的深度可分离卷积层(depthwise-seperableconvolutionlayer)。60.在本发明例示性一实例的方法中，上述集中层可为了汇总上述特征集而池化(pooling)处理上述特征集。61.在本发明例示性一实例的方法中，上述集中层可使得各个通道的代表值通过上述全连接层来计算各个通道的贡献度，分别将上述各个通道的贡献度乘以上述特征集来再次调整各个通道的特征集。62.在本发明例示性一实例的方法中，上述集中层可将使上述各个通道代表值通过全连接层的结果缩放为特定范围之间的数值来计算上述各个通道的贡献度。63.在本发明例示性一实例的方法中，上述编码器子单元包括按照各个通道提取平均来计算一个标量(scalar)值的压缩激励层(sqeeze-excitationlayer)，上述各个通道的标量值为0至1之间，按照通道的重要程度进行标量(scale)，在使得汇集上述各个通道的标量值的向量通过全连接层(fullyconnectedlayer)后，可应用激活(sigmoid/relu)函数来缩减维度。64.在本发明例示性一实例的方法中，上述编码器包括多个卷积块，上述子单元可包括在除第一卷积层之外的剩余卷积块中。65.在本发明例示性一实例的方法中，上述卷积块包括第一编码器子单元及第二编码器子单元，相比于上述第二编码器子单元，上述第一编码器子单元更接近上述卷积块的输入端，而非上述卷积块的输出端，在上述集中层汇总上述特征集来提取代表值的工作和基于各个通道贡献度的再次调整的工作中，相比于上述第二编码器子单元，上述集中层更集中于汇总上述特征集来提取代表值的工作，相比于上述第二编码器子单元的代表值，上述第一编码器子单元的代表值反映更多有关上述解剖学结构的特征，相比于上述第一编码器子单元，上述第二编码器子单元更接近上述卷积块的输出端，而非上述卷积块的输入端，在上述集中层汇总上述特征集来提取代表值的工作和基于各个通道贡献度的再次调整的工作中，相比于上述第一编码器子单元，上述集中层更集中于基于各个通道贡献度的再次调整的工作。66.在本发明例示性一实例的方法中，上述编码器的最后卷积块还包括非本地网络(non-localnetwork)，上述非本地网络可通过比较上述生物电信号数据的空间点(spatialpoint)之间的相似度来实现空间注意力(spatialattention)。67.在本发明例示性一实例中，上述生物电信号数据为单通道或多通道的信号，输入于上述编码器的生物电信号可以为c×m(各个输入导联(通道)的数量×各个通道测定值的数量)的二维阵列(array)形态。68.在本发明例示性一实例的方法中，上述生物电信号数据为生物电信号图像，上述生物电信号图像示出二维平面上的所有通道的生物电信号，上述生物电信号图像被转换成包括所有导联(lead)通道的图像或按照各个导联通道裁剪(cropping)的各个导联通道的图像，输入于上述编码器的生物电信号图像可被转换成一个或更多导联通道的黑白图像或具有r(red)、g(green)、b(blue)三个通道的c×w×h(通道数×水平像素×垂直像素数)的三维阵列(array)形态。69.在本发明例示性一实例的方法中，上述分析结果包括疾病预测，当上述分析部预测疾病时，上述生物电信号数据为单通道的生物电信号数据，在上述生物电信号数据为心电图(ecg)数据的情况下，上述疾病可包括休克(shock)、呼吸衰竭、心脏骤停、急性冠状动脉综合症、心肌梗塞、高钾血症。70.在本发明例示性一实例的方法中，上述分析结果可包括利用上述第一数值向量确定疾病好转还是恶化的疾病诊断辅助信息。当提供上述疾病诊断辅助信息时，上述生物电信号数据为按照规定间隔测定的多个生物电信号数据，可使得上述多个生物电信号数据分别通过上述编码器的池化层(poolinglayer)，以从所获取的第一数值向量提供用于确定疾病好转还是恶化的诊断辅助信息。71.在本发明例示性一实例的方法中，上述分析结果包括提供疾病诊断辅助信息，上述生物电信号数据为按照规定时间间隔或不规则时间间隔测定的多个生物电信号数据。上述分析部也可以以如下方式进行训练：将上述多个生物电信号数据的第一数值向量分别排列为顺序向量(sequentialvector)，沿着向量的长度方向合并(concatenate)上述顺序向量来使其通过多层感知器网络(multilayerperceptron(mlp)network)，或者，沿着向量长度的垂直方向合并(concatenate)上述顺序向量来使其通过变换器网络(transformernetwork)，或者，不合并上述顺序向量来使其依次通过rnn，从而提取第二数值向量，并基于所提取的第二数值向量确定患者的特定疾病随着时间的推移好转还是恶化。在此情况下，为了分析部的训练而输入的向量也可以为时间相关信息的编码值与第一数值向量合并后的向量。72.在本发明例示性一实例的方法中，上述编码器可基于生物电信号数据的特性中临床定义的形态特性并通过自监督学习(self-supervisedlearning)来训练。73.在本发明例示性一实例的方法中，上述编码器可将按照特定方式转换生物电信号数据用作训练数据并通过自监督学习(self-supervisedlearning)来训练。74.在本发明例示性一实例的方法中，上述编码器可将增强生物电信号数据用作训练数据并通过无监督学习(unsupervisedlearning)来训练，可包括如下步骤：将共同有原始生物电信号数据的增强的生物电信号数据分别输入于编码器，调整使得所计算的各个第一数值向量相同或具有高相似度。75.在本发明例示性一实例的方法中，上述调整使得所计算的各个第一数值向量相同或具有高相似度的步骤可指最大限度地减少上述所计算的各个第一数值向量的距离。76.在本发明例示性一实例中，在以上方法中，上述生物电信号尤其优选为心电图(ecg)。77.另一方面，根据另一实施方式，本发明例示性一实例提供计算机可读记录介质，可通过计算机读取，并存储有上述计算机可执行的程序指令。其中，当上述计算机的处理器执行上述程序指令时，上述处理器执行上述实例的方法。78.发明的效果79.根据本发明例示性实例，可从心电图等非结构化生物电信号数据提取结构化数值向量并将其用于多种临床状况。80.尤其，在将其直接应用于现有临床框架的过程中，可提取通用的数值信息来最大限度地提高心电图信息等生物电信号信息的应用范围。这种通用的数值信息(嵌入向量)本身不仅能够单独使用，还可以与患者的其他信息融合使用。并且，可通过心电图数据等生物电信号数据的数值化轻松量化患者状态变化。由此，不仅能够应用于急诊室或救灾现场中的患者分类(triage)，而且可应用于各种医疗设备。并且，将结构化的数值向量应用于现有的人工智能算法来轻松评估、预测患者的状态变化，因此，除急性心肌梗塞或心律失常外，还可提供与心脏、肺、血流等相关的各种诊断辅助信息，尤其，可提供与心电图等生物电信号相关的各种诊断辅助信息。81.本发明的效果并不局限于以上提及的效果，本发明所属
技术领域：
：的普通技术人员可通过发明要求保护范围所记载的内容明确理解未提及的其他效果。附图说明82.以下，为了进一步明确说明本发明的例示性实施例，简单介绍说明实施例所需的附图。应当理解的是，以下附图仅用于说明本说明书的实施例，并不具有限定含义。并且，为了确保说明层面上的明确性，附图所示的部分要素可产生多种变形，例如，可被放大示出或省略等。83.图1为示出本发明一实施例的将心电图数据转换为数值向量来分析疾病的装置的简图。84.图2为示出本发明一实施例的将心电图数据转换为数值向量来分析疾病的方法的流程图。85.图3为示出本发明一实施例的ecg编码器子单元的图。86.图4为示出本发明一实施例的ecg编码器的图。87.图5为示出本发明再一实施例的应用从通过反复测定获取的多个心电图数据获取的数值向量的图。88.图6为示出本发明再一实施例的应用n个连续获取的数值向量的图。具体实施方式89.以下，参照例示性附图详细说明本发明的部分实施例。在对各个附图中的结构要素赋予附图标记的过程中，即使相同的结构要素表示在不同的附图上，也可具有相同的附图标记。并且，在说明本实施例的过程中，当判断为对有关公知结构或功能的具体说明有可能混淆本发明技术思想的主旨时，可省略其详细说明。90.术语91.当本说明书提到“包括”、“具有”、“由…构成”等时，除非使用“仅”，否则具有还存在其他部分的含义。除非对结构要素存在特别明确的记载事项，否则单数的表达可包括复数的表达。92.并且，当说明本发明的结构要素时，可是使用“第一”、“第二”、“a”、“b”、“(a)”、“(b)”等术语。除非另有定义，否则这种术语仅用于区分该结构要素与其他结构要素，这种术语并不限定相应结构要素的本质、重要程度、顺序或数量等。93.在本说明书中，术语“学习”是指通过计算(computing)执行机器学习(machinelearning)。94.在本说明书中，“网络”是指机器学习算法或模型的神经网络。95.在本说明书中，“部(unit)”、“模块(module)”、“装置”或“系统”等术语不仅表示硬件，而且可表示由相应硬件驱动的软件的组合。例如，硬件可以为包括中央处理器(cpu，centralprocessingunit)、图形处理器(gpu，graphicprocessingunit)或其他处理器(processor)在内的数据处理设备。并且，软件可以指运行中的进程、对象(object)、执行文件(executable)、执行线程(threadofexecution)、程序(program)等。96.在本说明书中，数值向量或数值向量信息作为结构化数值坐标，具有通过深度学习算法形成的一致结构和/或意义形态，以应用于一个或一个以上机器学习业务或任务，与从生物电信号数据提取的特征相关联(反映相应特征)。97.将特定数据转换为数值向量是指将例如心电图等具有多种格式(电信号本身或其输出物)及尺寸(通道种类、数量及测定时间)的非结构化数据转换为小于原始数据、具有恒定长度(在阵列的情况下，形成规定维度及尺寸)且其各个元素对于每个位置都包含一致含义的数值向量(或阵列)。这一致地表示特定心电图在各个元素定义的向量空间中的位置，这种抽象的坐标信息可通过多种方式(算法)应用于多种下游任务。98.在本说明书中，所使用的网络结构(尤其，包括压缩激励网络、非本体网络的网络结构)的特性可使得这种数值向量与从包括生物电信号数据的各个通道的解剖学(位置)特征和/或时间特征的生物电信号数据提取的特征有所关联。99.若例举心电图进行说明，则使得心电图信号的解剖学特性或解剖学空间特性(可由测定心电图的电极的解剖学位置结构定义的空间)和/或时间特性或时间空间特性(由测定心电图信号的整体时间区间定义的空间)被广泛且有效地反映，在上述广泛的特征提取过程中，训练方式的特性(基于多任务学习的辅助学习)有利于从多个任务有效提取通用性高的特性。100.这不仅使得新的下游任务训练变得非常简单，而且可帮助提取用于简化小样本学习(few-shot)或一次学习(one-shot)的高质量数值向量。101.在本说明书中，生物电信号的解剖学(位置)特征或解剖学空间特征是指与表示各个通道或各个导联的生物电信号(被测定生物电信号的测定对象)的解剖学位置或结构相关的特征。102.若例举心电图进行说明，则心电图的各个电极(导联)分别负责的心脏在解剖学上的位置互不相同，对在各个导联观察到的形态特征的相关分析也可互不相同。例如，虽然q波提示心肌梗塞，但是，在导联i、avl、v5及v6也经常观察到正常。考虑到这种解剖学位置，当分析特定位置(导联)的特性时，在脉络上考虑其他位置特性尤为重要。例如，在前胸部导联v1、v2、v3等中，当st节段表现出从基线(baseline)上升的特性时，为了对具有这种特性的临床含义(心肌梗塞)进行数值化，应考虑在下壁部导联(ii、iii、avf)观察到的对等变化(reciprocalchange)(st节段的变化)来加强或减弱相应特性的数值反映。103.这种脉络层面上的考虑，即，在分析生物电信号的特定位置(导联)的特性时在脉络上考虑其他位置(导联)的特性可通过本发明例示性实例说明的压缩激励(squeeze-excitation)网络结构来实现。在此层面上，本发明例示性实例表示尤其在脉络上包括能够从生物电信号数据提取的解剖学(位置)特征。104.在本说明书中，生物电信号的时间特征或时间空间特征是指与生物电信号的形态特性在测定生物电信号的一维时间区间内的分布状况相关的特性。105.例如，在心电图的情况下，在多种时间范围内测定心电图，短至数日，长至数小时或数日。在这种可变的一维空间上，由p波、qrs波、t波构成的心电图波形可随着患者的状态按照多种频率有规律或无规律地批处理。在考虑这种批处理特性的情况下，在临床分析相应一维空间内的某种特性时应考虑(脉络上考虑)相隔较远的其他特性尤为重要。例如，可考虑称为完全性房室传导阻滞的致命性心律失常的诊断。通常，心率失常利用与各个特性在上述一维空间上的批处理状况相关的时间特性。在完全性房室传导阻滞中，p波与qrs波并未同调，按照各自的速度分别表现，在诊断过程中重要的是，判断特定qrs波的小偏转(deflection)是否为与qrs波重叠的p波。为此，在有可能是该qrs偏转(qrsdeflection)及其他位置的p波的多种形态特征中判断哪一个实际上是p波尤为重要，若不考虑相应特性之间的脉络，则无法实现上述过程。106.在本发明例示性实例中，为了解决考虑这种时间层面上相隔较远的特性之间的脉络提取时间特性的问题，应用非本体(non-local)网络结构。在此层面上，本发明例示性实例表示尤其在脉络上包括能够从生物电信号数据提取的时间特征。107.在本说明书中，数值向量可分为第一数值向量、第二数值向量等来表示。例如，第一数值向量是指利用深度学习算法从编码器计算得到的，第二数值向量是指利用第一数值向量一并经过下游任务及额外的机器学习算法得到的计算结果。例如，在部分附图中，可将第一数值向量包括的顺序向量(sequentialvetor)表示为向量1(vector1)、向量2(vector2)、向量3(vector3)等。108.在本说明书中，嵌入是指将心电图等非结构化数据转换为上述数值向量的工作或其计算结果(数值向量其本身)。109.在本说明书中，数值向量具有通用性是指其可用于除特定目的外的其他目的的机器学习，优选地，可用于多个机器学习。即，数值向量包括特定生物电信号(例如，心电图)的形态特性，优选地，以全面和/或有效的方式包括，因此，不仅表示已经应用，而且表示可有效应用于日后可应用的未知下游任务，优选地，可有效应用于两个或更多的下游任务，更优选地，可有效应用于大部分的下游任务。110.例如，为了便于理解，以下例举没有通用性的数值向量进行说明。假设在由100个元素构成的数值向量中，3个元素具有对心肌梗塞等特定疾病的诊断有效的特性而剩余97个元素具有冗余或与噪声相应的信息，在此情况下，可视作该数值向量无法应用于除心肌梗塞诊断外的下游任务且没有通用性。为了用有意义的信息填充这些向量的元素，可同时执行多种临床诊断任务，而非一种诊断。然而，由此仅编码数值向量与已训练的诊断相关的特性，因此，难以用于未知的下游任务。111.相反，在本发明例示性实例中，压缩激励网络及非本地网络等可按照上述方式提升数值向量可包括的特定信息的范围及质量来提高通用性。而且，在本发明例示性实例中，可额外应用1)基于现有临床定义的形态特征的监督学习、2)学习与临床信息无关的心电图形态特征的自监督学习来进一步增加数值向量的通用性。并且，为了在数值向量定义的向量空间内有效批处理信息，可额外执行后述的3)非监督学习来进一步增加数值向量的通用性。112.在本说明书中，非结构化数据作为所测定的数值数据集，是指1)维度数和/或尺寸不恒定的数据、2)基于位置的数值分析不统一的数据或3)因其尺寸或复杂性大而需要简单变形的数据。113.与此相反，在本说明书中，结构化数据是指维度数及尺寸恒定的数据，这种结构化数据的各个数值的分析基于位置是统一的，尺寸不大于非结构化数据(元素数量不过多)且简单，相比于非结构化数据，仅以少量数据即可训练用于下游任务的机器学习算法。例如，相当于通过嵌入转换成数值向量的心电图，可包括患者的年龄、性别、血压、脉率、呼吸频率及体温等表形式的数据(tabulardata)。114.在本说明书中，下游任务是指利用通过嵌入获取的数值向量的一个以上或多个机器学习业务。如下所述，可包括1)监督学习(supervisedlearning)、2)无监督学习(unsupervisedlearning)、3)自监督学习(self-supervisedlearning)、4)聚类化(clustering)及5)异常检测(anomalydetection)等。115.在本说明书中，疾病的分析方法或疾病的分析装置包括分析、预测疾病或健康并提供疾病的相关诊断信息。116.在本说明书中，ecg是指心电图或心电图信号，按照数值化的波形形态(waveform)记录心脏的电动作。更详细地，是指由心脏的特殊兴奋传导系统(specialexcitatory&conductivesystem)发生的动作电位(actionpotential)的向量之和构成的波形。即，是指从体外接触的电极测定作为心脏各个结构要素的窦房结(sanode，sinoatrialnode)、房室结(avnode，atrioventricularnode)、希氏束(hisbundle)、浦肯野纤维(furkinjefibers)等发生的动作电位的向量和信号的信号。通常，当测定心电图时，使用两个或更多的电极，成对形成电极。上述ecg信号、心电图或心电图信号可混合使用，即使混合使用，也可分别表示不同含义。117.例示性实例的说明118.在本发明例示性实例中，可利用单通道或多通道的生物电信号数据，尤其，可对单通道或多通道的心电图信号或基于上述心电图信号获取的黑白心电图图像或彩色心电图图像应用基于深度学习的人工智能算法来提取能够用于多种临床状况的数值向量信息，尤其，可提取通用的数值向量信息。119.所获取的数值向量信息，尤其是从心电图获取的数值向量信息可用于单独或一次性诊断或预测，判断在规定期间内是否发生1)心率异常(频脉、缓脉、各种心律失常)、2)心脏的结构及功能异常(心脏衰竭、心脏压塞、瓣膜狭窄/衰竭、肺动脉高血压、肺栓塞症、心肌病症)、3)各种临床事件(休克、呼吸衰竭、心脏骤停、心源性晕厥及猝死、急性冠脉综合症、心肌梗塞、高钾血症)或是否需要4)各种临床治疗(给药升压剂、应用人工呼吸机，冠状动脉造影及输血等)。120.并且，除心电图数据等生物电信号数据外，其他结构化信息(年龄、性别、血压、脉率、呼吸频率、体温、数值检测结果等)及通过适当变形来结构化的非结构化信息(主要症状、基础疾病、文本、放射线及超声波影像信息、听诊器声音等声音信息及各种生物信号)也可与相应数值向量合并(concatenate)来用于提高诊断的精确度。121.本发明例示性实例的算法可包括用于处理除cnn(convolutionalneuralnetwork)等深度学习算法部分和/或心电图数据等生物电信号数据外的额外信息的部分算法。122.而且，在本发明例示性实例中，可获取心电图数据等生物电信号数据来提供用于分析、预测及诊断疾病的辅助信息。123.在本发明例示性实例中，用于将生物电信号数据转换为数值向量的装置可包括：获取部，用于获取生物电信号数据；以及编码器，接收上述生物电信号数据并利用深度学习算法来计算数值向量(可称为第一数值向量)。124.在本发明例示性实例中，通过将生物电信号数据转换为数值向量来分析疾病的装置可包括：获取部，用于获取生物电信号数据；编码器，接收上述生物电信号数据并利用深度学习算法来计算数值向量(可称为第一数值向量)；以及分析部，利用上述数值向量提供疾病相关的分析信息、预测信息或诊断辅助信息。125.在本发明例示性实例中，用于将生物电信号数据转换为数值向量的方法由处理器执行，可包括如下步骤：获取生物电信号数据；向编码器输入上述生物电信号数据；以及通过上述编码器并利用深度学习算法来计算数值向量(可称为第一数值向量)。126.在本发明例示性实例中，利用深度学习从生物电信号数据分析疾病的方法由处理器执行，所提供的疾病分析方法包括如下步骤：获取生物电信号数据；向编码器输入上述生物电信号数据；通过上述编码器并利用深度学习算法来计算数值向量(可称为第一数值向量)；以及利用上述数值向量进行疾病相关的分析、预测或提供诊断辅助信息。127.在本发明例示性实例中，生物电信号可以为脑电图(eeg，electroencephalogram)、肌电图(emg，electromyogram)、眼电图(eog，electrocoulography)、心电图(ecg，electrocardiography)，如下文所述，尤其，优选为心电图(ecg)。excitationmechanism)按照各个通道提取一个数值(平均或最高值)。由此，使得数值向量通过由包括relu等非线性激活函数(non-linearactivation)的两个或更多的全连接层(fullyconnectedlayer)构成的网络后，应用sigmoid函数按照各个通道获取0-1之间的数值，分别将其乘以相应通道来再次调整(recalibrate)各个通道的特征。140.在本发明例示性一实例中，上述编码器可包括多个卷积块，上述卷积块包括第一卷积层及多个编码器子单元。141.在本发明例示性一实例中，上述编码器的最后卷积块还可包括非本地网络(non-localnetwork)。上述非本地网络(或非本地神经网络)编码特定位置(在图像的情况下，特定位置为空间点(spatialpoint)、在心电图信号的情况下，特定位置为时间信号(temporalpoint))的信息时，使用输入数据的所有位置(spatial/temporalpoint)的特性。在此过程中，各个位置的贡献程度互不相同，这种贡献程度取决于注意(attention)机制。142.在本发明例示性一实例中，上述各个任务的mlp不仅能够接收ecg编码器输出的数值向量，而且可接收其他(different)额外结构化数据输入信息。其中，上述额外输入信息可包含年龄、性别、血压、脉率、体温、呼吸频率、伴随症状、氧饱和度等生物信号(vitalsigns)、各种数值检测结果(laboratorytestresults)及转换为结构化数值信息的非结构化数据(影像、声音、生物信号等)中的至少一种。143.在本发明例示性实例中，上述装置可以为生物电信号测定设备或分析装置。例如，可以为智能手表、安装有生物电信号测定器的医疗装置及跑步机等运动机械装置或设置有应用程序、使用摄像头或扫描装置且安装有分析算法的ehr(electronichealthrecords，电子健康档案)系统的设备等，但并不限定于此。144.并且，在本发明例示性实例中，提供计算机可读记录介质，可通过计算机读取，并存储有上述计算机可执行的程序指令，当上述计算机的处理器执行上述程序指令时，使得相应处理器执行上述数值向量转换方法或疾病分析方法。145.优选实施例的说明146.如上所述，本发明例示性实例的用于将生物电信号数据转换为数值向量的方法和装置及利用上述方法和装置分析疾病的方法和装置可有效用于生物电信号为心电图(ecg)的情况，因此，以心电图为中心进一步详细说明优选实施例。147.图1为示出本发明一实施例的将心电图数据转换为数值向量来分析疾病的装置1(以下称为“疾病分析装置”)的简图。148.参照图1，本发明一实施例的疾病分析装置1包括：获取部，从心电图测定装置获取心电图数据；ecg编码器，接收上述心电图数据并利用深度学习来计算数值向量；分析部，利用上述数值向量生成用于执行疾病相关预测或诊断的分析结果；以及下游处理部16。在图1中，虽然与分析部14分开示出了下游处理部16，但是，上述下游处理部16也可作为分析部14的一部分被包括或代替分析部14。149.获取部10附着在对象的部分身体，可直接或间接性地从用于测定对象(使用人员)心电图信号的心电图测定装置获取心电图信号。150.上述获取部10也通过附着在对象部分身体的传感器从用于测定对象心电图信号的心电图测定装置接收信息。由此，上述获取部10可直接从上述心电图测定装置获取上述network)、反卷积深度网络(ddn，deconvolutionaldeepnetwork)等，优选地，利用基于cnn的深度学习模型，但是，本发明并不限定于此。160.在本发明一实施例中，本发明的ecg编码器12所应用的变形的cnn结构对心电图分析尤为适用，其理由如下所述。161.1)压缩激励网络(squeezeexcitationnetwork)的使用：压缩激励网络向通过编码器提取的数值向量有效反映各个通道的解剖学(位置)信息来提高编码器及由编码器获取的数值向量的质量(quality)。在多通道心电图的输入中，各个通道的输入反映心脏的特定解剖学位置。在诊断心脏的病态生理的过程中，解剖学位置信息非常重要，因此，当从心电图提取具有临床意义的多个数值信息(features)时，应筛选符合各个数值本身反映的特定解剖学特征结构的信息来非线性整合各个数值。接着，在压缩激励过程中，当创建提供给下一层(layer)的表示(representation)时，通过上述再次调整(recalibration)过程来优化各个通道的贡献度。具体地，当应用于接近输入端的一侧时，基于解剖学结构执行集中于特定通道的特征提取(featureextraction)，当应用于接近输出端的一侧时，选择非线性整合的抽象临床信息。162.2)非本地网络(non-localnerualnetwork或non-localnetwork)使用：非本地网络有效反映通过编码器提取的数值向量随着时间相互隔开的心电图特征(feature)之间的交互(interaction)来提高编码器及由编码器获取的数值向量的质量(quality)。在单通道/多通道心电图的输入过程中，当解析具有特定时间点中的心电图波形的临床意义时，应考虑上述特定时间点前后的心电图波形。而且，为了将这种信息的参照及整合过程应用于远距离的波形信息，需要能够学习将远距离的信息(feature)整合在作为解析对象的当前位置信息中的合适程度的网络，上述非本地网络执行这种作用。163.3)跳跃连接(skipconnection)的使用：本发明实施例的ecg编码器12应用使得输入数据通过多层非线性转换(transformation)的深度学习结构。在此情况下，可产生输出端的损失信号(losssignal)无法充分传输到输入端的梯度消失(gradientvanishing)现象。跳跃连接可有效减少这种问题。并且，跳跃连接(skipconnection)可使得输入端的信息以变形最小化的状态反映在输出端，因此，可广泛反映所提取的数值向量在编码器的转换过程中的多种特征(feature)来提高数值向量的质量。164.4)多任务学习(multi-tasklearning)：多任务学习作为一种训练具有上述网络特性的编码器网络的一种方式，在训练过程中，将通过编码器获取的一个数值向量共同用于多个下游任务，从而使得上述数值向量具备通用性。如上所述，本发明的ecg编码器12输出通过嵌入过程固定的尺寸和形式收缩的数值向量，这用于执行多个下游任务。在此使用的数值向量为了多种目标而用作多种机器学习算法的输入信息，因此，应尽可能高效地提取患者的综合临床状态。在本发明实施例中，ecg编码器12的输出向量可同时执行下述多个任务，因此，当各个下游任务网络输出端的误差信号被反向传播时，因汇集到一个编码器末端，从而训练一个编码器，按照这种方式训练的编码器可生成具备用于实现上述目标的通用性的嵌入向量。165.在本发明一实施例中，ecg编码器12接收的上述心电图数据可包括心电图图像，心电图图像在心电图信号或二维平面上示出所有通道的心电图信号。166.在本发明一实施例中，当心电图数据为心电图信号时，输入于ecg编码器12的心电图信号包括多通道或单通道，在此情况下，心电图数据为c×m(各个导联输入(通道)的数量×各个通道测定值的数量)的二维阵列(array)形态。167.在本发明一实施例中，当心电图数据为心电图图像时，心电图图像被转换为包括所有导联(lead)通道的图像或按照各个导联通道裁剪(cropping)的各个导联通道图像，输入于ecg编码器12的心电图图像包括由一个或一个或更多导联通道的黑白图像或三色(3color)通道的r(red)、g(green)、b(blue)构成的彩色图像，在此情况下，可变为c×w×h(通道数×水平像素数×垂直像素数)的三维阵列(array)形态来输入。168.在本发明一实施例中，ecg编码器12包括一个卷积层和与此连续的多个卷积块，各个卷积块可包括多个连续的ecg子单元。随着ecg编码器12通过第一卷积层和多个卷积块，可将心电图数据转换为数值向量。以下，参照3及图4进一步详细说明ecg编码器将心电图数据转换为数值向量的过程。169.在本发明一实施例中，分析部14利用ecg编码器12计算的数值向量来提供用于疾病相关的分析、预测或诊断的信息。170.上述分析部14的分析结果包括疾病预测，当预测疾病时，上述心电图数据可以为为单通道或多通道的数据，上述疾病可包括休克、呼吸衰竭、肺水肿、心脏骤停、心源性晕厥及猝死、急性冠脉综合症、心肌梗塞、高钾血症。171.上述分析部14的分析结果包括疾病诊断，当诊断疾病时，可包括心率异常(频脉、缓脉、各种心律失常)、心脏的结构及功能异常(心脏衰竭、心脏压塞、瓣膜狭窄/衰竭、肺动脉高血压、肺栓塞症、心肌病症)。172.在本发明一实施例中，心电图数据可以为按照规定的时间间隔或不规则的时间间隔测定的多个心电图数据。上述各个心电图数据通过上述ecg编码器，分别获取其各个数值向量来从诊断部14获取诊断，或者，可向一个机器学习算法同时输入多个数值向量来诊断上述疾病或诊断疾病好转还是恶化。173.上述分析部14可按照顺序向量(sequentialvector)分别排列从上述多个心电图数据获取的数值向量。若将多个数值向量处理为输入，则沿着向量的长度方向合并(concatenate)多个数值向量来使其被转换为一个输入并通过一个多层感知器(multilayerperceptron(mlp)network)，或者，沿着向量长度的垂直方向合并来使其通过一个变换器网络(transformernetwork)，或者，在不合并的情况下，按照检查执行顺序使其依次通过一个rnn(recurrentneuralnetwork)。上述分析部14也可基于因通过而提取的第二数值向量来学习患者的特定疾病随着时间的推移好转还是恶化。174.在本发明一实施例中，分析部14也可进一步考虑时间相关信息来学习特定疾病好转还是恶化。175.也可不设定输入向量(例如，第一数值向量)之间的时间间隔。在此情况下，可利用额外的函数对包括该时间间隔的时间相关信息进行编码来计算表示时间间隔的值，可将编码值与第一数值向量的合并向量用作输入向量来向输入向量添加时间相关信息。如上所述，分析部14可进一步考虑输入向量之间的时间间隔来确定疾病好转还是恶化。176.上述时间相关信息也可由额外的函数实现。该函数也可以为基于实际心电图数据统计建模的函数或使用人员任意指定的函数。在此情况下，与时间相关信息相对应的函数因编码而合并于输入向量。177.此时，可利用函数编码(encoding)时间相关信息并合并(concatenate)上述各个数值向量来提高精确度。178.另一方面，在本发明实施例中，下游处理部16应用ecg编码器所计算的数值向量来处理下游任务(downstreamtask)。在本发明一实施例中，下游任务的各个任务可执行具有两个或更多的全连接层(fullyconnectedlayer)的多层感知器(mlp，multi-layerperceptron)。179.在本发明一实施例中，各个任务的mlp网络与ecg编码器网络一并训练，或者，或者，在ecg编码器12先完成训练后单独进行训练。当下游任务网络存在多个时，各个任务网络可同时训练多任务学习(multi-tasklearning)。除ecg编码器12输出的数值向量外，上述下游任务网络可接收其他的额外结构化数据输入信息来提高预测精确度，在此情况下，额外结构化数据输入信息与数值向量合并(concatenate)，或者，可被额外的其他输入网络处理。上述额外结构化数据输入信息可包含年龄、性别及与心电图不同的生物信号中的一个或更多，与上述心电图不同的生物信号可包含血压、脉率、体温、呼吸频率、伴随症状、氧饱和度中的至少一个。并且，结构化数值检测结果也可包含经过适当嵌入过程的非结构化检测结果(影像检测等)及基于自然语言的非结构化文本数据作为额外的输入。180.在本发明一实施例中，例如，疾病分析装置1可通过实时直接分析以往/即将从患者获取的心电图信号，由此，可以与能够提供临床信息的心电图测定装置(例如，12导联心电图、心电图监视器及利用其他单通道或多通道心电图的医疗装置等)相结合。181.作为非限制一例，可以为智能手表、安装有心电图测定装置的学习机器等运动设备等，但并不限定于此。182.并且，在本发明一实施例中，上述疾病分析装置1也可以与心电图分析装置相结合，上述心电图分析装置可通过本地装置或服务器直接分析获取心电图而输出在纸或图像的可视化心电图的图像来提供临床信息。183.作为非限制性一例，例如，可以为设置有应用程序的设备、使用摄像头或扫描装置且安装有分析算法的ehr(电子健康档案)系统等，但并不限定于此。184.另一方面，将心电图数据转换为数值向量来提供用于分析、预测、诊断疾病的辅助信息的方法(以下，称为“疾病分析方法”)由包括处理器的计算装置执行。例如，上述包括处理器的计算装置由上述疾病分析装置1或其至少一部分结构要素(例如，获取部10、ecg编码器12、分析部14和/或下游任务处理部16)[下游处理部16可以与分析部14分开存在或包括在分析部14]执行，或者，可由其他计算装置执行。以下，为了确保说明层面上的明确性，通过上述疾病分析装置1执行上述疾病分析方法的实施例进一步详细说明本发明。[0185]图2为示出本发明一实施例的疾病分析方法的流程图。参照图2，疾病分析方法由处理器执行，作为利用深度学习从心电图信号(ecg)分析疾病的方法，其包括：步骤s10，从心电图测定装置获取心电图数据(例如，由获取部10执行)；步骤s121，向ecg编码器输入上述心电图数据(例如，由ecg编码器12执行)；步骤s122，通过上述ecg编码器并利用深度学习来计算数值向量；以及步骤s14，利用上述数值向量执行与疾病相关的分析、预测或诊断(例如，由分析部14执行)，例如，还包括由下游任务处理部16利用上述数值向量处理下游任务(downstreamtask)的步骤s16，作为由上述分析部14执行的分析步骤s14的一部分，各个任务可执行具有两个或更多的全连接层(fullyconnectedlayer)的多层感知器(mlp，multi-layerperceptron)。[0186]图3为示出本发明一实施例的ecg编码器子单元的图。[0187]参照图3，在本发明一实施例中，上述ecg编码器12基于cnn，包括多个卷积块。[0188]上述ecg编码器12包括ecg编码器子单元(subunit)。[0189]上述ecg子单元包括除第一卷积层外的剩余卷积块。[0190]上述ecg编码器子单元可包括按照各个通道单独卷积(convolution)上述电信号数据的深度可分离卷积层(depthwise-seperableconvolutionlayer)。[0191]在构成上述ecg编码器12的ecg编码器子单元中，心电图数据(单通道或多通道的心电图信号或心电图图像)经过两次深度可分离卷积，通过跳跃连接(skipconnection)作为下一卷积层的输入数据输入。在深度可分离(depth-wise)卷积后，深度可分离卷积层为伴随逐点(point-wise)卷积的形态。[0192]现有卷积考虑所有通道和本地信息创建一个特征图，深度可分离卷积通过深度可分离卷积及逐点卷积来调整所输出的特征图数量。[0193]在本发明一实施例中，深度可分离卷积按照心电图数据的各个通道执行具有独立过滤器的卷积运算。也可包括与深度可分离卷积运算直接连接的逐点卷积(point-wiseconvolution)运算器。深度可分离卷积按照通道单位分离c×w×h的输入并应用各个卷积过滤器创建输出，若再次合并其结果，则卷积过滤器可通过非常小的参数实现相同大小的输出。当各个过滤器的运算结果需要独立于其他过滤器时，这可成为优点。逐点卷积作为1×1conv的过滤器(在一维输入的情况下1×)，其目的在于，通过重排(shuffle)来提取各个通道信息。用于通过上述方法减少或增加总通道数。即，深度可分离卷积了沿着特征图的通道方向执行卷积来并列生成输出点(point)。逐点卷积可通过深度可分离卷积合并(concatnate)独立的各个通道输出值来按照各个空间点(spatialpoint)执行卷积。为了提高各个通道性能，输入通道输出维度可应用两个或更多。[0194]在本发明一实施例中，在深度可分离卷积后，可执行批标准化(batchnormalization)。使得各个层的输入分布变得恒定来改善学习效率。除批标准化外，可使用各种非线性激活函数(例如，relu)、随机失活(dropout)等。[0195]上述ecg编码器子单元可包括压缩激励层(sqeeze-excitationlayer)，按照各个通道提取平均来计算一个标量(scalar)值，上述各个通道的标量值为0至1之间，随着标量值乘以各个通道，各个通道的数值被再次调整(recalibration)。这使得深度学习算法能够学习通道的重要程度。[0196]跳跃连接以元素方式(element-wise)向经过如上所述的运算过程得出的结果值相加现有的输入值。若输出值的通道数因上述运算过程而变得与输入值的通道数不同，则使得现有的输入值通过线性层(linearlayer)以匹配通道数后与上述输出值相加。[0197]图4为示出本发明一实施例的ecg编码器的图。参照图4，在本发明一实施例中，可包括输入端的一个卷积层及与此连接的四个卷积块。当输入数据为心电图信号时，第一卷积层为普通7×1卷积，具有64个通道输出。随后，经过批标准化层及最大池化层过后，依次经过四个卷积块。各个卷积块包括两个连续的编码器子单元，最后的卷积块可包括非本地网络。若通过所有卷积块，则最后经过全局池化(globalpooling)过程。所有卷积层及池化层的卷积核大小(kernelsize；例如，7×1、5×1、3×1)、卷积步长(stridesize)、填充(padding)方式及输出通道数及块数量、各个块子单元数量及非本地网络的批处理均根据心电图信号的状态适当确定。[0198]参照图3，在本发明一实施例中，各个编码器子单元具有一系列的深度可分离卷积层(例如，stride2)、批标准化层、深度可分离卷积层(例如，stride1)、批标准化层、压缩激励层结构，可包括通过绕过(bypass)这一系列处理过程而添加到结果向量的一个跳跃连接。[0199]压缩激励(squeeze-excitation)是指以通过特征图的压缩(squeeze)和再次调整(recalibration)的缩放(scale)为核心的方法论。专注于通道关系以明确通道之间的相互依赖性地进行建模来适当再次调整各个通道的特征响应。[0200]在本发明一实施例中，压缩运算可应用于存在转换(ftr:x→u)的情况，即，将具有[h',w',c']维度的输入x转换为具有[h,w,c]维度的输出u。[0201]相对于输出u提取各个通道信息(fsq)，基于其信息计算(fex)各个通道的标量加权值并乘以相应通道(fscale)。为了便于说明，若ftr为卷积层，则标准卷积的输入通道数为c'，在输出通道数为c的情况下，学习c'×c个二维过滤。已学习的过滤其的集合为v＝{v1,v2…vc}，ftr的结果为u＝{u1,u2…uc}。[0202]压缩运算为了考虑通道依赖性而提取各个输出通道的信息。即，使用整个通道信息创建代表通道的标量值z。[0203]在本发明一实施例中，为了使得fsq仅提取各个通道的重要信息，可使用最普通方法论中的一个，即，全局平均池化(globalaveragepooling)。若使用全局平均池化，则存在学习对象的参数不会增加的优点。[0204]上述压缩运算可通过以下数学式执行。[0205][0206]zc为各个通道的代表值。在压缩运算过程中，通过全局平均池化运算来将h×w×c尺寸的特征图(featuremap)压缩成1×1×c尺寸。相加所有与特征图的一个通道相对应的特征值后，除以h×w压缩成1×1×1。特征图具有c个通道，因此，若合并各个通道的所有压缩结果，则计算为1×1×c尺寸的数据。如上所述，可将各个通道压缩成一维度并相加各个通道的ecg特征值来计算各个通道的代表值zc。所计算的zc向量用于激励运算。[0207]若压缩(squeeze)重要信息，则经过再次调整(recalibration)过程，这称为激励(excitation)运算，用于计算通道之间依赖性(channel-wisedependencies)。在激励运算的过程中重要的是，第一，应发现通道之间的复杂(non-linear)关系，第二，应筛选强调多个通道，而并不如同独热激活(one-hotactivation)，从c个通道中仅筛选一个来提高加权值。为此，在本发明一实施例中，可通过调节全连接层(fullyconnectedlayer)和非线性函数来计算。[0208]作为全连接层或非线性函数的参数，加权值s可由以下数学式表示。[0209]s＝fex(z，w)＝σ(g(z，w))＝σ(w2δ(w1z))[0210]其中，s为基于各个ecg通道的贡献度表示的各个通道加权值，具有0至1的值。σ为sigmoid函数，δ为relu、r为压缩比例(reductionratio)，作为超参数，通过降维来减少全连接层的参数数量。再次调整工作可通过乘以上述各个通道的加权值s来执行。[0211]基于上述各个通道的加权值s计算再次调整的最终数值向量xc。上述最终数值向量xc可由以下数学式表示。[0212][0213]最终计算的xc作为向量，各个元素sc为0至1之间的值，作为标量积应用于各个相应的通道，用于对各个通道赋予加权值。这可通过用于判断通道重要程度的深度学习算法来学习。[0214]在本发明一实施例中，上述编码器的最后卷积块还可包括非本地网络(non-localnetwork)。非本地网络添加空间(spatial)方式的注意力机制(attentionmechanism)。计算特征图的特定空间点(spatialpoint)的查询(query)向量与整体空间点的钥(key)向量之间的内积(innerproduct)值。若通过软最大(softmax)运算对所计算的内积(innerproduct)值实现标准化(normalize)，则可在特征图的各个位置计算标量值，相当于0至1之间的加权值。若将标量值乘以与其相对应的空间点值(value)向量并将其全部相加，则将特定空间点的值(value)向量转换为整体空间点的值(value)向量的加权和(weightedsum)。按照这种方式转换的值与初始特征图通过跳跃连接相加形成输出值，与上述钥(key)、查询(query)、值(value)相应的向量可利用各个独立参数函数从输入特征图计算。在此过程中，当分析存在于心电图信号的特定时间点(相当于一维输入数据的特定位置)的特征(feature)时，由于能够一并考虑远距离的其他时间点的信号，因此，可更加有效判断数据的整体脉络。并且，当输入数据为二维输出多通道波形信号的图像时，存在附加效果，即，也可额外参照不同通道的波形。[0215]与此相对应地，普通cnn存在仅运算本地邻域(localneighborhood)的限制，即使使用atrous卷积或大核尺寸，过滤器能够一次性看到的区域也是有限的。与此相同地，在普通rnn的情况下，存在仅考虑之前受限时间范围的限制。通常，这种时间轴或空间轴层面上仅知道局部信息的运算为了实现全局观察而执行反复运算。然而，这种反复运算不仅非效率且难以优化，而且，当建模时，将发生多跳依赖性(multi-hopdependency)。[0216]本发明使用非本地网络(non-localnetwork)，由此，可使得特征图中的其他所有时间位置(position)的特征和(当输入为输出的图像数据时)其他所有通道的特征参照加权和(weightedsum)的形态来改善上述普通cnn的限制。在本发明实施例中，虽然非本地网络用于ecg编码器的最后卷积块，但是，其批处理基于输入数据和使用目的而变化。[0217]在本发明一实施例中，心电图信号可将通过第一卷积块至第四卷积块的一个输入数据转换为n(输出(output)的空间维度取决于输入尺寸(inputsize)及网络结构)×d(通道尺寸)形式的二维行列。通过展开这种n×d的行列来转换为n×d维度向量，或者，按照各个通道进行池化(例如，全局平均池化(globalaveragepooling))转换为d维度向量，由此，完成ecg信号的整体编码过程。[0218]在本发明额外实施例中，当各个心电图信号的相位(phase)不匹配时，额外的处理方法使得存储在医疗记录的心电图通常在由i、ii、iii/avr、avl、avf/v1、v2、v3/v4、v5、v6方式组成组的状态下按照各个组区分测定时间，虽然组内的相位(phase)匹配，但是，组之间的相位(phase)不匹配。因此，存在难以通过一个网络一次性分析12通道(channel)的整probability)。[0226]在本发明一实施例中，本发明包括的例示性下游任务为临床诊断或预测任务，包括：1)心率异常(频脉、缓脉、各种心律失常-窦性心动过速(sinustachycardiac)，窦性心动过缓(sinusbradycardia)，心房颤动/扑动(atrialfibrillation/flutter)，交界性心律(junctionalrhythms)，室上性心动过速(supraventriculartachycardia)，传导阻滞(blocks)，室性心动过速(ventriculartachycardia)，心室颤动(ventricularfibrillation))、2)心脏的结构及功能异常(心脏衰竭-heartfailure、心脏压塞-cardiactamponade、瓣膜狭窄/衰竭-valvularstenosis/regurgitation、肺动脉高血压-pulmonaryhypertension、肺栓塞症-pulmonaryembolism、心肌病症-cardiomyopath)、3)各种临床事件(休克-shock、呼吸衰竭-respiratoryfailure、心脏骤停-cardiacarrest、心源性晕厥-cardiacsyncope及猝死-suddencardiacarrest、急性冠脉综合症-acutecoronarysyndrome、心肌梗塞-myocardialinfarction、st段抬高型心肌梗死-stelevationmyocardialinfarction、高钾血症-hyperkalemia)或4)各种临床治疗(给药升压剂-vasopressorinfusion、应用人工呼吸机-mechanicalventilation，冠状动脉造影-coronaryangiographyandinterventions及输血-transfusion等)[0227]为此，除心电图外，可接收额外结构化数据信息，上述额外结构化数据输入信息相当于年龄、性别及结构化生物信息(血压、脉率、呼吸频率、体温、数值检测结果等)及适当变形的实现结构化的非结构化信息(主要症状、基础疾病、文本、放射线及超声波影像信息、听诊器声音等声音信息及各种生物信号)。[0228]在本发明实施例中，为了提高ecg编码器的数值向量(嵌入)质量，在ecg编码器的训练过程中，可大致应用三种辅助学习任务(监督学习/自监督学习/无监督学习)。[0229]第一，监督学习(supervisedlearning)可由下游任务并行。这是指计算脉率(heartrate)、pr间隔(printerval)、qrs间隔(qrsduration)、qt间隔(qtinterval)、校正的qt间隔(correctedqtinterval)、p、qrs、t波电轴(p/qrs/twaveaxes)、或执行是否存在相当于心房颤动(atrialfibrillation)、心房扑动(atrialflutter)、房性异位心律(ectopicatrialrhythm)、房室传导阻滞(avblock)1度，2度，3度(1st,2ndandthirddegree)、左/右分支传导阻滞(leftandrightbundlebranchblock)、心室内传导迟滞(intra-ventricularconductiondelay)、前/后分支传导阻滞(anteriorposteriorfascicularblock)、心电图基线变动噪音(ecgbaselinewandering)、心电图信号噪音(ecgsignalartifact)、心房早期收缩(atrialprematurebeatcomplex)、心室早期收缩(ventricularprematurebeatcomplex)、起搏心律(pacingrhythm)、房室交接区心律(junctionalrhythm)、二联律(bigeminy)、三联律(trigeminy)、室性逸搏心律(supra-ventricularrhythm)、室性心律(ventricularrhythm)、左心室肥厚(leftventricularhypertrophy)、右心室肥厚(rightventricularhypertrophy)、st节段上升(stelevation)、心室再极化(ventricularrepolarization)、心肌梗塞(myocardialinfarction)、q波(qwave)的形态特性的任务。这种基于自监督学习的任务提高数值向量的质量，以使得已在临床上明确定义的心电图的形态特性反映在数值向量。[0230]作为参考，上述形态特性是指医学人员或临床人员提取从心电图波形反复观察到的形态图案定义的。大多这种形态特性与测定的导联位置并无关联，仅以其本身无法视作最终诊断。[0231]第二，自监督学习(self-supervisedlearning)可由下游任务并行。包括：方式1)通过特定方式变形原始心电图数据后，推导变形种类(及内容)；2)利用变形的输入恢复原始文件。在上述方式1)中，相对于原信号使用的变形有i)添加符合标准分布的噪音，ii)向原输入值乘以特定范围的量数的缩放变更，iii)向原输入值乘以-1的波形反转，iv)将原输入值的时间批处理转换为域的时间翻转，v)将原数据分为规定时间间隔范围后，混合随机批处理各个区间的区间。这种变形可以为其中一种或反复应用一种以上，判断所使用变形(或某组合)作为主要业务，可根据情况训练以推导变形的具体内容(例如，缩放变更量、区间混合的顺序等)。在上述方式2)中，相对于原始数据使用的变形有i)添加符合标准分布的噪音，ii)将特定时间区间置换为0(仅恢复相应区间)，iii)添加随机非线性曲线(连续且可微分)。在此情况下，任务为推导整体原始数据或原始数据的一部分(例如，上述被置换为0的区间的原始值)。这种基于自监督学习任务可提取高质量的数值向量，使得数值向量更加有效反映心电图的形态特性。[0232]第三，无监督学习(unsupervisedlearning)可由下游任务并行。本发明应用的非监督学习内容如下所述。本发明的网络训练过程与其他深度学习网络的训练相同，可应用按照特定方式变形输入数据的数据增强(dataaugmentation)过程。在此过程中，通过一个心电图创建n个变形的心电图输入数据，在此情况下，若原始心电图为m个，则创建m×n个心电图输入值。当从这种m×n个心电图提取两个心电图时，若两个心电图与原始数据相同，则与由此创建的数值向量相同或非常类似，为了满足这种限制，本发明的无监督学习任务向现有的损失函数(lossfunction)追加如下所示的损失项(lossterm)，使得从相同原始数据产生的两个增强数据点(augmenteddatapoint)上的距离最小化。[0233]β·i(vecaandvecbismadefromsameecgsignal)·||veca-vecb||[0234]其中，β为可通过用户输入随机调整的超参数(hyper-parameter)，i为指示函数(indicatorfunction)，||veca-vecb||为从两个心电图创建的两个向量之间的距离。作为一例，测定距离的方式可使用欧氏距离，但并不局限于此，与β值相同，上述距离因子可根据问题状况变更。[0235]如上所述，损失项(lossterm)的追加可通过训练编码器使得各个数值向量在从数值向量获取的向量空间中具有相似的形态，使得各个数值向量在由数值向量定义的向量空间内被有效批处理，从而提高具有数值向量的嵌入质量。[0236]当基于上述监督学习/自监督学习/无监督学习的辅助学习任务并行时，用于学习的下游任务网络与ecg编码器网络一并(jointly)训练，这在以临床诊断/预测为目的的下游网络的训练中先行独立执行，或者，可以与上述临床诊断/预测网络的训练同时执行。在先行方式(pretrain)的情况下，结束先行训练后，固定ecg编码器的加权值(weight)，仅训练临床诊断/预测网络，随后，根据需求，解除ecg编码器的加权值固定，应用同时训练两者(编码器和用于临床诊断/预测的下游任务网络)的微调整(finetuning)过程。当同时训练自监督学习网络和临床诊断/预测网络时，加权值更新在包括ecg编码器的所有网络的加权值整体实现。[0237]如上所述的监督学习/自监督学习/无监督学习的先行/并行学习使得ecg编码器输出的数值向量(嵌入向量)以同时包括的方式向显示在心电图的临床人员定义的图案添加相应的形态信息和与此无关的其自身形态信息来提高其通用性(监督学习/自监督学习)，通过有效地再次批处理来使得批处理数值向量的向量空间(无监督学习)有效应用于未预先设计ecg编码器的其他种类的下游任务。即，这有利于实现小样本学习(few-shot)或一次学习(one-shot)。[0238]另一方面，以下通过实施例对上述心电图编码器或由此提取的数值向量的应用例进行说明。[0239]数值向量的应用例[0240]作为本发明例示的应用例，数值向量可用于临床诊疗、急救、灾难现场中的患者诊断及分类(diagnosisandtriage)，通过合并(concatenate)除从ecg编码器获取的数值向量外的额外信息来创建一个输入向量，使得其通过新的下游任务网络(downstreamtasknetwork)来用于执行所期望的临床诊断、临床事件/治疗预测。[0241]上述额外结构化数据信息可包含年龄、性别、血压、脉率、体温、呼吸频率、氧饱和度等生物信号(vitalsigns)、各种数值检测结果(laboratorytestresults)等现有结构化信息、通过机器学习方法转换为结构化数值信息的非结构化数据(影像、声音、生物信号等)、通过自然语言处理变形为数值向量的症状、疾病名称、医疗记录等自然语言信息中的至少一种。[0242]作为优选一例，所使用的下游任务网络可以为如上所述的批标准化层(batchnormalization)、随机失活层(dropoutlayer)及非线性激活函数(non-linearactivation)，例如，由包括relu的两个或更多的全连接层(fully-connectedlayer)构成的多层感知器(multilayerperceptronneuralnetwork)，具体结构可随着使用目的改变。[0243]如上所述，当训练新下游任务网络时，首先固定ecg编码器的加权值(weight)后，通过训练新下游网络的加权值进行更新后，可应用于通过追加训练心电图编码器和下游任务网络的加权值整体进行更新的微调整(finetuning)。[0244]作为本发明例示的再一应用例，数值向量可应用于心电图、重患者监视器及各种医疗装置等。ecg编码器或从其提取的数值向量可用于各种医疗装置(智能手表、运动机械等)。在这种医疗装置中，除数值向量外，可通过与上述应用相同的方式接收作为输入的额外信息。[0245]例如，用于医疗装置的编码器在其特性上，作为心电图信号接收单通道～四通道的输入数据。在与患者相连接的状态下，由于各种医疗装置需要持续处理游动的数据，因此，按照规定时间间隔划分患者的信息后(例如，5秒)，利用ecg编码器及下游任务网络分析各个划分的数据区间，可基于各个时间点的分析结果值或这种时间点分析结果值的各个时间点加权平均来提供诊断服务或预测服务。这种医疗装置的诊断对象或预测对象作为通过医疗装置获取的诊断信息或预测信息，例如，可包含平常状态下和/或运动/药物负荷下的使用人员的恶化或各种应急状况，其中，可包含心律失常、心绞痛、肺水肿、肺栓塞、急性冠脉综合症、电解质异常等。[0246]图5为示出本发明再一实施例的应用从通过反复测定获取的多个心电图数据获取的数值向量的应用图。[0247]参照图5，心电图通常对单个患者执行多次。当怀疑急性冠脉综合症时，每隔数分钟或数小时执行，对于稳定的患者，每隔数周或数年执行。这种反复测定的目的在于，使得医生通过临床评估心电图随时间变化的形态来诊断特定疾病/状态的风险程度。若通过人工智能实现相同功能，则需要按照一致方式对反复执行的各个心电图数据的非结构化形态特征实现数值化，而这种作用由本发明实施例的ecg编码器执行。[0248]即，可首先按照对满足特定临床标准(例如，时间间隔)的两个心电图进行分析的方式合并(concatenate)各个心电图数据通过各个ecg编码器(两个ecg编码器的参数加权值可相同；卷积核参数共享(parametersharing))获取的两个数值向量来用作一个输入数值向量。而且，通过创建与如上所述的下游任务网络相同结构的网络并通过输出值设定要预测的诊断来学习模型。在此情况下，作为应用例，可应用于急性冠脉综合症、长期给药抗癌药后的药物副作用(发生心脏衰竭)、输液治疗前后患者状态的改善(休克的好转)或恶化(发生心脏衰竭/肺水肿)等，但并不限定于此。[0249]图6为示出本发明再一实施例的应用n个连续获取的数值向量的应用图。[0250]参照图6，使得满足特定临床标准的n个连续执行的心电图通过一个ecg编码器12。这相当于作为非结构化数据的心电图数据的嵌入，由此获取n个连续获取的数值向量。将按照这种方式获取的连续嵌入向量作为输入通过普通rnn(lstm或gru)或变换器(transformer)网络来训练用于预测患者的特定疾病是否随着时间的推移好转/恶化或是否发生特定临床事件的学习模型。用作输入值的连续数值向量可通过合并(concatenate)附加信息来增强使用，其中，可包含转换为数值向量的临床信息(年龄、性别、血压、脉率、呼吸频率、体温、症状、标准检查结果)。而且，在此应用的rnn或变换器(transformer)网络仅为神经网络结构的一实例，可用于处理通过反复测定依次构成的数值向量，除此之外，可应用任意机器学习算法，只要具有相似功能即可。[0251]作为应用例，可应用通过反复测定获取的复数的12导联心电图，可将用于计算急性冠状动脉综合症、肺水肿、肺栓塞、呼吸衰竭、心脏骤停、高/低钾血症相关风险程度的人工智能算法安装在12导联心电图机器或电子医疗记录程序。[0252]作为另一应用例，安装规定长度(例如，时间间隔：5秒)裁剪通过一个或更多通道实时测定的患者心电图信息依次接收输入，由此，可实时计算急性冠状动脉综合症、肺水肿、肺栓塞、呼吸衰竭、心脏骤停、高/低钾血症相关风险程度，若风险程度为规定水平以上，则可通过安装有算法的重患者监视设备及服务器装置通知使用人员，但并不限定于此。[0253]如上所述的疾病分析装置可由计算装置实现，包括处理器、存储器、用户输入装置、显示装置中的至少一部分。[0254]存储器是指存储介质，若由处理器执行，则可执行特定任务，可存储计算机可读软件、应用程序、程序模块、例程、指令(instructions)和/或数据等。处理器可读取执行存储在存储器的计算机可读软件、应用程序、程序模块、例程、指令(instructions)和/或数据等。用户输入装置可以为用户用于输入执行特定任务所需指令或执行特定任务所需数据的装置。用户输入装置可包括物理或虚拟的键盘或辅助键盘、按键、鼠标、操纵杆、轨迹球、触敏输入装置或麦克风等。显示装置可包括显示器、打印机、扬声器或振动装置等。[0255]计算装置可包括智能手机、平板电脑、膝上型计算机、服务器、客户端等多种装置。计算装置可以为自媒体装置，可包括多个计算装置，在由通过通信网协议的多个计算装置构成的分散环境中进行工作。[0256]并且，上述疾病分析方法可由计算装置执行，上述计算装置包括处理器，通过处理器执行将心电图数据转换为数值向量的疾病分析方法，设置有存储器，在存储器存储有用于执行上述疾病分析方法的计算机可读软件、应用程序、程序模块、例程、指令和/或数据结构等。[0257]上述本发明实施例可通过多种装置实现。例如，本发明实施例可由硬件、固件(firmware)、软件或它们的组合等实现。[0258]当通过硬件实现时，本发明实施例的疾病分析方法可由一个或一个以上的专用集成电路(asics，applicationspecificintegratedcircuits)、数字信号处理器(dsps，digitalsignalprocessors)、数字信号处理器件(dspds，digitalsignalprocessingdevices)、可编程逻辑器件(plds，programmablelogicdevices)、现场可编程逻辑门阵列(fpgas，fieldprogrammablegatearrays)、处理器、控制器、微型控制器或微型处理器等实现。[0259]例如，本发明实施例的用于将心电图数据转换为数值向量的疾病分析方法可利用深度神经网络的神经元(neuron)和突触(synapse)由半导体器件实现的人工智能半导体装置来实现。在此情况下，半导体器件为当前使用的半导体器件，例如，sram或dram、nand等，下一代半导体器件可以为rra或sttmram、pram等，也可以为它们的组合。[0260]当本发明实施例的用于将心电图数据转换为数值向量的疾病分析方法由人工智能半导体装置实现时，神经网络模型可将由软件学习的结果(加权值)转移到按照阵列批处理的突触模拟器件或通过人工智能半导体装置执行学习。[0261]当由固件或软件实现时，本发明实施例的用于将心电图数据转换为数值向量的疾病分析方法可由用于执行上述功能或工作的装置、步骤或函数等形态来实现。软件代码存储在存储单元并有处理器驱动。上述存储单元位于上述处理器的内部或外部，可通过已知的多种装置与上述处理器收发数据。[0262]并且，如上所述的“部”、“装置”、“模块”、“系统”、“处理器”、“控制器”、“组件”、“接口”或“单元”等术语可表示与计算机相关实体硬件、硬件与软件的组合、软件或正在运行的软件。例如，上述结构要素可以为处理器驱动的进程、处理器、控制器、控制处理器、对象、执行线程、程序和/或计算机，但并不局限于此。例如，控制器或处理器正在运行的应用程序或控制器或处理器均可以为结构要素。一个以上结构要素可存在于进程和/或执行线程内，结构要素可位于一个装置(例如，系统、计算设备等)或分散位于两个或更多装置。[0263]以上说明仅用于说明本发明技术思想的示例，本发明所属
技术领域：
：的普通技术人员可在不脱离本发明技术思想的本质特性的范围内进行多种修改及变形。并且，本发明实施例仅用于说明，并不限定本发明的技术思想，因此，本发明的技术思想范围并不限定于这种实施例。应当理解的是，本发明的保护范围应基于发明要求保护范围加以解释，与其等同范围内的所有技术思想均属于本发明要求保护范围。当前第1页12当前第1页12
技术特征：
1.一种用于将生物电信号数据转换为数值向量的装置，其特征在于，包括：获取部，用于获取生物电信号数据；以及编码器，接收上述生物电信号数据并利用深度学习算法来计算第一数值向量，上述第一数值向量为与从生物电信号数据提取的特征相关的结构化数据，上述特征包括能够从生物电信号数据提取的解剖学特征及时间特征中的至少一种。2.根据权利要求1所述的装置，其特征在于，上述装置包括将第一数值向量用作输入数值向量来同时处理多个下游任务的多个下游处理部，随着来自各个下游任务网络输出端的误差信号因反向传播而汇集到上述编码器的末端，通过训练上述编码器来提高第一数值向量的通用性。3.根据权利要求2所述的装置，其特征在于，上述第一数值向量本身用作下游处理部的输入数值向量或与其他结构化数据信息合并用作下游处理部的输入数值向量。4.根据权利要求2所述的装置，其特征在于，上述编码器能够为两个或更多，通过合并从各个编码器输出的多个第一数值向量来提供一个输入数值向量。5.根据权利要求2所述的装置，其特征在于，使得n个连续的生物电信号数据通过一个编码器来提供n个连续的第一数值向量。6.根据权利要求2所述的装置，其特征在于，上述装置在按照规定时间间隔划分生物电信号数据后，基于使得所划分的各个数据区间的信息通过上述编码器或上述编码器及下游处理部来获取的各个时间点结果值或相应时间点结果值的时间点加权平均，提供特定疾病的相关分析、诊断或预测。7.根据权利要求2所述的装置，其特征在于，当训练下游任务的网络时，上述装置在固定上述编码器的网络加权值后，通过训练来修改下游任务的网络加权值，通过追加训练来整体修改上述编码器的网络及上述下游任务的网络的整体加权值。8.根据权利要求2所述的装置，其特征在于，上述多个下游处理部中的每个分别由具有两个或更多的全连接层的多层感知器(mlp)执行。9.根据权利要求8所述的装置，其特征在于，上述mlp与上述编码器的编码网络训练一并通过多任务学习进行训练，或者，在编码器先完成训练后单独进行训练。10.根据权利要求8所述的装置，其特征在于，上述mlp能够接收与上述第一数值向量不同的额外结构化数据输入信息，上述额外结构化数据输入信息包括年龄、性别、生物信号、数值检测结果、通过自然语言处理变形为结构化数据的基于自然语言的结构化数据信息、以及从与获取自获取部的生物电信号数据不同种类的生物信号数据转换的结构化数据信息中的至少一种，上述生物信号包括选自由血压、脉率、体温、呼吸频率及氧饱和度组成的组中的一种或更多，上述额外结构化数据输入信息与上述第一数值向量合并或与上述第一数值向量分开输入。11.根据权利要求8所述的装置，其特征在于，还包括显示部，在上述mlp预测是否发生特定疾病的情况下，当上述mlp输出时，同时显示考虑所获取的生物电信号数据的特定疾病发生边际概率及不考虑所获取的生物电信号数据的特定疾病发生边际概率，并显示上述考虑所获取的生物电信号数据的特定疾病发生边际概率相对于上述不考虑所获取的生物电
信号数据的特定疾病发生边际概率的增加比例。12.根据权利要求1所述的装置，其特征在于，上述编码器的深度学习算法以卷积神经网络cnn为基础，所述装置包括编码器子单元，上述编码器子单元包括：一个或更多卷积层；一个或更多全连接层，上述全连接层包括非线性激活函数；以及集中层，汇总从各个通道生物电信号数据中提取的特征集来分别提取代表值，并再次调整各个通道的特征集以反映基于上述代表值的上述各个通道的特征集的贡献度，上述特征集包括与各个通道的解剖学结构相关的特征，与上述特征集相比，经再次调整的各个通道的特征集更集中于与各个通道的解剖学结构相关的特征。13.根据权利要求12所述的装置，其特征在于，上述一个或更多卷积层包括单独卷积上述一个或更多通道的各个生物电信号数据的深度可分离卷积层。14.根据权利要求12所述的装置，其特征在于，上述集中层为了汇总上述特征集而池化处理上述特征集。15.根据权利要求12所述的装置，其特征在于，上述集中层使得各个通道的代表值通过上述全连接层来计算各个通道的贡献度，以及分别将上述各个通道的贡献度乘以上述特征集来再次调整各个通道的特征集。16.根据权利要求15所述的装置，其特征在于，上述集中层将使得上述各个通道的代表值通过全连接层的结果缩放为特定范围之间的数值，从而计算上述各个通道的贡献度。17.根据权利要求12所述的装置，其特征在于，上述编码器包括多个卷积块，上述子单元包括在除第一卷积层之外的剩余卷积块中。18.根据权利要求17所述的装置，其特征在于，上述卷积块包括第一编码器子单元及第二编码器子单元，相比于上述第二编码器子单元，上述第一编码器子单元更接近上述卷积块的输入端，而非上述卷积块的输出端，在上述集中层汇总上述特征集来提取代表值的工作和基于各个通道贡献度的再次调整的工作中，相比于上述第二编码器子单元，上述集中层更集中于汇总上述特征集来提取代表值的工作，相比于上述第二编码器子单元的代表值，上述第一编码器子单元的代表值反映更多有关上述解剖学结构的特征，相比于上述第一编码器子单元，上述第二编码器子单元更接近上述卷积块的输出端，而非上述卷积块的输入端，在上述集中层汇总上述特征集来提取代表值的工作和基于各个通道贡献度的再次调整的工作中，相比于上述第一编码器子单元，上述集中层更集中于基于各个通道贡献度的再次调整的工作。19.根据权利要求17所述的装置，其特征在于，上述编码器的最后卷积块还包括非本地网络，上述非本地网络通过比较上述生物电信号数据的空间点之间的相似度来实现空间注意力。
20.根据权利要求1所述的装置，其特征在于，上述生物电信号数据为单通道或多通道的信号，输入于上述编码器的生物电信号为c
×
m的二维阵列形态，上述c
×
m为各个输入导联的数量
×
各个通道测定值的数量，上述导联即通道。21.根据权利要求1所述的装置，其特征在于，上述生物电信号数据为生物电信号图像，上述生物电信号图像示出二维平面上的所有通道的生物电信号，上述生物电信号图像被转换成包括所有导联通道的图像或按照各个导联通道裁剪的各个导联通道的图像，输入于上述编码器的生物电信号图像被转换成一个或更多导联通道的黑白图像或具有红色(r)、绿色(g)、蓝色(b)三个通道的c
×
w
×
h的三维阵列形态，上述c
×
w
×
h为通道数
×
水平像素数
×
垂直像素数。22.根据权利要求1所述的装置，其特征在于，还包括分析部，上述分析部利用上述第一数值向量进行疾病或健康相关的分析、预测或提供诊断辅助信息。23.根据权利要求22所述的装置，其特征在于，上述分析结果包括疾病预测，当上述分析部预测疾病时，上述生物电信号数据为单通道的生物电信号数据，在上述生物电信号数据为心电图(ecg)数据的情况下，上述疾病包括休克、呼吸衰竭、心脏骤停、急性冠状动脉综合症、心肌梗塞、高钾血症。24.根据权利要求22所述的装置，其特征在于，上述分析结果包括利用上述第一数值向量确定疾病好转还是恶化的疾病诊断辅助信息，当上述分析部提供疾病诊断辅助信息时，上述生物电信号数据为按照规定间隔测定的多个生物电信号数据，上述多个生物电信号数据分别通过上述编码器的池化层，以提供诊断辅助信息。25.根据权利要求22所述的装置，其特征在于，上述分析结果包括提供疾病诊断辅助信息，上述生物电信号数据为按照规定时间间隔或不规则时间间隔测定的多个生物电信号数据，上述分析部以如下方式进行训练，由此来确定患者的特定疾病随着时间的推移好转还是恶化：将上述多个生物电信号数据的每个第一数值向量分别排列为顺序向量，沿着向量的长度方向合并上述顺序向量来使其通过多层感知器(mlp)网络，或者，沿着向量长度的垂直方向合并上述顺序向量来使其通过变换器网络，或者，不合并上述顺序向量来使其依次通过循环神经网络rnn，从而提取第二数值向量。26.根据权利要求25所述的装置，其特征在于，在为了训练而输入顺序向量之前，对时间相关信息进行编码，并使得编码后的时间相关信息的值与上述第一数值向量合并，上述分析部接收合并的向量作为顺序向量来训练。
27.根据权利要求1所述的装置，其特征在于，上述编码器的网络基于生物电信号数据的特性中临床定义的形态特性并通过自监督学习来训练。28.根据权利要求1所述的装置，其特征在于，上述编码器的网络将按照特定方式转换生物电信号数据用作训练数据并通过自监督学习来训练。29.根据权利要求1所述的装置，其特征在于，上述编码器的网络将增强生物电信号数据用作训练数据并通过无监督学习来训练，将共同有原始生物电信号数据的增强的生物电信号数据分别输入于编码器，调整使得所计算的各个第一数值向量相同或具有高相似度。30.根据权利要求29所述的装置，其特征在于，上述调整使得所计算的各个第一数值向量相同或具有高相似度是指最大限度地减少上述所计算的各个第一数值向量的距离。31.根据权利要求1所述的装置，其特征在于，上述装置与智能手表、安装有生物电信号测定装置的医疗装置或运动设备、或者设置有智能手机应用程序或电子健康档案系统的设备相结合。32.根据权利要求1至31中任一项所述的装置，其特征在于，上述生物电信号为心电图(ecg)。

技术总结
实施例涉及利用深度学习算法从生物电信号数据，尤其是单通道或多通道心电图信号或基于上述心电图信号获取的黑白心电图图像或彩色心电图图像提取数值向量信息的方法和装置，以及利用上述方法和装置分析、预测疾病并提供疾病相关的诊断辅助信息的方法及装置。疾病相关的诊断辅助信息的方法及装置。疾病相关的诊断辅助信息的方法及装置。


技术研发人员：金中熙
受保护的技术使用者：首尔大学校医院
技术研发日：2021.12.29
技术公布日：2023/9/20