用于使用基于变换器的神经网络来进行心律失常预测的方法和系统与流程

1.本文公开的主题的实施方案涉及使用深度神经网络来基于多模式数据预测心律失常。


背景技术：

2.心律失常包括由心脏的不正常搏动引起的不规则或异常的心脏节律并且导致从心脏到身体其余部分的不良血液流动。一些心律失常诸如室性心动过速(vt)和心室纤颤(vf)可导致心律失常和停止脉搏。类似地，心房纤颤(af)可导致心力衰竭、痴呆、中风和其他不期望的健康后果。虽然现有算法可在这些心律失常发生时检测这些心律失常，但它们无法在这些事件发生之前预测这些事件的发作。因此，在心律失常检测和健康护理提供者能够用适当干预进行响应之间可能存在延迟。


技术实现要素：

3.在一个方面，一种方法包括：在心律失常发生之前，通过经由多臂深度学习模型分析患者监测数据来预测患者中的该心律失常的即将发作；响应于该预测而输出心律失常事件；以及输出指示对该预测有贡献的该患者监测数据的特征的报告。
4.在单独或与附图联系时，本说明书的以上优势、其他优势和特征将从以下具体实施方式中显而易见。应当理解，提供以上发明内容是为了以简化的形式介绍在具体实施方式中进一步描述的概念的选择。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。
附图说明
5.通过参考附图阅读以下对非限制性实施方案的描述将更好地理解本发明，其中以下：
6.图1示出了包括心电图(ecg)监视器的患者监测系统的框图。
7.图2示出了用于心律失常预测的工作流程的高级框图。
8.图3示出了用于心律失常预测的三网神经网络架构的框图。
9.图4是用于训练三网深度学习模型的方法的流程图。
10.图5是用于使用三网深度学习模型以在发作前预测心律失常的方法的流程图。
11.图6示出了说明根据ecg进行的心室纤颤预测的一组曲线图。
12.图7示出了说明预测可解释性的一组曲线图。
具体实施方式
13.现在将以举例的方式，参考图1至图7来描述本公开的实施方案，这些附图涉及用
于使用深度神经网络来基于患者监测数据预测心律失常的各种实施方案。本说明书还公开了用于训练所述深度神经网络并且理解心律失常预测后的因素的系统和方法。以这种方式，深度神经网络可支持临床决策制定。
14.一些心律失常诸如室性心动过速(vt)和心室纤颤(vf)是可电击的(例如，通过除颤器)但可能具有不同的进展速度。例如，vt或vf的发作可以是突然的，在数秒至数分钟内发生，或恶化(例如，在数分钟至数小时内进展)。虽然现有算法可在患者中发生此类心律失常时检测它们，但现有算法不能在这些事件发生之前预测这些事件的发作。因此，临床医生可能没有准备对患者进行干预。因为积极患者预后在一些心律失常期间随时间的变化而减小，所以干预和治疗的延迟可导致更差的患者预测。然而，构建能够分析短期时间动态(例如，节律变化)以及长期动态(例如，心率可变性)的准确预测模型可能是具有挑战性的。
15.本公开通过提供一种架构来至少部分地解决上述问题，该架构用于使用实现更准确的心律失常预测的神经网络来进行多尺度时间分析。可通过本公开的实践实现的益处是可主动地治疗在不同时间尺度上发生的心律失常。例如，提前预测心律失常的发作可导致早期干预和治疗，该早期干预和治疗可增加积极患者预后。
16.图1示出了可用于获取患者监测数据的患者监测系统，该患者监测数据可包括心电图(ecg)数据或包括ecg数据和来自获取生命体征的多个传感器的数据的多模式数据。患者监测数据可在不同的时间尺度上经历特征提取和建模以预测心律失常，诸如根据图2所示的工作流程。例如，可使用三网神经网络来预测心律失常，该三网神经网络包括用于在不同时间尺度下对数据进行建模的三臂网络架构，诸如图3所示。三网神经架构可经由图4的方法来训练并且用于经由图5的方法来预测心律失常。此外，图6示出了展示心室纤颤预测的一组曲线图，并且图7示出了说明预测可解释性的一组曲线图。健康护理提供者可使用预测可解释性来评估来自导致心律失常预测的患者监测数据的特征，从而为临床决定制定提供输入。以这种方式，健康护理提供者可在心律失常的发作之前被警告心律失常的发展，从而使得健康护理提供者能够准备适当干预。因此，可减少直到治疗心律失常的时间量，这可增加积极患者预后。
17.现在转到附图，图1示出了患者监测系统100的实施方案。患者监测系统100包括ecg监视器102、生命体征监视器104和可通信地耦接到其的数据处理设备120。ecg监视器102被配置为测量和存储患者170的心脏的电活动的记录并且包括多个电极116。由ecg监视器102记录的ecg数据包括时间序列数据，其中与患者170的皮肤进行电接触的两个或更多个电极116之间的电势(电压)被记录为时间的函数。尽管图1包括ecg监视器102，但可理解，可使用随时间记录心脏活动的其他设备，诸如记录例如周期性移动的惯性传感器。
18.由ecg监视器102获取的ecg数据可被转移到数据处理设备120以用于在由健康护理专业人员(诸如心脏病专家)评估之前进行进一步处理。健康护理专业人员可针对心律失常或另一种心脏紊乱的征兆评估由ecg监视器102获取的ecg数据。在一个实施方案中，为了促进评估由ecg监视器102获取的ecg数据，数据处理设备120可采用三臂经训练神经网络(在本文中被称为“三网”)以在心律失常发生之前基于单独的ecg数据或与来自生命体征监视器104的数据相结合来预测心律失常，如下文参考图2至图5更详细描述的。三网可输出心律失常事件以及导致心律失常预测的特征的可解释性报告，其可被呈现给心脏病专家。
19.在图1所示的实施方案中，多个电极116包括经由粘合垫和/或导电凝胶附接到患
者170的右臂电极、左臂电极和腿部电极。因此，在本示例中，多个电极116被配置为测量三导联ecg，其中沿着穿过患者170的心脏的三个不同轴线测量电势。然而，可理解ecg监视器102可包括多于或少于三个电极。例如，ecg监视器102可获得单导联ecg数据。类似地，在不脱离本公开的范围的情况下，电极116在患者170上的放置可与上述的放置不同。
20.多个电极116可电耦接到ecg监视器102的数据获取模块106。数据获取模块106被配置为测量作为时间的函数的多个电极116中的两个或更多个电极之间的电势差并且将测量值记录在ecg数据存储装置110中。在一些实施方案中，数据获取模块106可被配置为从多个电极116接收模拟电信号，放大模拟信号和/或对模拟信号进行滤波，并且将模拟信号转换为数字信号，之后将数字信号作为时间的函数存储在ecg数据存储装置110中。在另一个实施方案中，数据获取模块106可将来自多个电极116的模拟电信号转换为数字信号，并且可放大对数字信号和/或对数字信号进行滤波，之后将数字信号作为时间的函数存储在ecg数据存储装置110中。在一些实施方案中，数据获取模块106可被配置为对来自每个导联的信号进行区别放大，由此针对信号强度的差异进行调整。
21.数据获取模块106与ecg数据存储装置110可通信地耦接，并且可将从患者170获取的ecg数据写入ecg数据存储装置110。ecg数据存储装置110可包括非暂态存储器，其中可存储由数据获取模块106获取的ecg数据。存储在ecg数据存储装置110中的ecg数据可包括时间序列数据，其中以规则时间间隔记录多个电极116中的两个或更多个电极之间的电势差的振幅。例如，每个记录的电势差可通过获取时间加时间戳，由此创建时间序列数据。可选择ecg数据存储装置110的存储容量以使得可在其上存储来自一个或多个ecg监视器记录的预期数量的心搏。在一些实施方案中，ecg数据存储装置110可包括可移除部件，从而使得用户能够从ecg监视器102物理地移除ecg数据存储装置110。在一些实施方案中，ecg数据存储装置110可包括存储卡、闪速驱动器或可移除硬盘驱动器。在一些实施方案中，ecg数据存储装置110可被集成到ecg监视器102中并且可包括固态驱动器(ssd)、硬盘驱动器(hdd)。
22.在示例性实施方案中，ecg监视器102还包括能量存储子系统108，其中可存储电能，从而使得ecg监视器102能够在附接到患者的同时操作数小时或数天而不用患者将ecg监视器插入插座中。在一些实施方案中，能量存储子系统108包括可再充电电池。
23.在一些实施方案中，通信子系统112可以可逆地可通信地耦接ecg监视器102和数据处理设备120。在一个实施方案中，通信子系统112可包括被配置为将ecg数据从ecg监视器102的ecg数据存储装置110转移到数据处理设备120的无线或有线连接。在一些实施方案中，通信子系统112可使得ecg监视器102和数据处理设备120能够经由无线网络进行基本上连续的通信，从而使得数据处理设备120能够从ecg监视器102接收基本上实时的ecg数据。如本文所用，术语“实时”是指在无故意延迟的情况下执行的过程。通信子系统112可包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统112可被配置为经由无线网络、无线局域网络、有线局域网络、无线广域网络、有线网络等将ecg数据从ecg数据存储装置110转移到数据处理设备120。在一些实施方案中，通信子系统112可允许ecg监视器102经由网络(诸如公共互联网)向其他设备发送数据和/或从其他设备接收数据。例如，通信子系统112可经由网络(诸如公共互联网)将ecg监视器102与数据处理设备120通信地耦接。
24.数据处理设备120还经由有线或无线通信从生命体征监视器104接收数据。生命体
征监视器104包括多个传感器，该多个传感器可各自测量患者170的一个或多个生命体征，诸如心率、血压、氧饱和度、呼吸(例如，呼吸速率)和温度。例如，多个传感器可包括脉搏血氧计，并且来自脉搏血氧计的测量值可用于确定氧饱和度。在一些示例中，来自脉搏血氧计的测量值可进一步用于确定呼吸速率和/或心率。作为另一个示例，多个传感器118可包括血压传感器(例如，血压袖带)，并且来自血压传感器的数据可用于确定患者170的血压。在一些示例中，还可根据血压传感器数据确定患者170的心率。作为又一个示例，多个传感器118可包括温度传感器，并且温度传感器可测量患者170的温度。
25.由ecg监视器102获取的ecg数据和由生命体征监视器104获取的生命体征数据可被转移到数据处理设备120以用于长期存储、处理(例如，信号滤波、归一化、噪声抑制等)、显示和分析。在一个实施方案中，数据处理设备120可包括处理器124，该处理器被配置为执行存储在非暂态存储器126中的机器可读指令。处理器124可以是单核或多核的，并且在其上执行的程序可以被配置用于进行并行或分布式处理。在一些实施方案中，处理器124可任选地包括遍布于两个或更多个设备中的单独部件，这些单独部件可远程定位和/或被配置用于协同处理。在一些实施方案中，处理器124的一个或多个方面可被虚拟化并且由在云计算配置中配置的可远程访问的联网计算设备来执行。在一些实施方案中，非暂态存储器126可包括设置在两个或更多个设备上的部件，这些部件可被远程定位和/或配置用于协调处理。在一些实施方案中，非暂态存储器126的一个或多个方面可包括在云计算配置中配置的可远程访问的联网存储设备。
26.非暂态存储器126可存储神经网络模块128，该神经网络模块可包括具有三网架构的神经网络。可通过训练模块132训练神经网络以预测心律失常，诸如根据将在下面相对于图4进一步描述的训练方法。尽管图1中示出的示例示出了存储在非暂态存储器126上的训练模块132，但在其他实施方案中，训练模块132可存储在不与数据处理设备120成一体的不同存储器中。训练模块132可包括用于训练存储在神经网络模块128中的神经网络中的一者或多者的机器可执行指令。在一个实施方案中，训练模块132可包括梯度下降算法、损失函数和用于生成和/或选择训练数据以用于训练特定神经网络的规则。
27.此外，神经网络模块128可包括用于使处理器124执行图5的方法的步骤中的一者或多者以使用经训练神经网络来预测心律失常的指令，如下面将详细描述的。神经网络模块128可包括一个或多个经训练的和/或未经训练的神经网络，其包括多个权重和偏置、激活函数、损失函数，以及用于实现一个或多个神经网络以接收ecg数据和生命体征数据、提取ecg数据和来自生命体征监视器104的数据中的局部和上下文特征以及分析所提取的特征的指令，诸如将在下面相对于图2详细描述的。
28.神经网络模块128可包括经训练和/或未经训练的神经网络，并且还可包括与经训练和/或未经训练的网络有关的各种神经网络元数据。在一些实施方案中，神经网络元数据可包括用于训练每个神经网络的训练数据的指示、用以训练每个神经网络的训练方法、每个神经网络的准确性/验证得分、以及可应用经训练神经网络的用例/协议的类型。
29.非暂态存储器126还包括数据存储模块134，该数据存储模块可包括从一个或多个患者收集的ecg监视器数据和生命体征数据。在一些实施方案中，数据存储模块134可从ecg监视器102接收ecg数据并且可存储从其接收的ecg数据。类似地，在一些实施方案中，数据存储模块134可从生命体征监视器104接收生命体征数据并且可存储从其接收的生命体征
数据。在一些实施方案中，数据处理设备120可从包括一个或多个网络设备的多个数据源接收ecg数据和生命体征数据。存储在数据存储模块134内的数据可根据一个或多个已知组织方案来组织或者被配置成一个或多个已知数据结构。在一些实施方案中，ecg数据和生命体征数据可通过根据患者、获取时间、起始监视器id等索引数据而被存储在数据存储模块134中。
30.数据处理设备120还包括用户输入设备140和显示设备150。用户输入设备140可包括以下项中的一者或多者：触摸屏、键盘、鼠标、触控板、运动感测相机、或被配置为使得用户能够输入数据处理设备120内的数据、与该数据交互和/或操纵该数据的其他设备。显示设备150可包括利用任何类型的显示技术的一个或多个显示设备，诸如监视器、触摸屏和/或投影仪。在一些实施方案中，显示设备150可包括计算机监视器，并且可显示未处理的和/或已处理的ecg数据和生命体征数据。显示设备150可与处理器124、非暂态存储器126和/或用户输入设备140在共享壳体中组合或者可以是外围设备。在图1中还指示了显示设备150的放大视图151，其示出了代表性患者监测数据，包括ecg波形152(例如，由ecg监视器102测量)、心率154、血压158、氧饱和度160、呼吸速率162和温度164(例如，由生命体征监视器104测量)。
31.可理解图1中示出的患者监测系统100是一个示例性实施方案，并且具有类似部件的其他患者监测系统也是可能的。例如，另一个适当患者监测系统可包括更多、更少或不同的部件。
32.接下来，图2示出了用于心律失常预测的算法200的高级框图。算法200可在患者监测期间连续运行，使得在获取数据时基本上实时地分析数据。ecg数据202和患者生命体征204被输入到局部和上下文特征提取算法206中。例如，可经由图1的ecg监视器102获取ecg数据202，并且可由图1的生命体征监视器104测量患者生命体征204。此外，从相同受试者(例如，图1的患者170)测量ecg数据202和患者生命体征204以便确定受试者是否预期在若干分钟内发展出心律失常。例如，患者生命体征204可包括心率208、血压210、氧饱和度212、呼吸214和温度216。
33.局部和上下文特征提取算法206以各种时间尺度提取特征以对心搏间变化(例如，局部特征)以及较长期变化(例如，上下文特征)诸如心率可变性进行建模。例如，典型ecg波形可包括在心房去极化期间的p波、在心室去极化期间的qrs复合波以及在心室复极化期间的t波。这可在波形内产生五个可定义点：p、q、r、s和t。局部特征可包括经由一个或多个ecg分析算法在ecg数据202内检测到的不同间隔，诸如pr间隔(例如，从p波的开始到qrs复合波的开始测量的)、rr间隔(例如，从第一r波到后续心搏的第二r波测量的)、qt间隔(例如，从qrs复合波的开始到t波的结束测量的)等。由局部和上下文特征提取算法206提取的特征可用于描述ecg信号形态，该ecg信号形态可与心脏活动的定义生理事件(诸如上述的那些)相关联。所提取的特征还可包括描述信号和特征提取质量的特征，诸如噪声水平和/或信噪比。
34.现在将描述由局部和上下文特征提取算法206执行的特征提取过程的示例性概述。特征提取过程可开始于对来自ecg导联的信号进行滤波，在此之后根据信号检测心脏搏动(例如，qrs复合波)。在识别每个心脏搏动(在本文中也被称为心搏)之后，识别单心搏形态/波形，并且导出单心搏特征(例如，qrs持续时间、r振幅、s振幅、qt间隔、pq间隔)的集合。
这些单心搏特征可从单个ecg导联导出，或者它们可组合来自多个ecg导联的信息。单心搏特征还可包括从强调心搏类型、情况特定形态和信噪比的选择性信号平均心搏导出的特征。这些形态和/或形态的特征可与在测量期间检测的其他心搏类型的特征进行比较。接下来，导出估计特征提取和信号质量(例如，噪声水平或信噪比)的特征的集合。最后，从也包括两个心搏之间的时间差(例如，rr间隔)的单特征的心搏间/时间序列导出包括多个心搏的特征的集合。例如，可从时间差导出的心率。这些特征的另外示例是平均rr间隔，其被定义为在指定时间窗口(例如，5分钟)内的rr间隔的平均值。
35.在一些实施方案中，局部和上下文特征提取算法可以是多臂神经网络218的一部分，而在其他实施方案中，局部和上下文特征提取算法206不同于多臂神经网络218。在一些实施方案中，局部和上下文特征提取算法206可离线执行训练数据中的特征的提取。然而，当正在监测患者的心律失常时，可在线、实时地执行提取。例如，当获取心脏搏动或信号片段数据时，局部和上下文特征提取算法206可一次分析一个心脏搏动或信号片段。所提取的心脏搏动和/或信号片段的特征可被存储并且用于扩展特征集合以包括心搏间(例如，上下文)特征。因此，局部和上下文特征提取算法206可异步地分析数据。
36.局部和上下文特征提取算法206将所提取的特征输出到具有三网架构的多臂神经网络218。在本文中也被称为三网神经网络(或深度学习模型)的多臂神经网络218包括三个子网络，该三个子网络以不同时间尺度对数据进行建模，之后已建模的数据被组合并且被进一步建模(例如，经由第四子网络)。多臂神经网络218包括用于心搏间时间动态的变换器和与用于短期和长期建模的卷积神经网络(cnn)组合的多层感知器(mlp)，如以下将相对于图3进一步描述的。多臂神经网络218输出心律失常预测220，其可包括心律失常发作的可能性的分数。例如，分数可为概率值(例如，在从零到一的范围)，如下面将相对于图5进一步详细描述的。可将分数与阈值进行比较以向临床医生警告患者发展出心律失常。另外地或另选地，心律失常预测220可指示存在或不存在心律失常的即将发作。如本文所用，“即将发作”表示在数分钟内且小于一小时的心律失常发作。心律失常预测220还可包括在预测中使用的数据，其被输入到可解释性算法222中。可解释性算法222可使用从变换器接收的注意力矩阵来识别对预测有贡献的心搏。作为说明性示例，对于五个心搏，注意力矩阵将是5x5矩阵，其中矩阵的每个单元中的值指示心搏中的一者与心搏中的另一者之间的关系的强度。可解释性算法222还可利用形状上和/或局部可理解模型不可知解释(lime)框架来识别导致预测的长期特征。
37.在一些实施方案中，可解释性算法222可输出指示导致积极心律失常预测的心搏级特征的报告。因此，算法200不仅提供心律失常预测的指示，而且还识别和指示有助于预测的ecg数据202的特征，从而使得临床医生能够进一步评估数据以确定患者干预是否被批准。
38.图3示出了用于心律失常预测的三网神经网络301的架构300的框图。三网神经网络301包括并行布置的三个单独神经网络臂，包括变换器网络304(例如，第一子网络)、mlp 310(例如，第二子网络)和二维(2d)cnn 316(例如，第三子网络)。三网神经网络301表示图2的多臂神经网络218的一个实施方案。如下面将详细描述的，三网神经网络301的每个臂可从包括ecg数据(例如，图2的ecg数据202)和患者生命体征数据(例如，图2的患者生命特征204)的多模式患者监测数据接收由局部和上下文特征提取算法(例如，图2的局部和上下文
特征提取算法206)识别的局部和上下文特征的不同子集。三个并行神经网络臂中的每一者的输出被组合并且输入到与三个并行神经网络臂串联的mlp 320(例如，第四子网络)中，该mlp确定输入数据是否指示预期发生心律失常。应当注意，虽然描述了并行神经网络臂，但在其他实施方案中，架构300可另外地或另选地包括一起执行的级联单元。
39.被称为b(t)的心搏级特征和被称为w(t’)的波形都是可根据从患者捕获的ecg数据(例如，图2的ecg数据202)确定的时间变化特征。b(t)是针对每个心搏的时间变化特征集合，而w(t’)是原始ecg波形。也就是说，b(t)包括来自多通道数据(例如，ecg数据和来自患者生命体征数据的时间变化数据的其他来源)的单独心搏上提取的特征，而w(t')是指原始多导联ecg波形数据。b(t)和w(t')都是局部特征的示例，其中t是指心搏索引并且t'是指采样时间。b(t)和w(t')产生时间变化特征集合302，其被输入到变换器网络304中。
40.变换器网络304对输入的时间变化特征集合302的每个部分的重要性进行区别加权。变换器网络304可包括多个层，每层包括自注意力机制和前馈神经网络。例如，变换器网络304可包括编码器-解码器架构。变换器网络304可利用缩放的点积注意力架构、多头注意力机制、位置范围前馈网络和/或位置编码。每个编码器可接收来自先前编码器的编码并且经由一个或多个自注意力机制对每个编码相对彼此的相关性进行加权以生成输出编码，该输出编码由前馈神经网络单独处理。经处理的输出编码被输出到后续编码器以及解码器。此外，位置编码可用于利用时间变化特征集合302的数据序列的顺序(例如，相对于时间)。每个解码器可类似于编码器起作用，并且可包括对编码的附加注意力机制以便识别由不同编码器生成的编码之间的相关信息。变换器网络304基于输入的时间变化特征集合302输出上下文向量306。上下文向量306可为时间变化特征集合302的每个部分提供注意力分数。例如，可根据n
×
n的注意力矩阵来确定时间变化特征集合302的每个部分的注意力分数，其中n是在每次预测时分析的心搏的总数。上下文向量306可以是n
×
1向量，其通过对注意力矩阵的行求和来生成并且表示每个心搏对最终心律失常预测的贡献。将n
×
1向量可视化可提供哪些心搏对心律失常预测贡献更多的指示。此外，通过使用关于注意力分数的阈值(例如，经由可解释性算法)，对心律失常预测分数进行显著贡献的心搏可被突出显示并且在可解释性报告中输出，如本文将详细描述的。
41.片段级和统计特征308(在图3中被称为a)包括描述ecg数据的片段(例如，心搏的片段)的向量。例如，向量可包括针对片段的心率可变性特征和统计度量。片段级和统计级特征308可包括关于信号中的心搏间可变性、关于信号中的趋势以及关于所分析的信号中的事变和/或事件的速率的信息。趋势和事件速率特征可指示患者的总体状态和总体状态的变化，并且心搏间可变性特征可链接到例如患者的交感神经系统和副交感神经系统的状态。这些片段级和统计特征308与心搏特定特征的不同之处在于，它们不能从单个心搏数据导出，而是利用较长数据周期(例如，12秒数据片段)。
42.片段级和统计特征308被输入到mlp 310中。mlp 310包括至少三层节点，包括输入层(在图3中示为白色填充圆)、一个或多个隐藏层(在图3中示为斜线阴影圆)和输出层(在图3中示为黑色填充圆)。mlp 310可对片段级和统计特征308进行分类并且输出ecg度量和特征嵌入312。例如，ecg度量和特征嵌入312可包括所识别的ecg特征，并且特征嵌入可用于将ecg度量聚集在特征空间中。这样，类似/相关的ecg度量可在特征空间中的邻近点处分组在一起。因此，mlp 310可进一步将包含在片段级和统计特征308内的信息简化成空间分组
的ecg特征以供mlp进一步处理。
43.ecg数据包括随时间变化并且可在时域和频域两者中表示的频率内容。因此，ecg数据可被分成在预定持续时间内获得的片段，并且每个片段可被变换到频域中(例如，经由傅里叶变换)以生成二维(2d)谱图314，在图3中被称为s
2d
。例如，每个片段可包括跨越预定持续时间的拖尾窗口的连续获取的ecg数据。多个片段可以是重叠的(例如，多个片段包含相同ecg数据的部分)或非重叠的(例如，每个片段包括未包括在其他片段中的ecg数据)。在一个实施方案中，预定持续时间是12秒。然而，在其他实施方案中，持续时间可短于或长于12秒。当使用多导联ecg数据时，对于每个通道(例如，ecg导联)可生成一个2d谱图，并且来自每个通道的谱图可在输入到三网神经网络301中之前被级联。
44.(级联)2d谱图314可被输入到2d cnn 316中，其对2d谱图314中的特征进行分类并且输出2d特征嵌入318。这样，2d cnn 316可总结包含在2d谱图314中的数据以供mlp 320进一步处理，以及基于2d特征相对于彼此的相似性在特征空间中将它们分组在一起，诸如以上描述的。
45.上下文向量306、ecg度量和特征嵌入312以及2d特征嵌入318都经由mlp 320进行组合和处理。通过首先分别用变换器网络304处理时间变化特征集合302、经由mlp 310处理片段级和统计特征308以及经由2dcnn 316处理2d谱图314，mlp 320可接收准确地描述初始数据的简化数据集以用于更高效和准确的分析。mlp 320输出心律失常的指示322(例如，心室纤颤)或无心律失常的指示324。例如，mlp 320可生成心律失常预测分数，该心律失常预测分数可与预定阈值进行比较以确定是提供心律失常的指示322还是无心律失常的指示324。因此，三网神经网络301将输入数据分类为预测心律失常或不预测心律失常。
46.在一些实施方案中，除了提取特征之外，变换器网络304、mlp 310和2d cnn 316中的一者或多者或每一者可输出心律失常预测分数。在此类实施方案中，mlp 320可矫正不同分支之间的心律失常预测分数中的不一致(例如，数据来自心律失常前的心脏节律的概率)以及提供总结输入数据的附加分类。
47.尽管上面的描述集中于从ecg数据提取的特征及其分析，但可类似地分析患者生命体征数据。例如，特定特征提取模块可从患者生命体征数据中提取不同时间尺度的特征。作为说明性示例，从脉搏血氧计获得的光体积变化描记图(ppg)波形可包括形态、振幅、心率可变性、其他导出特征和原始波形。这些特征可以与以上针对ecg数据描述的方式类似的方式分类成时间变化特征集合302、片段级和统计特征308以及2d谱图314中，并且被馈送到三网神经网络301的对应臂。例如，可根据原始ppg波形生成2d谱图。作为另一个示例，片段级和统计特征308可包括描述心率可变性的特征。在又一个示例中，时间变化特征集合302可包括描述针对每个心搏的ppg波形的形态和振幅的特征。
48.现在转到图4，示出了用于训练三网深度学习模型的示例性方法400。方法400参照图1至图3的系统和神经网络架构进行描述，但应当理解，方法400可以在不脱离本公开的范围的情况下用其他系统和部件来实施。方法400可根据存储在计算设备(诸如图1的数据处理设备120)的非暂态存储器中的指令来执行。
49.在402处，方法400包括将具有心律失常注释的训练数据集输入到局部和上下文特征提取算法中，该局部和上下文特征提取算法可以是图2的局部和上下文特征提取算法206并且如上所述起作用。例如，训练数据集可由临床专家用基础事实标签进行注释并且可包
括从多个受试者获取的数据。在一些实施方案中，心律失常检测算法可用于识别潜在心律失常病例的初始列表，并且初始列表可由临床专家验证。对于每个受试者，训练数据集可包括相对于彼此在相同持续时间内获得的ecg数据和生命体征数据。例如，ecg数据(例如，多导联ecg数据或单导联ecg数据)可在例如可延伸若干分钟的时间段内从受试者获得，并且生命体征数据可在相同时间段内从相同受试者获得。例如，时间段可在从1分钟至10分钟的范围内。此外，多个受试者的第一部分可不经历心律失常并且可充当对照组，而多个受试者的第二剩余部分可在获取的数据之后立即经历心律失常并且因此可充当心律失常组。因此，针对多个受试者的第二部分的训练数据包括紧接在心律失常发作之前的数分钟内获取的ecg和生命体征数据。
50.注释可指示ecg和生命体征数据对于对照组(例如，来自未被诊断患有心律失常的患者)的心律失常预测是否定的，而注释可指示ecg和生命体征数据对于心律失常组的心律失常预测是肯定的。在一些示例中，可基于所经历的心律失常的类型(例如，室性心动过速、心室纤颤、房性心动过速、心房纤颤或另一种类型的心律失常)进一步划分来自心律失常组的数据。在一些实施方案中，可训练单个三网深度学习模型以预测遵循类似形态和心脏活动的多种类型的心律失常的发作。例如，单个模型可学习不同室性心律失常的预测。在其他实施方案中，可针对每种不同类型的心律失常训练单独的三网深度学习模型。例如，使用心律失常组的刚好在心室纤颤发作之前获得的资料，而不是针对其他心律失常(例如，心房纤颤、室性心动过速等)的数据，三网深度学习模型可被训练用于预测心室纤颤而不是其他心律失常。至少在一些示例中，针对不同类型的心律失常训练单独的三网深度学习模型可减小训练的复杂度并且增加模型的准确性。因此，方法400可用于训练多个不同的三网深度学习模型以预测不同类型的心律失常的发作。
51.如以上相对于图2所解释的，所提取的局部和上下文特征可包括在较短心搏间时间尺度上出现的局部特征，诸如心搏级特征和波形，以及在跨越多个心搏的较长时间尺度上出现的上下文特征(例如，包括多个心搏、谱图和统计特征的片段)。因此，所提取的特征可使得三网神经网络能够对心搏间变化以及更长期速率变化进行建模。此外，所提取的特征可包括心律失常注释，使得三网深度学习模型的子网络可识别将紧接在心律失常开始之前获取的数据与正常心脏节律数据区分开的特征(例如，数据模式)。
52.尽管以上描述讨论了包括ecg数据和患者生命体征数据两者的训练数据集，但在其他实施方案中，训练数据集可仅包括ecg数据。例如，当所得的经训练的三网深度学习网络被配置为使用ecg数据和患者生命体征数据两者作为输入来预测心律失常时，训练数据集可包括ecg数据和患者生命体征数据两者，或者当所得的经训练的三网深度学习网络被配置为仅基于ecg数据作为输入来预测心律失常时，训练数据集可仅包括ecg数据。作为说明性实施方案，单导联ecg数据可用于训练三网深度学习模型，其可通过减小模型中使用的输入和层的数量来简化训练过程。
53.在404处，方法400包括将具有心律失常注释的所提取的特征输入到三网深度学习模型中。三网深度学习模型可接收在较短心搏间时间尺度上出现的特征(例如，诸如心搏级特征和波形)、在包括多个心搏的较长时间尺度上出现的片段级特征以及从在较长时间尺度上获取的ecg片段提取的谱图，其可各自被输入到三网深度学习模型的适当臂中。例如，变换器网络可接收心搏级特征，第一mlp可接收片段级特征，并且2d cnn可接收频谱图，诸
如上文相对于图3所描述。此外，三网深度学习网络可在训练开始时通过随机权重和偏置来初始化。来自三网深度学习模型的每个臂的所得输出可被组合并且输入到第二mlp中，该第二mlp可输出心律失常预测。
54.在406处，方法400包括细化三网深度学习模型。可基于与基础事实标签比较的心律失常预测(例如，预测的心律失常或没有预测的心律失常)来确定损失，并且可使用优化算法(例如，梯度下降算法)来调整权重和偏置。此外，可通过第二mlp和同时馈送第二mlp的所有三个分支来反向传播损失，使得可基于相同的损失来同时更新每个子网络的参数。
55.然后，方法400可返回。例如，可重复方法400，直到满足一个或多个预定条件。在一些实施方案中，一个或多个预定条件可包括三网深度学习模型的权重和偏置的收敛(即，三网深度学习模型的每个子网络的参数的变化速率减少到低于预定阈值速率)、在406处确定的损失减少到低于预定非零阈值等。在一些实施方案中，可使用验证数据集来确定损失，其中验证数据集不同于训练数据集并且包括三网深度学习模型在训练期间未看到的数据。以此方式，方法400使得三网深度神经网络能够学习使得能够在心律失常发生之前预测心律失常的ecg数据和生命体征数据的特征。
56.图5示出了用于经由三网深度学习模型来预测心律失常的示例性方法500。方法500参照图1至图3的系统和神经网络架构进行描述，但应当理解，方法500可以在不脱离本公开的范围的情况下用其他系统和部件来实施。方法500可根据存储在计算设备(诸如图1的数据处理设备120)的非暂态存储器中的指令来执行。
57.在502处，方法500包括经由ecg监视器和患者生命体征监视器获取患者监测数据。例如，患者监测数据可包括从患者获取的单导联ecg数据或多导联ecg数据(例如，由图1的ecg监视器102获取)以及患者的心率、血压、氧饱和度、呼吸和温度中的一者或多者(例如，由图1的生命体征监视器104获取)。然而，可理解，在另选实施方案中，患者监测数据可仅包括ecg数据。
58.在504处，方法500包括执行患者监测数据的局部和上下文特征提取。如以上相对于图2所描述的，患者监测数据可通过局部和上下文特征提取算法来处理，该局部和上下文特征提取算法识别在心搏间时间标度上出现的局部特征和在多个心搏上出现的上下文特征。作为一个示例，可在获取预定持续时间(例如，12秒)的片段时处理患者监测数据。此外，当通过局部和上下文特征提取算法来处理先前获取的患者监测数据时，可继续获取新患者监测数据。
59.在506处，方法500包括将所提取的特征输入到经训练的三网深度学习模型中。三网深度学习模型可具有相对于图3所描述的架构且可根据图4的方法来进行训练。如上所述，三网深度学习模型的三个不同子网络可处理通过局部和上下文特征提取算法提取的不同特征。例如，变换器网络可处理局部特征以识别心搏间时间动态并对其进行区别加权(例如，经由注意力得分)，第一mlp可处理片段级和统计特征以识别和聚集ecg度量，并且2d cnn可处理根据ecg数据生成的2d谱图以识别和聚集2d谱图的特征。可训练三网深度学习模型以预测一个或多个心律失常的发作。因此，在一些实施方案中，所提取的特征可被输入到多个三网深度学习模型中，多个三网深度学习模型中的每一者被训练以预测一种类型的心律失常(例如，仅心室纤颤)或具有类似心脏特征的一类心律失常(例如，仅室性心律失常)的发作。在其他实施方案中，可广泛地训练三网深度学习模型以更一般地预测心律失常。
60.在508处，方法500包括从三网深度学习模型接收心律失常预测分数。由三网深度学习模型的三个不同子网络输出的所得向量和特征嵌入可被输入到第二mlp中，该第二mlp可输出心律失常预测分数。心律失常预测分数可在零至一的范围内，例如，其中零表示患者经历即将发生(例如，在数分钟内)的心律失常的最低概率，并且一表示患者经历即将发生的心律失常的最高概率。因此，心律失常预测分数也可被称为心律失常概率分数。
61.在510处，方法500包括确定心律失常预测分数是否大于阈值。阈值可以是零和一之间的预定值，诸如0.6和0.9之间的值(例如，0.7)。如果心律失常预测分数不大于阈值(例如，心律失常预测分数小于或等于阈值)，则方法500行进到512并且包括不输出心律失常事件，其将在下文在514处进一步描述。然后，方法500可返回。例如，可继续分析患者监测数据，使得如果患者的状态改变可预测心律失常的即将发作。
62.如果心律失常预测分数大于阈值，则方法500行进至514并且包括输出心律失常事件。例如，心律失常事件可包括输出到一个或多个设备诸如显示患者监测数据的显示设备(例如，图1的显示设备150)和/或治疗临床医生的电子设备(例如，智能电话)的视觉消息或图形。此外，除视觉消息之外或作为视觉消息的替代，心律失常事件可包括可听消息或音调。在一些实施方案中，心律失常事件可包括已经预测到心律失常的指示以及预测的心律失常类型。另外地或另选地，心律失常事件可包括患者发展出心律失常的风险分数。例如，风险分数可随着心律失常预测分数进一步增加到高于阈值而增加。在一些实施方案中，心律失常事件可被保存到患者的电子医疗记录以使得预测可被记录。此外，在一些实施方案中，输出心律失常事件还可包括基于心律失常类型输出推荐动作，如在516处任选地指示的。例如，如果所检测的心律失常类型是可电击的，则推荐动作可包括输出准备除颤器的指令。作为另一个示例，推荐动作可包括准备心肺复苏或另一种形式的治疗。
63.在518处，方法500包括识别导致心律失常预测的特征。例如，可解释性算法(例如，图2的可解释性算法222)可使用注意力矩阵来识别对心律失常预测有贡献的心搏，诸如根据来自变换器网的自注意力简档，并且可进一步利用形状上和/或局部可理解模型不可知解释框架来识别导致心律失常预测的较长期特征(例如，心率可变性)。具体地，可解释性算法可评估在心律失常预测分数首次超过阈值之后获得的数据。
64.在520处，方法500包括输出所识别的特征的可解释性报告。可解释性报告可包括所识别的特征的基于图形和/或文本的描述。例如，可解释性报告可包括具有注释的ecg数据的图示，该注释突出显示对高于阈值的心律失常预测分数有贡献的特定心搏。作为另一个示例，响应于用户请求，自注意力简档的曲线图可被包括在可解释性报告中。例如，可向显示设备输出可解释性报告。在一些实施方案中，可解释性报告可被附加地保存到患者的电子医疗记录。然后，方法500可返回。
65.接下来，图6示出了说明使用相对于图2描述的算法200、具有相对于图3描述的架构300的三网深度学习模型和相对于图5描述的方法500来进行的心室纤颤预测的一组曲线图600。横轴表示时间，而纵轴表示该组曲线图600的每个曲线图中的心律失常预测分数。该组曲线图600包括：包括来自第一患者的数据的第一曲线图602、包括来自第二患者的数据的第二曲线图604、包括来自第三患者的数据的第三曲线图606、包括来自第四患者的数据的第四曲线图608、包括来自第五患者的数据的第五曲线图610和包括来自第六患者的数据的第六曲线图612。此外，在该组曲线图600中的每个曲线图中示出了阈值分数614(由水平
虚线指示)。阈值分数614定义高于其时会预测心律失常发作的心律失常预测分数。更进一步，该组曲线图600中的每个曲线图包括vf曲线616，其表示针对vf的心律失常分数。基于单个患者在定义时间段期间的ecg数据和患者生命体征使用三网深度学习模型来生成每个单独曲线图的vf曲线616。尽管图6将被描述用于预测vf，但可理解，可类似地生成和分析针对任何其他类型的心律失常的曲线。
66.对于第一曲线图602，vf曲线616在时间t1越过阈值分数614，并且因此在时间t1预测vf。例如，可响应于在时间t1预测vf而在时间t1输出由小垂直虚线表示的心律失常事件618。例如，心律失常事件618可包括视觉和/或可听警报或输出给临床医生的其他消息。在时间t2处输出由垂直虚线表示的vf发作指示符620，其是vf被预测之后的约4分钟。vf发作指示符620指示何时在第一患者中首次检测到心室纤颤。因此，治疗第一患者的临床医生可提前4分钟被警告，使得他们能够对vf发作做准备。
67.对于第二曲线图604，vf曲线616在时间t3越过阈值分数614，并且因此在时间t3输出心律失常事件618。例如，可响应于在时间t3预测vf而在时间t3输出事件。vf发作开始于时间t4，如时间t4处的vf发作指示符620所指示的，其是在vf被预测之后的约7分钟。因此，治疗第二患者的临床医生可提前7分钟被警告，使得他们能够对vf发作做准备。
68.对于第三曲线图606，vf曲线616在时间t5越过阈值分数614，并且因此在时间t5预测vf。响应于在时间t5预测vf，在时间t5输出心律失常事件618。vf发作开始于时间t6，如vf发作指示符620所指示的，其是在vf被预测之后的约19分钟(例如，在时间t5输出的心律失常事件618)。因此，治疗第三患者的临床医生可提前19分钟被警告，使得他们能够对vf发作做准备。
69.相比之下，对于第四曲线图608、第五曲线图610或第六曲线图612中的任一者，vf曲线616不越过阈值得分614。因此，针对第四患者、第五患者或第六患者不预测vf。此外，第四患者、第五患者和第六患者中没有一者进入vf，从而指示算法200可准确地预测即将发生的心律失常的存在或不存在。
70.图7示出了说明心律失常预测可解释性的一组曲线图700，使用在图6中引入的第三曲线图606作为示例。因此，第三曲线图606在图7中重复，包括vf曲线616、阈值分数614、在时间t5的心律失常事件618和在时间t6的vf发作指示符620。自注意力曲线702和ecg曲线704各自包括在第三曲线图606的时间t5和时间t6之间的vf前区域(被示为持续时间701)期间获取的数据。自注意力曲线702示出了被绘制为针对ecg曲线704中的所有心搏的向量的注意力矩阵的可视化。因为在本示例中存在30次心搏，所以自注意力曲线702包括30个重叠曲线。可从三网深度学习模型的变换器网络(诸如图3的变换器网络304)的变换器接收注意力矩阵，并且ecg曲线704示出由变换器网络分析的ecg心搏间数据。对于自注意力曲线702，水平轴表示ecg心搏数，而垂直轴表示自注意力分数。随着自注意力分数增加，对应ecg心搏与心律失常预测的相关性增加。对于ecg曲线704，水平轴表示时间(例如，以秒为单位)，而垂直轴表示电压。
71.可解释性算法(例如，可解释性算法222)可识别哪些心搏对vf预测贡献最大，如由ecg曲线704上的指示符706突出显示的。可解释性算法可根据所分析的心搏的数量来确定用于识别对vf预测贡献更多的心搏的阈值。例如，阈值可以是平均注意力分数。因为注意力分数加起来为1，所以阈值可被计算为1/n，其中n为所分析的心搏的数量。例如，如果所有n
次心搏贡献相等，则每次心搏将具有1/n的注意力分数。因此，比平均值贡献更多(例如，大于1/n)的心搏被认为与心律失常预测更相关。因此，在图7所示的示例中，阈值是0.033，并且在ecg曲线704中各自具有大于0.033的注意力分数的心搏用指示符706注释以区分那些特定心搏。指示符706在图7中被示为围绕具有大于阈值注意力分数的心搏的框。然而，指示符706可使用其他类型的注释(诸如线、箭头、其他形状和/或颜色)以将对vf预测贡献最大的心搏与ecg曲线704中的其他心搏区分开。这样，可解释性报告可在视觉上区分作为对vf预测的最大贡献者的心搏，使得这些心搏可由临床医生审查。
72.以这种方式，在不同时间尺度上对多模式患者数据进行建模的三网神经网络可用于在发生心律失常之前预测它们，从而使得能够进行积极干预。此外，可向临床医生输出突出显示对预测有贡献的心搏级特征的可解释性报告，由此允许临床医生评估心搏级特征以确定干预是否可能被批准。总体上，可增加积极患者预后。对包括ecg数据的多模式患者数据中的较短期动态和较长期动态两者进行建模的技术效果在于，可在心律失常发作之前通过多臂深度学习网络来准确地预测心律失常。
73.本公开还提供了对一种方法的支持，该方法包括：在心律失常发生之前，通过经由多臂深度学习模型分析患者监测数据来预测患者中的该心律失常的即将发作；响应于该预测而输出心律失常事件；以及输出指示对该预测有贡献的该患者监测数据的特征的报告。在该方法的第一示例中，该患者监测数据包括从该患者获取的心电图(ecg)数据，并且该报告指示对该预测有贡献的该ecg数据的心搏。在该方法的第二示例中，任选地包括该第一示例，该报告经由可解释性算法来生成，该可解释性算法接收由该多臂深度学习模型的变换器网络生成的该ecg数据的该心搏的注意力矩阵。在该方法的第三示例中，任选地包括该第一示例和第二示例中的一者或两者，该多模式患者监测数据的局部特征和上下文特征通过特征提取算法来提取，之后被输入到该多臂深度学习模型中。在该方法的第四示例中，任选地包括该第一至第三示例中的一者或多者或每一者，该多臂深度学习模型包括三个并行神经网络臂，并且其中该三个并行神经网络臂中的每一者接收所提取的局部特征和上下文特征的不同子集。在该方法的第五示例中，任选地包括该第一至第四示例中的一者或多者或每一者，该多臂深度学习模型包括变换器网络、第一多层感知器和二维卷积神经网络。在该方法的第六示例中，任选地包括该第一至第五示例中的一者或多者或每一者，所提取的局部特征包括该患者监测数据的心搏级特征和该患者监测数据的波形，并且其中所提取的上下文特征包括多心搏片段级特征和二维谱图，其包括该患者监测数据的多心搏片段的频域变换。在该方法的第七示例中，任选地包括该第一至第六示例中的一者或多者或每一者，经由该多臂深度学习模型分析该患者监测数据包括：组合该患者监测数据的该心搏级特征和该患者监测数据的该波形以产生时间变化特征集合；将该时间变化特征集合输入到该变换器网络中；将该多心搏片段级特征输入到该第一多层感知器中；以及将该二维谱图输入到该二维卷积神经网络中。在该方法的第八示例中，任选地包括该第一至第七示例中的一者或多者或每一者，经由该多臂深度学习模型分析该患者监测数据还包括：将该变换器网络、该第一多层感知器和该二维卷积神经网络中每一者的输出输入到第二多层感知器；以及从该第二多层感知器接收心律失常预测分数。在该方法的第九示例中，任选地包括该第一至第八示例中的一者或多者或每一者，预测该患者中的该心律失常的该即将发作是响应于该心律失常预测分数大于阈值分数，并且其中该心律失常是心室纤颤、心房纤颤和室性心动
过速中的一者。
74.本公开还提供了对一种方法的支持，该方法包括：从患者获取心电图(ecg)数据；在获取该ecg数据时，从该ecg数据中提取局部和上下文特征；将所提取的局部和上下文特征输入到多臂神经网络中；基于该多臂神经网络的输出来预测是否预期在该患者中发生即将发生的心室纤颤；以及响应于预期在该患者中发生该即将发生的心室纤颤，输出心律失常事件和指示对该预测有贡献的该ecg的部分的可解释性报告。在该方法的第一示例中，该ecg数据是单导联ecg数据。在该方法的第二示例中，任选地包括该第一示例，该多臂神经网络包括第一子网络、第二子网络、第三子网络和第四子网络，该第四子网络接收组合该第一子网络、该第二子网络和该第三子网络中的每一者的输出的输入。在该方法的第三示例中，任选地包括该第一示例和第二示例中的一者或两者，该第一子网络包括变换器网络，该第二子网络包括第一多层感知器，该第三子网络包括卷积神经网络，并且该第四子网络包括第二多层感知器。在该方法的第四示例中，任选地包括该第一至第三示例中的一者或多者或每一者，该第二多层感知器输出心室纤颤概率分数，并且其中基于该多臂神经网络的该输出来预测在该患者中是否预期发生该即将发生的心室纤颤包括：响应于该心室纤颤概率分数大于阈值分数而预测在该患者中预期发生该即将发生的心室纤颤；以及响应于该心室纤颤概率分数小于或等于该阈值分数而预测在该患者中不预期发生该即将发生的心室纤颤。
75.本公开还提供了对一种系统的支持，该系统包括：显示设备；和计算设备，该计算设备能够操作地耦接到该显示设备并且存储指令，该指令能够执行以：接收从患者获取的患者监测数据；通过经由多臂深度学习模型分析该患者监测数据来预测在该患者中是否预期发生即将发生的心律失常；响应于预期发生该即将发生的心律失常而向该显示设备输出心律失常事件；响应于预期发生该即将发生的心律失常而识别导致该预测的该患者监测数据的部分；以及向该显示设备输出所识别的部分的可解释性报告。在该系统的第一示例中，该患者监测数据包括心电图(ecg)数据和患者生命体征数据中的一者或多者，并且其中在获取该多模式患者监测数据时，通过算法实时地提取该ecg数据和该患者生命体征数据的局部和上下文特征，并且将所提取的局部和上下文特征输入到该多臂深度学习模型中。在该系统的第二示例中，任选地包括该第一示例，该多臂深度学习模型包括各自接收所提取的局部和上下文特征的不同子集的三个并行子网络和与该三个并行子网络串联的第四子网络。在该系统的第三示例中，任选地包括该第一示例和第二示例中的一者或两者，该三个并行子网络包括对所提取的局部特征进行建模的变换器网络、对该上下文特征进行建模的第一多层感知器，以及对从该ecg数据中提取的二维谱图进行建模的卷积神经网络。在该系统的第四示例中，任选地包括该第一至第三示例中的一者或多者或每一者，所识别的部分包括具有由该变换器网络输出的高于阈值注意力分数的分数的该ecg数据的心搏。
76.如本文所用，以单数形式列举并且以单词“一”或“一个”开头的元件或步骤应当被理解为不排除多个所述元件或步骤，除非明确说明此类排除。此外，对本发明的“一个实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。此外，除非明确地相反说明，否则“包含”、“包括”或“具有”具有特定特性的元件或多个元件的实施方案可包括不具有该特性的附加此类元件。术语“包括”和“在...中”用作相应的术语“包含”和“其中”的简明语言等同形式。此外，术语“第一”、“第二”和“第三”等仅用作标记，而不旨在
对其对象施加数字要求或特定位置次序。
77.该书面描述使用示例来公开本发明，包括最佳模式，并且还使相关领域中的普通技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明可取得专利权的范围由权利要求书限定，并且可包括本领域普通技术人员想到的其他示例。如果此类其他示例具有与权利要求书的字面语言没有区别的结构元素，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元素，则此类其他示例旨在落入权利要求书的范围内。

技术特征：
1.一种方法，所述方法包括：在心律失常发生之前，通过经由多臂深度学习模型分析患者监测数据来预测患者中的所述心律失常的即将发作；响应于所述预测而输出心律失常事件；以及输出指示对所述预测有贡献的所述患者监测数据的特征的报告。2.根据权利要求1所述的方法，其中所述患者监测数据包括从所述患者获取的心电图(ecg)数据，并且所述报告指示对所述预测有贡献的所述ecg数据的心搏。3.根据权利要求2所述的方法，其中所述报告经由可解释性算法来生成，所述可解释性算法接收由所述多臂深度学习模型的变换器网络生成的所述ecg数据的所述心搏的注意力矩阵。4.根据权利要求1所述的方法，其中所述多模式患者监测数据的局部特征和上下文特征通过特征提取算法来提取，之后被输入到所述多臂深度学习模型中。5.根据权利要求4所述的方法，其中所述多臂深度学习模型包括三个并行神经网络臂，并且其中所述三个并行神经网络臂中的每一者接收所提取的局部特征和上下文特征的不同子集。6.根据权利要求4所述的方法，其中所述多臂深度学习模型包括变换器网络、第一多层感知器和二维卷积神经网络。7.根据权利要求6所述的方法，其中所提取的局部特征包括所述患者监测数据的心搏级特征和所述患者监测数据的波形，并且其中所提取的上下文特征包括多心搏片段级特征和二维谱图，其包括所述患者监测数据的多心搏片段的频域变换。8.根据权利要求7所述的方法，其中经由所述多臂深度学习模型分析所述患者监测数据包括：组合所述患者监测数据的所述心搏级特征和所述患者监测数据的所述波形以产生时间变化特征集合；将所述时间变化特征集合输入到所述变换器网络中；将所述多心搏片段级特征输入到所述第一多层感知器中；以及将所述二维谱图输入到所述二维卷积神经网络中。9.根据权利要求8所述的方法，其中经由所述多臂深度学习模型分析所述患者监测数据还包括：将所述变换器网络、所述第一多层感知器和所述二维卷积神经网络中每一者的输出输入到第二多层感知器；以及从所述第二多层感知器接收心律失常预测分数。10.根据权利要求9所述的方法，其中预测所述患者中的所述心律失常的所述即将发作是响应于所述心律失常预测分数大于阈值分数，并且其中所述心律失常是心室纤颤、心房纤颤和室性心动过速中的一者。11.一种方法，所述方法包括：从患者获取心电图(ecg)数据；在获取所述ecg数据时，从所述ecg数据中提取局部和上下文特征；将所提取的局部和上下文特征输入到多臂神经网络中；
基于所述多臂神经网络的输出来预测是否预期在所述患者中发生即将发生的心室纤颤；以及响应于预期在所述患者中发生所述即将发生的心室纤颤，输出心律失常事件和指示对所述预测有贡献的所述ecg数据的部分的可解释性报告。12.根据权利要求11所述的方法，其中所述ecg数据是单导联ecg数据。13.根据权利要求11所述的方法，其中所述多臂神经网络包括第一子网络、第二子网络、第三子网络和第四子网络，所述第四子网络接收组合所述第一子网络、所述第二子网络和所述第三子网络中的每一者的输出的输入。14.根据权利要求13所述的方法，其中所述第一子网络包括变换器网络，所述第二子网络包括第一多层感知器，所述第三子网络包括卷积神经网络，并且所述第四子网络包括第二多层感知器。15.根据权利要求14所述的方法，其中所述第二多层感知器输出心室纤颤概率分数，并且其中基于所述多臂神经网络的所述输出来预测在所述患者中是否预期发生所述即将发生的心室纤颤包括：响应于所述心室纤颤概率分数大于阈值分数而预测在所述患者中预期发生所述即将发生的心室纤颤；以及响应于所述心室纤颤概率分数小于或等于所述阈值分数而预测在所述患者中不预期发生所述即将发生的心室纤颤。16.一种系统，所述系统包括：显示设备；和计算设备，所述计算设备能够操作地耦接到所述显示设备并且存储指令，所述指令能够执行以：接收从患者获取的患者监测数据；通过经由多臂深度学习模型分析所述患者监测数据来预测在所述患者中是否预期发生即将发生的心律失常；响应于预期发生所述即将发生的心律失常而向所述显示设备输出心律失常事件；响应于预期发生所述即将发生的心律失常而识别导致所述预测的所述患者监测数据的部分；以及向所述显示设备输出所识别的部分的可解释性报告。17.根据权利要求16所述的系统，其中所述患者监测数据包括心电图(ecg)数据和患者生命体征数据中的一者或多者，并且其中在获取所述多模式患者监测数据时，通过算法实时地提取所述ecg数据和所述患者生命体征数据的局部和上下文特征，并且将所提取的局部和上下文特征输入到所述多臂深度学习模型中。18.根据权利要求17所述的系统，其中所述多臂深度学习模型包括各自接收所提取的局部和上下文特征的不同子集的三个并行子网络和与所述三个并行子网络串联的第四子网络。19.根据权利要求18所述的系统，其中所述三个并行子网络包括对所提取的局部特征进行建模的变换器网络、对所述上下文特征进行建模的第一多层感知器，以及对从所述ecg数据中提取的二维谱图进行建模的卷积神经网络。
20.根据权利要求19所述的系统，其中所识别的部分包括具有由所述变换器网络输出的高于阈值注意力分数的分数的所述ecg数据的心搏。

技术总结
本发明提供了用于经由深度学习基于多模式患者监测数据来预测心律失常的方法和系统。在一个示例中，一种方法可包括：在心律失常发生之前，通过经由多臂深度学习模型分析患者监测数据来预测患者中的心律失常的即将发作；响应于预测而输出心律失常事件；以及输出指示对预测有贡献的患者监测数据的特征的报告。以这种方式，多臂深度学习模型可在心律失常的发作之前预测心律失常。之前预测心律失常。之前预测心律失常。


技术研发人员：哈里哈兰
受保护的技术使用者：通用电气精准医疗有限责任公司
技术研发日：2023.01.17
技术公布日：2023/8/1