基于深度学习的新生儿缺血缺氧性脑病分度方法及装置

1.本发明涉及生物医学工程技术领域，尤其是涉及一种基于深度学习的新生儿缺血缺氧性脑病分度方法及装置。


背景技术：

2.缺氧缺血性脑病(hie)是一种因脑组织缺氧缺血引发的功能障碍或脑部病变，hie可发生在任何年龄段，但最为常见的情况是hie发生在新生儿。在怀孕、分娩或产后发病。hie的症状通常取决于脑损伤的严重程度以及受影响的大脑区域，根据病情轻重可将hie分为轻度、中度、重度和无脑电活动这四个程度，有些hie患者不会有任何健康问题，或者只有轻微或中度的影响，而另一些hie患者则有更严重健康问题甚至是永久性的残疾，如发育迟缓、脑瘫(运动障碍)、癫痫、认知障碍等。
3.目前诊断新生儿hie的方法主要为：医生先对新生儿进行肉眼判断以获取新生儿的临床特征(如意识、肌张力、原始反射、惊厥、中枢性呼吸衰竭、瞳孔改变等)，再根据临床特征进行新生儿休克评分、转运生理稳定指数(trips)评分、危重病例评分、紧急生理学评分和apgar评分，并辅以核磁共振(mri)、脑电图(eeg)和计算机断层扫描(ct)图像诊断新生儿是否出现hie。由于临床上对不同程度的hie采取截然不同的治疗方法，因而hie的严重程度分类(即分度)是诊疗过程中至关重要的环节。目前，临床上进行hie分度主要是由医生观察患者的脑电图(eeg)和振幅整合脑电图(aeeg)凭借经验做出判断来实现的。
4.脑电图是一种无创神经信号采集技术，能够记录人体头部电位信号，具有成本低、便携性强、时间分辨率高等特点，在认知神经科学基础研究和癫痫、抑郁等神经相关疾病的临床应用中具有很高的价值。连续脑电监测在新生儿神经重症监护多维度精准管理中有着不可或缺的作用。但迄今为止根据hie新生儿的eeg进行hie分度仍无统一标准，对脑电活动模式的判断和解释在不同医生间差异性较大，不同医院有不同的诊断方式，医疗人员之间得不到统一。aeeg监测则缺乏对原始脑电的深入分析，对脑损伤程度评估不全面。在人工判读中脑电信号极其复杂且充满噪声。而轻度，中度hie患儿的脑电图差异在肉眼观察下并不显著，会对医生的诊断造成了极大的困难，提高了误诊的可能。此外，hie的治疗窗口期很短，而医生对hie患儿进行分度往往需要较长时间，这很可能导致hie患儿错过最佳治疗时间，这种情况在一些缺乏高水平精神科医生的地区和医院尤为严重。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种基于深度学习的新生儿缺血缺氧性脑病分度方法及装置，以缓解相关技术中存在的上述问题。
6.第一方面，本发明实施例提供了一种基于深度学习的新生儿缺血缺氧性脑病分度方法，所述方法包括：获取hie新生儿的原始脑电数据；其中，所述原始脑电数据包括多个差分通道的脑电数据；对所述原始脑电数据进行预处理；其中，所述预处理包括以下中至少之一：筛除、采样、标准化、切片；通过预先训练好的神经网络模型对预处理后的脑电数据进行
预测，得到所述hie新生儿的hie分度结果。
7.第二方面，本发明实施例还提供一种基于深度学习的新生儿缺血缺氧性脑病分度装置，所述装置包括：获取模块，用于获取hie新生儿的原始脑电数据；其中，所述原始脑电数据包括多个差分通道的脑电数据；预处理模块，用于对所述原始脑电数据进行预处理；其中，所述预处理包括以下中至少之一：筛除、采样、标准化、切片；预测模块，用于通过预先训练好的神经网络模型对预处理后的脑电数据进行预测，得到所述hie新生儿的hie分度结果。
8.本发明实施例提供的一种基于深度学习的新生儿缺血缺氧性脑病分度方法及装置，先获取hie新生儿的原始脑电数据(包括多个差分通道的脑电数据)，再对原始脑电数据进行预处理，之后通过预先训练好的神经网络模型对预处理后的脑电数据进行预测，从而得到hie新生儿的hie分度结果。采用上述技术，只需要获取到hie新生儿的原始脑电数据即可通过神经网络模型自动进行hie分度，大大减少了诊断所需要的时间，从而保证hie患儿及时得到治疗，即使在缺乏高水平精神科医生的地区和医院也可进行快速、精确的hie分度。
9.本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
10.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
11.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
12.图1为本发明实施例中一种基于深度学习的新生儿缺血缺氧性脑病分度方法的流程示意图；
13.图2为本发明实施例中脑电帽电极放置方式示意图；
14.图3为本发明实施例中神经网络模型的其中一个结构示意图；
15.图4为本发明实施例中神经网络模型的另一个结构示意图；
16.图5为本发明实施例中通道注意力计算的示意图；
17.图6为本发明实施例中一种基于深度学习的新生儿缺血缺氧性脑病分度方法的示例图；
18.图7为本发明实施例中神经网络模型的结构示例图；
19.图8为本发明实施例中残差卷积块的结构示例图；
20.图9为本发明实施例中卷积层的结构示例图；
21.图10为本发明实施例中一种基于深度学习的新生儿缺血缺氧性脑病分度装置的结构示意图。
具体实施方式
22.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.为便于对本实施例进行理解，首先对本发明实施例所公开的一种基于深度学习的新生儿缺血缺氧性脑病分度方法进行详细介绍，参见图1所示，该方法可以包括以下步骤：
24.步骤s102，获取hie新生儿的原始脑电数据。
25.其中，原始脑电数据可以包括多个差分通道的脑电数据。
26.上述原始脑电数据可通过在hie新生儿的头部佩戴脑电帽的方式采集得到，脑电帽的电极放置方式可直接沿用国际标准电极放置法(如国际脑电图学会规定的10-20标准电极放置法)，也可根据实际需要自定义或进行相应调整。例如，参见图2所示，对10-20标准电极放置法稍加修改，在原电极fp1、fp2向后移动矢状线(从鼻根至枕外粗隆的前后连线)长度的10％的位置处放置现电极fp3、fp4，图2中，不带文字的空心圆点代表10-20标准电极放置法的电极放置位置，带文字的空心圆点代表实际医生经过校正后的电极放置位置，测量电极包括fp3、fp4、t3、c3、cz、c4、t4、p3、pz、p4、o1和o2，参考电极包括gnd和ref。
27.在医生进行诊断时，使用差分通道脑电数据而不是单导联脑电数据，即原始脑电数据实际上为经过差分(即将其中一个测量电极采集的数据与另一个测量电极采集的数据做差)后的多个差分通道的脑电数据。按照图2所示的电极放置方式，原始脑电数据为9个差分通道的脑电数据，9个差分通道分别为c3-c4、c3-o1、c4-o2、fp1-c3、fp1-t3、fp2-c4、fp2-t4、t3-o1和t4-o2。
28.步骤s104，对原始脑电数据进行预处理。
29.其中，预处理可以包括筛除、采样、标准化、切片等，对此不进行限定。
30.步骤s106，通过预先训练好的神经网络模型对预处理后的脑电数据进行预测，得到hie新生儿的hie分度结果。
31.本发明实施例提供的一种基于深度学习的新生儿缺血缺氧性脑病分度方法，先获取hie新生儿的原始脑电数据(包括多个差分通道的脑电数据)，再对原始脑电数据进行预处理，之后通过预先训练好的神经网络模型对预处理后的脑电数据进行预测，从而得到hie新生儿的hie分度结果。采用上述技术，只需要获取到hie新生儿的原始脑电数据即可通过神经网络模型自动进行hie分度，大大减少了诊断所需要的时间，从而保证hie患儿及时得到治疗，即使在缺乏高水平精神科医生的地区和医院也可进行快速、精确的hie分度。
32.作为一种可能的实施方式，上述步骤s104(即对原始脑电数据进行预处理)可以包括：
33.(11)从原始脑电数据中去除全部差分通道的脑电数据均满足预设条件的第一类数据，得到第一脑电数据。
34.其中，满足预设条件可以包括：电压值小于预设第一电压阈值的时长超过第一预设时长，和/或，在超过第二预设时长的时长范围内电压振幅超过预设第二电压阈值。上述第一电压阈值小于上述第二电压阈值。
35.(12)按照预设采样频率从第一脑电数据中采样得到第二脑电数据，并对第二脑电
数据依次进行陷波滤波和低通滤波，得到第三脑电数据。
36.(13)采用ica算法去除第三脑电数据中的噪音信号，得到第四脑电数据。
37.其中，噪音信号可以包括心电信号、眼电信号等，对此不进行限定。
38.独立成分分析(ica)是一种利用统计原理进行计算的方法，是一个线性变换，可以将数据或信号分离成统计独立的非高斯的信号源的线性组合。对于采集到的脑电数据，其中包含很多对于脑电信号来说属于噪音信号的生物电信号(例如心脏跳动产生的心电信号、眨眼产生的眼电信号等)，可使用ica算法去除脑电数据中属于噪音信号的生物电信号，从而实现对脑电数据的去噪。
39.(14)对第四脑电数据中各个差分通道的脑电数据进行标准化，得到第五脑电数据。
40.上述标准化的方式具体可采用极差标准化、z-score标准化、线性比例标准化、log函数标准化、反正切函数标准化等，对此不进行限定。例如，可对每个差分通道的脑电数据进行z-score标准化，z-score标准化的公式为其中，x是该差分通道的脑电数据，是该差分通道的脑电数据的均值，σ(x)是该差分通道的脑电数据的方差。通过对脑电数据进行标准化，可进一步便于后续的数据处理工作，从而保证模型输入输出的可靠性。
41.(15)按照预设切片长度和预设切片步长对第五脑电数据中各个差分通道的脑电数据进行切片，得到第六脑电数据。
42.其中，第六脑电数据可以包括多组脑电数据片段，每组脑电数据片段均包含各个差分通道的脑电数据片段。切片长度和切片步长均可根据实际需要自定义，对此不进行限定。
43.作为一种可能的实施方式，参见图3所示，上述神经网络模型可以包括第一卷积模块31、第二卷积模块32和第三卷积模块33以及依次连接的拼接模块34、第四卷积模块35和分类模块36，拼接模块34的输入为第一卷积模块31、第二卷积模块32和第三卷积模块33的输出，拼接模块34的输出为第四卷积模块35的输入。基于此，上述步骤s106(即通过预先训练好的神经网络模型对预处理后的脑电数据进行预测，得到hie新生儿的hie分度结果)可以包括：
44.(21)对于每组脑电数据片段，分别通过第一卷积模块31、第二卷积模块32和第三卷积模块33对该组数据片段进行第一处理，得到该组数据片段对应的第一特征向量、第二特征向量和第三特征向量。
45.示例性的，参见图4所示，第一卷积模块31可以包括依次连接的第一se卷积层311、第一卷积层312和第一残差卷积层313，第二卷积模块32可以包括依次连接的第二se卷积层321、第二卷积层322和第二残差卷积层323，第三卷积模块33可以包括依次连接的第三se卷积层331、第三卷积层332和第三残差卷积层333，拼接模块34的输入为第一残差卷积层313、第二残差卷积层323和第三残差卷积层333的输出；第一se卷积层311、第二se卷积层321和第三se卷积层331各自的卷积核大小不同，第一se卷积层311、第二se卷积层321和第三se卷积层331各自的卷积核大小均是根据上述(12)中的预设采样频率确定的；第一卷积层312、第二卷积层322和第三卷积层332各自的填充不同；第一残差卷积层313、第二残差卷积层
323和第三残差卷积层333的结构相同。基于此，对于输入到上述神经网络模型中的某组脑电数据片段，分别通过第一se卷积层311、第二se卷积层321和第三se卷积层331对该组数据片段进行通道注意力计算，得到该组数据片段对应的第一注意力特征向量、第二注意力特征向量和第三注意力特征向量；通过第一卷积层312将该第一注意力特征向量卷积计算成第一中间特征向量，通过第二卷积层322将该第二注意力特征向量卷积计算成第二中间特征向量，通过第三卷积层332将该第三注意力特征向量卷积计算成第三中间特征向量；通过第一残差卷积层313将该第一中间特征向量残差卷积计算成第一特征向量，通过第二残差卷积层323将该第二中间特征向量残差卷积计算成第二特征向量，通过第三残差卷积层333将该第三中间特征向量残差卷积计算成第三特征向量。
46.(22)通过拼接模块34将每组数据片段对应的第一特征向量、第二特征向量和第三特征向量拼接成相应的第四特征向量。
47.其中，第四特征向量的通道数为第一特征向量、第二特征向量和第三特征向量各自的通道数总和。
48.(23)通过第四卷积模块35对每组数据片段对应的第四特征向量进行第二处理，得到相应的第五特征向量。
49.接续前例，参见图4所示，第四卷积模块35可以包括依次连接的第四se卷积层351、第四残差卷积层352、第五se卷积层353和第六se卷积层354，拼接模块34的输出为第四se卷积层351的输入；基于此，通过第四se卷积层351对每组数据片段对应的第四特征向量进行通道注意力计算，得到相应的第四注意力特征向量；通过第四残差卷积层352将每组数据片段对应的第四注意力特征向量残差卷积计算成相应的第四向量；依次通过第五se卷积层353和第六se卷积层354对每组数据片段对应的第四向量进行通道注意力计算，得到相应的第五特征向量。
50.(24)通过分类模块36对每组数据片段对应的第五特征向量进行分类，得到相应的分类结果。
51.接续前例，分类模块36可以包括依次连接的至少一个全连接层和至少一个激活层，第一个全连接层的输入为第四卷积模块35的输出。
52.(25)基于全部组数据片段对应的分类结果确定hie分度结果。
53.接续前例，对于输入到神经网络模型中的某组数据片段，均由分类模块36输出相应的分类结果，该分类结果可以为表征轻度、中度、重度和无脑电活动中之一的分类，且该分类结果还可以包括分类概率的大小。可通过统计来自某个hie新生儿的全部组数据片段对应的分类结果的方式得到该hie新生儿的最终hie分度结果，例如，如果某个新生儿的全部组数据片段的分类结果中大部分为表征轻度的分类，则可将该hie新生儿的最终hie分度结果确定为轻度。
54.作为一种可能的实施方式，上述(21)和上述(23)中通道注意力计算的步骤可以包括：通过卷积将输入的数据映射成预设特征空间中的初始特征向量；通过全局平均池化将该初始特征向量压缩成中间向量；其中，该中间向量的通道数与该初始特征向量的通道数相同；通过全连接和非线性激活将该中间向量激励成权重向量；其中，该权重向量的通道数与该中间向量的通道数相同，该权重向量包括各个通道的权重值；将该权重向量与该初始特征向量相乘。
55.参见图5所示，通过卷积将输入的数据x∈rh′×w′×c′
映射至特征空间中的初始特征向量u∈rh×w×c中：u＝f
tr
(x)，f
tr
(
·
)为普通卷积操作；使用全局平均池化计算每个通道的二维矩阵中元素的平均值：二维矩阵中元素的平均值：zc为通道c的二维矩阵中元素的平均值，uc为通道c的二维矩阵，uc(i，j)为通道c的二维矩阵中第i行、第j列元素的值，h和w分别为通道c的二维矩阵的行数和列数，f
sq
(
·
)为压缩(squeeze)操作，采用该计算方式可将计算出来的平均值对应分配到相应通道上，从而得到1
×1×
c的中间向量z∈rc；通过全连接和非线性激活将1
×1×
c的中间向量激励(excitation)成1
×1×
c的权重向量：s＝f
ex
(z，w)＝σ(w2δ(w1z))，s为权重向量，该权重向量包括各个通道的权重值，f
ex
(
·
，w)为激励操作，δ(
·
)为非线性激活函数relu，σ(
·
)为非线性激活函数sigmoid，w1为其中一个连接层的参数，w2为另一个全连接层的参数；将1
×1×
c的权重向量与1
×1×
c的初始特征向量相乘，即将s各个通道的权重值分别与u对应通道的二维矩阵相乘：从而将各个通道的权重值应用于初始特征向量的每个通道，就可以将注意力分配到不同特征空间中了。采用上述注意力计算方式，每个se卷积模块均能够自适应地选择和强调重要的特征，从而提高神经网络模型对特征的判别能力。
56.作为一种可能的实施方式，上述(21)和上述(23)中残差卷积计算的步骤可以包括：依次对输入的向量进行第一卷积处理、第二卷积处理和第三卷积处理，并将该中间特征向量与第三卷积处理的结果叠加。
57.作为一种可能的实施方式，上述神经网络模型的训练步骤可以包括：建立训练集和测试集，并采用adam(adaptive moment estimation，自适应矩估计)优化器分别基于训练集训练神经网络模型和基于测试集测试神经网络模型的性能。
58.为了便于理解，在此以某一具体应用为例对上述基于深度学习的新生儿缺血缺氧性脑病分度方法进行示例性描述如下。参见图6所示，该方法可按照以下步骤进行：
59.步骤1，数据采集。
60.可按照图2所示的电极放置方式布设脑电帽上的电极，从而通过将脑电帽佩戴在hie新生儿的头部进行9个差分通道的脑电数据采集，从而得到各个差分通道的脑电数据。
61.步骤2，数据预处理。
62.数据预处理可通过python语言中mne包完成，数据预处理的主要内容包括：
63.步骤2.1，判断9个差分通道的脑电数据中是否有脑电帽脱落(即每个通道的脑电图中均出现无电压活动)和/或新生儿激烈运动的部分(即每个通道的脑电图中均出现与脑电无关的大振幅电压活动)，程序对于无电压活动的判断为持续时间超过0.5秒的电压小于10-9
μv，程序对于与脑电无关的大振幅电压活动的判断为持续时间超过2秒的电压最大振幅均超过300μv，若有则将全部差分通道的脑电数据中脑电帽脱落和/或新生儿激烈运动的部分删除。
64.步骤2.2，将剩余数据(即经上述步骤2.1处理后全部差分通道的脑电数据)的采样率规范至500hz并按照该采样率进行采样，随后分别进行50hz、100hz和150hz的陷波滤波以尽可能的消去50hz交流电的工频干扰，再进行0.1-40hz的低通滤波以消去高频噪音干扰。
65.步骤2.3，基于各个差分通道的脑电数据(即经上述步骤2.2处理后各个差分通道的脑电数据)绘制对应通道的功率谱图，以供医生进行参考。
66.步骤2.4，使用ica算法去除脑电数据(即经上述步骤2.2处理后全部差分通道的脑电数据)中的心电信号和眼电信号。
67.步骤2.5，对各个差分通道的脑电数据(即经上述步骤2.4处理后各个差分通道的脑电数据)进行z-score标准化。
68.步骤2.6，对各个差分通道的脑电数据(即经上述步骤2.5处理后各个差分通道的脑电数据)进行切片，切片长度为30秒，切片步长为3秒。
69.此时数据预处理完成，可以将切片后得到的多组30秒脑电数据(每组均包含全部差分通道的30秒脑电数据)输入模型中进行训练或预测。
70.步骤3，模型分类。
71.模型可通过python语言中pytorch包构建，原理是采用了带有注意力分配和残差的卷积神经网络。模型的结构如图7所示。每一个可训练层或可训练模块(即图7中可训练的方块)具有各自的参数，参数可以包括卷积核大小、类型、输出通道数、步长、填充等。
72.参见图7所示，由于较小的滤波器可以更好地捕捉时间信息，而较大的滤波器可以更好地捕捉频率信息，因此在模型的第一层使用三个不同的se卷积层(图7中分别为带字样“fs，seconv，16，[fs/8]”、“fs/2，seconv，16，[fs/8]”和“fs/4，seconv，16，[fs/8]”的方块，fs为步骤2.2中剩余数据的采样率，每个方块内的字样从左到右依次分别为卷积核大小、类型、输出通道数和步长)从数据预处理后得到的30秒新生儿脑电数据中提取时不变特征。se卷积层是带有注意力分配的卷积层，与普通卷积或残差卷积不同，se卷积层可根据通道之间的依赖性自适应地校准各个通道的特征重要性，se卷积层的工作原理与前述图5所示的注意力计算原理相同，对此不进行赘述。模型第一层的三个se卷积层的卷积核大小与脑电数据的采样率(即fs)有关，分别为fs、fs/2和fs/4；相应地，模型第一层的三个se卷积层的步长也与fs有关，均为fs/8；该设计可以通过模型第一层的三个se卷积层同时提取出时间域和频率域的信息，而不是简单认为卷积核较大就是提取频率域的信息、卷积核较小就是提取时间域的信息。
[0073]
参见图7所示，由于不同卷积核对同一数据处理后各自输出数据的维度是不一样的，所以在模型的第二层使用三个卷积层(图7中分别为带字样“10，conv，32，1，3”、“10，conv，32，1，1”和“10，conv，32，1，0”的方块，每个方块内的字样从左到右依次分别为卷积核大小、类型、输出通道数、步长和填充)将第一层的三个输出向量对应规范成相同大小，这三个规范卷积层的卷积核大小和步长均相同，不同之处在于三者使用了不同的填充操作。
[0074]
参见图7所示，在模型的第三层使用三个带残差的卷积块(即残差卷积块，图7中分别为三个带字样“5，resblock，32，1，2”的方块，每个方块内的字样从左到右依次分别为卷积核大小、类型、输出通道数、步长和填充)分别对第二层的三个输出向量进行残差卷积计算。参见图8所示，每个残差卷积块均包括依次连接的三个普通卷积层(即图8中三个带字样的方块，每个方块内的字样从左到右分别为卷积核大小、类型、输出通道数、步长和填充)，且每个残差卷积块还包括构成，且存在填充使特征维度保持一致，在最后重新与原始特征相加从而叠加短接路径。
[0075]
参见图9所示，任何一个卷积层均由依次连接的一个普通一维卷积层(即图9中带字样“k，(se)conv，n，s，p”的方块，该方块内的字样从左到右分别为卷积核大小、类型、输出通道数、步长和填充)、一个批量归一化层(即图9中带字样“1d batchnorm”的方块)和一个
非线性激活函数层(即图9中带字样“relu”的方块，采用非线性激活函数relu)组成。
[0076]
参见图7所示，在输入到模型中的某一组30秒脑电数据经过前三层的处理后，可将模型第三层的三个残差卷积块各自输出的特征向量(即图7中三个通道数为32的特征向量h1、h2和h3)在通道层面拼接到一起，从而得到一个通道数为96的新特征向量。随后使用一个se卷积层(图7中为带字样“5，seconv，32，5，0”的方块，该方块内的字样从左到右依次分别为卷积核大小、类型、输出通道数、步长和填充)对新特征向量进行一次卷积，并使用一个残差卷积块(图7中为带字样“3，resblock，32，1，1”的方块，该方块内的字样从左到右依次分别为卷积核大小、类型、输出通道数、步长和填充)对卷积后的特征向量进行一次残差卷积计算，之后使用两个se卷积层(图7中分别为带字样“4，seconv，16，4，0”和“2，seconv，16，2，0”的方块，每个方块内的字样从左到右依次分别为卷积核大小、类型、输出通道数、步长和填充)依次对残差卷积计算后的特征向量进行卷积，最后将卷积后的特征向量输入到一个分类块(即图7中带字样“fully connect and 4softmax”的方块，包含一个全连接层和四个非线性激活函数层，每个非线性激活函数层均采用非线性激活函数softmax)中进行分类，并由该分类块输出hie分类以完成该组30秒脑电数据的hie分度。将卷积后的特征向量从而将得到从数据预处理后得到的30秒新生儿脑电数据中提取时不变特征。上述操作方式中，拼接后的降维卷积和残差卷积可以减少特征信息量，从而利于提高分类计算的效率和准确性。
[0077]
上述步骤3所用模型需要用专家标记的数据进行训练，模型的训练主要包括以下过程：
[0078]
从医院获取真实病例的原始脑电数据，经由相关科室的资深专家分类并标注标签。在获取到的真实病例中：正常6人，轻度35人，中度26人，重度25人，无脑电活动13人，合计105人。
[0079]
由于使用的数据均来自于真实病例，数据与真实病情相符且标签可靠性强，因此训练出的模型预期会有较强的泛化能力。获取到的真实病例一共有五种不同的分度(也即分类)：正常，轻度，中度，重度和无脑电响应(即无脑电活动)，可直接将五种不同分度的原始脑电数据进行30秒的数据切片，将得到的五种不同分度的全部组数据片段作为训练样本从而建立训练集，随后将训练集中各个分类下随机两个人的全部组数据片段作为验证样本从而建立验证集用于进行后续模型性能验证。模型训练包括预训练和微调训练，可通过对训练集过采样的方式(即：将训练集中四种分度的原始脑电数据调整为数据量接近)得到用于预训练的数据，例如，如果某个人的原始脑电数据达不到所需数据量要求，则可将这个人的部分原始脑电数据复制成多份，并将复制的脑电数据与原始脑电数据组成新脑电数据以达到所需数据量要求；可直接使用训练集进行微调训练。表1示出了测试集和训练集中各个分类的数量分布情况。
[0080]
表1测试集和训练集中各个分类的数量分布情况示例表
[0081] 正常轻度中度重度无脑电响应合计测试集2012257423462219243211583训练集520568797364865315121039184678合计721771371388325537023471196261
[0082]
设定训练批量大小为256。预训练和微调训练均使用adam优化器进行，预训练时
adam优化器的学习率、β1和β2分别设置为10-4
、0.9和0.999，微调训练时adam优化器的学习率、β1和β2分别设置为10-6
、0.9和0.999，预训练和微调训练的训练轮次均设置为50。对于卷积层的批量归一化，为了保证数值的稳定性，可将每个卷积层中批量归一化层的ε设置为10-5
。在模型训练过程中进行损失函数计算的时候，可使用交叉熵函数作为损失函数。表2示出了模型在训练集上的准确率、召回率和f1-score，表3示出了模型在测试集上的准确率、召回率和f1-score。
[0083]
表2模型在训练集上的准确率、召回率和f1-score示例表
[0084] 准确率召回率f1-score正常84.11582.32683.211轻度93.15391.47492.306中度90.64192.85191.733重度91.61388.49890.029无脑电响应92.18887.92390.005均值90.34288.61489.457
[0085]
表3模型在测试集上的准确率、召回率和f1-score示例表。
[0086] 准确率召回率f1-score正常75.12479.41277.209轻度81.26480.88381.073中度79.41280.34979.878重度84.24675.42179.590无脑电响应82.67978.12780.339均值80.54578.83879.618
[0087]
上述基于深度学习的新生儿缺血缺氧性脑病分度方法中，基于深度学习模型提供了准确率不低于医生判断的hie分度方法，诊断速度远高于医生肉眼判断。上述方法应用范围广，局限性小，诊断过程完全自动，不需要医生全程关注患儿脑电数据，仅需根据模型输出结果进行诊断。上述方法仅需要对新生儿脑电数据进行滤波等基础简单的预处理就可以投入模型中进行预测，数据处理过程简单。
[0088]
此外，还可采用机器学习算法进行新生儿的hie分度。但需要先从原始脑电数据中提取出多个特征(例如高振幅脑电丰度、低振幅脑电丰度、暴发间隔等)，之后再将提取出的多个特征输入到机器学习模型中进行处理。
[0089]
高振幅脑电丰度和低振幅脑电丰度的计算方式主要包括：首先对原始脑电数据中全部差分通道的脑电数据进行取绝对值处理以去除负数，再进行希尔伯特变换得到脑电信号的包络信息，对每个差分通道的包络信息进行关于时间的微分，求出所有的极大值，这时候认为此时极大值点为振幅最高点，分别寻找振幅超过100uv和小于10uv的振幅最高点数量，并与振幅最高点总数相除得到相应百分比，从而分别求出高振幅脑电丰度和低振幅脑电丰度。可先分别计算每个差分通道的高振幅脑电丰度和低振幅脑电丰度，再求平均值，从而得到原始脑电数据的高振幅脑电丰度特征和低振幅脑电丰度特征。
[0090]
暴发间隔的计算方式主要包括：以取振幅的形式得到全部差分通道的脑电数据中所有振幅的点后，两个大于100uv的振幅之间的时间间隔为暴发间隔。可先分别计算每个差
分通道的暴发间隔，再求平均值，从而得到原始脑电数据的暴发间隔特征。
[0091]
在得到9个差分通道的高振幅脑电丰度、低振幅脑电丰度和暴发间隔后，可以构建出一个27(3
×
9)维的特征向量，之后将该特征向量输入到k近邻(k-nearest neighbor，knn)模型与随机森林模型中进行计算，从而通过机器学习模型实现hie分度。
[0092]
基于上述深度学习的新生儿缺血缺氧性脑病分度方法，本发明实施例还提供一种基于深度学习的新生儿缺血缺氧性脑病分度装置，参见图10所示，该装置可以包括以下模块：
[0093]
获取模块1002，用于获取hie新生儿的原始脑电数据；其中，所述原始脑电数据包括多个差分通道的脑电数据。
[0094]
预处理模块1004，用于对所述原始脑电数据进行预处理；其中，所述预处理包括以下中至少之一：筛除、采样、标准化、切片。
[0095]
预测模块1006，用于通过预先训练好的神经网络模型对预处理后的脑电数据进行预测，得到所述hie新生儿的hie分度结果。
[0096]
本发明实施例提供的一种基于深度学习的新生儿缺血缺氧性脑病分度装置，先获取hie新生儿的原始脑电数据(包括多个差分通道的脑电数据)，再对原始脑电数据进行预处理，之后通过预先训练好的神经网络模型对预处理后的脑电数据进行预测，从而得到hie新生儿的hie分度结果。采用上述技术，只需要获取到hie新生儿的原始脑电数据即可通过神经网络模型自动进行hie分度，大大减少了诊断所需要的时间，从而保证hie患儿及时得到治疗，即使在缺乏高水平精神科医生的地区和医院也可进行快速、精确的hie分度。
[0097]
上述预处理模块1004还可以用于：从所述原始脑电数据中去除全部差分通道的脑电数据均满足预设条件的第一类数据，得到第一脑电数据；其中，所述满足预设条件包括：电压值小于预设第一电压阈值的时长超过第一预设时长，和/或，在超过第二预设时长的时长范围内电压振幅超过预设第二电压阈值；所述第一电压阈值小于所述第二电压阈值；按照预设采样频率从所述第一脑电数据中采样得到第二脑电数据，并对所述第二脑电数据依次进行陷波滤波和低通滤波，得到第三脑电数据；采用ica算法去除所述第三脑电数据中的噪音信号，得到第四脑电数据；其中，所述噪音信号包括心电信号和/或眼电信号；对所述第四脑电数据中各个差分通道的脑电数据进行标准化，得到第五脑电数据；按照预设切片长度和预设切片步长对所述第五脑电数据中各个差分通道的脑电数据进行切片，得到第六脑电数据；其中，所述第六脑电数据包括多组脑电数据片段，每组脑电数据片段均包含各个差分通道的脑电数据片段。
[0098]
上述神经网络模型可以包括第一卷积模块、第二卷积模块和第三卷积模块以及依次连接的拼接模块、第四卷积模块和分类模块，所述拼接模块的输入为所述第一卷积模块、所述第二卷积模块和所述第三卷积模块的输出，所述拼接模块的输出为所述第四卷积模块的输入；基于此，上述预测模块1006还可以用于：对于每组脑电数据片段，分别通过所述第一卷积模块、所述第二卷积模块和所述第三卷积模块对该组数据片段进行第一处理，得到该组数据片段对应的第一特征向量、第二特征向量和第三特征向量；通过所述拼接模块将每组数据片段对应的第一特征向量、第二特征向量和第三特征向量拼接成相应的第四特征向量；其中，所述第四特征向量的通道数为所述第一特征向量、所述第二特征向量和所述第三特征向量各自的通道数总和；通过所述第四卷积模块对每组数据片段对应的第四特征向
量进行第二处理，得到相应的第五特征向量；通过所述分类模块对每组数据片段对应的第五特征向量进行分类，得到相应的分类结果；基于全部组数据片段对应的分类结果确定所述hie分度结果。
[0099]
上述第一卷积模块可以包括依次连接的第一se卷积层、第一卷积层和第一残差卷积层，所述第二卷积模块包括依次连接的第二se卷积层、第二卷积层和第二残差卷积层，所述第三卷积模块包括依次连接的第三se卷积层、第三卷积层和第三残差卷积层，所述拼接模块的输入为所述第一残差卷积层、所述第二残差卷积层和所述第三残差卷积层的输出；所述第一se卷积层、所述第二se卷积层和所述第三se卷积层各自的卷积核大小不同，所述第一se卷积层、所述第二se卷积层和所述第三se卷积层各自的卷积核大小均是根据所述预设采样频率确定的；所述第一卷积层、所述第二卷积层和所述第三卷积层各自的填充不同；所述第一残差卷积层、所述第二残差卷积层和所述第三残差卷积层的结构相同；基于此，上述预测模块1006还可以用于：分别通过所述第一se卷积层、所述第二se卷积层和所述第三se卷积层对该组数据片段进行通道注意力计算，得到该组数据片段对应的第一注意力特征向量、第二注意力特征向量和第三注意力特征向量；通过所述第一卷积层将该第一注意力特征向量卷积计算成第一中间特征向量，通过所述第二卷积层将该第二注意力特征向量卷积计算成第二中间特征向量，通过所述第三卷积层将该第三注意力特征向量卷积计算成第三中间特征向量；通过所述第一残差卷积层将该第一中间特征向量残差卷积计算成第一特征向量，通过所述第二残差卷积层将该第二中间特征向量残差卷积计算成第二特征向量，通过所述第三残差卷积层将该第三中间特征向量残差卷积计算成第三特征向量。
[0100]
上述第四卷积模块可以包括依次连接的第四se卷积层、第四残差卷积层、第五se卷积层和第六se卷积层，所述拼接模块的输出为所述第四se卷积层的输入；基于此，上述预测模块1006还可以用于：通过所述第四se卷积层对每组数据片段对应的第四特征向量进行通道注意力计算，得到相应的第四注意力特征向量；通过所述第四残差卷积层将每组数据片段对应的第四注意力特征向量残差卷积计算成相应的第四向量；依次通过所述第五se卷积层和所述第六se卷积层对每组数据片段对应的第四向量进行通道注意力计算，得到相应的第五特征向量。
[0101]
上述分类模块可以包括依次连接的至少一个全连接层和至少一个激活层，第一个全连接层的输入为所述第四卷积模块的输出。
[0102]
参见图10所示，该装置还可以包括：
[0103]
训练模块1008，用于建立训练集和测试集，并采用adam优化器分别基于所述训练集训练所述神经网络模型和基于所述测试集测试所述神经网络模型的性能。
[0104]
本发明实施例所提供的基于深度学习的新生儿缺血缺氧性脑病分度装置，其实现原理及产生的技术效果和前述基于深度学习的新生儿缺血缺氧性脑病分度方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
[0105]
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
[0106]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件
产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0107]
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0108]
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

技术特征：
1.一种基于深度学习的新生儿缺血缺氧性脑病分度方法，其特征在于，所述方法包括：获取hie新生儿的原始脑电数据；其中，所述原始脑电数据包括多个差分通道的脑电数据；对所述原始脑电数据进行预处理；其中，所述预处理包括以下中至少之一：筛除、采样、标准化、切片；通过预先训练好的神经网络模型对预处理后的脑电数据进行预测，得到所述hie新生儿的hie分度结果。2.根据权利要求1所述的方法，其特征在于，对所述原始脑电数据进行预处理的步骤包括：从所述原始脑电数据中去除全部差分通道的脑电数据均满足预设条件的第一类数据，得到第一脑电数据；其中，所述满足预设条件包括：电压值小于预设第一电压阈值的时长超过第一预设时长，和/或，在超过第二预设时长的时长范围内电压振幅超过预设第二电压阈值；所述第一电压阈值小于所述第二电压阈值；按照预设采样频率从所述第一脑电数据中采样得到第二脑电数据，并对所述第二脑电数据依次进行陷波滤波和低通滤波，得到第三脑电数据；采用ica算法去除所述第三脑电数据中的噪音信号，得到第四脑电数据；其中，所述噪音信号包括心电信号和/或眼电信号；对所述第四脑电数据中各个差分通道的脑电数据进行标准化，得到第五脑电数据；按照预设切片长度和预设切片步长对所述第五脑电数据中各个差分通道的脑电数据进行切片，得到第六脑电数据；其中，所述第六脑电数据包括多组脑电数据片段，每组脑电数据片段均包含各个差分通道的脑电数据片段。3.根据权利要求2所述的方法，其特征在于，所述神经网络模型包括第一卷积模块、第二卷积模块和第三卷积模块以及依次连接的拼接模块、第四卷积模块和分类模块，所述拼接模块的输入为所述第一卷积模块、所述第二卷积模块和所述第三卷积模块的输出，所述拼接模块的输出为所述第四卷积模块的输入；通过预先训练好的神经网络模型对预处理后的脑电数据进行预测，得到所述hie新生儿的hie分度结果的步骤包括：对于每组脑电数据片段，分别通过所述第一卷积模块、所述第二卷积模块和所述第三卷积模块对该组数据片段进行第一处理，得到该组数据片段对应的第一特征向量、第二特征向量和第三特征向量；通过所述拼接模块将每组数据片段对应的第一特征向量、第二特征向量和第三特征向量拼接成相应的第四特征向量；其中，所述第四特征向量的通道数为所述第一特征向量、所述第二特征向量和所述第三特征向量各自的通道数总和；通过所述第四卷积模块对每组数据片段对应的第四特征向量进行第二处理，得到相应的第五特征向量；通过所述分类模块对每组数据片段对应的第五特征向量进行分类，得到相应的分类结果；基于全部组数据片段对应的分类结果确定所述hie分度结果。4.根据权利要求3所述的方法，其特征在于，所述第一卷积模块包括依次连接的第一se卷积层、第一卷积层和第一残差卷积层，所述第二卷积模块包括依次连接的第二se卷积层、
第二卷积层和第二残差卷积层，所述第三卷积模块包括依次连接的第三se卷积层、第三卷积层和第三残差卷积层，所述拼接模块的输入为所述第一残差卷积层、所述第二残差卷积层和所述第三残差卷积层的输出；所述第一se卷积层、所述第二se卷积层和所述第三se卷积层各自的卷积核大小不同，所述第一se卷积层、所述第二se卷积层和所述第三se卷积层各自的卷积核大小均是根据所述预设采样频率确定的；所述第一卷积层、所述第二卷积层和所述第三卷积层各自的填充不同；所述第一残差卷积层、所述第二残差卷积层和所述第三残差卷积层的结构相同；分别通过所述第一卷积模块、所述第二卷积模块和所述第三卷积模块对该组数据片段进行第一处理，得到该组数据片段对应的第一特征向量、第二特征向量和第三特征向量的步骤包括：分别通过所述第一se卷积层、所述第二se卷积层和所述第三se卷积层对该组数据片段进行通道注意力计算，得到该组数据片段对应的第一注意力特征向量、第二注意力特征向量和第三注意力特征向量；通过所述第一卷积层将该第一注意力特征向量卷积计算成第一中间特征向量，通过所述第二卷积层将该第二注意力特征向量卷积计算成第二中间特征向量，通过所述第三卷积层将该第三注意力特征向量卷积计算成第三中间特征向量；通过所述第一残差卷积层将该第一中间特征向量残差卷积计算成第一特征向量，通过所述第二残差卷积层将该第二中间特征向量残差卷积计算成第二特征向量，通过所述第三残差卷积层将该第三中间特征向量残差卷积计算成第三特征向量。5.根据权利要求4所述的方法，其特征在于，所述第四卷积模块包括依次连接的第四se卷积层、第四残差卷积层、第五se卷积层和第六se卷积层，所述拼接模块的输出为所述第四se卷积层的输入；通过所述第四卷积模块对每组数据片段对应的第四特征向量进行第二处理，得到相应的第五特征向量的步骤包括：通过所述第四se卷积层对每组数据片段对应的第四特征向量进行通道注意力计算，得到相应的第四注意力特征向量；通过所述第四残差卷积层将每组数据片段对应的第四注意力特征向量残差卷积计算成相应的第四向量；依次通过所述第五se卷积层和所述第六se卷积层对每组数据片段对应的第四向量进行通道注意力计算，得到相应的第五特征向量。6.根据权利要求4或5所述的方法，其特征在于，通道注意力计算的步骤包括：通过卷积将输入的数据映射成预设特征空间中的初始特征向量；通过全局平均池化将该初始特征向量压缩成中间向量；其中，该中间向量的通道数与该初始特征向量的通道数相同；通过全连接和非线性激活将该中间向量激励成权重向量；其中，该权重向量的通道数与该中间向量的通道数相同，该权重向量包括各个通道的权重值；将该权重向量与该初始特征向量相乘。7.根据权利要求4或5所述的方法，其特征在于，残差卷积计算的步骤包括：依次对输入的向量进行第一卷积处理、第二卷积处理和第三卷积处理，并将该中间特征向量与第三卷积处理的结果叠加。8.根据权利要求3所述的方法，其特征在于，所述分类模块包括依次连接的至少一个全
连接层和至少一个激活层，第一个全连接层的输入为所述第四卷积模块的输出。9.根据权利要求1所述的方法，其特征在于，所述神经网络模型的训练步骤包括：建立训练集和测试集，并采用adam优化器分别基于所述训练集训练所述神经网络模型和基于所述测试集测试所述神经网络模型的性能。10.一种基于深度学习的新生儿缺血缺氧性脑病分度装置，其特征在于，所述装置包括：获取模块，用于获取hie新生儿的原始脑电数据；其中，所述原始脑电数据包括多个差分通道的脑电数据；预处理模块，用于对所述原始脑电数据进行预处理；其中，所述预处理包括以下中至少之一：筛除、采样、标准化、切片；预测模块，用于通过预先训练好的神经网络模型对预处理后的脑电数据进行预测，得到所述hie新生儿的hie分度结果。

技术总结
本发明提供了一种基于深度学习的新生儿缺血缺氧性脑病分度方法及装置，先获取HIE新生儿的原始脑电数据(包括多个差分通道的脑电数据)，再对原始脑电数据进行预处理，之后通过预先训练好的神经网络模型对预处理后的脑电数据进行预测，从而得到HIE新生儿的HIE分度结果。采用本发明可以提高新生儿HIE分度的效率和准确性。和准确性。和准确性。


技术研发人员：林沛阳 楼可心 宋小燕 白皓莹 刘泉影
受保护的技术使用者：南方科技大学
技术研发日：2023.06.26
技术公布日：2023/9/22