一种基于伪孪生网络的异构睡眠数据分期方法

1.本发明属于睡眠健康管理技术领域，具体涉及一种异构数据的睡眠分期方法。


背景技术：

2.在睡眠健康管理中，往往需要通过人工观察多导睡眠监护仪记录的脑电、眼电等数据来判别睡眠阶段，从而更好地了解睡眠质量，并进行相关睡眠疾病的诊断。人工睡眠分期耗时耗力，并且不同专家的临床经验等也会给分析结果带来一定偏差。
3.近年来，深度学习技术在睡眠分期领域备受关注，先后有研究者通过采用卷积神经网络以及递归神经网络，搭建自动睡眠分期模型以减少医生专家的工作压力。现有的许多自动睡眠分期方法中，既有基于单通道信号的神经网络模型，也有基于多种模态信号结合的模型。在基于单模态的方法中，基于脑电信号的模型可以实现较好的分类性能，这是由于脑电信号变化与睡眠活动高度相关，可以提供更多的有效信息。相对而言，使用眼电信号的方法无法达到基于脑电信号的高准确性。此外，基于单一通道信号的模型实际性能不如使用多模态信号的方法，这是由于基于多模态信号的模型综合考虑多个信息维度，相比于单一通道信号提供的有限信息，可以归纳出更多与睡眠相关的深度特征。多模态信号的模型，能够实现较高的预测表现，但是也加大对于输入数据的要求。然而采集脑电、眼电信号的设备多种多样，不同设备采集到的信号可能存在通道不一致、不匹配，在实际应用中存在采集设备不一致或者数据受到噪声污染而产生的通道缺失的问题。目前的多模态模型基于眼电的识别效果不佳，并且无法处理异构数据，当输入信息损失会出现模型性能的大幅下降的现象，这是急需解决的问题。
4.目前的方法中提出的网络架构大多仅考虑单一情形，例如仅考虑采集的信号中只包含脑电信号。针对这种特定的输入模态来进行训练，而不能处理通道不一致的问题。孪生神经网络是指包含两个结构和权重相同子网络的架构，通常用于衡量输入的相似性，被应用于图像处理、自然语言处理等领域中比较图像或者文本的相似度。伪孪生神经网络是一种变体，用于形容结构相似、权重不同的两个网络。相比于前者，伪孪生网络往往用于处理输入差异较大的场景。针对脑电、眼电信号的形态特征差异，可以利用伪孪生神经网络来衡量和比较它们之间的相似度，从中获取时序信号的共有特性，提高模型的识别性能。


技术实现要素：

5.本发明的目的是为克服现有技术的不足之处，提升使用单通道信号的睡眠分期效果，同时解决睡眠领域多来源、多设备异构数据问题，提出了一种基于伪孪生网络的异构睡眠数据分期方法。
6.本发明提出的基于伪孪生网络的异构睡眠数据分期方法，包括构建基于伪孪生网络架构的异构数据睡眠分期模型，利用深度学习实现对异构数据的自动分期；通过对脑电、眼电信号的特征相似度进行计算和学习，强化模型对不同模态信号特征的感知，获得时序信号特征的通用模式，提高模型针对单一信号的识别效果；具体步骤如下：
7.(1)获取n位受试者睡眠状态下的原始脑电、眼电信号，并对每位被试者的对应信号进行睡眠阶段的标注；将对原始信号进行的分期标注结果作为标准分期结果；所述睡眠阶段分为：清醒期(w)、快速眼动期(rem)与非快速眼动期(n1,n2,n3)；一般，n大于等于20。
8.(2)对步骤(1)中获得的原始信号进行滤波，滤除背景噪声，然后对滤波后的信号进行降采样，得到预处理后的信号；
9.具体操作为：对经过睡眠阶段标注的脑电、眼电信号，利用巴特沃斯带通滤波器，滤除背景噪音，衰减掉小于0.3hz和大于35hz的信号活动；接着利用陷波滤波器，滤除因运动、心电活动和电极干扰而产生的伪影。
10.(3)将步骤(2)中得到的预处理后的脑电信号、眼电信号与步骤(1)中原始信号的分期标注进行对齐，得到有标注的睡眠分期训练数据。
11.(4)构建基于伪孪生网络架构的异构数据睡眠分期模型；
12.所述基于伪孪生网络架构的异构数据睡眠分期模型由空间映射模块与分类器两个部分组成；其中：
13.所述空间映射模块，包含两个结构相同的卷积神经网络，承担从信号中提取特征的功能；每个卷积神经网络包含双尺度卷积网络以及压缩激发模块(sequeeze-and-excitation block)；具体地，双尺度卷积网络均包含以下网络层：卷积层，池化层，激活函数，批量归一化；其中卷积层的核与步长不同；
14.所述卷积层，通过多个卷积核对输入数据进行卷积，从而提取出不同的特征信息；
15.所述池化层，对卷积层输出进行池化操作，将不同尺度特征图压缩为固定大小的向量；
16.所述激活函数，利用非线性变换将特征映射到高维尺度，提高模型处理非线性数据的能力；
17.所述批量归一化，针对上一层网络的输出数据计算当前批次的均值和方差，进行归一化操作，防止网络过拟合
18.所述压缩激发模块，是一个包含残差连接的卷积网络，通过将通道维度的特征压缩为一维，并与进一步卷积得到的特征相乘，获得具备一定权重的加强特征；
19.所述空间映射模块中，两个卷积神经网络分支的输出，分别是从两种不同模态信号提取的特征，两个特征图均送入后续的分类器模块中；
20.所述分类器模块，主要包含两个全连接层以及一层激活函数；前述特征向量通过分类器模块后输出睡眠阶段。
21.(5)使用睡眠分期训练数据训练伪孪生网络架构的异构数据睡眠分期模型；具体流程为：
22.(5-1)将步骤(3)中得到的脑电、眼电信号送入空间映射模块中的两个卷积神经网络分支中，分别进行特征提取，将信号映射到高维空间中以进行后续的相似度学习；
23.(5-2)从步骤(5-1)中得到两个来自不同模态信号的特征向量，计算特征向量的相似度，并利用相似度衡量方法来减小特征向量之间的距离；相似度衡量方法包括余弦相似度、欧几里得距离以及最大均值差异；
24.(5-3)从步骤(5-1)中得到两个来自不同模态信号的特征向量，分别送入空间映射模块之中，获得分类结果；该分类问题采用交叉熵损失函数进行参数更新；
25.在训练时，每位被试者经过预处理后的包含脑电、眼电通道信号，分别送入两个分支卷积神经网络之中，进行特征提取；提取后的特征利用相似度衡量方法来增大相似度，减小特征之间的差异，以使得模型实现对通道不一致、通道缺失的异构数据的处理能力；两种不同模态信号的特征，经过前述过程处理，其相似度增大的同时保持各自不同的独有特征，分类送入相同的分类器中；分类器可以学习到多样化的样本，并且输出该信号对应的分期类别；训练完毕后，得到训练完毕的基于伪孪生网络架构的异构数据睡眠分期网络。
26.(6)使用步骤(5)训练得到的异构数据睡眠分期网络对待分期的异构信号进行睡眠分期；具体流程为：
27.(6-1)获得一位受试人睡眠过程的脑电信号或者眼电信号，对信号进行步骤(2)中的预处理，所述待分期的信号与步骤(1)中获得的信号相似；输入可以仅包含脑电信号，仅包含眼电信号，或者同时包含两种信号；
28.(6-2)将待分期信号输入步骤(5)训练完毕的睡眠分期网络，该网络输出待分期信号的睡眠分期结果。
29.本发明中，所述训练时输入信号包含脑电、眼电信号，而测试时不仅可以处理同时包含两种信号的情况，也可以处理仅包含单通道脑电或者眼电信号的情况。
30.对应于上述的异构睡眠数据分期方法，本发明还提供异构睡眠数据分期系统。该系统包括如下模块：睡眠状态下的原始脑电、眼电信号采集、标注模块，原始信号的预处理模块，训练数据处理模块，基于伪孪生网络架构的异构数据睡眠分期模型模块，模型训练模块；使用模型进行睡眠分期模块；该六个模块分别执行异构睡眠数据分期方法六个步骤的操作。
31.本发明的特点及有益效果在于：
32.本发明对原始脑电、眼电信号进行滤除噪声以及降采样操作；将预处理后的信号与相对应分期标注进行对齐，得到有标注的睡眠分期数据；使用睡眠分期数据训练伪孪生网络，在训练时同时输入脑电和眼电信号，提取特征后进行相似度计算；通过学习网络参数以增强不同信号的特征相似度，提高特征层面的多样性，进一步提升分类器的鲁棒性，从而得到异构数据睡眠分期网络；使用异构数据睡眠分期网络识别睡眠阶段；本发明在训练阶段采用更多信息，可以提升基于单通道信号的睡眠分期模型性能，并且可处理睡眠数据中因采集设备不一致或者噪声污染导致的通道不一致、通道缺失问题，提高对单通道信号的识别能力，并且能够实现对异构数据分析的判别，具有广泛的临床应用前景。
附图说明
33.图1是本发明的基于伪孪生网络架构的异构数据睡眠分期方法整体流程图。
34.图2是本发明的伪孪生网络架构图。
35.图3是本发明的伪孪生网络模型应用阶段的输入输出示意图。
具体实施方式
36.下面结合附图和具体实施例对本发明进一步详细说明如下。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应该被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明
的范围完整的传达给本领域的技术人员。
37.本发明提出的异构数据的睡眠分期方法，整体流程如图1所示，包括以下步骤：
38.(1)获取原始脑电、眼电信号，信号时长至少在2小时左右，并由专家对每个信号进行睡眠阶段标注，得到信号对应的有标注的睡眠分期训练数据；
39.本实施例中，通过医学脑电采集设备采集到的原始脑电信号中不包含睡眠阶段的分类标签，为使计算机能够学习这些睡眠阶段的分类特征，医学睡眠专家需人工地将每段信号中对应的睡眠阶段标注出来；具体地，专家需将每段信号中所包含的睡眠阶段按照美国睡眠医学会(aasm)颁布的规则进行标注；这些标注好的数据可被用来训练深度学习模型；
40.美国睡眠医学会对成人睡眠过程进行的阶段划分，分为五个阶段：清醒期(w)、快速眼动期(rem)、非快速眼动一期(n1)、非快速眼动二期(n2)与非快速眼动三期(n3)。
41.(2)对步骤(1)中获得的原始信号进行滤波，将滤除背景噪声后的原始信号进行降采样得到预处理后的信号。
42.(3)在本实施例中，在步骤(1)已经获得对原始信号的睡眠阶段标注，此时只需将步骤(2)中得到的预处理后的信号与步骤(1)中原始脑电的分期标注进行对齐，得到有标注的睡眠分期训练数据。
43.(4)使用睡眠分期训练数据训练得到基于伪孪生网络架构的异构数据睡眠分期网络；
44.所述睡眠分期网络模型由基于伪孪生网络架构的特征提取模块与分类器模块组成的网络模型；
45.在一般情况下，多模态信号用于训练模型会同时使用脑电、眼电信号，但是由于设备差异，噪声污染等原因会造成数据通道缺失、通道不一致的情况，为了处理这种可能存在通道缺失的异构数据，在本实施例中，通过伪孪生神经网络架构，计算并增强脑电信号与眼电信号的特征相似度。在训练时，睡眠分期模型的输入为每位被试者经预处理后的信号，脑电、眼电信号分别送入两个卷积网络分支；输出为该信号对应的分期训练数据；训练完毕后，得到训练完毕的异构数据睡眠分期网络；
46.本步骤得到的训练完毕的睡眠分期网络输入为未标注的睡眠过程的脑电信号、眼电信号，输出为该网络预测得到的输入信号对应的自动睡眠分期结果。
47.(5)使用步骤(4)训练完毕得到的异构数据睡眠分期网络对待分期的信号进行睡眠分期；具体步骤如下：
48.(5-1)获得一位受试者睡眠过程的脑电信号或者眼电信号，或者同时取得两种信号，对信号进行步骤(2)中的预处理，所述待分期的信号与步骤(1)中获得的信号特征相似；
49.(5-2)在本实施例中，步骤(4)得到的异构数据睡眠分期网络可接受为有标注的经预处理后的脑电信号或眼电信号，或同时包含两种信号作为输入，输出网络预测得该信号对应的睡眠分期结果。
50.表1中展示了利用脑电、眼电信号通过异构数据睡眠分期网络得到的各项指标，可以看出本发明的方法可以有效实现对异构信号的自动睡眠分期工作。
51.本发明的方法相比于现有的睡眠分期方法，在有效实现睡眠分期的前提下，可提高对不同设备的迁移性，使用的便利性、可读性，并处理通道缺失问题。另外，本发明采用深
度学习模型，可大幅减少人工进行睡眠分期的时间及工作量。
52.表1
53.
技术特征：
1.一种基于伪孪生网络的异构睡眠数据分期方法，其特征在于，包括构建基于伪孪生网络架构的异构数据睡眠分期模型，利用深度学习实现对异构数据的自动分期；通过对脑电、眼电信号的特征相似度进行计算和学习，强化模型对不同模态信号特征的感知，获得时序信号特征的通用模式，提高模型针对单一信号的识别效果；具体步骤如下：(1)获取n位受试者睡眠状态下的原始脑电、眼电信号，并对每位被试者的对应信号进行睡眠阶段的标注；将对原始信号进行的分期标注结果作为标准分期结果；所述睡眠阶段分为：清醒期(w)、快速眼动期(rem)与非快速眼动期；n大于等于20；(2)对步骤(1)中获得的原始信号进行滤波，滤除背景噪声，然后对滤波后的信号进行降采样，得到预处理后的信号；(3)将步骤(2)中得到的预处理后的脑电信号、眼电信号与步骤(1)中原始信号的分期标注进行对齐，得到有标注的睡眠分期训练数据；(4)构建基于伪孪生网络架构的异构数据睡眠分期模型；所述异构数据睡眠分期模型由空间映射模块与分类器两个部分组成；其中：所述空间映射模块，包含两个结构相同的卷积神经网络，承担从信号中提取特征的功能；每个卷积神经网络包含双尺度卷积网络以及压缩激发模块；所述双尺度卷积网络均包含以下网络层：卷积层，池化层，激活函数，批量归一化；其中卷积层的核与步长不同；所述卷积层，通过多个卷积核对输入数据进行卷积，从而提取出不同的特征信息；所述池化层，对卷积层输出进行池化操作，将不同尺度特征图压缩为固定大小的向量；所述激活函数，利用非线性变换将特征映射到高维尺度，提高模型处理非线性数据的能力；所述批量归一化，针对上一层网络的输出数据计算当前批次的均值和方差，进行归一化操作，防止网络过拟合；所述压缩激发模块，是一个包含残差连接的卷积网络，通过将通道维度的特征压缩为一维，并与进一步卷积得到的特征相乘，获得具备一定权重的加强特征；所述空间映射模块中，两个卷积神经网络分支的输出，分别是从两种不同模态信号提取的特征，两个特征图均送入后续的分类器模块中；所述分类器模块，包含两个全连接层以及一层激活函数；前述特征向量通过分类器模块后输出睡眠阶段；(5)使用睡眠分期训练数据训练伪孪生网络架构的异构数据睡眠分期模型；训练时，每位被试者经过预处理后的包含脑电、眼电通道信号，分别送入两个分支卷积神经网络之中，进行特征提取；提取后的特征利用相似度衡量方法来增大相似度，减小特征之间的差异，以使得模型实现对通道不一致、通道缺失的异构数据的处理能力；两种不同模态信号的特征，经过前述过程处理，其相似度增大的同时保持各自不同的独有特征，分类送入相同的分类器中；分类器可以学习到多样化的样本，并且输出该信号对应的分期类别；训练完毕后，得到训练完毕的基于伪孪生网络架构的异构数据睡眠分期网络；(6)使用步骤(5)训练得到的异构数据睡眠分期网络对待分期的异构信号进行睡眠分期。2.根据权利要求1所述的异构睡眠数据分期方法，其特征在于，步骤(2)的具体操作为：对经过睡眠阶段标注的脑电、眼电信号，利用巴特沃斯带通滤波器，滤除背景噪音，衰减掉
小于0.3hz和大于35hz的信号活动；接着利用陷波滤波器，滤除因运动、心电活动和电极干扰而产生的伪影。3.根据权利要求1所述的异构睡眠数据分期方法，其特征在于，步骤(5)的操作流程为：(5-1)将步骤(3)中得到的脑电、眼电信号送入空间映射模块中的两个卷积神经网络分支中，分别进行特征提取，将信号映射到高维空间中以进行后续的相似度学习；(5-2)从步骤(5-1)中得到两个来自不同模态信号的特征向量，计算特征向量的相似度，并利用相似度衡量方法来减小特征向量之间的距离；相似度衡量方法包括余弦相似度、欧几里得距离以及最大均值差异；(5-3)从步骤(5-1)中得到两个来自不同模态信号的特征向量，分别送入空间映射模块之中，获得分类结果；该分类问题采用交叉熵损失函数进行参数更新。4.根据权利要求1所述的异构睡眠数据分期方法，其特征在于，步骤(6)的操作流程为：(6-1)获得一位受试人睡眠过程的脑电信号或者眼电信号，对信号进行步骤(2)中的预处理，所述待分期的信号与步骤(1)中获得的信号相似；输入可以仅包含脑电信号，仅包含眼电信号，或者同时包含两种信号；(6-2)将待分期信号输入步骤(5)训练完毕的睡眠分期网络，该网络输出待分期信号的睡眠分期结果。5.一种基于权利要求1-4之一所述异构睡眠数据分期方法的异构睡眠数据分期系统，包括如下模块：睡眠状态下的原始脑电、眼电信号采集、标注模块，原始信号的预处理模块，训练数据处理模块，基于伪孪生网络架构的异构数据睡眠分期模型模块，模型训练模块；使用模型进行睡眠分期模块；该六个模块分别执行异构睡眠数据分期方法六个步骤的操作。

技术总结
本发明属于睡眠健康管理技术领域，具体为一种基于伪孪生网络架构的异构睡眠分期方法。本发明方法包括：对原始脑电、眼电信号的采集、分期、标注，进行预处理；将预处理后的信号与相对应分期标注进行对齐，得到有标注的睡眠分期数据；使用睡眠分期数据训练基于伪孪生网络架构的异构数据睡眠分期模型，训练时同时输入脑电和眼电信号，提取特征后进行相似度计算；通过学习网络参数以增强不同信号的特征相似度，得到异构数据睡眠分期网络；使用异构数据睡眠分期网络识别睡眠阶段；本发明在训练阶段采用更多信息，可以提升睡眠分期模型性能，实现针对异构数据的自动睡眠阶段分期，具有广泛的临床应用前景。床应用前景。床应用前景。


技术研发人员：周威 陈炜 陈晨
受保护的技术使用者：复旦大学
技术研发日：2023.07.12
技术公布日：2023/10/19