基于信号特征分析以确定临床结果的系统和方法与流程

基于信号特征分析以确定临床结果的系统和方法
相关申请的交叉引用
1.本技术要求于2020年12月22日提交的美国临时申请号63/129,357的优先权，其全部通过引用并入本文。
技术领域
2.本文中公开的实施例涉及用于剖析从信号(例如，基于对受试者使用生物特征识别装置进行生物特征识别的信号，包括但不限于可穿戴装置)导出的特征以用于临床结果的系统和方法。临床结果可包括对患者经历的潜在疾病或病症的早期发现和/或治疗。还公开了示例可穿戴生物特征识别装置的各个方面。


背景技术：

3.由于可用数据的类型、总量和/或深度，识别用于提供临床结果(例如，用于临床试验、用于疾病或病症识别、用于治疗规划等)的统计数据是困难的。
4.例如，各种神经肌肉病症会影响载有控制随意肌的电信号的神经。这些病症损害并会逐渐削弱神经，从而随着时间的推移导致肌肉萎缩和死亡。神经肌肉病症的一个示例是重症肌无力(mg)，其会产生面部影响，诸如，眼睑下垂(上睑下垂)、双重视野(复视)和/或难以做出面部表情。另外地，重症肌无力(mg)会导致难以说话、呼吸、咀嚼和/或吞咽。传统上，医疗专业人员经由观察和自我评估(例如，患者报告结果)来筛查患者的神经肌肉病症。例如，评估可能涉及临床医生执行问卷，该问卷对观察到的患者身体影响(例如，上睑下垂和注视)和执行某些活动(例如，闭眼、说话和咀嚼)的能力进行评分。这些方法是不准确的，因为观察是主观的，并且因为患者可能会随着时间的推移调整他们的行为以补偿有问题的症状。在临床探访中，由于患者适应了较软和流质的饮食习惯，特别是当患者长期具有这些症状时，患者通常会低估咀嚼和吞咽症状以及严重性级别。因此，当前在临床上使用的评估方法可能会导致不正确和遗漏的诊断和治疗。因此，客观和定量地准确评估患者的症状和严重性级别的医疗需求尚未得到满足。使用统计数据生成诊断和治疗可提供基于客观数据的结果。然而，由于给定试验的可用数据的类型、总量和/或深度，统计数据的使用具有挑战性。例如，适用于识别一个临床结果的数据可能不适用于识别另一个临床结果。另外地，给定的数据参数、信号收集机制和/或信号收集期间的动作对于第一临床输出来说可能是最佳的，但对于第二临床输出来说仍可能不是最佳的。
6.因此，需要改进的技术来对患有神经肌肉病症的患者进行评估、确定诊断和分配治疗。


技术实现要素：

7.本发明的各方面涉及基于信号的特征分析。在一个方面，本发明涉及一种方法，其包括接收基于身体部位生成的不同电信号，基于不同电信号生成多个提取特征以及根据多
个提取特征识别临床相关特征，其中临床相关特征满足基于临床结果确定的阈值。
8.该方法还可包括应用临床相关特征来确定临床结果，其中临床结果是诊断或治疗计划中的一个。不同电信号可基于由身体部位生成的身体电信号生成。不同电信号可基于身体部位的运动生成。不同电信号可基于身体部位的性质生成。多个提取特征可基于振幅特征、过零率、标准偏差、方差、均方根、峰态、频率、波段功率或偏斜中的一个或多个。不同电信号可由包括传感器的可穿戴装置生成，其中可穿戴装置可被配置为输出混合信号和/或其中信号分离模块从混合信号中提取提取特征。
9.例如，信号分离模块可应用盲信号分离、盲源分离、离散变换、傅里叶变换、积分变换、双侧拉普拉斯变换、梅林变换、哈特莱变换、短时傅里叶变换(stft)、矩形掩码短时傅里叶变换、线调频小波变换、分数阶傅里叶变换(frft)、汉克尔变换、傅里叶-bros-iagolnitzer变换或线性正则变换中的一种或多种来从混合信号提取提取特征。可使用随机森林算法来对提取特征进行评分。阈值可以是随机森林阈值并且具有随机森林评分等于或高于随机森林阈值的提取特征可被识别为临床相关特征。阈值可以是可靠性阈值，并且具有可靠性评分等于或高于可靠性阈值的提取特征可被识别为临床相关特征。可靠性评分可基于斯皮尔曼相关性、类内相关性(icc)、协方差(cv)、曲线下面积(auc)、聚类或z评分中的一个或多个。
10.在另一方面，本发明涉及一种系统，其包括可穿戴装置，可穿戴装置包括多个传感器；处理器；存储指令的计算机可读数据存储装置，当由处理器执行时，指令使系统：从可穿戴装置获得受试者的电活动信息，电活动由多个传感器检测到；以及基于电活动信息识别临床相关特征。
11.该系统还可被配置为将临床相关特征分类为一种或多种病；基于一种或多种病来确定受试者的疾病；确定疾病的范围和/或基于疾病的范围来确定治疗计划。多个传感器可包括脑电图(eeg)传感器、眼电图(eog)传感器、肌电图(emg)传感器、图像传感器和/或眼动追踪传感器。临床相关特征可使用机器学习算法识别。
附图说明
12.并入并构成本说明书一部分的附图示出了各种示例，并与描述一起用于解释公开的示例和实施例的原理。
13.本发明的各方面可结合附图中所示的实施例来实现。这些附图示出本发明的不同方面，在适当的情况下，不同附图中示出类似结构、部件、材料和/或元件的附图标记被类似地进行标记。应当理解，除了具体示出的那些之外的结构、部件和/或元件的各种组合是可设想到的且在本发明的范围内。
14.此外，本文描述并示出了许多实施例。本发明既不限于其任何单个方面或实施例，也不限于这些方面和/或实施例的任何组合和/或排列。此外，本发明的各个方面和/或其实施例中的每一个可单独地采用或与本发明的其他方面和/或其实施例中的一个或多个相结合地采用。为了简洁起见，本文没有单独讨论和/或示出某些排列和组合。值得注意的是，本文描述为“示例性”的实施例或实施方案不应解释为优选于或优于，例如，其他实施例或实施方案；相反地，其旨在反映或指示实施例是“示例”实施例。
15.图1a是示出根据本发明各方面的特征提取和选择的关系图。
16.图1b是示出根据本发明各方面的示例头戴物(headgear)的系统框图。
17.图2是示出根据本发明各方面、用于实施系统和过程的环境的示例的系统框图。
18.图3是示出根据本发明各方面的控制器的示例的框图。
19.图4a和图4b是示出根据本发明各方面、由系统执行的方法的示例的流程图。
20.图4c是示出根据本发明各方面的临床相关特征的识别和应用的流程图。
21.图5示出现有临床结果测量值的局限性，因为一些测量值会受到回忆偏差的影响。
22.图6示出根据本发明一实施例的示例性输出读数。
23.图7示出根据本发明一方面额外的示例性输出读数。
24.图8是根据本发明一实施例的四(4)个任务和z评分相关性的热图。
25.图9示出根据本发明一实施例的变量和活动的热图，其展示了受试者间和活动间的定性差异。
26.图10示出根据本发明一实施例、来自图9的数据的斯皮尔曼图(spearman plot)，其证明了高度相关的参数可能用于测量面部生物学的相似方面。
27.图11示出根据本发明一实施例的类内相关性(icc)测量值，其测试参数的重测信度并推断临床显著性。
28.图12还示出根据本发明一实施例的icc测量值，其测试参数的重测信度并帮助推断临床显著性。
29.图13示出根据本发明一实施例的随机森林方法的图式。
30.图14示出根据本发明一实施例、用于测量模型对特定活动(例如，吞咽)进行分类的好坏程度的f1评分。
31.图15示出根据本发明一实施例、使用来自两轮特征工程化的参数改进的f1评分，从而产生针对一些活动的改进f1评分。
32.图16示出根据本发明一实施例以直方图格式呈现的改进的f1评分。
33.图17示出根据本发明一实施例在早上和晚上的f1评分。
34.图18示出根据本发明一实施例用于选择的算法选项的图表。
35.图19示出根据本发明一实施例用于不同带宽的吞咽值。
36.图20示出根据本发明一实施例的集群和对应信道。
37.图21示出根据本发明一实施例具有其他因素的振幅、频率和波段功率信道。
38.图22示出根据本发明一实施例用于基于早上测量的混合效应模型的协方差(cv)。
39.图23示出根据本发明一实施例在多次测量时间期间收集的各种成分的测量结果。
40.图24示出根据本发明一实施例用于个人、时间和任务的各种组合的z评分。
41.图25示出根据本发明一实施例在统一流形逼近与投影(umap)图表上绘制的任务。
42.图26示出根据本发明一实施例在统一流形逼近与投影(umap)图表上绘制的个人数据。
43.图27示出根据本发明一实施例在统一流形逼近与投影(umap)图表上绘制的时间数据。
44.图28示出根据本发明一实施例在多个信道上的吞咽值。
45.图29示出根据本发明一实施例跨多个信道的随机森林重要值。
46.图30示出根据本发明一实施例的集群统计。
47.图31示出根据本发明一实施例跨早上收集期间的任务的z评分。
48.图32示出根据本发明一实施例跨晚上收集期间的任务的z评分。
49.图33示出根据本发明一实施例用于跨任务的留一法交叉验证(loocv)的z评分。
50.图34示出根据本发明一实施例用于早上收集期间的标准偏差(sd)的z评分。
51.图35示出根据本发明一实施例跨晚上收集期间的任务的z评分。
52.图36示出根据本发明一实施例用于晚上收集的混合效应模型的cv。
53.图37示出根据本发明一实施例用于微笑收集的波段功率测量散布。
54.图38示出根据本发明一实施例用于晚上测量的集群icc热图。
55.图39示出根据本发明一实施例用于具有晚上测量的混合效应模型的集群icc热图。
56.图40示出根据本发明一实施例用于个人、任务和时间的t分布随机邻居嵌入(t-sne)图表。
57.图41示出根据本发明一实施例用于收集类的各种图表。
58.图42示出根据本发明一实施例用于个人、任务和时间的umap图表。
59.图43和44示出根据本发明一实施例用于跨各种信道的不同任务的确认结果。
60.图45是根据本发明一实施例的特征工程化过程的流程图。
61.图46示出根据本发明一实施例在频域和时域中的特征表示。
62.图47示出根据本发明一实施例从代表性信号观察到的定性差异。
63.图48示出根据本发明一实施例的特征的斯皮尔曼相关性。
64.图49示出根据本发明一实施例在16个模拟-perfo活动之间的定性差异。
65.图50示出根据本发明一实施例的特征的热图。
66.图51示出根据本发明一实施例用生物测定传感器装置的原始生物信号数据构建的cnn模型。
67.图52示出根据本发明一实施例针对具有用于生物测定传感器装置特征的级别分类f1评分的活动的活动图表。
68.图53示出根据本发明一实施例的特征归因分析的热图。
69.图54是根据一个或多个实施例用于训练机器学习模型的数据流。
70.图55是根据一个或多个实施例的计算装置的示例图。
71.如本文使用的，术语“包括”、“包含”、“具有”、“含有”或其任何其他变体旨在涵盖非排他性的包含，使得包括元素列表的过程、方法、物品或设备不只包括那些元素，还可包括未明确列出的或者这种过程、方法、物品或设备所固有的其他元素。术语“示例性”按“示例”而非“典范”的意义使用。另外，术语“第一”、“第二”等在此不表示任何顺序、数量或重要性，而是用于区分一个元件或结构与另一个。此外，本文中的术语“一个”和“一”并不表示数量的限制，而是表示所引用物品中的一个或多个的存在。
72.值得注意的是，为了说明的简单和清楚，附图的某些方面描绘了各种实施例的一般结构和/或构造方式。为了避免不必要地混淆其他特征，可省略众所周知的特征和技术的描述和细节。图中的元件不一定按比例绘制；一些特征的尺寸可相对于其他特征进行放大以改善对示例实施例的理解。例如，本领域普通技术人员将理解，侧视图不是按比例绘制的，且不应被视为代表不同部件之间的比例关系。提供侧视图以帮助示出所描绘的组件的
各种部件，并示出其彼此的相对定位。
具体实施方式
73.现在将详细参考在附图中示出的本发明的示例。只要有可能，在所有附图中将使用相同的附图标记来指代相同或相似的部分。术语“远侧”是指当将装置导入受试者体内时最远离用户的部分。相反地，术语“近侧”是指当将装置放入受试者体内时最接近用户的部分。在接下来的讨论中，诸如“大约”、“实质上”、“近似”等相关术语用于表示在规定数值的
±
10％的可能变化。
74.所公开主题的各个方面通常涉及接收基于个人的身体成分生成的信号。信号可是或可基于电活动、身体活动、生物测定数据、运动数据或个人身体的任何属性、与个人身体相关联的动作、个人身体的反应等生成。信号可由信号捕获装置生成，信号捕获装置可使用一个或多个传感器捕获信号。例如，所公开主题的各个方面涉及用于使用可穿戴生物测定装置来剖析受试者体内的生物测定线索的方法。还描述了用于早期检测患者体内的潜在疾病或病症的计算机介入的剖析，使得可获得早期诊断并实施治疗。还公开了示例可穿戴生物测定装置的各个方面。
75.所公开主题的实施方式包括用于识别人类受试者体内的生物测定线索的可穿戴系统。本文公开的系统和技术可用于解决呈现神经疾病或病症的患者中不可接受的检测和治疗缺口。特别地，公开了一种非侵入式可穿戴生物测定装置(例如，耳后装置)以检测患者的运动，特别是面部运动，诸如说话、咀嚼、吞咽、颈部运动和/或眼球运动。
76.所公开主题的实施方式提供了上传大量数据以供分析的方法。例如，可使用复杂的统计分析和基于机器的学习(或人工智能)来执行分析，因此可靠的结果可被确保、重新测试和理解。本文公开的系统和技术允许患者的舒适和依从性、用于大数据收集的大量输入/输出信道、具有高可靠性的机器辅助统计分析、病症或疾病的早期检测、对其的早期干预以及改进的临床结果。
77.所公开主题的实施方式可用于基于客观统计数据的收集来检测疾病和/或病症。例如，所公开主题的实施方式可能适用于神经系统疾病，例如，重症肌无力(mg)，其中亚临床线索可能未被检测到。
78.改进用于开发和分析可穿戴传感器数据的管线以及如何在临床环境中使用这些数据的框架对于在临床药物开发的所有阶段中改进准确的患者诊断和监测治疗反应来说至关重要。在可穿戴装置的开发以及可穿戴数据在临床环境中的处理和分析方式中都存在有挑战。本文公开的技术解决了这些问题，包括使用如图1b所示的信号捕获装置10(例如，测量肌电图(emg)、脑电图(eeg)和眼电图(eog)的睡眠辅助/生物测定传感器可穿戴装置)以在健康控制研究中评估面部和/或眼部肌肉运动的示例概念验证。公开了用于对旨在代表真实性能结果评估(perfo)的活动进行分类的无偏见的特征工程化方法的效用。公开了一种用于对由生物测定传感器装置生成的特征的效用进行分析和排序以及可如何使用该数据以对在该研究环境中执行的活动进行分类的方法。还公开了与基于特征的分析方法相比的时间序列分析对短时间内收集的生物信号数据的限制。
79.由生物测定传感器装置生成的数据可用于对个人的身体信息进行分类(例如，某些类型的颅部肌肉和眼球运动)。本文公开的数据表明，生物测定可穿戴装置可用于客观地
监测某些身体信息(例如，颅部运动，诸如眨眼率)。例如，这样的身体信息可包括在一些神经肌肉病症，诸如眼部重症肌无力中增加并且在帕金森病症中减少的运动。另外地，考虑到这些波形在临床环境中测量疾病的论证效用，由单个装置同时测量多种类型的波形是有优势的。
80.如本文公开的，特征的重要性分析可表明，使用rf模型分析哪些特征在对活动进行分类时是最重要的时，eog与对注视或眼球运动活动(向上、向左和向右)做出很大贡献相关联。eog、emg和其他信号在此类适应症中起着重要作用。信号伪影的存在可能会混淆波形贡献分析。例如，当执行咀嚼活动时，在信号分离后，与典型eeg频率重叠的残余emg活动持续存在于eeg信号中，导致对eeg波形贡献的过高估计。如本文讨论的，存在可能受益于可穿戴传感器技术的改进使用的许多神经肌肉和/或神经退行性症状。
81.本文公开的技术包括若干特征工程化和评估考虑。比较了根据处理过的传感器数据构建的模型，以及根据原始生物信号数据构建的模型的分类准确性(f1评分)。不管数据增强、正则化和其他用于对抗过度拟合的技术如何，观察到本文提供示例中使用的训练数据集太小，以至于无法训练可泛化的卷积神经网络(cnn)模型。然而，在本文公开示例中收集的数据的水平或数量可代表在临床实验室环境中收集的数据。因此，如本文进一步公开的，理解用于特定临床结果最合适的分析方法(例如，临床相关特征)是重要的。用于给定临床结果的分析方法(例如，临床相关特征)可能不同于另一个临床结果。
82.术语“算法”是指一系列定义的计算机可执行指令，其通常用于解决一类问题或执行计算。图1至3、图4a和图4b提供了用于实施算法和/或算法示例的部件。
83.术语“auc”是指曲线下面积，如本领域理解的，与统计分析相关。
84.术语“bci”是指测量中枢神经系统(cns)活动并将该活动转换为人工和/或数字输出以供分析的脑机接口系统。
85.术语“bmi”是指从一个人的体重和身高得出的身体质量指数值。bmi是将人大致分为体重不足、体重正常和超重的公认度量。bmi经常作为一个因素进行测量以输入临床试验。
86.术语“cnn”指的是一种卷积神经网络算法，其可接收输入，为输入中的各个方面/对象分配重要性(可学习的权重和偏差)，并且能够区分各个方面/对象。cnn可使用深度学习来执行生成和描述性任务，这通常使用包括图像和视频识别的机器视觉，以及推荐系统和自然语言处理(nlp)。cnn的层可包括输入层、输出层和隐藏层，隐藏层包括多个卷积层、池化层、全连接层和归一化层。消除限制并提高处理效率会产生一个有效得多且更易于训练的系统。
87.术语“cv”指统计学中的协方差，其中如果测量的变量是正相关的，则输出正数，如果它们是负相关的，则输出负数。高协方差可表明变量之间存在很强的关系。较低的值可表明变量之间存在较弱的关系。
88.术语“eeg”指脑电图，即大脑活动的生物特征评估。eeg可检测脑电波或大脑电活动中的异常。eeg可通过使用带有粘到你的头皮上的细线的小金属盘的电极来收集。电极可检测到由脑细胞活动产生的电荷。如本文公开的，可使用非侵入式装置(例如，耳后装置)来检测eeg数据。
89.术语“emg”指肌电图，即面部肌肉无力的生物特征评估。emg数据可通过使用附接
到皮肤或插入肌肉中的电极记录或接收肌肉组织的电活动，或其作为视觉显示或听觉信号的表示来收集。如本文公开的，可使用非侵入式装置(例如，耳后装置)来检测emg数据。
90.术语“eog”指眼电图，即眼球运动活动的评估。eog数据可通过测量用于调查眼球运动，特别是在生理学研究中、在接近眼球的点之间的电位来收集。如本文公开的，可使用非侵入式装置(例如，耳后装置)来检测eog数据。
91.术语“f1评分”指模型在数据集上作为二分类的准确性的测量值，其中0分表示较差，1分表示最好。f1评分可根据测试的精确率和召回率计算得出，其中精确率是真正结果的数量除以所有结果(包括那些未正确识别的)的数量，召回率是真正结果的数量除以应被识别为正的所有样本的数量。精确率可能是正预测值，召回率可能是诊断二分类中的灵敏度。f1评分可以是精确率和召回率的调和均值。
92.术语“假正”指模型错误地预测了正类别的结果。
93.术语“假负”指模型错误地预测了负类别的结果。
94.术语“icc”指在对组织成组的单元进行定量测量时可使用的类内相关系数。其可用于评估不同观察者测量相同数量所进行的定量测量的一致性或再现性。
95.术语“iso”是指与肌肉动作有关或表示肌肉动作的等距测量值，在该肌肉动作中产生张力，而没有肌肉收缩。
96.术语“loocv”指留一法交叉验证分析，即用于估计机器学习算法性能的程序。在loocv中，折叠的数量可能等于数据集中实例的数量。因此，可对每个实例应用一次学习算法，将所有其他实例用作训练集并将所选实例用作单项测试集。
97.术语“mg”指重症肌无力，即一种可通过应用公开的主题进行评估的神经退行性疾病。
98.术语“psg”指多导睡眠图，即一种使用多参数测试作为睡眠医学中的诊断工具的睡眠研究。在psg分析期间，可记录和/或分析脑电波、血氧水平、心率、呼吸以及眼球和腿部运动。
99.术语“随机森林”指将许多决策树组合成单个模型。单独地，决策树(或人类)做出的预测可能不准确，但这些预测的组合可能会提高它们的整体准确性。随机森林或随机决策森林是一种用于分类、回归和其他任务的集成学习方法，其是通过在训练时构建大量决策树来进行操作的。对于分类任务而言，随机森林的输出可能是大多数树所选择的类别。
100.术语“rms”指均方根，即变化量大小的统计测量值。可为一系列离散值或连续变化的函数计算rms。
101.术语“sd”指标准偏差。低标准偏差表示值趋向于接近集的均值(也称为预期值)，而高标准偏差则表示值分布在更宽的范围内。
102.术语“频谱图”指信号的频谱随时间变化的视觉表示。
103.术语“真正”指其中模型正确地预测了正类别的结果。
104.术语“真负”指其中模型正确地预测了负类别的结果。
105.术语“z评分”指给定数据偏离均值多少个标准偏差的值。如果z评分等于0，则数据处于均值处。正z评分表示原始评分高于均值平均数。负z评分表示原始评分低于均值平均数。
106.等张和等长收缩期间emg信号的分类技术回顾；传感器，2016年8月17日；16(8)：
1304；基于人工神经网络用于手势的实时表面emg模式识别，传感器，2017年7月；19(14)：3170；以及emg信号分析技术：检测、处理、分类和应用，线上生物学学报，2006年；8：11
–
35，其各自通过引用并入本文并与emg和/或eog相关。
107.harpale,v.k和vinayak k.bairagi.，“用于癫痫检测的eeg信号的时域和频域分析：回顾”，2016年微电子、计算和通信(microcom)国际会议(2016)：1-6通过引用并入本文并与如本文讨论的算法相关。
108.使用可穿戴传感器数据检测生理变化中的挑战(scipy 2019)，通过引用并入本文并与时间序列数据的解释相关。
109.wo2016110804a1通过引用并入本文并描述了与本发明原理结合使用的示例性移动可穿戴监控系统，包括头戴装置。
110.根据公开主题的实施方式，如图1a所示，签名捕获装置10可用于捕获与个人身体相关联的信号。信号可基于身体的电活动、身体运动、生物特征信息、温度信息、动作、反应或可捕获为信号(例如，作为电信号)的任何属性。信号捕获装置10可包括一个或多个传感器、电极、相机或用于捕获基于个人身体的信号的其他部件。由信号捕获装置10捕获的信号可包括一个或多个不同信号30(例如，不同的信号a 32、不同的信号b 34和不同的信号c36)。
111.替代地，由信号捕获装置10捕获的信号可通过信号处理模块20进行处理。信号处理模块20可应用信号过滤技术解析来自从信号捕获装置10接收的原始数据的不同信号30。例如，信号处理模块20可应用盲信号分离、盲源分离、离散变换、傅里叶变换、积分变换、双侧拉普拉斯变换、梅林变换、哈特莱变换、短时傅里叶变换(或短期傅里叶变换)(stft)、矩形掩码短时傅里叶变换、线调频小波变换、分数阶傅里叶变换(frft)、汉克尔变换、傅里叶-布罗斯-艾格尼泽变换、线性正则变换等中的一种或多种来从信号捕获装置10所提供的信号中识别不同的信号30。
112.不同的信号30可用于生成多个提取特征40(例如，提取特征a42、提取特征b 44
……
提取特征n 46)。提取特征40可单独地或彼此组合地基于提取特征40的属性生成。例如，提取特征40可基于以下中的一个或多个：信号频率波段功率(例如，对于跨多个频率的不同信号30中的每一个而言)、谱熵、峰值频率收缩、峰值频率、平均振幅、百分比绝对振幅、标准偏差、绝对振幅标准偏差、均方根、初始偏转最大振幅、初始偏转极性、去趋势波动赫斯特参数、petrosian分形维数、近似熵、过零率、振幅峰态、振幅偏斜、可感知的开始时间、振幅方差和/或任何适用的基于信号的属性。
113.本文公开的实施方式可用于基于提取特征40识别针对给定临床输出的临床相关特征50(例如，临床相关特征52和/或临床相关特征54)。例如，第一组提取特征对于识别第一临床输出(例如，疾病或病症诊断或治疗)而言可能是最佳的，而第二组提取特征对于识别第一临床输出可能不是最佳的，但对于识别第二临床输出来说可能是最佳的。因此，本文公开的技术可用于基于提取特征40、不同的信号30、信号处理模块20、信号捕获装置10、临床输出、个人等中的一个或多个识别针对给定临床输出的临床相关特征50。例如，信号捕获装置10可能具有很好地生成第一特征的灵敏度质量，但可能不够灵敏以生成第二特征。因此，当使用信号捕获装置10时，第一特征可识别为临床相关特征，而第二特征则可能不被识别为临床相关特征。
114.类似地，与跨患有帕金森病的个人具有较高标准偏差的第二特征相比，可使用跨患有帕金森病的个人具有低标准偏差的第一特征来识别给定的临床结果(例如，帕金森病的诊断)。因此，第一特征可识别为临床相关特征，因为在与第二特征相比时其可更一致地，例如，预测帕金森病的存在。
115.可基于针对测试用户或测试用户群体收集和分析的信号数据来识别临床相关特征50。测试用户群体可以是测试用户的任何群组或具有与一个或多个个人重叠的属性(例如，人口统计属性)的一组测试用户。例如，一个或多个信号捕获装置10可用于针对一个或多个测试用户生成不同信号30。可根据这些不同信号30生成提取特征40。可针对每个个人和给定的临床输出(例如，病症的检测)来识别临床相关特征50。如本文公开的，这些临床相关特征50可满足或超过一个或多个可靠性阈值，使得可依赖于临床相关特征50来产生具有置信度的临床输出。基于来自测试用户中的一个或群体的数据识别的临床相关特征50可被授权以基于临床输出的置信度进行临床试验使用。一个或多个个人可参与这样的临床试验，使得对应于针对那些一个或多个个人的临床相关特征50的数据可与参考数据(例如，来自测试用户中的一个或群体的数据)进行比较。
116.另外地或替代地，针对给定个人获得的数据和/或针对多个个人的组合数据可用作给定试验中的端点。例如，临床相关因素50的识别可能是临床试验中的端点。端点可提供信号捕获装置10在临床试验中测试的质量和/或能力的指示。端点可替代地提供临床相关因素50的指示，其可靠地提供给定患者人群、疾病或病症类型和/或信号数据的临床输出。
117.另外地或替代地，可将来自个人的数据(例如，信号数据、离散信号30、提取特征40和/或临床相关特征50)与来自一个或多个其他个人的对应数据进行比较。例如，可从临床试验中的多个用户中的每一个收集这样的数据。在该示例中，可将接受治疗(例如，药物、疗法等)的一个或多个个人的数据与接受替代治疗(例如，不同的剂量、持续时间、或药物或疗法的类型)，未接受治疗(例如，安慰剂组)的一个或多个个人的相应数据和/或参考数据集(例如，对照数据)进行比较。根据一个实施方式，可将第一次与给定个人相关联的数据与第二次来自该个人的数据进行比较。
118.随时间来自不同个人(例如，接受不同治疗、安慰剂、对照组等)或同一个人的数据(例如，信号数据、离散信号30、提取特征40和/或临床相关特征50)的比较可用于识别临床相关因素。临床相关因素可以是，例如，给定治疗的效果、治疗剂量或治疗时间量的效果、给定疾病或病症在不同个人中表现的差异(例如，针对最佳治疗计划)、集群或分组的标识等。
119.根据本文公开的示例实施方式，可获得个人的大脑、神经系统和/或肌肉的电信息。另外地或替代地，可获得个人身体(例如，个人面部或其部分)的感觉(例如，视觉)信息(例如，视频、图像、红外图像、热图像、振动等)。根据实施方式，头戴物或可穿戴装置(例如，信号捕获装置10)可用于从个人身体收集信号。头戴物或可穿戴装置可包括一个或多个传感器以捕获电信息和/或感觉信息。应当理解，虽然在本文中使用术语头戴物和/或可穿戴装置，但是根据本文公开的技术可使用配置为捕获在身体部位(例如，个人的面部或其部分)处的电或感觉信息的任何仪器。头戴物和/或可穿戴装置可包括配置为搁在和/或放置在个人的头部或身体部位处或周围的任何装置。头戴物和/或可穿戴装置可固定或不固定到个人身体的一部分。
120.根据示例实施方式，头戴物和/或可穿戴装置可包括用于捕获电信号的传感器。这
样的电信号可包括脑电图(eeg)数据、眼电图(eog)数据和/或肌电图(emg)数据。此外，示例头戴物和/或可穿戴装置可包括用于捕获个人输入数据，诸如面部数据(例如，面部识别数据)、眼球跟踪数据、运动数据、环境数据(例如，热数据)等的感觉信息传感器(例如，图像传感器、视频传感器、红外传感器、热传感器、振动传感器等)。而且，控制器可接收信号数据(例如，eeg、eog、emg以及个人输入数据)。
121.控制器可配置为对信号数据(例如，eeg、eog、emg和个人输入数据)进行分类，该信号数据可用于识别临床结果。例如，信号数据可用于识别个人是否患有一种或多种病。替代地或另外地，信号数据可用于确定个人的病的性质以提供针对个人的治疗计划。根据本文公开的实施方式，可使用机器学习技术来执行分类。此外，在一些实施方式中，系统和方法可进一步将信号数据(例如，eeg、eog、emg数据和个人输入数据)组合成潜在症状的分类。
122.本文公开的技术可用于确定症状的范围和/或对应于该范围的治疗计划。根据公开主题的实施方式，可穿戴生物测定装置(例如，头戴物和/或可穿戴装置)可用于检测和/或治疗个人的疾病或病症。公开的主题可用于早期识别其表现可能是临床前的、沉默的和/或未诊断的疾病或病症。本文公开的技术广泛应用于量化一系列的神经和肌肉疾病和病症。
123.根据公开主题的实施方式，可实施在患者摄入、统计分析、可穿戴电子器件的使用、人工智能(ai)、算法、基于机器的学习、统计分析和测量人类受试者的可穿戴装置和/或电子模式的领域中的技术以确保与个人和/或疾病或病症相关的无偏见的客观度量。客观数据驱动的分析可用于消除不准确的患者自我报告和潜在的统计噪声，以实现可靠的度量，从而主动地识别人类疾病或病症。尽管此类信息可在摄入期间主观查询进行补充和/或用于确定基线，但是客观分析也可用于更准确地识别疾病或病症和/或提供治疗计划。
124.根据公开主题的实施方式，个人中生物测定线索的高可靠性测量可用于检测和/或治疗疾病或病症。一个或多个传感器(例如，放置在头戴物处或周围)可用于收集个人在给定时间点和/或在一段时间内的生物特征测量。图1b示出框图，其示出了根据本发明各个方面用于实施系统和方法的环境100的示例。在一些实施方式中，环境100可包括个人101、头戴物103和控制器105。头戴物103可对应于图1a的信号捕获装置10。
125.个人101可以是任何人。在一些实施方式中，个人101可以是用于收集控制数据的基线个人。在一些实施方式中，个人101可以是内科患者。例如，个人101可能是患有神经肌肉病症，诸如重症肌无力的患者。应当理解，尽管本文通常引用“头戴物”和“可穿戴装置”，但是用于收集电和/或个人输入数据的装置可定位在个人的头部或其他身体部位之上、之下、周围或部分周围或其附近的任何适用位置。例如，头戴物103可指可搁置在个人耳朵上的眼镜。作为另一个示例，头戴物103可指插入个人的耳朵中或在其周围的耳机。
126.头戴物103可以是包括一个或多个传感器的装置，该传感器捕获个人101表示随意肌操作的信息。传感器可收集电信息和/或个人输入信息(例如，面部数据(例如，面部识别数据)、眼球跟踪数据、运动数据、环境数据(例如，热数据)等)。在一些实施方式中，头戴物103可包括电传感器111、感觉信息传感器113和/或装置控制器115。电传感器111可配置为捕获eeg数据、eog数据和emg数据。感觉信息传感器113可包括面部识别传感器、眼球跟踪传感器、图像传感器、视频传感器、红外传感器、热传感器、振动传感器。
127.装置控制器115可以是通过一个或多个线或无线通信信道121连接到控制器105的
计算装置。通信信道121可使用各种串行、并行和/或传输(例如，视频传输)协议。装置控制器115可包括用于执行根据本发明的操作的硬件、软件、固件或其组合。操作可包括从电传感器111和/或感觉信息传感器113接收eeg、eog、emg、个人输入数据，诸如面部数据(例如，面部识别数据)、眼球跟踪数据、运动数据、环境数据(例如，热数据)等，以及使用通信信道121将数据传输至控制器105，该通信信道121使用一种或多种传输协议。
128.控制器105可包括用于执行根据本发明的操作的硬件、软件或其组合。由控制器105执行的操作可包括接收、过滤和归一化由头戴物103的装置控制器115传输的数据。操作还可包括通过确定一个或多个描述性类别和相应的严重性来对eeg、eog、emg和/或个人输入数据进行单独分类。类别可以是症状或病症的种或属。在一些实施方式中，可使用机器学习技术来执行分类。例如，复杂的统计数据的精心排列可使用随机森林模式来解释，如本文进一步讨论的。
129.公开主题的实施方式包括通过确定一个或多个描述性类别或病症来对eeg、eog、emg和个人输入信息的组合进行分类。在一些实施方式中，可使用机器学习技术来执行分类，以对使用数据的个人分类确定的症状或病症进行分类。在一些实施方式中，操作还包括确定对应于一种或多种病症及其相应严重性的治疗计划。
130.例如，图1b示出系统图，其示出根据本发明各个方面的头戴物103的示例。头戴物103可与上面讨论的头戴物和/或可穿戴装置相同或相似。在一些实施方式中，头戴物103可包括装置控制器115、电传感器111和感觉信息传感器113，其可与之前描述的那些相同或相似。
131.图2是示出用于实施本文公开的系统和过程的环境示例的系统框图。电传感器111可包括任何适用的传感器，诸如，例如，eeg传感器205、eog传感器207和emg传感器209，其生成可与之前所述相同或相似的eeg数据、eog数据和emg数据。尽管eeg传感器205、eog传感器207和emg传感器209示为单独的传感器，但应当理解eeg传感器、eog传感器和emg传感器中的一个或多个可进行组合。
132.感觉信息传感器113可包括图像传感器211和眼球跟踪传感器213，其生成面部识别数据和眼球跟踪数据，它们可与之前描述的那些相同或相似。尽管图像传感器211和眼球跟踪传感器213被示为单独的传感器，但是应当理解图像传感器211和眼球跟踪传感器213可进行组合。
133.装置控制器201可以是图1b中的装置控制器115或其一部分，并且可以是处理由eeg传感器205、eog传感器207、emg传感器209、图像传感器211和眼球跟踪传感器213生成的数据的一个或多个装置。在一些实施方式中，装置控制器201可包括处理器225、存储器装置227、存储装置229、通信接口231、输入/输出(i/o)处理器233和数据总线235。通常，装置控制器201可包括信号处理模块20或信号处理模块20可独立于装置控制器201和/或信号捕获装置10。例如，信号处理模块20可以是远离或不同于信号捕获装置10的分析部件的一部分。
134.在一些实施方式中，处理器225可包括一个或多个微处理器、微芯片或专用集成电路。存储器装置227可包括在程序指令的执行期间采用的一种或多种类型的随机存取存储器(ram)、只读存储器(rom)和高速缓冲存储器。处理器225可使用数据总线235与存储器装置227、存储装置229、通信接口231、图像处理器和/或空间传感器通信。存储装置229可包括存储信息和程序指令的计算机可读、非易失性硬件存储装置。
135.例如，存储装置229可以是闪存驱动器和/或硬盘驱动器中的一个或多个。发射器/接收器可用于传送信号并且可以是将数据编码/解码成无线信号，诸如测距信号的一个或多个装置。
136.处理器225可执行程序指令(例如，操作系统和/或应用程序)，其可存储在存储器装置227和/或存储装置229中。处理器还可执行传感器模块251的程序指令。传感器模块251可包括处理由eeg传感器205、eog传感器207、emg传感器209、图像传感器211和眼球跟踪传感器213生成的数据的程序指令。处理可包括过滤、放大和归一化数据，以例如去除噪声和其他伪影。应当注意的是，装置控制器201仅代表各种可能的等效计算装置，其能够执行本文所述的过程和功能。就此而言，在一些实施方式中，由装置控制器201提供的功能可以是通用和/或专用硬件和/或程序指令的任意组合。在每个实施方式中，可使用标准编程和工程化技术来创建程序指令和硬件。
137.图3示出功能框图，其示出根据本发明各个方面的控制器105。控制器105可与本文之前描述的相同或相似。控制器105可包括计算装置306，其具有处理器305、存储器装置307、存储装置309和i/o处理器325，以及数据总线331。而且，控制器105可包括输入连接(例如，图像输入连接)和/或从图像处理器接收和/或传输图像信号的输出连接(例如，图像输出连接)。此外，控制器105可包括从i/o处理器325接收/传输数据信号的输入/输出连接。
138.在实施方式中，控制器105可包括一个或多个微处理器、微芯片或专用集成电路。存储器装置307可包括在程序指令的执行期间采用的一种或多种类型的随机存取存储器(ram)、只读存储器(rom)和高速缓冲存储器。另外地，控制器105可包括一个或多个数据总线331，控制器105通过该总线与存储器装置307、存储装置309和i/o处理器325通信。
139.存储装置309可包括存储信息和程序指令的计算机可读、非易失性硬件存储装置。例如，存储装置309可以是闪存驱动器和/或硬盘驱动器中的一个或多个。存储装置309可包括用于经由通信数据总线331进行访问的参考数据310。
140.i/o处理器325可连接到处理器305。i/o处理器325可包括使个人能够与处理器305(例如，用户界面)交互的任何装置和/或使处理器305能够使用任何类型的通信链接与一个或多个其他计算装置通信的任何装置。i/o处理器325可根据各种数据传输协议生成和接收，例如，数字和模拟输入/输出(例如，电子信号)。
141.处理器305执行程序指令(例如，操作系统和/或应用程序)，其可存储在存储器装置307和/或存储装置309中。处理器305还可执行模块351的程序指令。
142.控制器105可包括信号处理模块20或信号处理模块20可独立于控制器105。例如，信号处理模块20可以是远离或不同于信号捕获装置10的分析部件的一部分。控制器105可包括病症分类模块355和/或传感器分类模块359。病症分类模块355和/或传感器分类模块359可应用本文公开的统计分析技术来识别和/或应用临床相关特征以用于病症和/或传感器信号分类。
143.控制器105可包括通信接口311，其促进控制器间或控制器内通信(例如，经由数据总线331进行)。控制器105还可包括用于与i/o处理器325通信的一个或多个i/o装置333。根据一个实施方式，i/o装置可包括装置控制器201和/或装置控制器115。
144.应当注意的是，控制器105仅代表各种可能的等效计算装置，其能够执行本文所述的过程和功能。就此而言，在一些实施方式中，由控制器105提供的功能可以是通用和/或专
用硬件和/或程序指令的任意组合。在每个实施方式中，可使用标准编程和工程化技术来创建程序指令和硬件。
145.图4a和图4b包括流程图400，其示出本文公开的一个实施方式的示例。如本文讨论的，公开主题的实施方式可用于基于从信号数据提取的特征来识别给定临床输出的临床相关特征。图4a和图4b描述了与使用可穿戴装置以基于可穿戴装置上的传感器生成信号数据相关的示例。图4a和图4b示出根据与本发明一致的各种实施方式的系统、方法和计算机程序产品的可能实施方式的功能和操作的示例。
146.图4a或图4b的流程图中的每个框可表示程序指令的模块、段或部分，其包括用于实施所示功能和操作的一个或多个计算机可执行指令。在一些替代实施方式中，在流程图的特定框中所示的功能和/或操作可不按图4a或图4b中所示的顺序发生。
147.例如，连续显示的两个框可基本上同时执行，或者框有时可以相反的顺序执行，这取决于所涉及的功能。还应当注意，流程图的每个框和框中框的组合可由执行指定功能或动作的基于专用硬件的系统或专用硬件和计算机指令的组合来实施。
148.在流程图400的401处，受试者可执行面部运动。可基于请求、基于受试者的自然状态等来执行面部运动。应当理解，尽管本文具体公开了面部运动，但是也可观察任何身体成分、动作或性质作为公开主题的一部分。在405处，可从可穿戴装置上的一个或多个eeg传感器获得eeg信息。可基于经由电极的接触式或非接触式的信号接收来收集eeg信息。在409处，可从可穿戴装置上的一个或多个eog传感器获得eog信息。可基于经由电极的接触式或非接触式的信号接收来收集eog信息。
149.在413处，可从感觉信息传感器，诸如图像传感器获得面部信息。面部信息可包括运动、属性信息(例如，温度、长度、弹性、角度等)等。面部信息可使用基于触发(例如，对面部信息的请求、面部动作或变化等)的感觉信息传感器捕获或可按连续的基础捕获。在418处，可从眼球跟踪器传感器获得眼球位置信息。眼球位置信息可包括运动、属性信息(例如，运动的程度、运动的方向、扩张、角度等)等。眼球位置信息可使用基于触发(例如，对眼球位置信息的请求、动作或变化等)的感觉信息传感器捕获或可按连续的基础捕获。
150.在421处，可过滤和/或归一化eeg信息、eog信息、面部信息和/或眼球位置信息中的一个或多个。可基于本文公开的任何适用技术来过滤和/或归一化信息。信息可进行过滤和/或归一化以去除噪声、提取性质等。在425处，可对eeg信息进行分类。在429处，可对eog信息进行分类。在433处，可对面部信息进行分类。在437处，可对眼球位置信息进行分类。
151.在441处(图4b中所示)，可组合eog、面部和眼球跟踪信息。在445处，可组合eeg信息和面部信息。应当理解，可基于临床结果组合信息。例如，对于不同的临床结果而言，图4b的441和445可不同，使得与图4a和图4b中所提供的信息不同的信息可进行组合。应当理解，与个人相关的任何信号信息都可基于例如，图1a、图4a和图4b中所示的流程进行统计学评估。
152.在449处，可将组合的eog信息、面部信息、眼球跟踪信息和/或其他组合信息与参考信息进行比较。如图1a中所示，比较可基于来自eog、eeg、面部信息、眼球位置信息或任何其他适用信息的提取特征。比较可基于确定为图1a中所示的临床相关特征的提取特征。
153.在453处，可使用基于感测信息的临床相关特征来确定受试者的症状。例如，可基于组合的eog信息、面部信息和眼球跟踪信息以及组合的eeg和面部信息以及参考信息来确
定症状。在457处，可确定是否已经确定症状。如果尚未确定症状，则可重复本文所讨论的在401开始的步骤(例如，如图4a和图4b中的“b”所示)。如果在457处确定了症状，则在461处，可基于，例如，第二参考信息确定症状的范围。在465处，可基于第三参考信息和/或第二参考信息(例如，还基于症状的范围)确定治疗计划。图4c示出用于识别和应用临床相关特征的流程图470。在472处，可接收多个提取特征。如本文所讨论的，多个提取特征可基于从个人身体或关于个人身体收集的信号。可在采取动作或观察特定身体部位时(例如，愤怒的印象、咀嚼、眼球运动、眼睛-等距(eye-iso)、吸吮-等距、下巴、向左注视-左、向左注视-右、向右注视-左、向右注视-右、鼓起-等距、悲伤印象、微笑-等距、惊讶印象、吞咽、说话、向上注视、皱起-等距等，如表7中进一步描述的)。因此，给定的提取特征可基于给定类型的信号(例如，ecg、eeg等)、收集信号时的动作、收集信号时的时间、个人等。在472处，可接收多个可用提取特征。
154.在473处，可识别待应用于多个提取特征的统计过滤技术。统计过滤技术可以是单一技术或者可以是同时应用的多种技术。可识别统计过滤技术以输出临床相关特征，使得临床相关特征可用于最好地确定临床结果。如本文所讨论的，临床结果可以是疾病或病症的识别(例如，在图4b的453处)和/或可以是针对识别的疾病或病症的治疗计划(例如，图4b的465)。临床结果可基于客观数据(例如，基于传感器收集的信号)。
155.在474处，可将在473处识别的一种或多种统计过滤技术应用于在472接收的多个提取特征。统计过滤技术可包括但不限于，斯皮尔曼相关性474a、icc 474b、随机森林算法474c、cv 474d、auc 474e、聚类474f、z评分474g等或其组合。在本文中进一步讨论了这些统计过滤技术。
156.在476处，可基于在474处应用的统计过滤技术来识别临床相关特征。在从在472处接收的多个特征中识别临床相关特征中，可仅使用基于，例如，给定临床结果的临床相关特征来运行临床试验或其他程序。识别的临床相关特征可以是可以可靠的方式用于测试临床结果的特征，使得识别的临床相关特征可为给定的临床结果提供可靠的数据。可靠性可满足针对给定临床结果的给定可靠性阈值。给定的可靠性阈值可以是基于与数据相关联的斯皮尔曼相关性、icc、随机森林结果、cv、auc、聚类和/或z评分中的一个或多个确定的数值。例如，给定的可靠性阈值可基于与给定的原始数据或特征集的斯皮尔曼相关性、icc、随机森林结果、cv、auc、聚类和/或z评分中的一个或多个相关联的最小值或最大值。原始数据可对应于在427处接收到的特征。因此，可靠性阈值可以是单个值(例如，二进制评分、比率、百分比等)或一组值(例如，用于斯皮尔曼相关性、icc、随机森林结果、cv、auc、聚类和/或z评分中每一个的一个)，其指示给定组的临床相关特征为给定的临床结果提供相关数据。在478处，可应用临床相关特征来确定临床相关结果。
157.应当理解，虽然图4c提供了一组示例统计过滤技术(斯皮尔曼相关性、icc、随机森林结果、cv、auc、聚类和/或z评分)，但也可应用一种或多种额外的技术，并且该组统计过滤技术不限于本文公开的那些。指示一个或多个特征可靠性的任何统计过滤技术可用于识别临床相关特征。
158.根据所公开主题的实施方式，在图4c的476处识别临床相关特征可用于确定基于传感器的装置(例如，图1a的信号捕获装置10)的边界和/或质量，该基于传感器的装置用于收集用于确定在472处接收的提取特征的一个或多个信号(例如，提供给信号处理模块20的
不同信号30或多个信号)。通过应用本文公开的技术(例如，协议)，在477处，针对给定临床结果的临床相关因素(例如，特定病症的预测和/或针对特定病症的治疗)可指示基于传感器的装置的边界和/或质量。例如，可识别基于可穿戴装置和给定临床结果的临床相关特征。基于临床特征(例如，一个或多个频率、一种或多种类型的电信号信道、一个或多个谱熵、一个或多个峰值频率、一个或多个振幅、一个或多个标准偏差、一个或多个均方根、一个或多个偏转、一个或多个波动、一个或多个分形维数、一个或多个交叉率、一个或多个振幅峰态、一个或多个偏斜、一个或多个开始时间、一个或多个方差等)，可确定对应的基于传感器的装置是否能够可靠地输出临床结果(例如，如果提取特征的阈值数量满足可靠性阈值，如果临床相关阈值超过可靠性阈值，等等)。示例
159.在本文中参考示例公开了公开主题的实施方式。应当理解，本文公开的实施方式不仅限于示例中公开的数据、顺序或细节。
160.示例1
161.图5包括图表500，其示出现有临床结果测量值的局限性，因为一些测量值会受到回忆偏差的影响。例如，临床专业人员可使用图表500来接收基于症状504的主观医师评分502。作为一个示例，医疗保健提供者可通过观察保持视觉方向的秒数来检查上睑下垂(向上缓解)。主观身体评分可由医疗保健提供者确定。然而，这种身体评分和对应的评估容易出现错误、回忆偏差、遗漏的信息并且可能导致误诊。
162.进行了一项研究，以完善具有可靠性的生物测定数据采集活动。收集了客观数据，并且根据以下目标设计了研究：
163.1)了解生物测定装置的数据质量和缺失(丢弃值)；
164.2)了解生物测定装置的重测信度；以及
165.3)了解生物测定装置的量化和区分各种面部肌肉活动的能力。
166.如本文公开的，上述目标是基于例如，图4c中公开的统计分析来确定的。
167.研究共选择了16项面部和眼球运动任务(吞咽、咀嚼、说话、面部表情、闭眼、注视不同方向)。总共有n＝10个对照(controls)参与了该研究。在研究期间，通过具有31个变量的生物测定装置接收数据。对测量值进行了初始数据探索。
168.根据公开主题的实施方式，icc和cv分析捕获变量(例如，测试的31个变量)之间的重测能力。使用icc和/或cv，基于任务(动作)的所有变量的可预测性用多项逻辑回归模型进行评估。例如，解决了分析“吞咽”任务(有利活动)的临床重点。
169.收到来自eog传感器的额外测量。传感器放置在靠近个人的生物测定装置上。总共60个概要变量和icc分析包括一些具有高重测能力的附加变量。进行模型选择(例如，在图4c的473处)。模型选择的结果将最佳模型(例如，基于信号和/或生物测定装置)识别为随机森林模型，用于预测活动和受试者。
170.图6示出使用生物测定装置的一个或多个传感器收集的示例性输出读数。如图表602中所示，在执行闭眼任务动作时从各种传感器收集α波(0.3至35hz)。如图表604中所示，在眨眼任务期间从多个传感器收集垂直eog数据(0.3-10hz)。如图表606中所示，在向左注视和向右注视任务期间收集水平eog数据(0.3-10hz)。如图6中所示，使用多个传感器收集面部emg(10-100hz)，同时执行磨牙任务。如图表610中所示，在执行唤醒任务时收集皮肤电
活动(eda)(皮肤电反应)(0.1-1.5hz)。
171.图7示出使用生物测定装置的一个或多个传感器收集的示例性输出读数。图7中所示的输出读数是使用装置(例如，信号捕获装置10)收集的，该装置可使用针对多导睡眠图(psg)验证的脑活动、眼球运动、面部肌肉等的波信号可靠地测量面部生物学的各个方面。在702处收集在微笑任务期间收集的振幅(μv)，在704处收集在鼓起脸颊期间收集的振幅，在706处收集在紧闭眼睛时收集的振幅，并且在708处收集在咀嚼苹果时收集的振幅。在图表702、704、706和708中所示的振幅显示在经过的时间(秒)上。
172.图6和/或图7中所示的信号可不同于图1a中的信号30和/或可被提供给信号处理模块20以生成不同信号30。基于任务和个人受试者的可预测性使用随机森林模型、使用f1评分进行分析。还获得了z评分。z评分在本文中被呈现为热图。变量和活动(任务)的热图展示了定性的受试者间和活动间的差异，如图8和图9中所示。
173.图8是四个任务与z评分相关性的热图。图8包括提供示例特征描述和评论的图表802。特征描述(例如，分形维数、样本熵、峰值频率收缩、谱熵和波段功率)可从例如，图6和图7中所示的信号提取(例如，提取特征40)。与图表802中的特征相关联的评论提供了对各个图的解释。图表804示出用于多个特征804c中每一个的z评分804b，其是基于按任务(例如，微笑、鼓起脸颊、闭上眼睛、咀嚼)、个人(人)和时间(例如，早上/晚上)划分的归一化的原始数据计算的。z评分使用范围为-3至+3的值分布，并且根据图例804a为每个值分配一种颜色。
174.类似地，图9示出变量和活动的热图，其展示了定性的受试者间和活动间的差异。图表904示出用于多个特征904c中每一个的z评分904b，其是基于按任务(例如，愤怒、咀嚼、眼睛、眼睛-等距、吸吮-等距、下巴、向左注视-左(l注视l)、向左注视-右(l注视r)、鼓起-等距、悲伤、微笑-等距、惊讶、吞咽、说话、向上注视、皱起-等距，如表7中进一步描述的)、个人(人)和时间(例如，早上/晚上)划分的归一化原始数据计算的。z评分使用范围为-3至+3的值分布，并且根据图例904a为每个值分配一种颜色。
175.图10示出特征1000b中每一个的斯皮尔曼相关性图表1000，其示出特征1000b与其自身的相关性。斯皮尔曼相关性图表1000可用于识别特征之间的关系。高度相关的特征可能测量面部生物学的相似方面和/或由信号捕获装置10(例如，不同信号30的类似方面)收集的其他信号(例如，电活动)。斯皮尔曼相关性图表1000可用于识别聚类1000a，使得可省略或以其他方式减少在同一聚类内的相似特征，以减少重复分析。例如，可应用基于聚类的减少来识别临床相关特征50。
176.图11示出icc测量值1100，图12示出icc测量值1200，其用于测试参数的重测信度和推断临床显著性的特征1200a。icc测量值1100被示为热图并对应于具有固定年龄、bmi和性别的基于早晨测量的特征1100a。分别如图例1100b和1200b中所示，icc测量值可被测量为低临床显著性(例如，0)至高临床显著性(例如，1)。
177.icc测量值可以是每个受试者(个人)的，使得高临床显著性(例如，1)可指示如果对受试者重复给定的测量，则应该预期类似的数据。低临床显著性(例如，0)可指示对于每个受试者而言，如果对受试者重复给定的测量，则应该预期不同的数据。对于给定的临床结果而言，较高的临床显著性(例如，高于临床显著性阈值)可能导致给定的图被指定为临床相关的(例如，作为临床相关特征50)。在临床试验中可能需要使用更高的临床显著性(例
如，在0.6至1的范围内)。icc测量值可用于聚类特征，分别如1100c和1200c处所示。具有较高临床显著性的特征聚类可被指定为临床相关的(例如，作为临床相关特征50)。
178.图13示出根据公开主题实施方式的示例预测模型1300(例如，随机森林模型)。如图13中所示，自助(bootstrap)采样可用于建立模型(例如，决策树或网络)。对于自助采样而言，可选择示例的r(百分比)(例如，在经典实施方式中为0.63)，并且可分成随机子样本。如图所示，源样本1300a可被分成子样本1300b。对于每个子样本1300b而言，可在1300c处基于随机的m个特征的集合(协变量)构建决策树，并且结果可落入叶中。在1300d处，可用收集并且平均化的来自所有构建树的结果执行自助聚集。在1300e处，可从1300d处预测中的每一个得出最终的预测。
179.为了优化f1评分，尝试了几种机器学习方法，并且随机森林优于其他模型。数据被分为：80％进行训练用于拟合模型并且20％用于测试。随机森林构建了大量决策树，以用训练数据集和个别活动/受试者的输出加权和预测来预测个体活动/受试者。
180.为了定量评估随机森林的预测准确性，使用了f1评分。f1评分测量模型对特定活动，如吞咽进行分类的好坏程度，如图14和图15中的结果和计算所示。使用来自两轮特征工程化的参数，观察到一些活动的f1评分的提高，如图15和图16中所指示的。如图14所示，经由计算和结果1400，基于真正、假负和假正测试结果输出0.987的召回和0.975的精度1400a。在1400b处输出0.98的f1评分。1400c示出用于输出f1评分的标准的模型。
181.图15示出图表1500，按早上、晚上和总体划分f1评分结果。如图所示，基于所使用的信号捕获装置10，吞咽具有为0.98的最高总f1评分，并且眼睛-等距具有为0.39的最低总f1评分。图16示出图1600，其具有来自使用cnn模型、第一方差模型和第二方差模型的随机森林模型结果的结果。如图所示，基于所使用的模型，在与其他特征相比时，某些特征(参数)显示出改进。图17示出图表1700，其具有使用来自特定任务(活动)的所有变量来预测每个受试者，或者使用所有给定的活动来预测受试者的研究结果，其是按早上和晚上的评分划分的。如图所示，咀嚼具有早上和晚上最高的组合评分(分别为0.79和0.90)，并且悲伤情绪具有早上和晚上最低的组合评分(分别为0.55和0.75)。咀嚼、皱起-等距和说话活动是预测个人受试者的最好的活动(f1评分》0.85)。悲伤、眼睛、愤怒活动跟踪在预测个人方面没那么可靠。在从早上到晚上预测个人中，记录细微的差异。通常，测量的面部运动在一天中的早上和晚上的时间点会发生变化。由于基于较高f1评分的可靠性，因此考虑在临床环境中应用装置，重点放在测量咀嚼、说话和吞咽。
182.图18示出用于供选择的算法选项的图表1800(例如，以应用于随机森林)。一种或多种算法(有理离散短时傅里叶变换(dstft)、傅里叶变换、带线性分类器的离散小波变换、gabor小波变换、hjorth参数、希尔伯特-黄变换(hht)、平滑维格纳威利分布(swvd))可应用于由信号捕获装置收集的数据。图表1800提供了这些示例算法的方法、应用、优点和局限性。
183.图19示出十个人的吞咽活动的波段功率特征的图表1900。四种不同的波段功率显示在四个相应的图表中。如图所示，对于每个人而言，在早上和晚上的测试时间为每个人收集多个振幅。根据一个实施方式，四个相应图表中的四个不同波段功率可各自是临床试验中的终点。例如，四个相应图表中表示的数据可以是作为临床试验结果而寻求的临床输出。
184.图20示出表2000中的聚类和对应信道。从不同信号30提取的每个特征可基于例
如，本文公开的cv聚类、icc聚类、随机森林聚类等被放置到聚类中。具有相似结果的特征可被分组，如表2000中所提供的示例中所示。聚类可用于将特征的总数修剪成可能与临床输出最关键相关的那些。
185.图21示出图表2100，其具有基于类型(例如，振幅、频率和波段功率信道和/或其他因素)聚类的特征。聚类可用于将特征的总数修剪成可能与临床输出最关键相关的那些。
186.图22示出基于混合效应模型的cv的热图2200，该混合效应模型使用具有固定效应年龄、bmi和性别的早上测量。cv热图2200示出基于图例2200b的用于任务2200c的特征2200a的cv值，其范围为0至1.2。cv热图2200的结果可用于识别哪些特征将是可靠的(例如，低方差的)，以用于确定临床输出(例如，疾病名称)。例如，用于给定特征和动作的较低cv可指示可以可靠的方式(例如，满足cv可靠性阈值)重复给定的特征以用于多次测试。临床试验可能要求用于试验的特征满足这样的cv可靠性阈值。
187.图23示出图表2300，其指示给定任务可用于对个人进行分类的可靠性如何。表2300a中示出针对各种任务测量auc的波段功率测量。在图表2300b中示出用于微笑-等距的此类测量的结果，并且在图表2300c中示出用于悲伤情绪的此类测量的结果。较高的波段功率auc测量可指示给定任务(例如，微笑-等距)满足用于对个人进行分类的auc阈值(例如，从一个人到下一个人进行区分)，而较低的波段功率auc测量可指示给定的任务(例如，悲伤情绪)不满足auc阈值。因此，用于生成图23中所示测量的信号捕获装置10在执行微笑动作时比在经历悲伤情绪时在区分个人的方面更为可靠。
188.图24示出用于参数2400c的类似于图9的图表904的热图2400(包括热图2400a和2400b)。热图2400示出变量和活动的热图，其展示了定性的受试者间和活动间的差异。热图2400示出用于多个特征中每一个的z评分，其是基于按任务(例如，愤怒、咀嚼、眼睛、眼睛-等距、吸吮-等距、下巴、向左注视-左(l注视l)、向左注视-右(l注视r)、鼓起-等距、悲伤、微笑-等距、惊讶、吞咽、说话、向上注视、皱起-等距，如表7中进一步描述的)、个人(人)和时间(例如，早上/晚上)划分的归一化原始数据计算的。z评分使用范围为-3至+3的值分布，并且为每个值分配一种颜色，如图例中所示。
189.图25示出在umap图表2500上绘制的任务2500a。umap图表2500可基于通过将多个参数(例如，来自图24的参数2400c)中的每一个减少到两个值而生成的视觉化描述。因此，具有多次迭代(例如，行)的每个试验被减少为两次迭代(例如，行)并且结果被绘制到umap上。umap图表2500示出由任务2500a分离出来所产生的数据。例如，umap图表2500可用于基于任务2500a中的每一个进行聚类。类似地，图26是使用用于生成umap图表2500的相同数据生成的umap图表2600。umap图表2600示出由个人2600a分离出来所产生的数据。例如，umap图表2600可用于基于个人2600a中的每一个进行聚类。类似地，图27是使用用于生成umap图表2500和umap图表2600的相同数据生成的umap图表2700。umap图表2700示出由收集时间2700a分离出来所产生的数据。例如，umap图表2700可用于基于收集时间2700a中的每一个进行聚类。
190.图28类似于图19并且示出针对吞咽活动的十个人的各种特征的图表2800。在相应的图表中显示出31个不同的数据图。如图所示，对于每个人而言，在早上和晚上的测试时间为每个人收集多个振幅。在图表2800中所表示的数据可用于生成例如，在图24中所示的基于z评分的热图。根据一个实施方式，31个不同的数据图可各自是或作为组合数据集是临床
试验中的终点。例如，相应数据图中所表示的数据或数据的组合表示可以是作为临床试验结果而寻求的临床输出。
191.图29示出图表2900中跨多个特征2900b的随机森林重要性值，其基于图例2900a中所指示的最终决定。图表2900示出针对给定任务的每个特征2900b的分布。图表2900可使用用于从数据集中进行特征选择的boruta特征选择算法来生成。所应用的boruta算法可在随机森林周围运行包装算法。boruta算法通过创建所有特征(例如，阴影特征)的打乱副本来将随机性添加到基于参数的给定数据集。然后，可在扩展数据集上训练随机森林分类器。可应用特征重要性测量值(例如，平均准确度的减少)来评估每个特征的重要性，其中值越高意味着越重要。在每次迭代中，可进行检查真实特征是否具有比其阴影特征中最好的特征更高的重要性(例如，该特征是否具有比其阴影特征的最大z评分更高的z评分)，并且可丢弃被视为非常不重要(例如，高于boruta阈值)的特征以用于识别临床输出。临床试验可能需要使用达到或超过boruta阈值的特征。当所有特征被确认或拒绝时，或当达到随机森林运行的指定限值时，该算法可完成一个循环。
192.图29中所示的跨多个特征的随机森林的重要性值可用于确定每个特征对某个活动进行分类来说有多重要。非常重要的特征(例如，高于boruta阈值)可被指定为临床相关特征50。作为一个示例，图29中所示的结果可用于基于将给定特征的实际值与打乱值(基于复制生成的)进行比较来减少特征的数量。将更多值添加至分类的给定特征(例如，基于移除特征和确定丢失了多少信息来确定)可接收更高的评分。机器学习可用于基于排列的评分识别。可确定给定特征与给定任务比另一个特征更具有临床相关性。另外地或替代地，当任何剩余特征的移除降低了按给定阈值对信息进行分类的能力时，可确定临床试验中的终点。随机森林评分可基于boruta模型的结果，其中具有较高影响的特征被给予较高的评分。随机森林评分等于或高于随机森林阈值的提取特征被识别为临床相关特征。
193.图30示出包括差距统计的图表3000。使用差距统计(例如，k值)，可确定给定数据集的最佳聚类数。图表3000可与例如，图10的斯皮尔曼相关性图相关，其中斯皮尔曼可用于基于可用信号的数据来识别聚类数。如图所示，基于图表3000中表示的数据的最佳聚类数是4，使得具有4个聚类的给定的相应数据提供了在聚类中的特征之间的差异和聚类数之间的阈值平衡。
194.图31经由热图3100示出在早上收集期间跨任务的z评分。基于图例3100c，z评分针对每个任务3100b的每个特征3100a，其在-3至+3的值范围内并且被分配了一种颜色。图32经由热图3200示出在晚上收集期间跨任务的z评分。基于图例3200c，z评分针对每个任务3200b的每个特征3200a，其在-3至+3的值范围内并且被分配了一种颜色。如本文公开的，热图(例如，热图3100和/或3200)上所示的z评分相对于相应范围，诸如在对应于高z评分的一系列可能值中的高值和在对应于低z评分的一系列可能值中的低值归一化。
195.图33在热图3300上示出跨任务的针对loocv的z评分。图33的热图3300是由用于估计机器学习算法的性能的程序生成的。基于图例3300c，为个人3300a和任务3300b提供了数据，其值范围为-3至+3并且被分配了一种颜色。在loocv中，折叠的数量可能等于数据集中的实例数量。因此，可对每个实例应用一次学习算法，将所有其他实例用作训练集并且将所选实例用作单项测试集。例如，为了生成热图3300，个人的数据可从预测机器学习算法的训练集中移除，并且剩余的数据可用于训练算法。该算法然后可用于预测被移除的个人数据。
热图3300中所示的z评分可基于预测与实际数据的比较情况和/或预测如何很好地识别针对个人的给定任务来生成。
196.图34在热图3400中示出针对早上收集期间标准偏差(sd)的z评分。基于图例3400c，热图3400示出在任务3400b期间针对特征3400a的标准偏差的z评分，其值范围为-3至+3并且被分配了一种颜色。图35在热图3500中示出在晚上收集期间针对sd的z评分。基于图例3500c，热图3500示出在任务3500b期间针对特征3500a的标准偏差的z评分，其值范围为-3至+3并且被分配了一种颜色。标准偏差指示特征数据中的可变性量，使得高标准偏差可能指示较低的可靠性，而低标准偏差可能指示较高的可靠性。
197.图36用针对晚上收集的混合效应模型的热图3600显示cv。图36类似于图22。图36示出基于混合效应模型的cv，该混合效应模型使用具有固定效应年龄、bmi和性别的早上测量。cv热图3600示出基于图例3600b的用于任务3600c的特征3600a的cv值，其值范围为0至1.2并且被分配了一种颜色。cv热图3600的结果可用于识别哪些特征将是可靠的(例如，低方差的)，以用于确定临床输出(例如，疾病名称)。例如，用于给定特征和动作的较低的cv可指示可以可靠的方式(例如，满足cv可靠性阈值)重复给定的特征以用于多次测试。临床试验可能要求用于试验的特征满足这样的cv可靠性阈值。
198.图37示出用于微笑收集的波段功率测量散布3700。散布3700类似于针对图28中的吞咽所计算的那些。散布3700示出针对微笑活动的十个人的各种特征。在相应的散布中示出10个不同的数据图。如图所示，对于每个人而言，在早上和晚上的测试时间为每个人收集多个振幅。在散布3700中所表示的数据可用于生成例如，在图24中所示的基于z评分的热图。
199.图38示出针对晚上测量的聚类icc热图3800，其具有固定效应年龄、bmi和性别。热图3800基于基于图例3800b的用于任务3800c的特征3800a，其值范围为0至1并且被分配了一种颜色。在所基于的热图3800中所示的icc测量指出，如果跨多个收集针对给定的人计算出相同的测量，则针对给定的人的结果有多相似。结果识别出同一个人与个人数据的相关性。因此，热图3800指示重测信度。较高的icc值(例如，1)指示针对给定的个人而言，跨多个测试的差异很低，因此用于个人的数据与其自身相关。较低的icc值(例如，0)指示针对给定的个人而言，跨多个测试的差异很高。热图3800还指示哪些特征满足了icc阈值，使得跨多个受试者的与较高icc值(例如，1)相关联的特征可用于临床试验，这是因为它可靠地为个人提供数据。如在3800d处所示，各种icc相关性值可被聚类(例如，在该示例中的6个聚类中)。
200.图39示出针对晚上测量的另一个聚类icc热图3900，其具有固定效应年龄、bmi和性别。热图3900基于基于图例3900b的用于任务3900c的特征3900a，其值范围为0至1并且被分配了一种颜色。在所基于的热图3900中所示的icc测量指出，如果跨多个收集针对给定的人计算出相同的测量，则针对给定的人的结果有多相似。结果识别出同一个人与个人数据的相关性。因此，热图3900指示重测信度。较高的icc值(例如，1)指示针对给定的个人而言，跨多个测试的差异很低，因此用于个人的数据与其自身相关。较低的icc值(例如，0)指示针对给定的个人而言，跨多个测试的差异很高。热图3900还指示哪些特征满足了icc阈值，使得跨多个受试者的与较高icc值(例如，1)相关联的特征可用于临床试验，这是因为它可靠地为个人提供数据。如在3900d处所示，各种icc相关性值可被聚类(例如，在该示例中的4个
聚类中)。
201.图40示出用于个人、任务和时间的t分布随机近邻嵌入(t-sne)图表4000a、4000b和4000c。图表4000a对应于基于个人4000d的缩减数据，图表4000b对应于基于任务4000e的缩减数据，并且图表4000c对应于缩减收集时间4000f。图表4000a、4000b和4000c可基于用于将数据集的数量减少到二维的算法来生成。图表4000a、4000b和4000c可用于比较相应数据集有多相似或有多不同(例如，与图4000d中每个人相关联的数据的可变性如何，如图4000a所示)。比较图表4000a、4000b和4000c可指示来自基于给定参数的方差的贡献(例如，跨个人4000d、跨任务4000e和/或跨收集时间4000f)。
202.图41示出基于任务4100a用于将缩减至二维的数据可视化的各种图表4100。图表4100b基于主成分分析(pca)，其中实际坐标空间中的点集合的主成分是一系列的p个单位向量，其中第i个向量是在正交于第i-1个向量时与数据拟合得最好的线的方向。图表4100c基于pca和t-sne缩减。图表4100d基于t-sne缩减。图表4100e基于umap缩减。
203.图42示出umap图表4200，其在图表4200a中针对个人，在图表4200b中针对任务，并且在图表4200c中针对时间。图表4200a、4200b和4200c可类似于图25至图27中所提供的那些。图表4200a可显示使用umap缩减绘制的任务。图表4200a示出通过将多个参数(例如，来自图24的参数2400c)中的每一个减少到两个值生成的视觉化描述。因此，具有多次迭代(例如，行)的每个试验被减少为两次迭代(例如，行)并且结果被绘制到umap图表上。图表4200a示出由任务分离出来所产生的数据。例如，图表4200a可用于基于任务中的每一个进行聚类。类似地，图表4200b是使用用于生成图表4200a的相同数据生成的。图表4200b示出由个人分离出来所产生的数据。例如，图表4200b可用于基于个人中的每一个进行聚类。类似地，图表4200c是使用用于生成图表4200a或4200b的相同数据生成的。图表4200c示出由收集时间分离出来所产生的数据。例如，图表4200c可用于基于时间中的每一个进行聚类。
204.图43和图44在图表4300和4400中示出跨各个信道的针对不同任务的确认结果。在图表4300和4400中提供的数据可基于图29中所讨论的boruda分析(例如，特征重要性)生成。图表4300和4400示出针对参数4300c和4400c的任务4300a和4400a的确认结果4300b和4400b。例如，图29示出针对单个任务的分析结果，而图43和图44则示出针对多个任务的分析结果。图表4300和4400指示给定数据(例如，针对参数4300c和4400c的任务4300a和4400a的结果4300b和4400b)是否在识别临床结果方面是临床相关的。相关数据被指示是已确认的，而无关数据则被拒绝。不满足相关阈值或不相关阈值的数据被指定为暂时的。临床试验可能要求用于试验的参数满足确认的相关性阈值，以便在临床试验中用于确定临床结果。
205.示例2
206.该示例提供了用于评估信号捕获装置10的能力的协议，以便于基于信号捕获装置10的能力和基于临床结果来确定临床相关特征。尽管该示例提供了本文公开技术的具体应用，但是应当理解，可实施附加的技术应用。
207.根据本文公开的技术，作为开发神经肌肉疾病数字评估的初始步骤，进行了一项研究以确定生物测定传感器装置是否可用于客观地测量面部肌肉和眼球运动，其旨在用被设计为对临床perfo，称为模拟-perfo活动建模的任务代表性能结果评估(perfo)。该研究的具体目的是：确定是否可处理生物测定传感器装置的原始emg、eog和eeg信号以提取描述这些波形的特征；确定生物测定传感器装置的特征数据的质量、重测信度和统计性质；确定
从生物测定传感器装置获得的特征是否可用于确定在各种面部肌肉和眼球运动活动之间的差异；以及确定什么特征和特征类型对于模拟-perfo活动级别分类来说是重要的。
208.应当理解，在该示例中要测试的临床结果是基于生物测定传感器装置来识别什么特征和特征类型对于模拟-perfo活动级别分类来说是重要的。
209.在该示例中所使用的生物测定传感器装置是耳后可穿戴装置，其最初是为了测量认知功能而开发的。由于生物测定传感器装置测量，例如，脑电图(eeg)、肌电图(emg)和眼电图(eog)数据，因此它也可具有客观量化在神经肌肉疾病评估方面相关的面部肌肉和眼球运动活动的潜力。
210.总共有n＝10个健康志愿者参与了该研究。每个研究参与者执行了16项模拟-perfo活动，包括说话、咀嚼、吞咽、闭眼、注视不同方向、鼓起脸颊、咀嚼苹果和做出各种面部表情。每个活动在早上重复四次并且在晚上重复四次。从eeg、emg和eog生物传感器数据提取了总共161个概要特征。特征向量被用作机器学习模型的输入，以对模拟-perfo活动进行分类，并且在保留的测试集上评估模型性能。另外地，使用卷积神经网络(cnn)对每个任务的原始生物传感器数据的低级表示进行分类，并且对模型性能进行相应评估，以及将其与特征分类性能直接进行比较。
211.定量评估该模型对生物测定传感器装置的分类能力的预测准确性。研究结果指出，所测试的生物测定传感器装置可潜在地量化面部和眼球运动的不同方面并且可用于区分模拟-perfo活动。具体地，已识别的临床相关特征指出，发现所测试的生物测定传感器装置可区分说话、咀嚼和吞咽任务与观察到的f1评分》0.9的其他任务。虽然emg特征有助于所有任务的分类准确性，但是eog特征对于对注视任务进行分类来说是很重要的。发现用概要特征进行的分析在活动分类方面优于cnn。
212.如本文进一步讨论的，确定生物测定传感器装置满足临床阈值，使得其可用于测量与神经肌肉病症评估相关的颅肌活动。具有概要特征的模拟-perfo活动的分类性能使得能够实现相对于对照检测疾病特定信号，以及监测受试者内治疗反应的策略。
213.面部/颅部和眼球运动功能障碍是影响多个级别神经轴的几种神经学病症的重要特征。示例包括由于面神经麻痹或中风、复视、上睑下垂和由诸如重症肌无力、肌张力障碍、复杂的眼外肌运动缺陷和表情低迷的神经肌肉病症引起的吞咽困难，以及由帕金森病(和其他神经退行性)症状引起的吞咽困难而引起的完全面肌无力。
214.如本文所讨论的，这些症状的临床评估仍然是医学和临床研究中的一个挑战。现有的临床评估，诸如临床医生报告的结果(clinro)或患者报告的结果(pro)可能需要患者经常访问站点，这主要依赖于主观测量值，并且可能不一定反映患者在真实世界中的症状。重要的是，患者的症状可能是间歇性的，并且全天都在变化，从而使得难以进行可靠的评估。最终，依据患者对增加的肌肉无力的适应情况，这可能因患者而异。例如，图5的图表500突出示出基于观察的医师评分502的主观性质。这种主观评分会导致患者与患者以及提供者与提供者之间的变化。
215.虽然存在对颅肌功能进行定量分析的工具，但这些工具有显著的局限性。例如，可用使用静态图像或视频捕获的基于视频的技术来测量面部运动。记录面部肌肉电运动的表面emg还可单独使用或与基于视频的方法结合使用。小型研究已表明，测量从眼睛的前部到后部的电位的eog可检测帕金森病患者和对照组之间的差异。基于屏幕的跟踪器和可穿戴
眼镜已被用于监测眼外运动和上颅活动(例如，眨眼)。在其当前的应用中，这些方法可能是麻烦的，难以实施的，并且最重要的是，难以在人工环境中在短时间段内捕获面部运动。
216.因此，本文公开的技术是有利的，使得其提供了机会来识别和/或开发新的非侵入性方法来测量个人属性(例如，神经肌肉和神经退行性病症的颅部症状)以解决关键患者人群中的问题。本文公开的技术用于支持临床医生的诊断和疾病进展评估，以及临床研究中的结果评估。如果这些方法可利用可穿戴感测技术，其就能够解决现有临床传感器的挑战，现有临床传感器仅限于在高度受控的环境中使用，而不是在更自然的环境中(例如，在家里)使用。
217.所测试的生物测定传感器装置是耳后装置，其被开发用于测量神经和生理过程。经由四个由导电硅材料制成的可重复使用的电极在250hz下获取电生理信号。该装置的电极位于左右耳正上方的头皮位置处和左右乳突上，从而产生类似于可在10-20个电极放置位置的脑电图(eeg)参考位置t3、t4、m1和m2处获取的原始生物信号数据，eeg是表面脑波功能的测量。这种电极配置还能够高保真地获取来自颞肌和周围肌肉群的激活的emg活动，以及由眼球偏转产生的eog信号。
218.尽管使用生物生理学数据的传统临床评估可能具有侵入性、昂贵且耗时，但是所测试的生物测定传感器装置旨在为一般人群提供高保真数据获取和处理。用所测试的生物测定传感器装置监测的emg、eeg和eog信号用于检测和评估各种生理现象，诸如睡眠监测、微睡眠检测和急性术后疼痛量化。基于使用生物测定传感器装置(信号捕获装置10)对临床相关特征50的识别，确定该装置有可能通过捕获和分析生物信号数据来客观地量化面部肌肉和眼球运动任务而支持对神经肌肉病症的结果评估。客观量化质量通过从经由生物测定传感器装置收集的不同信号30生成的提取特征40来评估。不同信号30是使用从生物测定传感器装置接收信号的信号处理模块20生成的。本文公开的技术被应用于从提取特征40识别临床相关特征50。临床相关特征50满足用于包括神经肌肉病症的诊断和/或治疗的临床结果的阈值。
219.由本文公开的技术解决的一个重大挑战是未处理的生物信号数据由于若干因素而固有地具有噪声，例如，参与者在临床评估期间移动，在电极-皮肤接触中可能存在扰动，和/或有来自心脏活动的伪影等等。另外地，类似的因素自然地会在获取的信号数据中引起伪影；eeg、emg和eog信号在典型频率范围内重叠，从而使得波形数据的直接分离和分析变得很重要。
220.因此，为了开发神经肌肉病症的数字评估，进行了该示例研究以确定生物测定传感器装置是否可测量面部肌肉和眼球运动。该研究的一些具体目标是：确定可如何处理生物测定传感器装置的emg/eog/eeg信号以提取特征；确定生物测定传感器装置的特征数据的质量、重测信度和统计性质；确定从生物测定传感器装置获得的特征是否可量化各种面部和眼部肌肉活动；以及确定与原始生物信号数据分类方法相比，什么特征对于活动级别分类来说是重要的(例如，临床相关特征50)。
221.在该研究中，设计了16个模拟性能结果评估(模拟-perfo)，以用生物测定传感器装置对n＝10个对照志愿参与者评估面部和眼球运动。实施了与目的相符的特征工程化管线，其中获得了来自emg、eog和eeg波形的特征，相互比较地来评估特征关系，并且进行特征如何对不同的模拟-perfo活动进行分类的定性评估。本示例研究中采取的步骤支持用于开
发数字评估的框架的可用性和分析验证步骤。总之，来自该示例研究的结果突出示出生物测定传感器装置作为潜在测量工具在用于评估面部和眼球运动任务的临床试验环境中的效用，并且使得能够用该装置和类似的装置进行进一步的临床开发。如本文所讨论的，生物测定传感器装置的效用是通过充分的临床相关特征50的识别来确定的。
222.为了评估生物测定传感器装置对面部肌肉和眼球运动任务进行分类的效果(例如，区分其)，进行了研究，该研究具有n＝10的参与者，其执行了16次面部肌肉任务运动(模拟-perf)，在早上进行了四次并且在晚上进行了四次。表1示出研究参与者的人口统计特征。表1
223.生物测定传感器装置的原始生物信号数据被处理成161个概要特征，其中大部分描述了emg、eog和eeg波形。如图1a中所示，生物测定传感器装置(信号捕获装置10)向信号处理模块20提供原始信号。信号处理模块20根据原始信号生成不同信号30(例如，emg、eog和eeg波形)。基于不同信号30的性质生成161个概要特征。
224.在本文中详细描述将原始生物测定传感器装置的生物信号数据概括为特征的过程。简而言之，特征是根据通过专门的信号组合和过滤机制(例如，通过信号处理模块20)从原始的混合波形生物信号中分离出来的emg、eog和eeg波形成分来计算的。图45中还概括了特征工程化过程4500的高级概述。
225.如图45中所示，从生物测定传感器装置接收混合信号波形4502。信号分离模块4504可从混合信号波形4502提取不同的虚拟eeg信号4506a、虚拟eog信号4506b和虚拟emg信号4506c。可在基于事件的分割算法4508处应用基于事件的分割算法并且在4510处的特征计算可能经由特征向量表示4512导致特征提取。如图所示，信号分离模块4504被应用于从生物测定传感器装置导出的混合信号，以将eeg、emg和eog波分离成其组成部分。然后，这些信号经受基于事件的分割算法4508，并且提取特征。
226.如图46中所示，特征可经由时间4600a和频率4600b中的振幅表示生物测定装置信号的频域和时域两者，其是针对喝水的受试者收集的。图46示出从喝水的参与者产生的emg活动的时间和频率表示。图4600示出时域4600a和频域4600b中大约6.5s的emg数据。
227.针对16个模拟-perfo活动中的每一个收集代表性混合信号波形4502。例如，图47示出从16个模拟-perfo中的每一个的代表性信号4700观察到的定性差异。如图所示，每个活动具有定性地不同的波形。代表性信号4700示出在超过16个活动的时域中可视化的emg
活动。
228.作为一个示例，从来自16个模拟-perfo中的每一个的代表性信号4700提取的多个特征可用于生成z评分热图，如本文进一步讨论的并且也如图8和图9中所示。
229.表2示出该示例中提取的特征列表，在所述的类别中描述了该特征。振幅特征、过零率、标准偏差、方差、均方根、峰态、频率、波段功率、偏斜以及其他标准波形特征都是根据生物测定传感器数据处理的。根据标准特征处理管线来选择特征。振幅特征描述了在相关成分空间中距每个波的基线的振幅或最大距离。波段功率特征描述了在特定频率范围内波的平均功率(其中存在特定于针对生物测定传感器装置的每种信号类型的多个频率范围)。其他命名的特征在数学上描述了emg、eog或eeg波形的形状、方差或复杂性。表2
230.上面表2中概述的基于生物测定传感器装置的特征可测量面部和眼球运动的独特方面。通过执行所有参数相互之间的斯皮尔曼相关(例如，以相对于图4c和图10描述的方式进行)来分析跨所有16个模拟-perfo活动的参数之间的关系。为了确定描述整体信号变化的参数组的最佳数量，k表示对所有活动相互之间执行所有特征的斯皮尔曼相关的聚类，如
图48中所示。根据斯皮尔曼相关性确定了六个独特的参数聚类(基于k均值聚类)。k均值聚类是一种矢量量化方法，其用于将n个观测值(例如，基于斯皮尔曼相关性的特征)划分为k个聚类，其中每个观测值属于具有最接近均值的聚类，用作聚类的原型。
231.如本文所讨论的，斯皮尔曼相关性图表4800用于识别特征之间的关系。高度相关的特征可能测量面部生物学的相似方面和/或由生物测定传感器装置收集的其他信号(例如，电活动)(例如，不同信号30的类似方面)。斯皮尔曼相关性图表4800用于识别六个聚类，使得可省略或以其他方式减少在同一聚类内的相似特征，以减少重复分析。例如，可应用基于聚类的减少来识别临床相关特征50。图47示出所有161个耳戴式特征彼此之间的斯皮尔曼相关性，以热图表示。示出来自k均值聚类(最佳数量)的k＝6聚类。汇集了所有16个模拟-perfo以用于图47中所示的相关性分析。
232.在该示例中，振幅和波段功率参数趋于在六个聚类中的两个中聚类在一起，而其他参数，如来自频域的参数则单独聚类。
233.为了研究16个模拟-perfo活动(跨每个参与者和时间点，以及所有161个生物测定传感器装置参数)之间的定性差异，执行了umap降维。在图49的图表4900中示出了16个模拟-perfo活动4900a之间的定性差异。虽然4900a的一些活动之间存在重叠，但用该方法，如吞咽等活动与其余的明显分开。图表4900中所示的umap降维可用于识别数据的聚类和/或按维度(例如，按任务)分离数据。在图49中示出了所有161个生物测定传感器装置特征的umap降维。每个单独的活动重复是图表4900上的一个点。给定点的视觉特征表示在该活动期间执行的活动。
234.图50包括图表5000，其提供了跨数据的特征z评分的热图5000a(基于eeg的特征)、5000b(基于emg的特征)、5000c(基于eog的特征)和5000d(其他特征)，其展示了在用于不同类别5002的特征(振幅、波段功率、频率、峰态、其他、偏斜、时间、方差)的任务5004之间的差异。用于每个人5006的数据是针对时间5008进行收集的并且被表示为基于图例5010的z评分，其值范围为-3至+3并且被分配了一种颜色。可生成图表5000并且图表5000可以类似于本文所讨论的图8、图9和图24的方式包括信息。综上所述，图表5000中所示的结果证实了生物测定传感器装置用于生成可描述独特的模拟-perfo活动的参数的效用。
235.图50包括用于所有活动重复(列)的所有161个生物测定传感器装置特征(行)的热图。列首先按研究中的16个活动进行排序，并且在每个活动中按参与者，以及随后按执行活动时的当天的时间进行排序，如上面所讨论的。
236.为了评估生物测定传感器装置特征的重测信度，使用以参与者作为随机效应的线性混合效应建模来评估特征属性。表3示出生物测定传感器装置特征的方差成分分析。首先，对于161个生物测定传感器装置特征中的每一个而言，基于表4的流程确定供参与者评估针对每个特征与每个人相关联的方差的icc。如本文所讨论的，icc是用于相同参与者的相同数据对于相同活动的类似程度并且从而为可靠程度的测量，并且范围是0至1(例如，小于0.5的icc是不良可靠性，0.5-0.7的icc将是中等可靠性，并且大于0.7的icc可被解释为可靠的度量)。观察到的icc值的范围为0至0.92，并且跨16个活动的所有参数的平均icc值为0.31。其次，根据本文公开的技术计算针对跨时间点(早上和晚上)的参与者内的每个参数的cv。计算针对每个活动的每个特征的方差，其与所执行活动的当天的时间(早上或晚上)、个人参与者本身以及个人试验重复，以及未解释的方差相关联。如图1a所示，icc计算、
cv和/或可变性用于例如，从提取的特征40识别临床相关特征50。在该示例中，结果支持许多生物测定传感器装置的特征可靠地测量了参与者内的变化，并且提供了一种度量，人们可通过其对候选特征进行排名以进行进一步的下游分析。因此，这样的特征可被指定为临床相关特征50。表3表4表4
237.确定所测试的生物测定传感器装置可准确地对一些面部肌肉运动活动进行分类。为了研究生物测定传感器装置的数据是否能够对16个模拟-perfo活动中的给定活动进行分类，构建了本文讨论的随机森林分类模型，以检测来自其他15个活动的每个活动(1对所有的分类)(例如，如参考图29、图43和图44所讨论的)。活动检测f1评分被用作评估模型性能的主要度量，如本文进一步讨论的。
238.在对所有161个特征的测试数据集进行开发评估之后，为活动级别分类构建第二个模型。该第二个模型使用生物测定传感器装置特征的优化组，其目标是消除不会影响整体分类性能的噪声特征。为了确定生物测定传感器装置特征的优化组，执行具有boruta包的特征缩减。在本文中参考图29、图43和图44讨论了这种特征缩减。例如，复制了至图29、图43和图44特征的所有161个(例如，指定为阴影特征)，并且将其类别标签进行随机打乱。每个阴影特征与用于1,000次分类迭代的真实值进行比较，并且仅有性能优于给定阈值(例如，50％)的特征被指定为已确认的。该分析指示被用于第二分类模型的至图29、图43和图
44特征的101的确认组。
239.如图51中所示，为了评估生物测定传感器装置的特征相对于使用生物测定传感器装置的波形数据的低级表示执行得有多好，用生物测定传感器装置的原始生物信号数据构建cnn模型以对16个模拟-perfo活动进行分类。图51示出模型5100，其实施了为活动分类而实施的最终cnn的架构图。根据分段波形计算的单信道频谱图在分类时被输入至模型。输出在16个活动中每一个上的概率分布。推断出与最高输出似然估计相关联的活动。在该建模中，对给定频率下的功率如何作为时间的函数发生变化进行量化的固定大小的频谱图是根据模拟-perfo信号段计算的并且被用作模型输入。
240.图52示出针对活动5200a的活动图表5200，其具有针对所有生物测定传感器装置特征(161个特征)5200b、boruta选择的生物测定传感器装置特征(101个特征)5200c并且使用原始波形数据(cnn)5200c的级别分类f1评分。f1评分的范围是0至1，其中1指示完美分类。boruta选择的生物测定传感器装置特征(101个特征)5200c可以是从生物测定传感器装置特征(161个特征)5200b提取的临床相关特征50(例如，如图29、图43和图44中所示)。原始波形数据(cnn)5200c可使用图51的模型5100生成。图53包括热图5300，其示出使用根据来自161个特征的全组的模型确定的针对每个活动(列)5300b的每个特征(行)5300a的沙普利添加和解释(shap)值的特征属性分析。shap值是跨所有活动的z评分，如图例5300c中所指示的，其值范围为-3至+3并且被分配了一种颜色。
241.如图52中所示，比较了用于161个特征5200b的全组、101个特征5200c的优化组以及来自cnn 5200d的预测的分类准确性的f1评分。为了确定对于具有161个特征(例如，临床相关特征50)的全rf模型来说最重要的基础特征，在图54中应用了具有shap的特征属性分析。对于特定活动预测，生物测定传感器装置特征的shap值被计算为观察到该特征时模型输出的预期值与其缺失以用于测试集预测时相比较的变化。被添加到模型的每个特征的效应跨所使用的所有161个生物测定传感器装置特征进行求和与平均。在图53中，特征被表示为均值平均shap值，并且被显示在热图(log10)5300中。确定用于特征的每个波形组的每个活动的百分比贡献并将其显示在表5中。用于每个活动的绝对shap值的归一化总和与emg、eeg和eog特征中的总和进行比较，并且由该组中的特征数进行归一化，以计算每个波形对分类准确性的百分比贡献。表5
242.表5包括16个模拟-perfo活动并且指示emg、eeg和eog特征组如何有助于分类准确性。表5示出来自rf模型的绝对shap值的归一化总和，以及相对emg、eeg和eog对分类重要性的的百分比贡献。特征重要性是基于与在所有三个类别中的特征总数相比的每个emg、eeg或eog组中的特征总数进行归一化的。与任何波形无关联的特征被排除在该分析之外。
243.如本文公开的，共有10名健康的志愿者(5名男性和5名女性)对该示例研究做出了贡献。所有参与者完成了两个45分钟的会话。在每个会话期间，每个参与者被要求完成在下表6中列出的一系列任务。选择这些任务来代表mg患者可能难以完成的任务。参与者被要求在每项任务之间休息一分钟。表6
244.每个研究参与者都参加了两次研究会话，一次在早上并且一次在晚上。测试会话由研究主持人一对一地进行。在早上的会话中，研究主持人与参与者一起审查了知情同意书(icf)，确保他/她理解同意书并且同意参与。参与者有时间在签署icf之前提问。
245.研究主持人阅读研究脚本，其中提供了研究概述和各种研究活动的描述。研究主持人随后收集了参与者的基线(背景)信息。
246.然后，研究主持人让参与者在每次学习会话上执行以下操作：大笑并尽可能地露出牙齿1分钟休息尽可能紧地皱额头1分钟休息尽可能紧地闭眼
1分钟休息尽量鼓起脸颊1分钟休息尽量吸进脸颊1分钟休息咀嚼30秒1分钟休息吞咽1分钟休息正常闭眼5秒1分钟休息说话30秒1分钟休息向上注视45秒1分钟休息侧方向左注视45秒1分钟休息侧方向左注视45秒1分钟休息尽可能地张开和闭合下巴1分钟休息面部表情-惊讶1分钟休息面部表情-悲伤1分钟休息面部表情-愤怒
247.本文公开的标签注释对应于表7中概述的以下任务。表7任务标签/注释大笑并尽可能地露出牙齿微笑-等距尽可能紧地皱额头皱起-等距尽可能紧地闭眼眼睛-等距尽量鼓起脸颊鼓起-等距尽量吸进脸颊吸吮-等距咀嚼咀嚼吞咽吞咽正常闭眼眼睛尽可能地张开和闭合下巴下巴向上注视向上注视
侧方注视-向左l注视-l侧方注视-向右l注视-r说话说话面部表情-惊讶惊讶面部—悲伤悲伤面部表情-愤怒愤怒
248.在该示例研究的每个活动期间，连续收集原始生物测定传感器装置的数据。为了保证可靠的地面实况数据注释，来自每项活动的数据由专家技术人员手动标记。对于每个活动而言，相应地注释了每个执行活动的开始和偏移端点。参与者的时间同步视频记录被用作此注释程序中的参考源。使用这些活动注释，然后根据记录的开始和偏移时间戳对信号进行分段。应当理解，根据本文公开的技术，可通过使用将原始数据传输到一个或多个接收器或控制器(例如，如图1至图3中所示)的传感器来自动地进行原始数据收集。
249.活动完成后，从每个信道产生的信号被缩放以抵消在装置硬件中为了噪声抑制而执行的放大的效果，并且使用二阶无限脉冲响应(iir)陷波滤波器进行离线过滤以去除60hz的电源线噪声。每个信号包括eeg、emg和eog数据的混合物(例如，混合信号波形4502)。应用信号分离算法(例如，由信号分离模块4504进行)以更好地隔离每个成分，从而在该示例中产生总共6个信道(eeg、emg、eeg各两个)。
250.在信号缩放、过滤和分离之后，六个分离信道中每一个的信号基于面部运动活动的存在或不存在而进行分割，如图45中所示。采用用于特征提取的综合方法来进行进一步的下游分析(例如，图45的4510)。除了特定于emg、eog或eeg的活动的特征子集之外，总结了针对每个波形的一般特征。省略了可清楚地识别在数据收集过程中执行的模拟-perfo活动，但不会推广到在实验室环境之外的活动执行的特征(例如，每个参与者被指示在指定期间执行的活动的持续时间)。
251.进行了基于事件的分割算法4508和特征计算4510。计算来自每个分离的信号段的统计测量值以总结在时域中的信号行为(例如，见图46)。这种测量值允许描述信息，诸如随时间变化的振幅行为、振幅分布和可在其原始形式观察到的信号趋势。由于频域和时频域还包括生物信号数据中的大量信息，因此执行数字信号处理(dsp)分析以将每个分离的信号段分解为频率成分并评估在该替代表示中的模式，如图45中所示。计算在特定模拟-perfo活动期间与理论emg、eog和eeg行为相关的特征，以更好地在概要特征向量中表示此类活动。
252.如本文所讨论的，上面概述的步骤(也如图45中所示)为执行的每个模拟-perfo活动产生了161维特征向量表示，如表2中概述的。这些特征对应于图1a的提取特征40。为了去除可能与针对正在研究的给定临床结果的基于活动的分类无关的特征，实施了使用boruta算法的特征缩减。如图52中所示，修剪了161个特征的总数，从而产生每个模拟-perfo活动的较低维的特征向量表示。如图所示，从每个特征向量去除60个被估计为“不重要”的特征，从而产生101维特征向量。boruta包(borutapy，版本0.3)的python实施方式被用于执行特征缩减。
253.观察到了在生物测定传感器装置参数与活动之间的参数差异的相关性。计算所有参数和所有活动之间的斯皮尔曼相关性，如图48中所示。使用轮廓技术确定聚类的最佳数
量，其中r中的factoextra包具有带有100个自助样本的函数fviz_nbclust。对于16个活动中的每一个而言，针对所有161个计算的b参数，我们报告了分析的任务数(n)、最小值(最小)、最大值(最大)、中位值(中位)、均值(均值)、均值的标准偏差(sd)和均值的标准误差(se)，如在表4中概述的。
254.确定了生物测定传感器装置特征与活动或人口统计信息之间的关系。对于来自示例研究的数据而言，使用具有r中的lmer包的线性混合效应模型来计算用于作为组的参与者的icc，其中使用下列的公式：～(1|参与者)。根据表4，针对161个生物测定传感器装置特征中每一个的16个活动中的每一个分别计算icc。还根据表4在每个活动内进行比较，计算了变异系数。
255.计算了由于重复测量值、当天中的时间和参与者在试验内和试验之间的变化性。根据表4，还计算了不能由这三个因素解释的方差。使用嵌套线性混合效应模型以得到由每个成分解释的方差：～1+(1|时间)+(1|参与者)+(1|重复/时间)，其中时间成分指示当天中的时间(早上或晚上)，参与者成分指示受试者，并且重复成分指示嵌套在同一时间内同一活动的重复。
256.如图25、图26、图27、图40、图41、图42和图49中所示，以python用umap-学习或一种或多种适用的降维技术来执行生物测定装置特征的降维。以为1的嵌入点之间的有效最小距离和默认参数来执行缩减。例如，如图49中所示，umap坐标是用r中的ggplot2绘制的。如图50中所示，生物测定传感器装置特征的热图是以作为列的单独的活动和作为行的生物测定传感器装置特征显示出来的。生物测定传感器装置数据的热图(例如，图8至图12、图22、图24、图31至图36、图38、图39、图48、图50和图53)示出跨所有活动计算的z评分的特征行。用r中的复杂热图包构建热图。
257.量化研究活动和参与者级别的预测。为了确定如何使用生物测定传感器装置特征以对16个活动中的每一个进行分类，实施使用python sklearn模块的多类分类模型。实施了用于模型构建的具有500个决策树的随机森林分类器(例如，使用sklearn随机森林分类器类)。在每种分类设置中，使用80％的数据集执行训练和验证，而保留剩下的20％的数据集以供测试。数据样本被随机地分配给两个子集中的一个，以减少评估结果中的偏差。如图52中所示，计算f1评分以评估模型对测试集的性能。f1评分是精确率和召回率的调和均值，并且阐明了模型准确预测的数量，从而平衡假负和假正。
258.确定了活动级别预测的cnn模型。深度学习模型已被用于在与生物信号数据分类相关的许多任务中实现了高性能。在此类任务中利用的许多流行的深度学习架构中，cnn因其在结构化、多维数据(例如，时频信号表示)中学习模式的能力而被广泛使用。在将此类方法应用于模拟-perfo活动级别分类的任务时，开发且分析了16类cnn分类模型。构建这些cnn模型以将模拟-perfo活动信号段的2维频谱图表示映射到在16类上的概率分布。
259.由于深度学习模型通常需要大型数据集来学习可泛化的函数，因此采用数据增强来努力使训练集中的多样性最大化。每次将一个信号段读入训练数据集中时，该段的多次随机裁剪也被添加到训练集。在某种程度上，这允许在不收集额外样本的情况下增加训练数据集的大小，从而有助于对抗过度拟合。为了在持续时间中变化的模拟-perfo活动中保持恒定长度的输入信号，在根据随机裁剪方案转移段之后重复持续时间比固定输入数据的持续时间(例如，30秒)更短的活动段，而持续时间更长的段则经由随机裁剪被截短为固定
输入数据的持续时间。没有对测试集执行数据扩充，这是因为它会使所产生的模型性能估计产生偏差。应用于减少模型方差的额外技术包括在卷积和完全连接的模型层中使用l2核正则化，以及在整个网络中包含dropout层。在对训练和验证数据集进行开发和评估之后，如图51中所示的浅层cnn被训练并被用于测试目的。
260.来自该示例研究的数据表明，所测试的生物测定传感器装置以及类似的可穿戴装置可用于颅部和眼部肌肉运动的客观定量。本文公开的技术(例如，用于识别临床相关特征50)可用于基于临床结果识别给定装置的能力和边界。本文公开的技术可用于测试可穿戴装置在疾病人群中的效用，更准确地测量参与者内的疾病进展，测试可穿戴装置特征或数据与现有pro的关系，和/或更准确地测量疾病人群内的治疗效果。在可测量疾病进展的纵向研究，例如，正在进行的自然历史研究中使用生物测定传感器装置可有助于阐明哪些特征对于量化疾病影响来说是最重要的。在作为可穿戴临床开发策略的一部分的临床试验中探索性使用这些装置可能使得能够更灵敏地检测在疾病人群内的治疗反应。这些临床验证步骤可额外地支持使用如所测试的生物测定传感器装置的装置来进行被动监测的目的。这样的监测可通过从信号捕获装置10获得信号、基于由信号捕获装置10收集的数据识别临床相关特征50和/或以正在进行的(例如，连续的)基础使用临床相关特征50提供临床结果(例如，基于其识别疾病或病症和/或治疗计划)来实施。
261.本文公开的一种或多种实施方案包括机器学习模型。可使用图54的数据流5410来训练本文公开的机器学习模型。如图54中所示，训练数据5412可包括与要训练的机器学习模型相关的阶段输入5414和已知结果5418中的一个或多个。阶段输入5414可来自任何适用的源，包括来自图1a、图1b、图2、图3、图4a和/或图4b中所示的部件、步骤或模块的数据输入或输出。对于基于监督或半监督训练生成的机器学习模型而言，可包括已知结果5418。可不使用已知结果5418来训练无人监督机器学习模型。已知结果5418可包括用于未来输入的已知或期望的输出，该未来的输入类似于不具有对应的已知输出的阶段输入5414或在与其相同的类别中。
262.可将训练数据5412和训练算法5420提供给训练部件5430，该训练部件5430可将训练数据5412应用到训练算法5420以生成机器学习模型。根据一个实施方式，可向训练部件5430提供比较结果5416，该比较结果5416比较相应机器学习模型的先前输出以应用先前的结果来重新训练机器学习模型。训练组件5430可使用比较结果5416来更新相应的机器学习模型。训练算法5420可利用机器学习网络和/或模型，其包括但不限于，深度学习网络，诸如深度神经网络(dnn)、卷积神经网络(cnn)、全卷积网络(fcn)和递归神经网络(rcn)、概率模型(诸如贝叶斯网络和图形模型)和/或判别模型(诸如决策森林和最大间隔法)等。
263.图55是根据本发明的示例性实施例的可被配置为用于执行本文公开技术的装置的计算机系统5500的简化功能框图。图55是根据本发明的示例性实施例的可生成特征、统计、分析和/或另一系统的计算机系统的简化功能框图。在各种实施例中，本文公开的系统中的任一个(例如，计算机系统5500)可以是硬件组件，包括，例如用于分组数据通信的数据通信接口5520。计算机系统5500还可包括用于执行程序指令5524的采用一个或多个处理器形式的中央处理单元(“cpu”)5502。尽管计算机系统5500可经由网络通信(例如，通过网络110)接收编程和数据，计算机系统5500可包括内部通信总线5508和存储单元5506(诸如，rom、hdd、sdd等)，其可将数据存储在计算机可读介质5522上。尽管指令5524可临时或永久
地存储在计算机系统5500的其他模块(例如，处理器5502和/或计算机可读介质5522)内，计算机系统5500还可具有存储用于执行本文所呈现的技术的指令5524的存储器5504(诸如，ram)。计算机系统5500还可包括输入和输出端口5512和/或显示器5510以与输入和输出装置，诸如键盘、鼠标、触摸屏、监视器、显示器等连接。各种系统功能可以分布式方式实施在多个类似的平台上，以分布处理负载。替代地，系统可通过一个计算机硬件平台的适当编程来实施。
264.该技术的程序方面可被认为是“产品”或“制造品”，其通常采用承载在一种类型的机器可读介质上或以其具体化的可执行代码和/或关联数据的形式。“存储”型介质包括计算机、处理器等或其相关联的模块，诸如各种半导体存储器、磁带驱动器、磁盘驱动器等(其可在任何时候提供非暂时性存储以供软件编程)中的任一个或全部。软件的全部或部分有时可通过互联网或各种其他电信网络进行通信。例如，这种通信可使软件能够从一台计算机或处理器加载到另一台，例如，从移动通信网络的管理服务器或主机加载到服务器的计算机平台和/或从服务器加载到移动装置。因此，可承载软件元件的另一种类型的介质包括光波、电波和电磁波，诸如跨在本地装置之间的物理接口，通过有线和光学固定电话线网络以及通过各种空中链接使用。承载这种波的物理元件，诸如有线或无线链路、光学链路等也可被视为承载软件的介质。如本文所使用的，除非局限于非暂时性、有形的“存储”介质，否则术语，诸如计算机或机器“可读介质”是指参与向处理器提供指令以供执行的任何介质。
265.虽然当前公开的方法、装置和系统是示例性参考传输数据来进行描述的，但是应当理解，当前公开的实施例可适用于任何环境，诸如台式或膝上型计算机、移动装置、可穿戴装置、应用程序等。此外，当前公开的实施例可适用于任何类型的互联网协议。
266.对于本领域的技术人员来说将显而易见的是，在不脱离本发明的范围的情况下，可对公开的装置和方法进行各种修改和变化。根据对本文公开的特性的说明书和实践的考虑，本发明的其他方面对于本领域的技术人员来说将是显而易见的。其旨在仅将说明书和示例认为是示例性的。
267.本发明的各方面涉及基于信号的特征分析。在一个方面，本发明涉及一种方法，其包括接收基于身体部位生成的不同电信号，基于不同电信号生成多个提取特征以及根据多个提取特征识别临床相关特征，其中临床相关特征满足基于临床结果确定的阈值。
268.该方法还可包括应用临床相关特征来确定临床结果，其中临床结果是诊断或治疗计划中的一个。不同电信号可基于由身体部位生成的身体电信号生成。不同电信号可基于身体部位的运动生成。不同电信号可基于身体部位的性质生成。多个提取特征可基于振幅特征、过零率、标准偏差、方差、均方根、峰态、频率、波段功率或偏斜中的一个或多个。不同电信号可由包括传感器的可穿戴装置生成，其中可穿戴装置可被配置为输出混合信号和/或其中信号分离模块从混合信号中提取提取特征。
269.例如，信号分离模块可应用盲信号分离、盲源分离、离散变换、傅里叶变换、积分变换、双侧拉普拉斯变换、梅林变换、哈特莱变换、短时傅里叶变换(或短时傅里叶变换)、矩形掩码短时傅里叶变换、线调频小波变换、分数阶傅里叶变换(frft)、汉克尔变换、傅里叶-布罗斯-艾格尼泽变换或线性正则变换中的一种或多种来从混合信号提取提取特征。可使用随机森林算法来对提取特征进行评分。阈值可是随机森林阈值并且具有等于或高于随机森林阈值的随机森林评分的提取特征可被识别为临床相关特征。阈值可是可靠性阈值，并且
具有等于或高于可靠性阈值的提取特征可被识别为临床相关特征。可靠性评分可基于斯皮尔曼相关性、类内相关性(icc)、协方差(cv)、曲线下面积(auc)、聚类或z评分中的一个或多个。
270.在另一方面，本发明涉及一种系统，其包括可穿戴装置，可穿戴装置包括多个传感器；处理器；存储指令的计算机可读数据存储装置，当由处理器执行时，指令使系统从可穿戴装置获得受试者的电活动信息，电活动由多个传感器检测到；以及基于电活动信息识别临床相关特征。
271.该系统还可被配置为将临床相关特征分类为一种或多种病；基于一种或多种病来确定受试者的疾病；确定疾病的范围；和/或基于疾病的范围来确定治疗计划。多个传感器可包括脑电图(eeg)传感器、眼电图(eog)传感器、肌电图(emg)传感器、图像传感器和/或眼动追踪传感器。临床相关特征可使用机器学习算法识别。

技术特征：
1.一种方法，其包括：接收基于身体部位生成的不同电信号；基于所述不同电信号生成多个提取特征；以及根据所述多个提取特征识别临床相关特征，其中所述临床相关特征满足基于临床结果确定的阈值。2.根据权利要求1所述的方法，还包括应用所述临床相关特征以确定临床结果。3.根据权利要求2所述的方法，其中所述临床结果是诊断或治疗计划中的一个。4.根据权利要求1所述的方法，其中所述不同电信号是基于由所述身体部位生成的身体电信号生成的。5.根据权利要求1所述的方法，其中所述不同电信号是基于所述身体部位的运动生成的。6.根据权利要求1所述的方法，其中所述不同电信号是基于所述身体部位的性质生成的。7.根据权利要求1所述的方法，其中所述多个提取特征基于振幅特征、过零率、标准偏差、方差、均方根、峰态、频率、波段功率或偏斜中的一个或多个。8.根据权利要求1所述的方法，其中所述不同电信号是由包括传感器的可穿戴装置生成的。9.根据权利要求8所述的方法，其中所述可穿戴装置被配置为输出混合信号。10.根据权利要求9所述的方法，其中信号分离模块从所述混合信号中提取所述提取特征。11.根据权利要求10所述的方法，其中所述信号分离模块应用以下中的一种或多种来从所述混合信号提取所述提取特征：盲信号分离、盲源分离、离散变换、傅里叶变换、积分变换、双侧拉普拉斯变换、梅林变换、哈特莱变换、短时傅里叶变换(stft)、矩形掩码短时傅里叶变换、线调频小波变换、分数阶傅里叶变换(frft)、汉克尔变换、傅里叶-bros-iagolnitzer变换或线性正则变换。12.根据权利要求1所述的方法，其中使用随机森林算法来对所述提取特征进行评分。13.根据权利要求12所述的方法，其中所述阈值是随机森林阈值并且其中具有随机森林评分等于或高于所述随机森林阈值的提取特征被识别为临床相关特征。14.根据权利要求1所述的方法，其中所述阈值是可靠性阈值，并且其中具有可靠性评分等于或高于可靠性阈值的提取特征被识别为临床相关特征。15.根据权利要求14所述的方法，其中所述可靠性评分基于斯皮尔曼相关性、类内相关性(icc)、协方差(cv)、曲线下面积(auc)、聚类或z评分中的一个或多个。16.一种系统，其包括：可穿戴装置，所述可穿戴装置包括多个传感器；处理器；存储指令的计算机可读数据存储装置，当由所述处理器执行时，所述指令使所述系统：从所述可穿戴装置获得受试者的电活动信息，所述电活动由所述多个传感器检测到；以及基于所述电活动信息识别临床相关特征。
17.根据权利要求16所述的系统，其还被配置为将所述临床相关特征分类为一种或多种病。18.根据权利要求17所述的系统，其还被配置为基于所述一种或多种病来确定所述受试者的疾病。19.根据权利要求18所述的系统，其中所述系统还被配置为：确定所述疾病的范围；以及基于所述疾病的范围来确定治疗计划。20.根据权利要求16所述的系统，其中所述多个传感器包括脑电图(eeg)传感器。21.根据权利要求16所述的系统，其中所述多个传感器包括眼电图(eog)传感器。22.根据权利要求16所述的系统，其中所述多个传感器包括肌电图(emg)传感器。23.根据权利要求16所述的系统，其中所述多个传感器包括图像传感器。24.根据权利要求16所述的系统，其中所述多个传感器包括眼动追踪传感器。25.根据权利要求16所述的系统，其中所述临床相关特征是使用机器学习算法识别的。

技术总结
本发明提供了用于接收基于身体部位生成的不同电信号，基于所述不同电信号生成多个提取特征以及根据所述多个提取特征识别临床相关特征的方法，其中所述临床相关特征满足基于临床结果确定的阈值。临床结果确定的阈值。临床结果确定的阈值。


技术研发人员：马修
受保护的技术使用者：里珍纳龙药品有限公司
技术研发日：2021.12.22
技术公布日：2023/10/5