一种手写障碍症状量化评估方法与流程

1.本发明涉及柔性电子、卷积神经网络以及医疗监测技术领域，尤其涉及一种手写障碍症状量化评估方法。


背景技术：

2.帕金森病作为一种缓慢进展的神经系统退行性疾病，会对患者的运动、语言和其他功能造成损害。帕金森病一般不会自动缓解，如果能在患病早期根据患者的运动症状及时诊断并进行干预，能大幅度改善患者预后。早期临床诊断主要依赖于神经科医生的临床评估。然而，患病早期的运动症状并不明显，且与其他疾病(特发性震颤、多系统萎缩等)的运动症状极为相似，常常导致无法及时确诊，错过最佳治疗时机。
3.静息震颤、运动迟缓、强直和姿势不稳是帕金森病的典型运动症状，当运动症状影响惯用手时，患者会出现书写障碍，且任何典型运动症状的存在都可能严重影响帕金森患者的书写质量。作为生物标志物之一，书写障碍评估成为临床上早期帕金森病诊断和疾病进展评估的方法之一。纸笔任务绘图是临床上书写障碍评估的主流方法。该方法要求患者在纸张上执行一系列特定图案的书写任务，医生通过观察和比较患者和正常人的书写样本分析其书写速度、图画大小、笔画连贯性等方面的差异，以此来评估pd患者的书写能力，进而对患者病情做出判断。此种方法简单易行，但受到主观因素和人为干扰的影响较大，准确率相对较低。数字化平板电脑技术不仅可以量化笔迹的大小，还可以通过动力学参数(速度、加速度、行程、水平加速度、垂直加速度、接触时间及归一化接触时间等)精确研究书写的速度和流畅性，这是使用纸笔方法无法客观研究的。结合机器学习模型，可以对绘图笔迹及书写运动动力学进行特征提取与分级，这对客观研究书写障碍的特征及分析病因提供更多客观参考。但该方法需要专业设备和技术支持，成本相对较高。同时，电子屏表面与纸张质感不同，无法再现纸笔书写感受，这可能会对患者的书写习惯造成影响。理论上，固定有三轴陀螺仪的传感笔也可以实现上述功能，并可以在纸张上进行书写，但是传感笔的自重会加剧患者书写障碍，使得采集到的数据与实际书写有所偏差。此外，书写表面压力也可以作为特征参数来评价pd病情，并且其识别准确率可以达到60％-75％。由此可见，运动学参数和压力均可作为重要参数来研究书写障碍的特征，为分析病因提供客观参考。
4.目前，关于任务绘图的研究，有的只对绘图笔迹进行研究，有的只对患者绘图时的压力以及时空数据进行研究，分析的并不全面。


技术实现要素：

5.为解决上述技术问题，本发明提出了一种手写障碍症状量化评估方法，实现在无专业医生陪同的情况下对用户的手写障碍症状进行有标准地评估和量化，并对用户的帕金森病情或恢复情况作出综合评估，让用户在日常生活中居家就能实现手写障碍的监测，为用户以后的治疗以及用药提供重要的参考。
6.为实现上述目的，本发明提供了一种手写障碍症状量化评估方法，包括：
7.采集患者绘图数据，其中所述绘图数据包括所绘图案以及时序、压力数据；
8.提取所述绘图数据中的特征值，将所述特征值与所绘图案进行合成，获取特征图；
9.以手写障碍分级标准为所述特征图的标签，将所述特征图输入训练好的残差神经网络中，基于所述训练好的残差神经网络对所述患者的手写障碍症状进行量化评级。
10.优选地，所述手写障碍分级标准包括：
11.第一等级，所述第一等级被定义为书写图像完整，笔迹流畅，相对于基线笔迹偏移不明显；
12.第二等级，所述第二等级被定义为书写图像完整，笔迹粗细相对一致，停笔次数小于三次或相对于基线笔迹偏移较小或较慢的书写；
13.第三等级，所述第三等级被定义为书写图像完整，笔迹粗细不一致，停笔次数小于五次或相对于基线笔迹偏移较大且书写缓慢；
14.第四等级，所述第四等级被定义为书写图像不完整，笔迹断断续续，停笔次数大于五次，相对于基线笔迹偏移大且书写缓慢；
15.第五等级，所述第五等级被定义为无法完成手写任务。
16.优选地，通过柔性传感阵列，并对所述柔性传感阵列进行初始化，采集所述患者绘图数据；
17.其中，初始化所述柔性传感阵列，包括：将所述柔性传感阵列与手写笔置于桌面上，向患者展示需要绘制的图案，打开与所述柔性传感阵列连接的上位机软件，录入所述患者的个人信息及患病情况，将所述柔性传感阵列调配至检测模式，并设置检测参数，完成初始化。
18.优选地，所述柔性传感阵列包括阵列传感单元，所述阵列传感单元由电极层、传感层和支撑层组成；所述电极层用于连接外部测试设备，所述传感层用于感应压力，所述支撑层用于隔绝所述电极层与所述传感层；
19.其中，所述电极层以pet为基底，以石墨烯为印刷材料，所述传感层由传感子单元组成，所述传感子单元为由聚二甲基硅氧烷和多壁碳纳米管混合而成的导电弹性体；所述支撑层通过3d打印制成，打印材料为绝缘材料。
20.优选地，所述柔性传感阵列还包括：
21.绝缘隔离层，用于防止阵列电阻传感器串扰；
22.电路单元，用于控制电路的通断以及采集电阻值；
23.所述电路单元包括单片机和多路复用模拟器，所述多路复用模拟器通过引脚控制阵列的通断，所述单片机为基于微控制器atmega2560的单片机arduino mega。
24.优选地，所述采集患者绘图数据包括：
25.指导所述患者握笔侧的上肢肘关节悬空，在进行任务绘图期间，所述柔性传感阵列的传感单元实时读取患者绘图时落笔的坐标以及压力大小，并与计时器的时间进行对应，通过电路单元采集绘图数据，并通过蓝牙装置将数据传输到计算机，计算机接收到数据后将其保存至本地的文本文件中，并实时将获取的数据以图象形式反馈给用户。
26.优选地，所述特征值包括平均速度、平均加速度、笔画数、平均压力和患者所绘图与标准图案平均偏移距离。
27.优选地，获取所述特征图，包括：
28.将提取的所述特征值以进度条的形式与患者绘制的图案相结合，生成标准大小的输入图像，即所述特征图；
29.其中，所述进度条的长度表示特征值的大小，书写过程中力的大小通过所述特征图的灰度值表示。
30.优选地，所述残差神经网络为resnet-18残差神经网络，所述resnet-18残差神经网络基于包含所述手写障碍分级标准为标签的特征图进行训练，得到最优网络结构；
31.所述resnet-18残差神经网络包括残差块、卷积层和完全连接层组成；其中，所述残差块用于缓解梯度消失/爆炸，所述卷积层用于将特征图映射到隐层特征空间，所述完全连接层用于将所述卷积层提取到的分布式特征表示映射到样本标记空间，实现手写障碍评级。
32.优选地，对所述患者的手写障碍症状进行量化评级，包括：
33.所述resnet-18残差神经网络根据预训练好的权值与步长，对输入的所述特征图进行量化评估，为用户的手写障碍症状进行量化评级。
34.与现有技术相比，本发明具有如下优点和技术效果：
35.本发明可以实现在无专业医生陪同的情况下对用户的手写障碍症状进行有标准地评估和量化，并对用户的帕金森病情或恢复情况作出综合评估，让用户在日常生活中居家就能实现手写障碍的监测；同时，本发明原理简单，使用方便，安全性高，实时性优，精度高，适用范围广泛，用户居家就能实现帕金森病情的实时监测评估，为用户后续治疗以及用药提供重要参考。
附图说明
36.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
37.图1为本发明实施例中柔性传感阵列原理图；
38.图2为本发明实施例中柔性传感阵列的制作流程图；
39.图3为本发明实施例中柔性传感阵列中的传感单元结构图；
40.图4为本发明实施例中柔性传感阵列的内部电路原理图；
41.图5为本发明实施例中合成的特征图；
42.图6为本发明实施例中resnet-18残差神经网络的结构图；
43.图7为本发明实施例中图像通过resnet-18残差神经网络的变化示意图；
44.图8为本发明实施例中一种手写障碍症状量化评估方法流程图。
具体实施方式
45.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
46.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
47.本发明提出了一种手写障碍症状量化评估方法，如图8，包括：
48.步骤一：摆放好柔性传感阵列，向用户示意检测的内容。
49.开启传感器以及计算机上配套的上位机，对传感器进行初始化，设置好装置的检测参数。
50.步骤二：用户使用配套的手写笔在柔性阵列压力传感器上绘制规定的图案，上位机一边采集数据一边实时显示用户绘制出的图案，采集的数据包括用户所绘图案(即坐标信息)以及时序、压力数据。其中，所述时序、压力数据用于确定书写速度及书写压力。
51.步骤三：提取时序压力数据的特征值；
52.步骤四：将提取的特征值与用户所绘图案合成新的特征图作为残差卷积神经网络的输入；
53.步骤五：以手写障碍分级标准为特征数据图标签，训练残差卷积神经网络；
54.步骤六：将合成的特征数据图输入至已经训练好的残差卷积神经网络中，对用户的手写障碍症状进行量化评分。
55.在步骤一中：将柔性传感阵列与配套的手写笔平放于桌面上，用户端坐于桌面前。向用户展示完要绘制的阿基米德螺旋线圈后，打开柔性传感阵列与计算机上配套的上位机软件，录入用户的个人信息及患病情况，将传感器调配至检测模式。
56.图1为本发明所使用的柔性传感阵列原理图，用户根据说明在传感器上进行任务绘图，由于隔离层的存在，当用户没有对相应传感单元施加压力时，对应的传感单元电阻为无穷大，电流为0；当用户对相应的传感单元进行施压，对应的传感单元形成通路，施加压力越大，接触面积越大，通过的电流也就越大，单片机通过adc模块采集时序压力数据，并通过hc-06蓝牙模块将数据传输至上位机中，上位机将接收到的数据保存至本地的文本文件中并实时显示用户绘制图像。随后，计算机对采集到的数据进行特征提取和特征图合成，将合成的特征图作为输入置于训练好的残差神经网络中，神经网络输出量化评估结果，至此一次手写障碍症状量化评估完成。
57.柔性传感阵列包括阵列传感单元，阵列传感单元由电极层、传感层和支撑层组成。电极层以pet为基底，以石墨烯为印刷材料，首先在绘图软件中绘制电路图形，再制成相应的模具丝网印刷而成。传感层每层是由16
×
16＝256个长
×
宽
×
高＝5mm
×
5mm
×
1mm的长方体传感单元组成，它是控制一定比例的mwcnts材料与pdms材料混合，控制相应的固化时间，在制定好的模板中固化而成的。支撑层则是3d打印制成，一共有16
×
16＝256个边长为4mm的正方形孔位，打印材料为abs树脂，是绝缘材料。
58.当柔性触觉传感器表面不受力时，由于绝缘支撑层的存在，传感器的电阻为无穷大；当用户在传感器上绘图时，传感器表面受到压力，上下两层传感层中对应受力的一对传感单元透过支撑层对应的孔位相互接触，并且受力越大接触面积越大即电阻越小，通过上述中电路的处理便可以检测确定用户绘图时落笔的坐标与力度大小。柔性触觉传感器的制作流程如图2所示。图3为柔性触觉传感器中阵列传感单元的结构图，一层传感层由16
×
16＝256个长
×
宽
×
高＝5mm
×
5mm
×
1mm的长方体传感单元组成。
59.柔性触觉传感器的内部电路原理图如图4所示，其包括两个cd74hc4067 16通道模拟多路复用器，阵列传感部分和一个基于微控制器atmega 2560的单片机arduino mega组成。单片机通过控制自身8个引脚的高低电平进而控制两个复用器各自16个通道的通断，再利用电阻并联分压原理，用自身的模拟输入引脚a0采集16
×
16＝256个传感坐标的电阻值。
60.在步骤二中：于上位机点击开始检测后，计时器开始工作，用户使用配套的手写笔在柔性传感阵列上绘制规定的图案。在用户进行任务绘图期间，柔性阵列压力传感器以50hz的频率实时读取用户绘图时落笔的坐标以及压力大小并将这些数据与计时器的时间进行对应，单片机上采集完这些时序数据后通过蓝牙装置将数据传输到计算机，计算机一边将数据保存至本地的文本文件中，一边实时把获取的数据以图象形式反馈给用户，让用户得以进行对照。
61.在步骤三中：计算机将数据传输并存储于指定文本文件后，对存储的数据进行特征提取，提取的特征包括：
62.1、平均速度；
63.2.、平均加速度；
64.3、笔画数；
65.4、平均压力；
66.5、患者所绘图与标准图案平均偏移距离。
67.在步骤四中：由于使用卷积神经网络进行量化分类，因此输入的数据需要为2d图像，将提取的绘图数据的特征以进度条的形式与用户绘制的图案相结合，以生成标准大小的输入图像，用于输入到识别图像的残差神经网络，进度条的长度表示特征值的大小，书写过程中力的大小则由灰度值表示，合成的特征图例图如图5所示。
68.在步骤五中：以手写障碍分级标准为特征数据图标签，进行resnet-18残差卷积神经网络训练，获得最优网络结构参数；
69.手写障碍分级标准包括：
70.第一等级，第一等级被定义为书写图像完整，笔迹流畅，相对于基线笔迹偏移不明显(95％以上与基线重叠，且最大偏移不超过2毫米)；
71.第二等级，第二等级被定义为书写图像完整，笔迹粗细一致，停笔次数小于三次或相对于基线笔迹偏移较小(70％以上与基线重叠，或大于3毫米偏移不多于5处)或较慢的书写(1.2-3倍正常书写时间)；
72.第三等级，第三等级被定义为书写图像完整，笔迹粗细不一致，停笔次数小于五次或相对于基线笔迹偏移较大(40％以上与基线重叠，或笔迹完整但图形整体尺寸不一样)且书写缓慢(3-10倍正常书写时间)；
73.第四等级，所述第四等级被定义为书写图像不完整，笔迹断断续续，停笔次数大于五次，相对于基线笔迹偏移大(40％以下与基线重叠)且书写缓慢(10倍以上正常书写时间)；
74.第五等级，所述第四等级被定义为无法完成手写任务。
75.在步骤六中：将合成的2d图像输入至事先训练好的resnet-18残差神经网络中，神经网络根据之前训练好的权值与步长，对输入的图像进行量化评估，为用户的手写障碍症状进行评级。
76.使用的残差神经网络卷积网络是resnet-18。理论上，卷积神经网络越深，效果应该越好，但事实上，随着网络越来越深，训练变得越来越困难，太深的网络会导致退化问题(随着层数的增加，对训练集的影响变得更差，这称为退化问题)，效果不如相对较浅的网络。随着网络越来越深，当堆叠到一定的网络深度时，将出现梯度消失或梯度爆炸问题。使
用的resnet网络为了解决深度网络中的退化问题，使用了残差块，所谓的残差块就是神经网络的某些层可以人为地跳过下一层神经元的连接，而连接的层会削弱每一层之间的强连接。resnet-18共有四个残差块，由17个卷积层和1个完全连接层组成。残差块的作用是缓解梯度消失/爆炸，卷积层将特征图映射到隐层特征空间，完全连接层起到将学到的分布式特征表示映射到样本标记空间的作用，进而获得判断结果。
77.resnet-18残差神经网络的结构图如图6所示，图像通过resnet-18残差神经网络的变化如图7所示，大致过程如下：
78.输入数据的大小为224
×
224
×
3，也就是3个通道，每个通道的大小为224
×
224。
79.(1)7
×
7卷积层
80.图像首先经过一个卷积层。这个卷积层的卷积核的大小为7
×
7，步长为2，padding为3，输出通道为64。根据公式：
[0081][0082]
可以算出最后输出数据的大小为112
×
112
×
64。
[0083]
(2)池化层
[0084]
之后图像通过一个最大池化层，这一层的卷积核的大小是3
×
3，步长为2，padding为1。最后输出数据的大小为56
×
56
×
64。
[0085]
也就是说这个池化不改变数据的通道数量，而会减半数据的大小。
[0086]
(3)第一个3
×
3卷积层
[0087]
第一个卷积3
×
3卷积层，卷积核的大小为3
×
3，步长为1，padding为1。最后通过两个第一个卷积层的输出数据大小为64
×
54
×
54，也就是这一层不改变数据的大小和通道数。
[0088]
(4)第二个3
×
3卷积层
[0089]
首先通过一个1
×
1的卷积层，并经过一个下采样。这样最后的输出数据为28
×
28
×
128。也就是将输出通道翻倍，输出数据大小全部减半。
[0090]
(5)第三个3
×
3卷积层
[0091]
同样进行1
×
1卷积，和下采样。这样最后的输出为14
×
14
×
256。也就是将输出通道翻倍，输出数据大小全部减半。
[0092]
(6)第四个3
×
3卷积层
[0093]
和上述同理，最后的输出为7
×7×
512。也就是将输出通道翻倍，输出数据大小全部减半。
[0094]
(7)平均池化层
[0095]
最后输出为1
×1×
512。
[0096]
(8)线性层
[0097]
至此，resnet-18残差神经网络完成一次工作，对输入的数据进行了一次量化评估。
[0098]
本发明利用阵列式柔性触觉传感器采集用户绘图时的落笔坐标以及力度数据，使用训练好的残差卷积神经网络对采集到的数据进行处理并评分，进而对用户的帕金森病情或恢复情况进行综合评估。使用方便，对手写障碍的情况都进行了量化，能够让程序以及训
练好的残差卷积神经网络对病情进行分析评级，使得使用者能够真正实现居家进行更便携、更经济、更全面、更高效率、更精准客观的手写障碍症状量化评估，在协助医生诊断疾病和长期监测患者康复状况方面具有很大的应用前景。
[0099]
以上，仅为本技术较佳的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应该以权利要求的保护范围为准。

技术特征：
1.一种手写障碍症状量化评估方法，其特征在于，包括：采集患者绘图数据，其中所述绘图数据包括所绘图案以及时序、压力数据；提取所述绘图数据中的特征值，将所述特征值与所绘图案进行合成，获取特征图；以手写障碍分级标准为所述特征图的标签，将所述特征图输入训练好的残差神经网络中，基于所述训练好的残差神经网络对所述患者的手写障碍症状进行量化评级。2.根据权利要求1所述的手写障碍症状量化评估方法，其特征在于，所述手写障碍分级标准包括：第一等级，所述第一等级被定义为书写图像完整，笔迹流畅，相对于基线笔迹偏移不明显；第二等级，所述第二等级被定义为书写图像完整，笔迹粗细相对一致，停笔次数小于三次或相对于基线笔迹偏移较小或较慢的书写；第三等级，所述第三等级被定义为书写图像完整，笔迹粗细不一致，停笔次数小于五次或相对于基线笔迹偏移较大且书写缓慢；第四等级，所述第四等级被定义为书写图像不完整，笔迹断断续续，停笔次数大于五次，相对于基线笔迹偏移大且书写缓慢；第五等级，所述第五等级被定义为无法完成手写任务。3.根据权利要求1所述的手写障碍症状量化评估方法，其特征在于，通过柔性传感阵列，并对所述柔性传感阵列进行初始化，采集所述患者绘图数据；其中，初始化所述柔性传感阵列，包括：将所述柔性传感阵列与手写笔置于桌面上，向患者展示需要绘制的图案，打开与所述柔性传感阵列连接的上位机软件，录入所述患者的个人信息及患病情况，将所述柔性传感阵列调配至检测模式，并设置检测参数，完成初始化。4.根据权利要求3所述的手写障碍症状量化评估方法，其特征在于，所述柔性传感阵列包括阵列传感单元，所述阵列传感单元由电极层、传感层和支撑层组成；所述电极层用于连接外部测试设备，所述传感层用于感应压力，所述支撑层用于隔绝所述电极层与所述传感层；其中，所述电极层以pet为基底，以石墨烯为印刷材料，所述传感层由传感子单元组成，所述传感子单元为由聚二甲基硅氧烷和多壁碳纳米管混合而成的导电弹性体；所述支撑层通过3d打印制成，打印材料为绝缘材料。5.根据权利要求4所述的手写障碍症状量化评估方法，其特征在于，所述柔性传感阵列还包括：绝缘隔离层，用于防止阵列电阻传感器串扰；电路单元，用于控制电路的通断以及采集电阻值；所述电路单元包括单片机和多路复用模拟器，所述多路复用模拟器通过引脚控制阵列的通断，所述单片机为基于微控制器atmega2560的单片机arduino mega。6.根据权利要求3所述的手写障碍症状量化评估方法，其特征在于，所述采集患者绘图数据包括：指导所述患者握笔侧的上肢肘关节悬空，在进行任务绘图期间，所述柔性传感阵列的传感单元实时读取患者绘图时落笔的坐标以及压力大小，并与计时器的时间进行对应，通
过电路单元采集绘图数据，并通过蓝牙装置将数据传输到计算机，计算机接收到数据后将其保存至本地的文本文件中，并实时将获取的数据以图象形式反馈给用户。7.根据权利要求1所述的手写障碍症状量化评估方法，其特征在于，所述特征值包括平均速度、平均加速度、笔画数、平均压力和患者所绘图与标准图案平均偏移距离。8.根据权利要求1所述的手写障碍症状量化评估方法，其特征在于，获取所述特征图，包括：将提取的所述特征值以进度条的形式与患者绘制的图案相结合，生成标准大小的输入图像，即所述特征图；其中，所述进度条的长度表示特征值的大小，书写过程中力的大小通过所述特征图的灰度值表示。9.根据权利要求1所述的手写障碍症状量化评估方法，其特征在于，所述残差神经网络为resnet-18残差神经网络，所述resnet-18残差神经网络基于包含所述手写障碍分级标准为标签的特征图进行训练，得到最优网络结构；所述resnet-18残差神经网络包括残差块、卷积层和完全连接层组成；其中，所述残差块用于缓解梯度消失/爆炸，所述卷积层用于将特征图映射到隐层特征空间，所述完全连接层用于将所述卷积层提取到的分布式特征表示映射到样本标记空间，实现手写障碍评级。10.根据权利要求9所述的手写障碍症状量化评估方法，其特征在于，对所述患者的手写障碍症状进行量化评级，包括：所述resnet-18残差神经网络根据预训练好的权值与步长，对输入的所述特征图进行量化评估，为用户的手写障碍症状进行量化评级。

技术总结
本发明公开了一种手写障碍症状量化评估方法，包括：采集患者绘图数据，其中所述绘图数据包括所绘图案以及时序、压力数据；提取所述绘图数据中的特征值，将所述特征值与所绘图案进行合成，获取特征图；以手写障碍分级标准为所述特征图的标签，将所述特征图输入训练好的残差神经网络中，基于所述训练好的残差神经网络对所述患者的手写障碍症状进行量化评级。本发明原理简单，使用方便，安全性高，实时性优，精度高，适用范围广泛，为用户后续治疗以及用药提供重要参考。药提供重要参考。药提供重要参考。


技术研发人员：张月 洪文瑶 温玉星 阴翔宇
受保护的技术使用者：福建省立医院
技术研发日：2023.07.28
技术公布日：2023/9/23