智能终端虚拟滑动按钮触觉再现渲染方法及装置

1.本发明属于触摸屏技术和人机交互领域，尤其涉及一种智能终端虚拟滑动按钮触觉再现渲染方法及装置。


背景技术：

2.随着科技的进步，触摸屏已经成为手机、平板电脑、atm、自动售货机、汽车仪表板和智能家电等不可或缺的一部分。在这些交互式屏幕上，物理控件逐渐被虚拟控件所取代，以增大触摸面积。但是虚拟控件缺乏复杂的触觉反馈，会导致用户的体验质量和任务性能下降、认知负荷增加，使交互变得不舒适和缓慢。此外，当没有触觉线索提供时，用户就必须依赖视觉和听觉线索来获取信息，可能会对其他任务产生干扰。对于视力受损者等特殊人群来说，在使用智能终端设备时由于缺乏触觉信息传输通道，会对日常生活与学习造成更多的不便。
3.在目前所普及的智能终端中，通过虚拟滑动按钮来进行人机交互控制是一种很常见的行为。虚拟滑动按钮可用于音量大小和音视频进度的控制、开机界面滑动解锁、app登录时验证以及智能家电控制等。通过点击按钮并对其进行拖动来完成任务，在这一过程中通常会提供视觉(如外观、颜色的变化等)或者听觉(如点击、拖拽时的声音、任务完成时的提示音等)反馈或者两者相结合。与视觉和听觉相比，使用触觉作为虚拟滑动按钮交互过程中的感官反馈使用较少。在交互界面增加触觉反馈，可以增加交互的真实感和沉浸感，提高交互效率和准确度。
4.目前已经有一些应用于触摸屏交互界面上的虚拟滑动按钮的方法。
5.2014年论文“virtual touch screen“virtos”implementing virtual touch buttons and virtual sliders using a projector and camera”提出了一个带有虚拟触摸按钮和触摸滑块的名为virtos的大型交互式显示器，基于用户手投射的阴影区域来检测触摸，开发了一个带有触摸滑块的突破式游戏。
6.2015年论文“geltouch:localized tactile feedback through thin,programmable gel”在平板电脑上使用一种可以在柔软和坚硬之间选择性转换的凝胶层，设计了一个可以在浏览所呈现的图片时引导滚动运动的触觉滑块，建立了滚动速度和滚动期间感知到的触觉提示频率的映射模型，提供了简单的触觉反馈。
7.2018年中国专利cn110764421a中通过获取用户对虚拟滑道内的虚拟滑块的滑动操作产生控制指令，进而控制被控设备的运行，为用户提供了更宽的调档范围，以让用户更加顺滑地控制被控设备，更好地做到了用户与风扇的交互控制，提高了用户体验。
8.通过对智能终端虚拟滑动按钮研究现状的分析，现有的应用于触摸屏的虚拟滑动按钮大多还是通过视觉和听觉进行信息的传输，缺少触觉反馈，用户感受不到任何引导性线索会降低交互体验感。少有的添加触觉反馈的虚拟滑动按钮采用的是随着电流产生的温度升高而改变硬度的凝胶覆盖在电阻式触摸屏上，该方法触觉感受单一，且不能用于通过摩擦调制原理创建可编程触觉渲染，触觉再现真实感差。


技术实现要素：

9.本发明提供一种智能终端虚拟滑动按钮触觉再现渲染方法及装置，以提供触觉信息，减轻用户在交互过程中的视觉和听觉线索的依赖，丰富交互体验。在对滑块进行触摸点击时，通过施加超声振动驱动信号模拟点击感，提示用户已捕获虚拟滑动按钮。虚拟滑动按钮在滑轨不同区域被拖拽时建立位移/速度-驱动信号参数之间的映射关系，对用户的交互操作进行引导与确认，从而提高交互的准确性。
10.本发明采取的技术方案是，包括下列步骤：
11.(1)获取用户进行交互操作时手指在触摸屏上的位置坐标；
12.(2)获取用户进行交互操作时不同时刻手指的位移和速度；
13.(3)判断用户进行交互时的手势类别为触摸点击或者拖拽；
14.(4)在用户触摸按压虚拟滑动按钮时模拟类似于点击的触觉反馈；
15.(5)在开始滑动和即将到达目标时通过触觉棘爪增加触觉制动效果；
16.(6)滑动过程中在不同区域分别建立位移-超声振动驱动信号电压、速度-超声振动驱动信号频率、位移-静电力驱动信号电压以及速度-静电力驱动信号频率映射模型，手指位移距离和运动速度作为输入，驱动信号电压、频率作为输出。根据位移和运动速度的大小实时控制滑动时的摩擦系数，产生触觉反馈，实现虚拟滑动按钮的触觉再现渲染。
17.本发明所述虚拟滑动按钮应用于滑块验证码中，用来进行用户注册登陆验证、安全支付验证，所述滑块验证码基于unity2017.2.4f1平台绘制并运行。
18.本发明所述步骤(1)的实现方法如下：获取用户进行交互时手指在触摸屏上所处的位置包括通过将触觉再现屏和触控定位屏进行“二屏合一”的触控显示屏技术实时跟踪测量手指位置信息。
19.本发明所述步骤(2)的实现方法如下：以虚拟滑动按钮所在位置为原点建立二维坐标系，x轴表示水平方向，y轴表示竖直方向，计算手指在不同时刻与坐标原点间的距离x或y，即为当前时刻的位移，计算手指从上一位置水平或竖直滑动至当前位置所用时间为δt，水平或垂直滑动距离为δx或δy，则手指当前运动速度为v＝δx/δt或v＝δy/δt。
20.本发明所述步骤(3)的实现方法如下：计算从手指开始接触虚拟滑动按钮时1s内的位置坐标差值，若差值等于0即为触摸点击，否则为拖拽。
21.本发明所述步骤(4)的实现方法如下：
22.1)获取用户按压虚拟滑动按钮时的按压力fn，包括在终端外壳上安装力传感器实时测量并记录；
23.2)设定按压力阈值fd＝0.5n，当用户与触摸屏交互操作被判断为静态手势触摸点击且fn≥fd时，立即施加超声振动驱动信号，通过摩擦力瞬时变化和感知粗糙度的增加来模拟点击感。
24.本发明所述步骤(5)的实现方法如下：在开始滑动和即将到达目标时分别设计一4mm左右的方形棘爪提供触觉制动效果，对用户操作进行提示。
25.本发明所述步骤(6)的实现方法如下：
26.(1)将所要模拟的虚拟滑动按钮的滑动轨道按照距目标点的远近进行划分，分别为低摩擦区域和高摩擦区域两个部分，每个区域的最大位移分别为l1和l2；
27.(2)在不同区域分别建立位移-超声振动驱动信号电压、速度-超声振动驱动信号
频率、位移-静电力驱动信号电压以及速度-静电力驱动信号频率映射模型，实现触觉反馈随运动位移和速度变化而变化的效果；
28.1)超声振动触觉再现技术
29.压电陶瓷在驱动信号作用下带动触摸屏高频振动，在手指与触摸屏间形成空气薄膜导致真实接触面积减小，从而使得两者间的摩擦力减小，当手指与触摸屏接触时，形成的空气薄膜在两者之间产生挤压力：
[0030][0031]
ε＝h
vib
/h0[0032]
h0＝h
vib
+he+hr[0033]
其中，fs为挤压力，ε为偏移比，决定了挤压力的大小，范围是0≤ε≤1，s为手指与触摸屏间的接触面积，p0为大气压力，he为指纹的平均幅度，hr为触摸屏的表面粗糙度，h
vib
为触摸屏的振动幅度，当压电陶瓷工作在共振频率时，粘贴压电陶瓷的触摸屏的振动幅度：
[0034][0035]
其中，qm为压电陶瓷片的机械品质因数，d
31
为压电常数，v为驱动信号电压，h
p
为共振器厚度，λ/2为压电陶瓷片的长度，f0＝z0/h
p
，z0为板压缩和拉伸在z轴方向的长度，挤压力fs的存在导致手指所受到的法向力减少，此时产生的切向摩擦力：
[0036]
f1＝μ(f
n-fs)＝f1(v1)
[0037]
其中，f1为手指与屏幕间的切向摩擦力，fn为手指施加压力，μ为摩擦系数，v1为超声振动驱动信号电压幅值，由公式可推断出当驱动信号电压幅值越大时，触摸屏振动幅度h
vib
越大、偏移比ε变大，导致产生的挤压力增大，进而减小了手指与触摸屏之间的切向摩擦力；
[0038]
通过主观感知实验打分的方式得到触觉感知粗糙度与超声振动驱动信号频率之间的映射关系，进而建立速度-超声振动驱动信号频率映射模型，打分标准为“感知粗糙度越强，主观打分值越高；感知粗糙度越弱，主观打分值越低”，通过实验得到拟合关系：
[0039]
r1＝r1(f1)
[0040]
其中，f1为超声振动驱动信号频率，r1为触觉感知粗糙度；
[0041]
2)静电力触觉再现技术
[0042]
当向触摸屏的透明导电层施加驱动信号时，手指因电荷感应极性的不同，会与触摸屏之间产生静电吸引力：
[0043][0044]
其中，fe(t)为静电吸引力，ε0为自由空间介电常数，εs和ε
p
分别为皮肤和绝缘膜相对介电常数，a为手指与触摸屏接触面积，ts和t
p
分别为皮肤角质层和绝缘层厚度，v(t)为驱动信号电压，由公式可以看出静电吸引力fe(t)与驱动信号电压v(t)的平方成正比例关系，此时产生的切向摩擦力：
[0045]
f2＝μ(fn+fe)＝f2(v2)
[0046]
其中，f2为切向摩擦力，μ为手指与触摸屏之间的滑动摩擦系数，fn为手指施加压力，v2为静电力驱动信号电压幅值，当驱动电压幅值越大时，产生的静电吸引力越大，进而增大了手指与触摸屏之间的切向摩擦力；
[0047]
通过相同方式建立触觉感知粗糙度-静电力驱动信号频率映射模型，通过实验得到拟合关系：
[0048]
r2＝r2(f2)
[0049]
其中，f2为静电力驱动信号频率，r2为触觉感知粗糙度；
[0050]
3)建立位移-驱动信号电压映射模型
[0051]
手指距起始点的位移为0时，对应于最大摩擦力f
max
；手指距起始点为最大位移l1时，对应于最小摩擦力f
min
，将手指距起始点的位移与手指在运动过程中所受的摩擦力成比例进行映射：
[0052][0053]
其中，l为手指距离起始点的位移，f为位移l处手指所受摩擦力，k为位移-摩擦力映射关系的拟合系数，b为截距，将其与f1＝(v1)相结合，进而可以得到位移-超声振动驱动信号电压幅度的映射关系：
[0054]v1
＝f
1-1
(f1)＝f
1-1
(k1l+b1)
[0055]
其中，k1为超声振动触觉再现技术中位移-摩擦力映射关系的拟合系数，b1为截距。即当手指与起始点的位移越大时，手指所受到的切向摩擦力越小即挤压力越大，则超声振动驱动信号电压幅度越大，同理，位移-静电力驱动信号电压幅度的映射关系：
[0056]v2
＝f
2-1
(f2)＝f
2-1
(k2l
′
+b2)
[0057]
其中，k2为静电力触觉再现技术中位移-摩擦力映射关系的拟合系数，b2为截距，l
′
为手指距离目标点的位移，当手指与目标点的位移越大时，手指所受的切向摩擦力越小即静电吸引力越小，则静电力驱动信号电压幅度越小；
[0058]
4)建立速度-驱动信号频率映射模型
[0059]
根据人在不同情况下滑动触摸屏时的速度，选取运动速度范围为0-100mm/s，随着运动速度的增大，使触觉感知粗糙度增强，即：
[0060][0061]
其中，v为手指运动速度，r为在速度v时的触觉感知粗糙度，r
max
为感知粗糙度的最大值，k
′
为速度-触觉感知粗糙度映射关系的拟合系数，将其与r1＝r1(f1)相结合，进而得到速度-超声振动驱动信号频率的映射关系：
[0062]
f1＝r
1-1
(r1)＝r
1-1
(k
′1v)
[0063]
其中，k
′1为超声振动触觉再现技术中速度-触觉感知粗糙度映射关系的拟合系数，即当手指运动速度越大时，触觉感知粗糙度越强，超声振动驱动信号频率越小，同理，速度-静电力驱动信号频率的映射关系：
[0064]
f2＝r
2-1
(r2)＝r
2-1
(k
′2v)
[0065]
其中，k
′2为静电力触觉再现技术中速度-触觉感知粗糙度映射关系的拟合系数；
[0066]
(3)在低摩擦区域使用超声振动触觉再现技术，具体施加信号为：正弦波，载波频
率25.4khz；根据位移-超声振动驱动信号电压的映射关系v1＝f
1-1
(k1l+b1)，当手指与起始点的位移距离越来越大时，驱动信号电压在30-120vpp之间逐步增大，使手指所受摩擦阻力逐步减小；根据速度-超声振动驱动信号频率的映射关系f1＝r
1-1
(k
′1v)，随着手指滑动速度逐渐增大，调节调幅信号频率在0-1000hz之间逐渐减少，滑动速度越快频率越低，粗糙感越明显；
[0067]
(4)在高摩擦区域使用静电力触觉再现技术，具体施加信号为：正弦波；根据位移-静电力驱动信号电压的映射关系v2＝f
2-1
(k2l
′
+b2)，手指与目标点距离逐渐减小时，驱动信号电压在40-150vpp之间逐步增大，使手指所受摩擦阻力越大；根据速度-静电力驱动信号频率的映射关系f2＝r
2-1
(k
′2v)，随着手指滑动速度增大，调节驱动信号频率在0-1000hz之间逐渐减小，滑动速度越快频率越低，粗糙感越明显，即将到达目标位置的瞬间关闭驱动信号。
[0068]
本发明智能终端虚拟滑动按钮触觉再现渲染装置，包括：
[0069]
(1)触觉呈现单元：包括静电力触摸屏和压电陶瓷，呈现人机交互界面，接收触觉驱动单元传送的驱动信号，在触摸屏上提供切向力触觉反馈；
[0070]
(2)触觉驱动单元：包括信号发生器、数模转换器、放大器和电源，用于合成静电力和超声振动所需的驱动信号，并将其传送到触觉呈现单元，在相应位置进行驱动产生触觉感受；
[0071]
(3)手指定位单元：包括具有定位技术的装置，可以实时获取手指移动时的位置坐标信息，将其传送到触觉处理单元进行处理计算；
[0072]
(4)触觉处理单元：包括各种带有触摸屏的智能终端，用于输出视觉、听觉信息，可以接收手指定位单元传送过来的手指位置信息并进行处理计算，同时根据映射模型计算所需驱动信号的参数传送至触觉驱动单元。
[0073]
本发明具有以下优点：
[0074]
1、基于可变摩擦力控制的智能终端虚拟滑动按钮触觉再现装置，不需要任何额外的振动致动器，体积小结构简单，增加触觉反馈降低视觉负担，提高交互效率和准确度。
[0075]
2、用户进行触摸点击时提供的触觉反馈不受区域限制，可在触摸屏任意位置实现。
[0076]
3、模拟效果只取决于不同时刻所施加的驱动信号的参数，因此可适用于任何包含虚拟滑动按钮的应用界面。
[0077]
4、基于静电力和超声振动联合的触觉反馈方式，可以在主动触摸期间最大限度地扩大传递到指尖的力的范围，在使用触摸屏时增加了用指尖感受事物的体验，减轻了视觉、听觉的认知负荷，提高了交互效率和沉浸感，提供更宽的摩擦调制范围。
附图说明
[0078]
图1是本发明触觉再现装置的结构图；
[0079]
图2是本发明触觉与触控一体化的结构图；
[0080]
图3是本发明致动器与力传感器的示意图；
[0081]
图4是本发明的流程图；
[0082]
图5是本发明触摸点击时的摩擦模式图；
[0083]
图6是本发明滑轨上产生触觉制动的位置图；
[0084]
图7是本发明建立位移/速度-驱动信号参数映射关系的流程图；
[0085]
图8是虚拟滑块验证码整体施加驱动信号所产生的摩擦模式图；
[0086]
图9(a)是虚拟滑块验证码即将开始拖动时的用户界面示意图；
[0087]
图9(b)是虚拟滑块验证码即将到达目标位置时的用户界面示意图；
[0088]
图9(c)是虚拟滑块验证码到达目标位置时的用户界面示意图。
具体实施方式
[0089]
本发明提出了一种智能终端虚拟滑动按钮触觉再现渲染方法及装置，以提供触觉信息，减轻用户在交互过程中对视觉和听觉线索的依赖，丰富交互体验。为使本发明的目的、特征和优点更加明显易懂，下面将通过附图和实例来进行详细说明。
[0090]
本发明所述的基于静电力和超声振动的任意一种或者两者协同的基于可变摩擦控制的虚拟滑动按钮触觉再现装置的结构如图1所示，包括：
[0091]
(1)触觉呈现单元11：包括触觉与触控一体化触摸屏和压电陶瓷，呈现人机交互界面，接收触觉驱动单元传送的驱动信号，在触摸屏上提供切向力触觉反馈；
[0092]
(2)触觉驱动单元12：包括信号发生器、数模转换器、放大器和电源，用于合成静电力和超声振动所需的驱动信号，并将其传送到触觉呈现单元，在相应位置进行驱动产生触觉感受；
[0093]
(3)手指定位单元13：包括具有定位技术的装置，可以实时获取手指移动时的位置坐标信息，将其传送到触觉处理单元进行处理计算；
[0094]
(4)触觉处理单元14：包括各种带有触摸屏的智能终端，用于输出视觉、听觉信息，可以接收手指定位单元传送过来的手指位置信息并进行处理计算，同时根据映射模型计算所需驱动信号的参数传送至触觉驱动单元。
[0095]
所述虚拟滑动按钮应用于滑块验证码中，用来进行用户注册登陆验证、安全支付验证，所述滑块验证码基于unity2017.2.4f1平台绘制并运行。
[0096]
如图4所示，所采用的基于超声振动和静电力任意一种或者两者协同进行可变摩擦控制的虚拟滑动按钮触觉再现渲染方法，包括下列步骤：
[0097]
(1)获取用户进行交互操作时手指在触摸屏上的位置坐标；
[0098]
(2)获取用户进行交互操作时不同时刻手指的位移和速度；
[0099]
(3)判断用户进行交互时的手势类别为触摸点击或者拖拽；
[0100]
(4)在用户触摸按压虚拟滑动按钮时模拟类似于点击的触觉反馈；
[0101]
(5)在开始滑动和即将到达目标时通过触觉棘爪增加触觉制动效果；
[0102]
(6)滑动过程中在不同区域分别建立位移-超声振动驱动信号电压、速度-超声振动驱动信号频率、位移-静电力驱动信号电压以及速度-静电力驱动信号频率映射模型，手指位移距离和运动速度作为输入，驱动信号电压、频率作为输出。根据位移和运动速度的大小实时控制滑动时的摩擦系数，产生触觉反馈，实现虚拟滑动按钮的触觉再现渲染。
[0103]
所述虚拟滑动按钮应用于滑块验证码中，用来进行用户注册登陆验证、安全支付验证，所述滑块验证码基于unity2017.2.4f1平台绘制并运行。
[0104]
所述步骤(1)的实现方法如下：获取用户进行交互时手指在触摸屏上所处的位置
包括通过将触觉再现屏和触控定位屏进行“二屏合一”的触控显示屏技术实时跟踪测量手指位置信息，如图2所示。
[0105]
所述步骤(2)的实现方法如下：以虚拟滑动按钮所在位置为原点建立二维坐标系，x轴表示水平方向，y轴表示竖直方向，计算手指在不同时刻与坐标原点间的距离x或y，即为当前时刻的位移，计算手指从上一位置水平或竖直滑动至当前位置所用时间为δt，水平或垂直滑动距离为δx或δy，则手指当前运动速度为v＝δx/δt或v＝δy/δt。
[0106]
所述步骤(3)的实现方法如下：计算从手指开始接触虚拟滑动按钮时0.5s内的位置坐标差值，若差值等于0即为触摸点击，否则即为拖拽。
[0107]
所述步骤(4)的实现方法如下：
[0108]
1)获取用户按压虚拟滑动按钮时的按压力fn，包括在终端外壳上安装力传感器实时测量并记录，如图3所示。
[0109]
2)设定按压力阈值fd＝0.5n，当用户与触摸屏交互操作被判断为静态手势触摸点击且fn≥fd时，立即施加超声振动驱动信号。通过摩擦力瞬时变化和感知粗糙度的增加来模拟点击感，具体施加信号为电压幅度120v、载波频率25.4khz的方波，此时的摩擦水平如图5所示。
[0110]
所述步骤(5)的实现方法如下：在开始滑动和即将到达目标时分别设计一个4mm左右的方形棘爪提供触觉制动效果，对用户操作进行提示，具体施加信号为静电力方波驱动信号，电压幅度150vpp、频率20hz，方形棘爪的位置如图6所示，分别对应于图9(a)的802和图9(b)的804。
[0111]
如图7所示，所述步骤(6)的实现方法如下：
[0112]
(1)将所要模拟的虚拟滑动按钮的滑动轨道按照距目标点的远近进行划分，分别为低摩擦区域和高摩擦区域两个部分，每个区域的最大位移分别为l1和l2；
[0113]
(2)在不同区域分别建立位移-超声振动驱动信号电压、速度-超声振动驱动信号频率、位移-静电力驱动信号电压以及速度-静电力驱动信号频率映射模型，实现触觉反馈随运动位移和速度变化而变化的效果；
[0114]
1)超声振动触觉再现技术
[0115]
压电陶瓷在驱动信号作用下带动触摸屏高频振动，在手指与触摸屏间形成空气薄膜导致真实接触面积减小，从而使得两者间的摩擦力减小，当手指与触摸屏接触时，形成的空气薄膜在两者之间产生挤压力：
[0116][0117]
ε＝h
vib
/h0[0118]
h0＝h
vib
+he+hr[0119]
其中，fs为挤压力，ε为偏移比，决定了挤压力的大小，范围是0≤ε≤1，s为手指与触摸屏间的接触面积，p0为大气压力，he为指纹的平均幅度，hr为触摸屏的表面粗糙度，h
vib
为触摸屏的振动幅度，当压电陶瓷工作在共振频率时，粘贴压电陶瓷的触摸屏的振动幅度：
[0120]
[0121]
其中，qm为压电陶瓷片的机械品质因数，d
31
为压电常数，v为驱动信号电压，h
p
为共振器厚度，λ/2为压电陶瓷片的长度，f0＝z0/h
p
，z0为板压缩和拉伸在z轴方向的长度。挤压力fs的存在导致手指所受到的法向力减少，此时产生的切向摩擦力：
[0122]
f1＝μ(f
n-fs)＝f1(v1)
[0123]
其中，f1为手指与屏幕间的切向摩擦力，fn为手指施加压力，μ为摩擦系数，v1为超声振动驱动信号电压幅值，由公式可推断出当驱动信号电压幅值越大时，触摸屏振动幅度h
vib
越大、偏移比ε变大，导致产生的挤压力增大，进而减小了手指与触摸屏之间的切向摩擦力；
[0124]
通过主观感知实验打分的方式得到触觉感知粗糙度与超声振动驱动信号频率之间的映射关系，进而建立速度-超声振动驱动信号频率映射模型，打分标准为“感知粗糙度越强，主观打分值越高；感知粗糙度越弱，主观打分值越低”，通过实验得到拟合关系：
[0125]
r1＝r1(f1)
[0126]
其中，f1为超声振动驱动信号频率，r1为触觉感知粗糙度；
[0127]
2)静电力触觉再现技术
[0128]
当向触摸屏的透明导电层施加驱动信号时，手指因电荷感应极性的不同，会与触摸屏之间产生静电吸引力：
[0129][0130]
其中，fe(t)为静电吸引力，ε0为自由空间介电常数，εs和ε
p
分别为皮肤和绝缘膜相对介电常数，a为手指与触摸屏接触面积，ts和t
p
分别为皮肤角质层和绝缘层厚度，v(t)为驱动信号电压，由公式可以看出静电吸引力fe(t)与驱动信号电压v(t)的平方成正比例关系，此时产生的切向摩擦力：
[0131]
f2＝μ(fn+fe)＝f2(v2)
[0132]
其中，f2为切向摩擦力，μ为手指与触摸屏之间的滑动摩擦系数，fn为手指施加压力，v2为静电力驱动信号电压幅值，当驱动电压幅值越大时，产生的静电吸引力越大，进而增大了手指与触摸屏之间的切向摩擦力；
[0133]
通过相同方式建立触觉感知粗糙度-静电力驱动信号频率映射模型，通过实验得到拟合关系：
[0134]
r2＝r2(f2)
[0135]
其中，f2为静电力驱动信号频率，r2为触觉感知粗糙度。
[0136]
3)建立位移-驱动信号电压映射模型
[0137]
手指距起始点的位移为0时，对应于最大摩擦力f
max
；手指距起始点为最大位移l1时，对应于最小摩擦力f
min
，将手指距起始点的位移与手指在运动过程中所受的摩擦力成比例进行映射：
[0138][0139]
其中，l为手指距离起始点的位移，f为位移l处手指所受摩擦力，k为位移-摩擦力映射关系的拟合系数，b为截距，将其与f1＝(v1)相结合，进而可以得到位移-超声振动驱动信号电压幅度的映射关系：
[0140]v1
＝f
1-1
(f1)＝f
1-1
(k1l+b1)
[0141]
其中，k1为超声振动触觉再现技术中位移-摩擦力映射关系的拟合系数，b1为截距，即当手指与起始点的位移越大时，手指所受到的切向摩擦力越小即挤压力越大，则超声振动驱动信号电压幅度越大，同理，位移-静电力驱动信号电压幅度的映射关系：
[0142]v2
＝f
2-1
(f2)＝f
2-1
(k2l
′
+b2)
[0143]
其中，k2为静电力触觉再现技术中位移-摩擦力映射关系的拟合系数，b2为截距，l
′
为手指距离目标点的位移，当手指与目标点的位移越大时，手指所受的切向摩擦力越小即静电吸引力越小，则静电力驱动信号电压幅度越小；
[0144]
4)建立速度-驱动信号频率映射模型
[0145]
根据人在不同情况下滑动触摸屏时的速度，选取运动速度范围为0-100mm/s，随着运动速度的增大，使触觉感知粗糙度增强，即：
[0146][0147]
其中，v为手指运动速度，r为在速度v时的触觉感知粗糙度，r
max
为感知粗糙度的最大值，k
′
为速度-触觉感知粗糙度映射关系的拟合系数，将其与r1＝r1(f1)相结合，进而可以得到速度-超声振动驱动信号频率的映射关系：
[0148]
f1＝r
1-1
(r1)＝r
1-1
(k
′1v)
[0149]
其中，k
′1为超声振动触觉再现技术中速度-触觉感知粗糙度映射关系的拟合系数，即当手指运动速度越大时，触觉感知粗糙度越强，超声振动驱动信号频率越小，同理，速度-静电力驱动信号频率的映射关系：
[0150]
f2＝r
2-1
(r2)＝r
2-1
(k
′2v)
[0151]
其中，k
′2为静电力再现技术中速度-触觉感知粗糙度映射关系的拟合系数；
[0152]
(3)在低摩擦区域使用超声振动触觉再现技术，具体施加信号为：正弦波，载波频率25.4khz；根据位移-超声振动驱动信号电压的映射关系v1＝f
1-1
(k1l+b1)，当手指与起始点的位移距离越来越大时，驱动信号电压在30-120vpp之间逐步增大，使手指所受摩擦阻力逐步减小；根据速度-超声振动驱动信号频率的映射关系f1＝r
1-1
(k
′1v)，随着手指滑动速度逐渐增大，调节调幅信号频率在0-1000hz之间逐渐减少，滑动速度越快频率越低，粗糙感越明显；
[0153]
(4)在高摩擦区域使用静电力触觉再现技术，具体施加信号为：正弦波；根据位移-静电力驱动信号电压的映射关系v2＝f
2-1
(k2l
′
+b2)，手指与目标点距离逐渐减小时，驱动信号电压在40-150vpp之间逐步增大，使手指所受摩擦阻力越大；根据速度-静电力驱动信号频率的映射关系f2＝r
2-1
(k
′2v)，随着手指滑动速度增大，调节驱动信号频率在0-1000hz之间逐渐减小，滑动速度越快频率越低，粗糙感越明显，即将到达目标位置的瞬间关闭驱动信号。
[0154]
最后，根据上述步骤在手指与触摸屏进行不同手势交互时所提供的不同驱动信号，在交互位置处产生触觉反馈，从而实现虚拟滑动按钮的触觉感知过程。即当手指按压按钮时产生点击感，在滑块拖动过程中通过对摩擦系数的控制提供触觉感受，从而对交互操作进行引导与确认，增加交互体验感。
[0155]
下面结合具体实例对本发明作进一步说明：
[0156]
近些年以来，为了防止机器人程序访问，很多应用系统开始使用验证码技术。因操作简单、安全性较强等优点，滑块验证码应用广泛。但是滑块验证码需要拖动拼合图片到正确位置才能完成验证，比较依赖于视觉线索，且交互准确率随机性较大。如图9(a)、9(b)、9(c)所示，通过在智能终端对虚拟滑动按钮验证码进行触觉再现渲染来对本发明做进一步说明。
[0157]
触觉呈现单元11为双侧对称粘贴了压电陶瓷的静电力触摸屏，压电陶瓷在驱动信号作用下带动触摸屏高频振动形成空气薄膜，从而减少手指与触摸屏间的切向摩擦力；向静电力触摸屏的导电层施加驱动信号时，手指因电荷感应极性的不同，产生变化的静电吸引力，从而增大手指与触摸屏之间的切向摩擦力。实现了切向摩擦力既可以增大又可以减少的双向调节，使触觉感受更加丰富真实。在智能终端对虚拟滑动按钮验证码进行交互时增加触觉反馈，如图9所示。
[0158]
当手指触摸到触觉呈现单元11时，手指定位单元13用过智能终端自身的触控定位技术检测手指位置并反馈给触觉处理单元14，检测是否捕获虚拟滑动按钮并计算手指运动位移、速度。触摸点击虚拟滑块时通过力传感器实时获取手指施加压力fn与设置的按压力阈值fd＝0.5n进行比较，同时计算从手指开始触摸到接触0.5s内的位置坐标差值判断此时的交互手势为触摸点击，在达到预置条件的瞬间通过触觉驱动单元12合成方波、120v、25.4khz的超声振动驱动信号，通过瞬时摩擦力减少模拟点击感。
[0159]
在图9(a)的802位置和图9(b)的804位置，施加方波、150v、20hz的静电力驱动信号增大切向摩擦力，通过高摩擦水平的棘爪产生触觉制动对用户的操作进行提示，以避免用户在滑动过程中丢失目标或达不到目标位置，减轻视觉负担。在拖拽滑动过程中，距起始点越来越远时，在30-120vpp内逐步增加超声振动驱动信号电压幅值减少摩擦阻力，减短交互时间；在图片开始进入目标区域时，在40-150vpp内逐步增加静电力驱动信号电压幅值增加摩擦阻力，以免错过目标位置。在整体的滑动过程中，根据不同时刻的运动速度在0-1000hz内改变驱动信号频率，速度缓慢时，频率高；速度较快时，频率低，通过感知粗糙度的变化控制手指运动速度适中，提高交互准确性。最终整体施加的驱动信号所产生的摩擦模式如图8所示。
[0160]
通过上述方法，基于超声振动和静电力触觉再现技术的任意一种或两者协同的可变摩擦触觉反馈，实现了智能终端虚拟滑动按钮的触觉再现。通过实时检测手指施加压力、位移和滑动速度，调节驱动信号参数以控制触觉反馈效果，增加了交互的真实感和沉浸感，提高了交互效率和准确度。同时通过实例对本发明进行了详细说明，但本发明的具体实现形式并不局限于此。任何熟悉本领域的技术人员，可以在不背离本发明所述方法的精神和原则的情况下对其进行各种显而易见变化与修改。

技术特征：
1.一种智能终端虚拟滑动按钮触觉再现渲染方法，其特征在于，包括下列步骤：(1)获取用户进行交互操作时手指在触摸屏上的位置坐标；(2)获取用户进行交互操作时不同时刻手指的位移和速度；(3)判断用户进行交互时的手势类别为触摸点击或者拖拽；(4)在用户触摸按压虚拟滑动按钮时模拟类似于点击的触觉反馈；(5)在开始滑动和即将到达目标时通过触觉棘爪增加触觉制动效果；(6)滑动过程中在不同区域分别建立位移-超声振动驱动信号电压、速度-超声振动驱动信号频率、位移-静电力驱动信号电压以及速度-静电力驱动信号频率映射模型，手指位移距离和运动速度作为输入，驱动信号电压、频率作为输出，根据位移和运动速度的大小实时控制滑动时的摩擦系数，产生触觉反馈，实现虚拟滑动按钮的触觉再现渲染。2.根据权利要求1所述的智能终端虚拟滑动按钮触觉再现渲染方法，其特征在于，所述虚拟滑动按钮应用于滑块验证码中，用来进行用户注册登陆验证、安全支付验证，所述滑块验证码基于unity2017.2.4f1平台绘制并运行。3.根据权利要求1所述的智能终端虚拟滑动按钮触觉再现渲染方法，其特征在于，所述步骤(1)的实现方法如下：获取用户进行交互时手指在触摸屏上所处的位置包括通过将触觉再现屏和触控定位屏进行“二屏合一”的触控显示屏技术实时跟踪测量手指位置信息。4.根据权利要求1所述的智能终端虚拟滑动按钮触觉再现渲染方法，其特征在于，所述步骤(2)的实现方法如下：以虚拟滑动按钮所在位置为原点建立二维坐标系，x轴表示水平方向，y轴表示竖直方向，计算手指在不同时刻与坐标原点间的距离x或y，即为当前时刻的位移，计算手指从上一位置水平或竖直滑动至当前位置所用时间为δt，水平或垂直滑动距离为δx或δy，则手指当前运动速度为v＝δx/δt或v＝δy/δt。5.根据权利要求1所述的智能终端虚拟滑动按钮触觉再现渲染方法，其特征在于，所述步骤(3)的实现方法如下：计算从手指开始接触虚拟滑动按钮时1s内的位置坐标差值，若差值等于0即为触摸点击，否则为拖拽。6.根据权利要求1所述的智能终端虚拟滑动按钮触觉再现渲染方法，其特征在于，所述步骤(4)的实现方法如下：1)获取用户按压虚拟滑动按钮时的按压力f
n
，包括在终端外壳上安装力传感器实时测量并记录；2)设定按压力阈值f
d
＝0.5n，当用户与触摸屏交互操作被判断为静态手势触摸点击且f
n
≥f
d
时，立即施加超声振动驱动信号，通过摩擦力瞬时变化和感知粗糙度的增加来模拟点击感。7.根据权利要求1所述的智能终端虚拟滑动按钮触觉再现渲染方法，其特征在于，所述步骤(5)的实现方法如下：在开始滑动和即将到达目标时分别设计一个方形棘爪提供触觉制动效果，对用户操作进行提示。8.根据权利要求1所述的智能终端虚拟滑动按钮触觉再现渲染方法，其特征在于，所述步骤(6)的实现方法如下：(1)将所要模拟的虚拟滑动按钮的滑动轨道按照距目标点的远近进行划分，分别为低摩擦区域和高摩擦区域两个部分，每个区域的最大位移分别为l1和l2；(2)在不同区域分别建立位移-超声振动驱动信号电压、速度-超声振动驱动信号频率、
为静电力驱动信号电压幅值，当驱动电压幅值越大时，产生的静电吸引力越大，进而增大了手指与触摸屏之间的切向摩擦力；通过相同方式建立触觉感知粗糙度-静电力驱动信号频率映射模型，通过实验得到拟合关系：r2＝r2(f2)其中，f2为静电力驱动信号频率，r2为触觉感知粗糙度；3)建立位移-驱动信号电压映射模型手指距起始点的位移为0时，对应于最大摩擦力f
max
；手指距起始点为最大位移l1时，对应于最小摩擦力f
min
，将手指距起始点的位移与手指在运动过程中所受的摩擦力成比例进行映射：其中，l为手指距离起始点的位移，f为位移l处手指所受摩擦力，k为位移-摩擦力映射关系的拟合系数，b为截距，将其与f1＝(v1)相结合，进而可以得到位移-超声振动驱动信号电压幅度的映射关系：v1＝f
1-1
(f1)＝f
1-1
(k1l+b1)其中，k1为超声振动触觉再现技术中位移-摩擦力映射关系的拟合系数，b1为截距，即当手指与起始点的位移越大时，手指所受到的切向摩擦力越小即挤压力越大，则超声振动驱动信号电压幅度越大，同理，位移-静电力驱动信号电压幅度的映射关系：v2＝f
2-1
(f2)＝f
2-1
(k2l
′
+b2)其中，k2为静电力触觉再现技术中位移-摩擦力映射关系的拟合系数，b2为截距，l
′
为手指距离目标点的位移，当手指与目标点的位移越大时，手指所受的切向摩擦力越小即静电吸引力越小，则静电力驱动信号电压幅度越小；4)建立速度-驱动信号频率映射模型根据人在不同情况下滑动触摸屏时的速度，选取运动速度范围为0-100mm/s，随着运动速度的增大，使触觉感知粗糙度增强，即：其中，v为手指运动速度，r为在速度v时的触觉感知粗糙度，r
max
为感知粗糙度的最大值，k
′
为速度-触觉感知粗糙度映射关系的拟合系数，将其与r1＝r1(f1)相结合，进而得到速度-超声振动驱动信号频率的映射关系：f1＝r
1-1
(r1)＝r
1-1
(k
′1v)其中，k
′1为超声振动触觉再现技术中速度-触觉感知粗糙度映射关系的拟合系数，即当手指运动速度越大时，触觉感知粗糙度越强，超声振动驱动信号频率越小，同理，速度-静电力驱动信号频率的映射关系：f2＝r
2-1
(r2)＝r
2-1
(k
′2v)其中，k
′2为静电力触觉再现技术中速度-触觉感知粗糙度映射关系的拟合系数；(3)在低摩擦区域使用超声振动触觉再现技术，具体施加信号为：正弦波，载波频率25.4khz；根据位移-超声振动驱动信号电压的映射关系v1＝f
1-1
(k1l+b1)，当手指与起始点
的位移距离越来越大时，驱动信号电压在30-120vpp之间逐步增大，使手指所受摩擦阻力逐步减小；根据速度-超声振动驱动信号频率的映射关系f1＝r
1-1
(k
′1v)，随着手指滑动速度逐渐增大，调节调幅信号频率在0-1000hz之间逐渐减少，滑动速度越快频率越低，粗糙感越明显；(4)在高摩擦区域使用静电力触觉再现技术，具体施加信号为：正弦波；根据位移-静电力驱动信号电压的映射关系v2＝f
2-1
(k2l
′
+b2)，手指与目标点距离逐渐减小时，驱动信号电压在40-150vpp之间逐步增大，使手指所受摩擦阻力越大；根据速度-静电力驱动信号频率的映射关系f2＝r
2-1
(k
′2v)，随着手指滑动速度增大，调节驱动信号频率在0-1000hz之间逐渐减小，滑动速度越快频率越低，粗糙感越明显，即将到达目标位置的瞬间关闭驱动信号。9.一种实现如权利要求1～8任一项所述方法的智能终端虚拟滑动按钮触觉再现渲染装置，其特征在于，包括：(1)触觉呈现单元：包括静电力触摸屏和压电陶瓷片，呈现人机交互界面，接收触觉驱动单元传送的驱动信号，在触摸屏上提供切向力触觉反馈；(2)触觉驱动单元：包括信号发生器、数模转换器、放大器和电源，用于合成静电力和超声振动所需的驱动信号，并将其传送到触觉呈现单元，在相应位置进行驱动产生触觉感受；(3)手指定位单元：包括具有定位技术的装置，可以实时获取手指移动时的位置坐标信息，将其传送到触觉处理单元进行处理计算；(4)触觉处理单元：包括各种带有触摸屏的智能终端，用于输出视觉、听觉信息，可以接收手指定位单元传送过来的手指位置信息并进行处理计算，同时根据映射模型计算所需驱动信号的参数传送至触觉驱动单元。

技术总结
本发明提供一种智能终端虚拟滑动按钮触觉再现渲染方法及装置，属于触摸屏技术和人机交互领域。包括获取用户进行交互操作时手指在触摸屏上的位置坐标，位移和速度，判断触摸点击或者拖拽，模拟类似于点击的触觉反馈，通过触觉棘爪增加触觉制动效果，根据位移和运动速度的大小实时控制滑动时的摩擦系数，产生触觉反馈，实现虚拟滑动按钮的触觉再现渲染。本发明通过对虚拟滑动按钮的不同交互操作在触觉感知过程中产生相对应的触觉反馈，提高交互效率和准确度，在使用触摸屏时增加了用指尖感受事物的体验，减轻了视觉、听觉的认知负荷，提高了交互效率和沉浸感。了交互效率和沉浸感。了交互效率和沉浸感。


技术研发人员：孙晓颖 陈征 张中华 赵轶男 燕学智 陈建
受保护的技术使用者：吉林大学
技术研发日：2023.06.01
技术公布日：2023/8/28