一种基于人耳感知的触觉反馈实时生成方法及装置、计算机可存储介质与流程

1.本发明涉及触觉反馈技术领域，尤其涉及一种基于人耳感知的触觉反馈实时生成方法及装置、计算机可存储介质。


背景技术：

2.随着vr技术的发展，人们对体感沉浸式体验的要求越来越高，通过听觉信息和触觉感知信息相结合，用户的沉浸式体验会增强，有身临其境的感觉，因此越来越多的触觉产生产品层出不穷，包括游戏手柄，vr头戴产品，智能手套，智能眼镜等。
3.一般音频数据有两大主要的特征，声压值和频率。现有触觉产生产品根据这两个特征来将音频转换为触觉反馈。然而，根据心理声学的相关研究，这两个物理特征并不能直接映射人们的主观听觉感受，响度才是人们主观感受到的声音强度大小。经过研究人耳特性，响度的大小需综合考虑声压值和频率，当声压值和频率均不同时，被人耳感受到的响度存在相同的可能，例如，1000hz频率、40db声压值的声音与100hz频率、50db声压值的声音在响度上相等，对于人耳来说这两种声音的强度感知基本是一致的，而这两种声音由于其两个主要特征均不一致在现有技术下所产生的触觉反馈不太可能保持一致，导致产生的触觉反馈的准确性较低。可见，如何提出一种基于人耳感知的触觉反馈生成方法显得非常重要。


技术实现要素：

4.本发明所要解决的技术问题在于，提供一种基于人耳感知的触觉反馈实时生成方法及装置、计算机可存储介质，能够对于响度相等的两种声音确定一致的马达驱动参数，进而产生一致的触觉反馈，提高生成触觉反馈的准确性。
5.为了解决上述技术问题，本发明第一方面公开了一种基于人耳感知的触觉反馈实时生成方法，所述方法包括：
6.实时获取当前播放的音频数据，对所述音频数据预处理，将预处理后的所述音频数据输入预先建立的响度计算模型；
7.获取所述响度计算模型的输出并将该输出确定为当前播放的所述音频数据对应的响度值；
8.根据所述音频数据对应的响度值确定人耳感知该音频数据的感知声音强度，并将所述音频数据的感知声音强度确定为所述音频数据对应的触觉反馈强度；
9.根据所述触觉反馈强度确定马达的振动频率和驱动电压；所述马达用于产生振动反馈。
10.作为一种可选的实施方式，在本发明第一方面中，在所述根据所述音频数据对应的响度值确定人耳感知该音频数据的感知声音强度之前，所述方法还包括：
11.获取感知人员对多组测试音频所感知的声音强度的评估分值；当评估分值越高时表示感知人员所感知的声音强度越大；所有所述测试音频至少对应两种响度值；
12.将每个获取到的评估分值作为纵坐标值、该评估分值对应的响度值作为横坐标值在预先建立的第一坐标系中创建对应的第一坐标点；所述第一坐标系的横坐标为响度值，纵坐标为人耳感知的声音强度；
13.在所述第一坐标系中构建一次函数；所述一次函数的表达式为t0＝a0*f0+b0，其中，t0为人耳感知的声音强度，f0为响度值，a0和b0均为系数；
14.使所述一次函数拟合所有所述第一坐标点，以求取所述一次函数的表达式中的a0和b0。
15.作为又一种可选的实施方式，在本发明第一方面中，在所述根据所述触觉反馈强度确定马达的振动频率和驱动电压之前，所述方法还包括：
16.获取用于产生振动反馈的马达的振动频率的范围，得到所述马达的最大振动频率x
max
和最小振动频率x
min
；
17.获取人耳感知音频数据的感知声音强度的范围，得到所述感知声音强度的最大值t
max
和最小值t
min
；
18.分别将(x
max
，t
min
)、(x
min
，t
max
)带入如下第一关系式中，以求取所述第一关系式中的a1和b1：
19.t1＝a1*x+b1，
20.其中，t1为感知声音强度，x为马达的振动频率，a1和b1为系数。
21.作为又一种可选的实施方式，在本发明第一方面中，所述根据所述触觉反馈强度确定马达的振动频率的步骤具体包括：
22.将所述触觉反馈强度作为所述第一关系式中t1的取值输入所述第一关系式，以求取所述第一关系式中x的取值，将该x的取值确定为马达的振动频率。
23.作为又一种可选的实施方式，在本发明第一方面中，在所述根据所述触觉反馈强度确定马达的振动频率和驱动电压之前，所述方法还包括：
24.获取用于产生振动反馈的马达在不同驱动电压下的振动幅度数据，并确定所述马达的第一驱动电压y1；所述马达在所述第一驱动电压y1下的振动幅度最大；
25.获取所述马达的驱动电压的范围，并确定第二驱动电压y2；所述第二驱动电压y2为所述马达的最大驱动电压或最小驱动电压；
26.获取人耳感知音频数据的感知声音强度的范围，得到所述感知声音强度的最大值t
max
和最小值t
min
；
27.分别将(y1，t
max
)、(y2，t
min
)带入如下第二关系式中，以求取所述第二关系式中的a2和b2：
28.t2＝a2*y+b2，
29.其中，t2为感知声音强度，y为马达的驱动电压，a2和b2为系数。
30.作为又一种可选的实施方式，在本发明第一方面中，所述根据所述触觉反馈强度确定马达的驱动电压的步骤具体包括：
31.将所述触觉反馈强度作为所述第二关系式中t2的取值输入所述第二关系式，以求取所述第二关系式中y的取值，并将该y的取值确定为马达的驱动电压。
32.作为又一种可选的实施方式，在本发明第一方面中，所述根据所述音频数据对应的响度值确定人耳感知该音频数据的感知声音强度，包括：
33.将所述音频数据对应的响度值作为所述一次函数中f0的取值输入所述一次函数，得到所述一次函数输出的t0值，将该t0值确定为人耳感知该音频数据的感知声音强度。
34.本发明第二方面公开了一种基于人耳感知的触觉反馈实时生成装置，包括：
35.存储有可执行程序代码的存储器；
36.与所述存储器耦合的处理器；
37.所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的一种基于人耳感知的触觉反馈实时生成方法中的步骤。
38.本发明第三方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的一种基于人耳感知的触觉反馈实时生成方法中的步骤。
39.与现有技术相比，本发明实施例具有以下有益效果：
40.本发明实施例通过将响度值转换为人耳感知音频数据的声音强度，将声音强度作为触觉反馈的强度，然后通过触觉反馈的强度确定马达的驱动参数，从而实现基于人耳感知将音频信号转换为马达驱动信号。本发明实施例的触觉反馈强度等于人耳感知音频数据的感知声音强度，对于响度相等的两种声音对应的触觉反馈强度也相等，因而在后续通过触觉反馈的强度确定马达的驱动参数时易确定一致的驱动参数，进而产生一致的触觉反馈，使得触觉反馈对人体的感知强度与人耳的听感强度保持一致，减少出现两种声音听感强度相同而触觉感知强度却不同的情况，提高生成触觉反馈的准确性。
附图说明
41.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
42.图1是本发明实施例公开的一种基于人耳感知的触觉反馈实时生成方法的流程示意图；
43.图2是本发明实施例公开的一种从音频信号转变为马达驱动信号的过程示意图；
44.图3是本发明实施例公开的一种基于人耳感知的触觉反馈实时生成装置的结构示意图。
具体实施方式
45.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.实施例一
47.参见图1，本发明实施例公开一种基于人耳感知的触觉反馈实时生成方法，所述方法包括：
48.101、实时获取当前播放的音频数据，对所述音频数据预处理，将预处理后的所述
音频数据输入预先建立的响度计算模型。
49.本发明实施例中，预处理为依次经过用于去噪声的预滤波、分帧加窗、傅里叶变换(fft变换)，得到音频数据的频率成份以及每一频率成份的峰值，输入预先建立的响度计算模型中。本发明实施例中，预先建立的响度计算模型可以为moore响度模型及其改进模型。
50.102、获取所述响度计算模型的输出并将该输出确定为当前播放的所述音频数据对应的响度值。
51.103、根据所述音频数据对应的响度值确定人耳感知该音频数据的感知声音强度，并将所述音频数据的感知声音强度确定为所述音频数据对应的触觉反馈强度。
52.104、根据所述触觉反馈强度确定马达的振动频率和驱动电压。
53.本发明实施例中，所述马达用于产生振动反馈。
54.如图2所示，通过响度模型可求得音频信号的响度值，但响度参数无法直接驱动马达振动形成触觉反馈。为了实现从音频信号到马达驱动信号的映射a，本发明实施例通过将响度值转换为人耳感知音频数据的声音强度，将声音强度作为触觉反馈的强度，即实现图2中的映射a，然后通过触觉反馈的强度确定马达的驱动参数，即图2中的映射c，从而实现基于人耳感知将音频信号转换为马达驱动信号。本发明实施例的触觉反馈强度等于人耳感知音频数据的感知声音强度，对于响度相等的两种声音对应的触觉反馈强度也相等，因而在后续通过触觉反馈的强度确定马达的驱动参数时易确定一致的驱动参数，进而产生一致的触觉反馈，使得触觉反馈对人体的感知强度与人耳的听感强度保持一致，减少出现两种声音听感强度相同而触觉感知强度却不同的情况，提高生成触觉反馈的准确性。
55.在一个可选的实施例中，在所述根据所述音频数据对应的响度值确定人耳感知该音频数据的感知声音强度之前，所述方法还包括：
56.获取感知人员对多组测试音频所感知的声音强度的评估分值；当评估分值越高时表示感知人员所感知的声音强度越大；所有所述测试音频至少对应两种响度值；
57.将每个获取到的评估分值作为纵坐标值、该评估分值对应的响度值作为横坐标值在预先建立的第一坐标系中创建对应的第一坐标点；所述第一坐标系的横坐标为响度值，纵坐标为人耳感知的声音强度；
58.在所述第一坐标系中构建一次函数；所述一次函数的表达式为t0＝a0*f0+b0，其中，t0为人耳感知的声音强度，f0为响度值，a0和b0均为系数；
59.使所述一次函数拟合所有所述第一坐标点，以求取所述一次函数的表达式中的a0和b0。
60.本发明实施例中，将已知对应响度值的多组测试音频依次播放给感知人员，且每次播放完一组测试音频后获取所述感知人员对该组测试音频所感知的声音强度的评估分值。本发明实施例中，感知人员可为研发测试人员，也可为用户自身。感知人员可为多位，也可为一位；若为多位，将同音频的多位感知人员的评估分值取平均值，作为该音频对应的评估分值。本发明实施例中，拟合误差需小于预设误差值才算拟合成功，否则还需调整系数a0和b0的取值直到满足拟合误差小于预设误差值的条件。其中，拟合误差可为均方误差(mse)或均方根误差(rmse)。
61.根据人耳能感知的响度范围，响度值的范围通常为10-120phon，包括10phon和120phon。通常，响度与人体感知强度成正相关关系，响度越强，人体感知强度越大，反之亦
然，则所述一次函数中系数a0通常确定为正数。
62.在又一个可选的实施例中，在所述根据所述触觉反馈强度确定马达的振动频率和驱动电压之前，所述方法还包括：
63.获取用于产生振动反馈的马达的振动频率的范围，得到所述马达的最大振动频率x
max
和最小振动频率x
min
；
64.获取人耳感知音频数据的感知声音强度的范围，得到所述感知声音强度的最大值t
max
和最小值t
min
；
65.分别将(x
max
，t
min
)、(x
min
，t
max
)带入如下第一关系式中，以求取所述第一关系式中的a1和b1：
66.t1＝a1*x+b1，
67.其中，t1为感知声音强度，单位为phon；x为马达的振动频率，单位为hz；a1和b1为系数，单位分别为phon/hz、phon。
68.本发明在实际测试中发现：马达的振动频率越小时，人感知的触觉反馈越强，因此，本发明实施例将最大振动频率x
max
与感知声音强度的最小值t
min
取为一组数据，最小振动频率x
min
与感知声音强度的最大值t
max
取为一组数据，求解第一关系式中的系数。可选的，本发明实施例可选取的马达的振动频率范围可在30-700hz。
69.在又一个可选的实施例中，所述根据所述触觉反馈强度确定马达的振动频率的步骤具体包括：
70.将所述触觉反馈强度作为所述第一关系式中t1的取值输入所述第一关系式，以求取所述第一关系式中x的取值，将该x的取值确定为马达的振动频率。
71.在又一个可选的实施例中，在所述根据所述触觉反馈强度确定马达的振动频率和驱动电压之前，所述方法还包括：
72.获取用于产生振动反馈的马达在不同驱动电压下的振动幅度数据，并确定所述马达的第一驱动电压y1；所述马达在所述第一驱动电压y1下的振动幅度最大；
73.获取所述马达的驱动电压的范围，并确定第二驱动电压y2；所述第二驱动电压y2为所述马达的最大驱动电压或最小驱动电压；
74.获取人耳感知音频数据的感知声音强度的范围，得到所述感知声音强度的最大值t
max
和最小值t
min
；
75.分别将(y1，t
max
)、(y2，t
min
)带入如下第二关系式中，以求取所述第二关系式中的a2和b2：
76.t2＝a2*y+b2，
77.其中，t2为感知声音强度，单位为phon；y为马达的驱动电压，单位为v；a2和b2为系数，单位分别为phon/v、phon。
78.本发明在实际测试中发现：马达的振动幅度随驱动电压的增大呈现先增后减的规律。因此，本发明实施例中，马达在第一驱动电压y1下的振动幅度最大，即当电压小于y1时，马达的振动幅度随驱动电压的增大而增大；当电压大于y1时，马达的振动幅度随驱动电压的增大而减小。本发明实施例中，当y2为最小驱动电压时，求得的第二关系式中驱动电压的范围为[y2，y1]；当y2为最大驱动电压时，求得的第二关系式中驱动电压的范围为[y1，y2]。优选的，限定y2为最小驱动电压，即限定求得的第二关系式中驱动电压的范围为[y2，y1]，有助
于后续通过该式计算驱动电压时得到的电压值小于y1，相比于限定y2为最大驱动电压求取的电压值更小，因而在实现相同振动幅度下有更小的功耗。可选的，本发明实施例中y1可取0.3-0.7v。
[0079]
在又一个可选的实施例中，所述根据所述触觉反馈强度确定马达的驱动电压的步骤具体包括：
[0080]
将所述触觉反馈强度作为所述第二关系式中t2的取值输入所述第二关系式，以求取所述第二关系式中y的取值，并将该y的取值确定为马达的驱动电压。
[0081]
在又一个可选的实施例中，所述根据所述音频数据对应的响度值确定人耳感知该音频数据的感知声音强度，包括：
[0082]
将所述音频数据对应的响度值作为所述一次函数中f0的取值输入所述一次函数，得到所述一次函数输出的t0值，将该t0值确定为人耳感知该音频数据的感知声音强度。
[0083]
实施例二
[0084]
本发明实施例公开一种计算机可存储介质，该计算机可存储介质存储有计算机指令，该计算机指令被调用时，用于执行本发明实施例一所描述的一种基于人耳感知的触觉反馈实时生成方法中的步骤。
[0085]
实施例三
[0086]
请参阅图3，图3是本发明实施例公开的一种基于人耳感知的触觉反馈实时生成装置的结构示意图，一种基于人耳感知的触觉反馈实时生成装置可以包括：
[0087]
存储有可执行程序代码的存储器201；
[0088]
与存储器201耦合的处理器202；
[0089]
处理器202调用存储器201中存储的可执行程序代码，执行本发明实施例一所描述的一种基于人耳感知的触觉反馈实时生成方法中的步骤。
[0090]
本发明实施例公开的内容所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

技术特征：
1.一种基于人耳感知的触觉反馈实时生成方法，其特征在于，所述方法包括：实时获取当前播放的音频数据，对所述音频数据预处理，将预处理后的所述音频数据输入预先建立的响度计算模型；获取所述响度计算模型的输出并将该输出确定为当前播放的所述音频数据对应的响度值；根据所述音频数据对应的响度值确定人耳感知该音频数据的感知声音强度，并将所述音频数据的感知声音强度确定为所述音频数据对应的触觉反馈强度；根据所述触觉反馈强度确定马达的振动频率和驱动电压；所述马达用于产生振动反馈。2.根据权利要求1所述的触觉反馈实时生成方法，其特征在于，在所述根据所述音频数据对应的响度值确定人耳感知该音频数据的感知声音强度之前，所述方法还包括：获取感知人员对多组测试音频所感知的声音强度的评估分值；当评估分值越高时表示感知人员所感知的声音强度越大；所有所述测试音频至少对应两种响度值；将每个获取到的评估分值作为纵坐标值、该评估分值对应的响度值作为横坐标值在预先建立的第一坐标系中创建对应的第一坐标点；所述第一坐标系的横坐标为响度值，纵坐标为人耳感知的声音强度；在所述第一坐标系中构建一次函数；所述一次函数的表达式为t0＝a0*f0+b0，其中，t0为人耳感知的声音强度，f0为响度值，a0和b0均为系数；使所述一次函数拟合所有所述第一坐标点，以求取所述一次函数的表达式中的a0和b0。3.根据权利要求2所述的触觉反馈实时生成方法，其特征在于，在所述根据所述触觉反馈强度确定马达的振动频率和驱动电压之前，所述方法还包括：获取用于产生振动反馈的马达的振动频率的范围，得到所述马达的最大振动频率x
max
和最小振动频率x
min
；获取人耳感知音频数据的感知声音强度的范围，得到所述感知声音强度的最大值t
max
和最小值t
min
；分别将(x
max
，t
min
)、(x
min
，t
max
)带入如下第一关系式中，以求取所述第一关系式中的a1和b1：t1＝a1*x+b1，其中，t1为感知声音强度，x为马达的振动频率，a1和b1为系数。4.根据权利要求3所述的触觉反馈实时生成方法，其特征在于，所述根据所述触觉反馈强度确定马达的振动频率的步骤具体包括：将所述触觉反馈强度作为所述第一关系式中t1的取值输入所述第一关系式，以求取所述第一关系式中x的取值，将该x的取值确定为马达的振动频率。5.根据权利要求2所述的触觉反馈实时生成方法，其特征在于，在所述根据所述触觉反馈强度确定马达的振动频率和驱动电压之前，所述方法还包括：获取用于产生振动反馈的马达在不同驱动电压下的振动幅度数据，并确定所述马达的第一驱动电压y1；所述马达在所述第一驱动电压y1下的振动幅度最大；获取所述马达的驱动电压的范围，并确定第二驱动电压y2；所述第二驱动电压y2为所述马达的最大驱动电压或最小驱动电压；
获取人耳感知音频数据的感知声音强度的范围，得到所述感知声音强度的最大值t
max
和最小值t
min
；分别将(y1，t
max
)、(y2，t
min
)带入如下第二关系式中，以求取所述第二关系式中的a2和b2：t2＝a2*y+b2，其中，t2为感知声音强度，y为马达的驱动电压，a2和b2为系数。6.根据权利要求5所述的触觉反馈实时生成方法，其特征在于，所述根据所述触觉反馈强度确定马达的驱动电压的步骤具体包括：将所述触觉反馈强度作为所述第二关系式中t2的取值输入所述第二关系式，以求取所述第二关系式中y的取值，并将该y的取值确定为马达的驱动电压。7.根据权利要求2所述的触觉反馈实时生成方法，其特征在于，所述根据所述音频数据对应的响度值确定人耳感知该音频数据的感知声音强度，包括：将所述音频数据对应的响度值作为所述一次函数中f0的取值输入所述一次函数，得到所述一次函数输出的t0值，将该t0值确定为人耳感知该音频数据的感知声音强度。8.一种基于人耳感知的触觉反馈实时生成装置，其特征在于，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-7任一项所述的一种基于人耳感知的触觉反馈实时生成方法。9.一种计算机可存储介质，其特征在于，所述计算机可存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求1-7任一项所述的一种基于人耳感知的触觉反馈实时生成方法。

技术总结
本发明公开了一种基于人耳感知的触觉反馈实时生成方法及装置、计算机可存储介质，所述方法包括：实时获取当前播放的音频数据，对所述音频数据预处理，将预处理后的所述音频数据输入预先建立的响度计算模型；获取所述响度计算模型的输出并将该输出确定为当前播放的所述音频数据对应的响度值；根据所述音频数据对应的响度值确定人耳感知该音频数据的感知声音强度，并将所述音频数据的感知声音强度确定为所述音频数据对应的触觉反馈强度；根据所述触觉反馈强度确定马达的振动频率和驱动电压；所述马达用于产生振动反馈。本发明能够对于响度相等的两种声音确定一致的马达驱动参数，进而产生一致的触觉反馈，提高生成触觉反馈的准确性。馈的准确性。馈的准确性。


技术研发人员：陈沧毅 钟泽华
受保护的技术使用者：东莞市惟动智能科技有限公司
技术研发日：2023.07.24
技术公布日：2023/10/20