一种交互式音乐节奏练习系统的制作方法

1.本发明属于音频时域特征分析技术领域，具体涉及一种交互式音乐节奏练习系统。


背景技术：

2.在现有的音乐教学软件中，音乐交互应用能够根据音乐的节奏点，将交互提示展示给用户，用户根据交互提示输入交互操作，对于节奏感的联系非常有帮助。鉴于很多初学者在练习演奏乐器时对节奏感的把握不好，经常与乐曲的节奏相比较出现偏差，而且，现有的音乐教学软件在节奏感练习上没有与学生产生很好的互动效果。


技术实现要素：

3.针对以上技术问题，本发明提出一种交互式音乐节奏练习系统，包括音频采集模块，存储模块，节奏识别模块和播放器；
4.所述音频采集模块用于从用户端实时采集音频流；
5.所述存储模块把所述音频流保存为时域数据，所述音频流包括从用户端采集的第一音频流和从网络接口获取的第二音频流；
6.所述节奏识别模块从时域数据中识别并提取节奏特征；
7.所述节奏识别模块比较从不同音频流的时域数据中提取的节奏特征；
8.所述播放器用于根据用户端指令或所述节奏特征调整音频播放的节奏快慢。
9.本发明的技术方案可以自动识别学生演奏的节奏并根据演奏的节奏调整播放的音频节奏的快慢，具有良好的互动效果。
附图说明
10.图1：一种实施方式涉及的系统结构；
11.图2：一种实施方式的流程图；
12.图3：一种实施方式中的音频流时域数据。
具体实施方式
13.以下实施例进一步说明本发明的内容，但不应理解为对本发明的限制。在不背离本发明精神和实质的情况下，对本发明方法、步骤或条件所作的修改或替换，均属于本发明的范围。
14.一些实施方式提出的系统，具有图1所示的功能模块，包括音频采集模块，存储模块，节奏识别模块和播放器；其中音频采集模块连接用户端的包括麦克风的音频采集器，音频采集模块将采集的音频处理后存储在缓存模块供节奏识别模块调用；各功能模块可以实现图2的步骤：
15.所述音频采集模块用于从用户端实时采集音频流；
16.所述存储模块把所述音频流保存为时域数据，所述音频流包括从用户端采集的第一音频流和从网络接口获取的第二音频流；
17.所述节奏识别模块从时域数据中识别并提取节奏特征；
18.所述节奏识别模块比较从不同音频流的时域数据中提取的节奏特征；
19.所述播放器用于根据用户端指令或所述节奏特征调整音频播放的节奏快慢。
20.一些实施方式的节奏识别模块从时域数据中识别并提取节奏特征的步骤具体包括：
21.获取窗口时间段内的所述时域数据，计算所述时域数据的包括起点时间、持续时间、音量峰值的时域分析数据，优选地，时域分析数据还包括峰值因子、脉冲因子、裕度因子、偏度和峭度；
22.将所述时域数据的时域分析数据保存成节奏特征矩阵。
23.上述术语基于本领域技术公知常识应理解为：
24.音量峰值包括峰值音量电平，分贝db为单位；峰值因子是音频信号峰值与有效值(rms)的比值，代表的是峰值在波形中的极端程度；脉冲因子是音频信号峰值与整流平均值(绝对值的平均值)的比值；裕度因子是音频信号峰值与方根幅值的比值。偏度也叫偏斜度、偏态；是三阶中心矩和标准差的三次方的比值；峭度是四阶中心矩和标准差的四次方的比值；偏度与峭度描述了音频信号分布情况。
25.具体地，可根据用户端指令进行所述窗口时间段设置。
26.一些实施方式的节奏识别模块从时域数据中识别并提取节奏特征的步骤还具体包括：
27.将第二音频流分成若干时间区间，按时间顺序遍历不同时间区间上的所述第二音频流的时域数据；
28.将所述第一音频流的节奏特征矩阵与所述第二音频流的节奏特征矩阵匹配，若匹配成功，标记所述第一音频流的节奏特征矩阵的窗口时间段在所述第二音频流中所对应的时间区间；
29.一些实施方式在以上实施方式的基础上，具体地，播放器根据时间区间与所述时间窗口调整所述第二音频流的播放速度。
30.一些实施方式的节奏识别模块从时域数据中识别并提取节奏特征的步骤具体还包括降噪步骤、振幅包络线分析、计算短时平均能量、计算能量均方根、计算过零率、计算短时自相关函数。
31.振幅包络线是将不同频率的振幅最高点连结起来形成的曲线。
32.短时平均能量可以用来从清音中区分浊音(浊音的en比清音大得多)，可以用来确定声母和韵母、无声与有声、连字等的分界，还可以作为一种超音段信息用于语音识别。
33.计算短时平均能量包括的步骤：先计算信号格采样值的平方，然后用一个移动窗h(n-m)选取出一个个短时平方序列，并将各段的平方值求和，从而得到短时能量序列。
34.均方根能量rms表达的是一帧内所有样本点的一个综合信息能表达响度的信息，可应用于音频分割、音乐流派分类。
35.在语音录制过程中，由于多种原因，包括静态效应、麦克风上的呼吸和50hz交流电压信号，录制的语音信号很可能会在非零时变值附近振荡(偏移)。为了避免在一帧内出现
这种漂移，一种简单的方法是通过多项式拟合来识别时变零曲线(就是说即使没有声音的情况下，也有在0点附近的信号时变近0信号)，并通过在原始帧的曲线中删除噪音子轨道来消除漂移。
36.对于语音序列x(n)，第i帧语音信号为x_{i}(m)，则短时自相关函数的定义为
37.r_{i}(k)＝\sum_{m＝1}^{n-m}x_{i}(m)x_{i}(m+k)k为时间延迟量。相关函数用于测定两个信号的时域相似性。
38.一些实施方式的系统，节奏识别模块从时域数据中识别并提取节奏特征的步骤还具体包括：识别所述音频流的节奏特征矩阵中的节奏型特征，所述节奏型特征包括在所述时间窗口内的音量峰值分布，所述节奏型特征具体包括音值均分型、长短交替型、附点节奏型、切分节奏型、含有休止符的节奏型。
39.本发明所适合的一个应用场景中，用户使用该系统作为架子鼓的节奏练习目的，在练习过程中，用户端播放从网络获取的音乐的标准乐谱数据作为练习模板(即第二音频流)，同时打开麦克风采集架子鼓所演奏的音乐(即第一音频流)。
40.该场景中，对采集到的架子鼓所演奏的音乐保存的时域数据，获取其中按照8beat小节的时间窗口t内的一段时域数据进行以下处理：
41.将该时间窗口t等分成8段，每段对应8beat中的一个beat，计算如图3的每个时间段上出现的音量峰值个数(或其他类型的时域分析数据)，将该计算结果表征为一个8维度的向量：v1＝[0,2,1,0,0,1,1,0]；该向量可作为节奏特征矩阵中的一个向量，用于识别时域数据中出现的节奏型。
[0042]
一些实施方式，播放器收到用户端指令后，执行的步骤包括：
[0043]
判断所述用户端指令中的播放对象类型是否为音频或者视频中的任一种媒体类型；
[0044]
若所述播放对象类型为音频或视频，判断所述播放器当前播放媒体的网络资源地址是否与所述播放对象的网络资源地址相同，若否，停止所述当前播放媒体，并将所述播放器当前播放媒体的值置空；
[0045]
将所述用户端指令中的播放对象的值赋给所述播放器当前播放媒体；
[0046]
由播放器执行以下步骤：
[0047]
将所述当前播放媒体从播放状态切换为停止状态；
[0048]
将所述当前播放媒体从停止状态切换为播放状态。
[0049]
以上的一些实施方式中，第二音频流为播放器当前播放的媒体的音频流。
[0050]
本说明书中描述的主题的实施方式和功能性操作可以在以下中实施：数字电子电路，有形实施的计算机软件或者固件，计算机硬件，包括本说明书中公开的结构及其结构等同体，或者上述中的一者以上的组合。本说明书中描述的主题的实施方式可以被实施为一个或多个计算机程序，即，一个或多个有形非暂时性程序载体上编码的计算机程序指令的一个或多个模块，用以被数据处理设备执行或者控制数据处理设备的操作。作为替代或者附加，程序指令可以被编码在人工生成的传播信号上，例如，机器生成的电信号、光信号或者电磁信号，上述信号被生成为编码信息以传递到用数据处理设备执行的适当的接收器设备。计算机存储介质可以是机器可读存储装置、机器可读的存储基片、随机或者串行存取存储器装置或者上述装置中的一种或多种的组合。
[0051]
术语“处理器”包含所有种类的用于处理数据的设备、装置以及机器，作为实例，包括可编程处理器、计算机或者多重处理器或者多重计算机。设备可以包括专用逻辑电路，例如，fpga(现场可编程门阵列)或者asic(专用集成电路)。设备除了包括硬件之外，还可以包括创建相关计算机程序的执行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统或者它们中的一种或多种的组合代码。
[0052]
为了发送与用户的交互，本说明书中描述的主题的实施方式可以被实施在计算机上，该计算机具有：显示装置，例如，crt(阴极射线管)或者lcd(液晶显示器)监控器，用于向用户显示信息；以及键盘和例如鼠标或者追踪球这样的定位装置，用户利用它们可以将输入发送到计算机。其他种类的装置也可以用于发送与用户的交互；例如，提供给用户的反馈可以是任意形式的传感反馈，例如，视觉反馈、听觉反馈或者触觉反馈；以及来自用户的输入可以以任意形式接收到，包括声响输入、语音输入或者触觉输入。另外，计算机可以通过将文档发送至由用户使用的装置并且接收来自该装置的文档而与用户交互；例如，通过响应于接收到的来自网络浏览器的请求，而将网页发送到用户的客户端装置上的网络浏览器。
[0053]
已经描述了主题的特定实施方式。其他实施方式在以下权利要求的范围内。例如，在权利要求中记载的活动可以以不同的顺序执行并且仍旧实现期望的结果。作为一个实例，为了实现期望的结果，附图中描述的处理不必须要求示出的特定顺序或者顺序次序。在特定实现中，多任务处理和并行处理可以是有优势的。

技术特征：
1.一种交互式音乐节奏练习系统，其特征在于，所述系统包括音频采集模块，存储模块，节奏识别模块和播放器；所述音频采集模块用于从用户端实时采集音频流；所述存储模块把所述音频流保存为时域数据，所述音频流包括从用户端采集的第一音频流和从网络接口获取的第二音频流；所述节奏识别模块从时域数据中识别并提取节奏特征；所述节奏识别模块比较从不同音频流的时域数据中提取的节奏特征；所述播放器用于根据用户端指令或所述节奏特征调整音频播放的节奏快慢。2.如权利要求1所述的系统，其特征在于，所述节奏识别模块从时域数据中识别并提取节奏特征的步骤具体包括：获取窗口时间段内的所述时域数据，计算所述时域数据的包括起点时间、持续时间、音量峰值的时域分析数据，优选地，时域分析数据还包括峰值因子、脉冲因子、裕度因子、偏度和峭度；将所述时域数据的时域分析数据保存成节奏特征矩阵。3.如权利要求2所述的系统，其特征在于，所述节奏识别模块从时域数据中识别并提取节奏特征的步骤还具体包括：将第二音频流分成若干时间区间，按时间顺序遍历不同时间区间上的所述第二音频流的时域数据；将所述第一音频流的节奏特征矩阵与所述第二音频流的节奏特征矩阵匹配，若匹配成功，标记所述第一音频流的节奏特征矩阵的窗口时间段在所述第二音频流中所对应的时间区间。4.如权利要求3所述的系统，其特征在于，所述节奏识别模块从时域数据中识别并提取节奏特征的步骤还具体包括：识别所述音频流的节奏特征矩阵中的节奏型特征，所述节奏型特征包括在所述时间窗口内的音量峰值分布，所述节奏型特征具体包括音值均分型、长短交替型、附点节奏型、切分节奏型、含有休止符的节奏型。5.如权利要求2所述的系统，其特征在于，根据所述用户端指令进行所述窗口时间段设置。6.如权利要求2所述的系统，其特征在于，所述节奏识别模块从时域数据中识别并提取节奏特征的步骤具体还包括降噪步骤、振幅包络线分析、计算短时平均能量、计算能量均方根、计算过零率、计算短时自相关函数。7.如权利要求1所述的系统，其特征在于，所述播放器收到用户端指令后，执行的步骤包括：判断所述用户端指令中的播放对象类型是否为音频或者视频中的任一种媒体类型；若所述播放对象类型为音频或视频，判断所述播放器当前播放媒体的网络资源地址是否与所述播放对象的网络资源地址相同，若否，停止所述当前播放媒体，并将所述播放器当前播放媒体的值置空；将所述用户端指令中的播放对象的值赋给所述播放器当前播放媒体。8.如权利要求5所述的系统，其特征在于，所述播放器执行以下步骤：将所述当前播放媒体从播放状态切换为停止状态；
将所述当前播放媒体从停止状态切换为播放状态。9.如权利要求5所述的系统，其特征在于，所述第二音频流为所述播放器当前播放的媒体的音频流。10.如权利要求2所述的系统，其特征在于，所述播放器根据所述时间区间与所述时间窗口调整所述第二音频流的播放速度。11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-10所述的交互式音乐节奏练习系统的所有步骤。

技术总结
本发明涉及一种交互式音乐节奏练习系统，包括音频采集模块，存储模块，节奏识别模块和播放器；音频采集模块用于从用户端采集实时音频流并把所述实时音频流保存为时域数据；节奏识别模块从时域数据中识别节奏特征，还用于比较不同音频流的节奏特征；播放器用于根据用户端指令或所述节奏特征调整音频播放的节奏快慢。本发明的技术方案可以自动识别学生演奏的节奏并根据演奏的节奏调整播放的音频节奏的快慢，具有良好的互动效果。具有良好的互动效果。具有良好的互动效果。


技术研发人员：李现峰 葛宏宇 王超 郭达
受保护的技术使用者：北京金三惠科技有限公司
技术研发日：2023.04.11
技术公布日：2023/9/20