一种深度学习模型蒸馏方法、装置、设备及介质与流程

1.本发明涉及工业设备音频识别技术领域，具体涉及一种深度学习模型蒸馏方法、装置、设备及介质。


背景技术：

2.当前在工业设备音频识别领域，对轧机空载负载的音频识别具有重要意义。随着人工智能的快速发展，基于深度学习模型的音频识别方法取得了良好的效果；然而，现有的深度学习模型，通常存在模型较大，推理时间过长，占用显存过多等问题，进而影响了利用深度学习监测轧机空载负载的效率和性能。
3.有鉴于此，提出本技术。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种深度学习模型蒸馏方法、装置、设备及介质，能够有效解决现有技术中的深度学习模型，通常存在模型较大，推理时间过长，占用显存过多等问题，进而影响了利用深度学习监测轧机空载负载的效率和性能的问题。
5.本发明公开了一种深度学习模型蒸馏方法, 包括：获取待识别的梅尔频谱图片，采用梅尔频谱对所述梅尔频谱图片的一维轧机音频信号进行分析处理，转化生成二维频谱图，并过滤所述二维频谱图中空值的行，其中，所述梅尔频谱的参数包括：跳跃长度为320，窗口长度为1024，窗口类型为汉宁窗，梅尔滤波器个数为48；分别基于vit-h模型及vit-tiny模型构建万物可分割模型，作为教师模型和学生模型，其中，所述教师模型为基于vit-h的万物可分割模型，所述学生模型为基于vit-tiny的万物可分割模型；将所述教师模型和所述学生模型中提示编码器模块以及解码器模块的参数进行固定，仅保留编码器模块的参数用于模型训练，并计算所述教师模型和所述学生模型中编码器模块输出的嵌入间的kl散度作为损失函数；将所述一维轧机音频信号的梅尔频谱输入所述学生模型中，在所述一维轧机音频信号的梅尔频谱的时间轴逐秒生成提示点标记，并基于编码器模块的参数实现分割，通过miou过滤无效分割，实现梅尔频谱图片整图的空载负载识别，其中，miou为平均交并比图像分割评估指标。
6.优选地，分别基于vit-h模型及vit-tiny模型构建万物可分割模型，作为教师模型和学生模型，具体为：采用基于vit-h的万物可分割模型搭建所述教师模型，将所述教师模型的编码器模块输出的表示嵌入和所述教师模型的提示模块输出的提示 嵌入融合得到分割结果，并上采样至原图大小，并通过全连接层预测交并比，其中，所述教师模型的编码器模块由32个自注意力结构变换器块组成，所述教师模型的提示编码器模块通过sin和cos的位置编码实
现，所述教师模型的解码器模块由2个自注意力模型、卷积层和全连接层组成；基于vit-tiny的万物可分割模型搭建所述学生模型，其中，所述学生模型的编码器模块由4个自注意力结构变换器块组成，每层的深度分别为2，2，6，2，所述学生模型的提示编码器模块通过sin和cos的位置编码实现，所述学生模型的解码器模块由2个自注意力模型、卷积层和全连接层组成。
7.优选地，将所述教师模型和所述学生模型中提示编码器模块以及解码器模块的参数进行固定，仅保留编码器模块的参数用于模型训练，并计算所述教师模型和所述学生模型中编码器模块输出的嵌入间的kl散度作为损失函数，具体为：将所述梅尔频谱图片分别输入所述教师模型和所述学生模型的编码器模块中，生成编码器模块的嵌入；计算所述教师模型的嵌入和所述学生模型的嵌入之间的kl散度作为损失函数，其中，计算公式为，为教师模型，为学生模型，为输入的频谱图片，为输入的频谱图片通过教师模型得到的嵌入，为输入的频谱图片通过学生模型得到的嵌入，为相对熵的表征；采用adamw作为优化器对述教师模型和所述学生模型进行优化。
8.优选地，将所述一维轧机音频信号的梅尔频谱输入所述学生模型中，在所述一维轧机音频信号的梅尔频谱的时间轴逐秒生成提示点标记，并基于编码器模块的参数实现分割，通过miou过滤无效分割，实现梅尔频谱图片整图的空载负载识别，具体为：在所述一维轧机音频信号的梅尔频谱的时间维度逐秒生成提示点标记，并通过提示编码器模块得到提示 嵌入，其中，频率维度坐标为频率轴中心；将所述一维轧机音频信号的梅尔频谱输入所述学生模型的编码器中得到嵌入，并结合提示 嵌入通过所述教师模型的解码器得到分割结果和miou；通过miou进行过滤无效分割，实现梅尔频谱图片整图的空载负载识别。
9.本发明还公开了一种深度学习模型蒸馏装置，包括：轧机音频梅尔频谱特征提取单元，用于获取待识别的梅尔频谱图片，采用梅尔频谱对所述梅尔频谱图片的一维轧机音频信号进行分析处理，转化生成二维频谱图，并过滤所述二维频谱图中空值的行，其中，所述梅尔频谱的参数包括：跳跃长度为320，窗口长度为1024，窗口类型为汉宁窗，梅尔滤波器个数为48；深度学习音频识别模型搭建单元，用于分别基于vit-h模型及vit-tiny模型构建万物可分割模型，作为教师模型和学生模型，其中，所述教师模型为基于vit-h的万物可分割模型，所述学生模型为基于vit-tiny的万物可分割模型；深度学习音频识别模型蒸馏单元，用于将所述教师模型和所述学生模型中提示编码器模块以及解码器模块的参数进行固定，仅保留编码器模块的参数用于模型训练，并计算所述教师模型和所述学生模型中编码器模块输出的嵌入间的kl散度作为损失函数；轧机音频空载负载识别单元，用于将所述一维轧机音频信号的梅尔频谱输入所述学生模型中，在所述一维轧机音频信号的梅尔频谱的时间轴逐秒生成提示点标记，并基于编码器模块的参数实现分割，通过miou过滤无效分割，实现梅尔频谱图片整图的空载负载识别，其中，miou为平均交并比图像分割评估指标。
10.优选地，所述深度学习音频识别模型搭建单元具体用于：采用基于vit-h的万物可分割模型搭建所述教师模型，将所述教师模型的编码器模块输出的表示嵌入和所述教师模型的提示模块输出的提示 嵌入融合得到分割结果，并上采样至原图大小，并通过全连接层预测交并比，其中，所述教师模型的编码器模块由32个自注意力结构变换器块组成，所述教师模型的提示编码器模块通过sin和cos的位置编码实现，所述教师模型的解码器模块由2个自注意力模型、卷积层和全连接层组成；基于vit-tiny的万物可分割模型搭建所述学生模型，其中，所述学生模型的编码器模块由4个自注意力结构变换器块组成，每层的深度分别为2，2，6，2，所述学生模型的提示编码器模块通过sin和cos的位置编码实现，所述学生模型的解码器模块由2个自注意力模型、卷积层和全连接层组成。
11.优选地，所述深度学习音频识别模型蒸馏单元具体用于：将所述梅尔频谱图片分别输入所述教师模型和所述学生模型的编码器模块中，生成编码器模块的嵌入；计算所述教师模型的嵌入和所述学生模型的嵌入之间的kl散度作为损失函数，其中，计算公式为，为教师模型，为学生模型，为输入的频谱图片，为输入的频谱图片通过教师模型得到的嵌入，为输入的频谱图片通过学生模型得到的嵌入，为相对熵的表征；采用adamw作为优化器对述教师模型和所述学生模型进行优化。
12.优选地，所述轧机音频空载负载识别单元具体用于：在所述一维轧机音频信号的梅尔频谱的时间维度逐秒生成提示点标记，并通过提示编码器模块得到提示 嵌入，其中，频率维度坐标为频率轴中心；将所述一维轧机音频信号的梅尔频谱输入所述学生模型的编码器中得到嵌入，并结合提示 嵌入通过所述教师模型的解码器得到分割结果和miou；通过miou进行过滤无效分割，实现梅尔频谱图片整图的空载负载识别。
13.本发明还公开了一种深度学习模型蒸馏设备，包括处理器、存储器以及存储在所述存储器中且被配置由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项所述的一种深度学习模型蒸馏方法。
14.本发明还公开了一种可读存储介质，存储有计算机程序，所述计算机程序能够被该存储介质所在设备的处理器执行，以实现如上任意一项所述的一种深度学习模型蒸馏方法。
15.综上所述，本实施例提供的一种深度学习模型蒸馏方法、装置、设备及介质，对于轧机的空载负载音频识别，通过模型蒸馏方法将基于vit-h的万物可分割模型参数蒸馏到vit-tiny上，固定了提示编码器和解码器参数，以kl散度优化编码器的嵌入，能够提升提高模型的蒸馏性能，在不显著影响精度的前提下，提高了基于深度学习的轧机空载负载音频识别的效率，为进一步的自动化运行监测提供了有力支持，具有广泛的应用前景和重要的实际应用价值。从而解决现有技术中的深度学习模型，通常存在模型较大，推理时间过长，占用显存过多等问题，进而影响了利用深度学习监测轧机空载负载的效率和性能的问题。
附图说明
16.图1是本发明第一方面提供的一种深度学习模型蒸馏方法的流程示意图。
17.图2是本发明第二方面提供的一种深度学习模型蒸馏方法的流程示意图。
18.图3是本发明实施例提供的一种深度学习模型蒸馏装置的模块示意图。
具体实施方式
19.为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
20.以下结合附图对本发明的具体实施例做详细说明。
21.请参阅图1至图2，本发明的第一实施例提供了一种深度学习模型蒸馏方法,其可由深度学习模型蒸馏设备（以下蒸馏设备）来执行，特别的，由蒸馏设备内的一个或者多个处理器来执行，以实现如下步骤：在本实施例中，所述蒸馏设备可为用户终端设备（如智能手机、智能电脑或者其他智能设备），该用户终端设备可与云端的服务器建立通讯连接，以实现数据的交互。
22.s101，获取待识别的梅尔频谱图片，采用梅尔频谱对所述梅尔频谱图片的一维轧机音频信号进行分析处理，转化生成二维频谱图，并过滤所述二维频谱图中空值的行，其中，所述梅尔频谱的参数包括：跳跃长度为320，窗口长度为1024，窗口类型为汉宁窗，梅尔滤波器个数为48；具体地，在本实施例中，第一步轧机音频梅尔频谱特征提取，采用梅尔频谱分析将一维轧机音频信号转化为二维频谱图，梅尔频谱参数如下，跳跃长度为320，窗口长度为1024，窗口类型为汉宁窗，梅尔滤波器个数为48，最后过滤二维频谱中空值的行。梅尔频谱分析是通过spectrogram与若干个梅尔滤波器点乘得到，y轴转换为对数刻度，像素值转换为分贝，能够强化对高频段变化的敏感性。
23.s102，分别基于vit-h模型及vit-tiny模型构建万物可分割模型，作为教师模型和学生模型，其中，所述教师模型为基于vit-h的万物可分割模型，所述学生模型为基于vit-tiny的万物可分割模型；具体地，步骤s102包括：采用基于vit-h的万物可分割模型搭建所述教师模型，将所述教师模型的编码器模块输出的表示嵌入和所述教师模型的提示模块输出的提示 嵌入融合得到分割结果，并上采样至原图大小，并通过全连接层预测交并比，其中，所述教师模型的编码器模块由32个自注意力结构变换器块组成，所述教师模型的提示编码器模块通过sin和cos的位置编码实现，所述教师模型的解码器模块由2个自注意力模型、卷积层和全连接层组成；基于vit-tiny的万物可分割模型搭建所述学生模型，其中，所述学生模型的编码
器模块由4个自注意力结构变换器块组成，每层的深度分别为2，2，6，2，所述学生模型的提示编码器模块通过sin和cos的位置编码实现，所述学生模型的解码器模块由2个自注意力模型、卷积层和全连接层组成。
24.具体地，在本实施例中，第二步搭建用于蒸馏的深度学习模型，分别基于vit-h及vit-tiny构建万物可分割模型 模型，作为蒸馏中的教师和学生模型。具体的，采用基于vit-h的万物可分割模型搭建教师模型，编码器由32个自注意力结构组成，窗口大小为16，提示编码器通过sin和cos的位置编码实现。解码器由2个自注意力模型、卷积层和全连接层组成，将编码器输出的表示嵌入和提示输出的提示 嵌入融合得到分割结果，并上采样至原图大小。此外，还通过mlp预测交并比。基于vit-tiny的万物可分割模型搭建学生模型。学生模型的提示编码器与解码器与教师模型一致，编码器由4个自注意力结构组成，每层的深度分别为2，2，6，2。
25.s103，将所述教师模型和所述学生模型中提示编码器模块以及解码器模块的参数进行固定，仅保留编码器模块的参数用于模型训练，并计算所述教师模型和所述学生模型中编码器模块输出的嵌入间的kl散度作为损失函数；具体地，步骤s103包括：将所述梅尔频谱图片分别输入所述教师模型和所述学生模型的编码器模块中，生成编码器模块的嵌入；计算所述教师模型的嵌入和所述学生模型的嵌入之间的kl散度作为损失函数，其中，计算公式为，为教师模型，为学生模型，为输入的频谱图片，为输入的频谱图片通过教师模型得到的嵌入，为输入的频谱图片通过学生模型得到的嵌入，为相对熵的表征；采用adamw作为优化器对述教师模型和所述学生模型进行优化。
26.具体地，在本实施例中，第三步进行模型蒸馏，将两模型中提示编码器及解码器模块的参数固定，仅保留编码器的参数用于训练，计算两模型编码器输出的嵌入间的kl散度作为损失函数。具体的，将同一张梅尔频谱图片分别输入教师模型及学生模型的编码器模块，得到编码器的嵌入，嵌入维度为256*64*64；计算两组嵌入间的kl散度作为损失函数，计算方式为；蒸馏模型训练中，采用adamw作为优化器，其中，学习率为0.02，0.05，0.1，beta为0.9与0.999，权重衰减为0.05。
27.s104，将所述一维轧机音频信号的梅尔频谱输入所述学生模型中，在所述一维轧机音频信号的梅尔频谱的时间轴逐秒生成提示点标记，并基于编码器模块的参数实现分割，通过miou过滤无效分割，实现梅尔频谱图片整图的空载负载识别，其中，miou为平均交并比图像分割评估指标。
28.具体地，步骤s104包括：在所述一维轧机音频信号的梅尔频谱的时间维度逐秒生成提示点标记，并通过提示编码器模块得到提示 嵌入，其中，频率维度坐标为频率轴中心；将所述一维轧机音频信号的梅尔频谱输入所述学生模型的编码器中得到嵌入，并结合提示 嵌入通过所述教师模型的解码器得到分割结果和miou；通过miou进行过滤无效分割，实现梅尔频谱图片整图的空载负载识别。
29.具体地，在本实施例中，第四步轧机音频空载负载识别，将轧机音频的梅尔频谱输
入基于蒸馏后vit-tiny的万物可分割模型，在时间轴逐秒生成提示点，基于vit-tiny的编码器参数实现分割，通过miou过滤无效分割，最终实现整图的空载负载识别。具体的，在轧机音频梅尔频谱图的时间维度生成提示点，频率维度坐标为频率轴中心，并通过提示编码器得到提示 嵌入，其中，提示点的生成间隔为1s；将轧机音频梅尔频谱图输入vit-tiny的编码器中得到嵌入，并结合提示 嵌入通过vit-h的解码器得到分割结果与miou；通过miou过滤无效分割，实现整图的空载负载识别，其中，过滤阈值为0.80。
30.综上，所述深度学习模型蒸馏方法通过模型蒸馏有效降低轧机空载负载音频深度学习识别的资源消耗，提高识别性能。即对于轧机的空载负载音频识别，通过模型蒸馏方法将基于vit-h的万物可分割模型参数蒸馏到vit-tiny上，固定了提示编码器和解码器参数，以kl散度优化编码器的嵌入，能够提升提高模型的蒸馏性能，在不显著影响精度的前提下，提高了基于深度学习的轧机空载负载音频识别的效率，为进一步的自动化运行监测提供了有力支持，具有广泛的应用前景和重要的实际应用价值。
31.请参阅图3，本发明的第二实施例提供了一种深度学习模型蒸馏装置，包括：轧机音频梅尔频谱特征提取单元201，用于获取待识别的梅尔频谱图片，采用梅尔频谱对所述梅尔频谱图片的一维轧机音频信号进行分析处理，转化生成二维频谱图，并过滤所述二维频谱图中空值的行，其中，所述梅尔频谱的参数包括：跳跃长度为320，窗口长度为1024，窗口类型为汉宁窗，梅尔滤波器个数为48；深度学习音频识别模型搭建单元202，用于分别基于vit-h模型及vit-tiny模型构建万物可分割模型，作为教师模型和学生模型，其中，所述教师模型为基于vit-h的万物可分割模型，所述学生模型为基于vit-tiny的万物可分割模型；深度学习音频识别模型蒸馏单元203，用于将所述教师模型和所述学生模型中提示编码器模块以及解码器模块的参数进行固定，仅保留编码器模块的参数用于模型训练，并计算所述教师模型和所述学生模型中编码器模块输出的嵌入间的kl散度作为损失函数；轧机音频空载负载识别单元204，用于将所述一维轧机音频信号的梅尔频谱输入所述学生模型中，在所述一维轧机音频信号的梅尔频谱的时间轴逐秒生成提示点标记，并基于编码器模块的参数实现分割，通过miou过滤无效分割，实现梅尔频谱图片整图的空载负载识别，其中，miou为平均交并比图像分割评估指标。
32.优选地，所述深度学习音频识别模型搭建单元202具体用于：采用基于vit-h的万物可分割模型搭建所述教师模型，将所述教师模型的编码器模块输出的表示嵌入和所述教师模型的提示模块输出的提示 嵌入融合得到分割结果，并上采样至原图大小，并通过全连接层预测交并比，其中，所述教师模型的编码器模块由32个自注意力结构变换器块组成，所述教师模型的提示编码器模块通过sin和cos的位置编码实现，所述教师模型的解码器模块由2个自注意力模型、卷积层和全连接层组成；基于vit-tiny的万物可分割模型搭建所述学生模型，其中，所述学生模型的编码器模块由4个自注意力结构变换器块组成，每层的深度分别为2，2，6，2，所述学生模型的提示编码器模块通过sin和cos的位置编码实现，所述学生模型的解码器模块由2个自注意力模型、卷积层和全连接层组成。
33.优选地，所述深度学习音频识别模型蒸馏单元203具体用于：将所述梅尔频谱图片分别输入所述教师模型和所述学生模型的编码器模块中，生
成编码器模块的嵌入；计算所述教师模型的嵌入和所述学生模型的嵌入之间的kl散度作为损失函数，其中，计算公式为，为教师模型，为学生模型，为输入的频谱图片，为输入的频谱图片通过教师模型得到的嵌入，为输入的频谱图片通过学生模型得到的嵌入，为相对熵的表征；采用adamw作为优化器对述教师模型和所述学生模型进行优化。
34.优选地，所述轧机音频空载负载识别单元204具体用于：在所述一维轧机音频信号的梅尔频谱的时间维度逐秒生成提示点标记，并通过提示编码器模块得到提示 嵌入，其中，频率维度坐标为频率轴中心；将所述一维轧机音频信号的梅尔频谱输入所述学生模型的编码器中得到嵌入，并结合提示 嵌入通过所述教师模型的解码器得到分割结果和miou；通过miou进行过滤无效分割，实现梅尔频谱图片整图的空载负载识别。
35.本发明的第三实施例提供了一种深度学习模型蒸馏设备，包括处理器、存储器以及存储在所述存储器中且被配置由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上任意一项所述的一种深度学习模型蒸馏方法。
36.本发明的第四实施例提供了一种可读存储介质，存储有计算机程序，所述计算机程序能够被该存储介质所在设备的处理器执行，以实现如上任意一项所述的一种深度学习模型蒸馏方法。
37.示例性地，本发明第三实施例和第四实施例中所述的计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述一种深度学习模型蒸馏设备中的执行过程。例如，本发明第二实施例中所述的装置。
38.所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器 (digital signal processor，dsp)、专用集成电路 (application specific integrated circuit，asic)、现成可编程门阵列 (field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种深度学习模型蒸馏方法的控制中心，利用各种接口和线路连接整个所述一种深度学习模型蒸馏别方法的各个部分。
39.所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现一种深度学习模型蒸馏方法的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、文字转换功能等）等；存储数据区可存储根据手机的使用所创建的数据（比如音频数据、文字消息数据等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡（smart media card, smc）、安全数字（secure digital, sd）卡、闪存卡（flash card）、至少一个磁盘存储器件、闪存器件、或其他易失性
固态存储器件。
40.其中，所述实现的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一个计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（read-only memory，rom）、随机存取存储器（random access memory，ram）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
41.需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
42.以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。

技术特征：
1.一种深度学习模型蒸馏方法, 其特征在于，包括：获取待识别的梅尔频谱图片，采用梅尔频谱对所述梅尔频谱图片的一维轧机音频信号进行分析处理，转化生成二维频谱图，并过滤所述二维频谱图中空值的行，其中，所述梅尔频谱的参数包括：跳跃长度为320，窗口长度为1024，窗口类型为汉宁窗，梅尔滤波器个数为48；分别基于vit-h模型及vit-tiny模型构建万物可分割模型，作为教师模型和学生模型，其中，所述教师模型为基于vit-h的万物可分割模型，所述学生模型为基于vit-tiny的万物可分割模型；将所述教师模型和所述学生模型中提示编码器模块以及解码器模块的参数进行固定，仅保留编码器模块的参数用于模型训练，并计算所述教师模型和所述学生模型中编码器模块输出的嵌入间的kl散度作为损失函数；将所述一维轧机音频信号的梅尔频谱输入所述学生模型中，在所述一维轧机音频信号的梅尔频谱的时间轴逐秒生成提示点标记，并基于编码器模块的参数实现分割，通过miou过滤无效分割，实现梅尔频谱图片整图的空载负载识别，其中，miou为平均交并比图像分割评估指标。2.根据权利要求1所述的一种深度学习模型蒸馏方法, 其特征在于，分别基于vit-h模型及vit-tiny模型构建万物可分割模型，作为教师模型和学生模型，具体为：采用基于vit-h的万物可分割模型搭建所述教师模型，将所述教师模型的编码器模块输出的表示嵌入和所述教师模型的提示模块输出的提示嵌入融合得到分割结果，并上采样至原图大小，并通过全连接层预测交并比，其中，所述教师模型的编码器模块由32个自注意力结构变换器块组成，所述教师模型的提示编码器模块通过sin和cos的位置编码实现，所述教师模型的解码器模块由2个自注意力模型、卷积层和全连接层组成；基于vit-tiny的万物可分割模型搭建所述学生模型，其中，所述学生模型的编码器模块由4个自注意力结构变换器块组成，每层的深度分别为2，2，6，2，所述学生模型的提示编码器模块通过sin和cos的位置编码实现，所述学生模型的解码器模块由2个自注意力模型、卷积层和全连接层组成。3.根据权利要求1所述的一种深度学习模型蒸馏方法, 其特征在于，将所述教师模型和所述学生模型中提示编码器模块以及解码器模块的参数进行固定，仅保留编码器模块的参数用于模型训练，并计算所述教师模型和所述学生模型中编码器模块输出的嵌入间的kl散度作为损失函数，具体为：将所述梅尔频谱图片分别输入所述教师模型和所述学生模型的编码器模块中，生成编码器模块的嵌入；计算所述教师模型的嵌入和所述学生模型的嵌入之间的kl散度作为损失函数，其中，计算公式为，为教师模型，为学生模型，为输入的频谱图片，为输入的频谱图片通过教师模型得到的嵌入，为输入的频谱图片通过学生模型得到的嵌入，为相对熵的表征；采用adamw作为优化器对述教师模型和所述学生模型进行优化。4.根据权利要求1所述的一种深度学习模型蒸馏方法, 其特征在于，将所述一维轧机
音频信号的梅尔频谱输入所述学生模型中，在所述一维轧机音频信号的梅尔频谱的时间轴逐秒生成提示点标记，并基于编码器模块的参数实现分割，通过miou过滤无效分割，实现梅尔频谱图片整图的空载负载识别，具体为：在所述一维轧机音频信号的梅尔频谱的时间维度逐秒生成提示点标记，并通过提示编码器模块得到提示嵌入，其中，频率维度坐标为频率轴中心；将所述一维轧机音频信号的梅尔频谱输入所述学生模型的编码器中得到嵌入，并结合提示 嵌入通过所述教师模型的解码器得到分割结果和miou；通过miou进行过滤无效分割，实现梅尔频谱图片整图的空载负载识别。5.一种深度学习模型蒸馏装置，其特征在于，包括：轧机音频梅尔频谱特征提取单元，用于获取待识别的梅尔频谱图片，采用梅尔频谱对所述梅尔频谱图片的一维轧机音频信号进行分析处理，转化生成二维频谱图，并过滤所述二维频谱图中空值的行，其中，所述梅尔频谱的参数包括：跳跃长度为320，窗口长度为1024，窗口类型为汉宁窗，梅尔滤波器个数为48；深度学习音频识别模型搭建单元，用于分别基于vit-h模型及vit-tiny模型构建万物可分割模型，作为教师模型和学生模型，其中，所述教师模型为基于vit-h的万物可分割模型，所述学生模型为基于vit-tiny的万物可分割模型；深度学习音频识别模型蒸馏单元，用于将所述教师模型和所述学生模型中提示编码器模块以及解码器模块的参数进行固定，仅保留编码器模块的参数用于模型训练，并计算所述教师模型和所述学生模型中编码器模块输出的嵌入间的kl散度作为损失函数；轧机音频空载负载识别单元，用于将所述一维轧机音频信号的梅尔频谱输入所述学生模型中，在所述一维轧机音频信号的梅尔频谱的时间轴逐秒生成提示点标记，并基于编码器模块的参数实现分割，通过miou过滤无效分割，实现梅尔频谱图片整图的空载负载识别，其中，miou为平均交并比图像分割评估指标。6.根据权利要求5所述的一种深度学习模型蒸馏装置, 其特征在于，所述深度学习音频识别模型搭建单元具体用于：采用基于vit-h的万物可分割模型搭建所述教师模型，将所述教师模型的编码器模块输出的表示嵌入和所述教师模型的提示模块输出的提示 嵌入融合得到分割结果，并上采样至原图大小，并通过全连接层预测交并比，其中，所述教师模型的编码器模块由32个自注意力结构变换器块组成，所述教师模型的提示编码器模块通过sin和cos的位置编码实现，所述教师模型的解码器模块由2个自注意力模型、卷积层和全连接层组成；基于vit-tiny的万物可分割模型搭建所述学生模型，其中，所述学生模型的编码器模块由4个自注意力结构变换器块组成，每层的深度分别为2，2，6，2，所述学生模型的提示编码器模块通过sin和cos的位置编码实现，所述学生模型的解码器模块由2个自注意力模型、卷积层和全连接层组成。7.根据权利要求5所述的一种深度学习模型蒸馏装置, 其特征在于，所述深度学习音频识别模型蒸馏单元具体用于：将所述梅尔频谱图片分别输入所述教师模型和所述学生模型的编码器模块中，生成编码器模块的嵌入；计算所述教师模型的嵌入和所述学生模型的嵌入之间的kl散度作为损失函数，其中，
计算公式为，为教师模型，为学生模型，为输入的频谱图片，为输入的频谱图片通过教师模型得到的嵌入，为输入的频谱图片通过学生模型得到的嵌入，为相对熵的表征；采用adamw作为优化器对述教师模型和所述学生模型进行优化。8.根据权利要求5所述的一种深度学习模型蒸馏装置, 其特征在于，所述轧机音频空载负载识别单元具体用于：在所述一维轧机音频信号的梅尔频谱的时间维度逐秒生成提示点标记，并通过提示编码器模块得到提示 嵌入，其中，频率维度坐标为频率轴中心；将所述一维轧机音频信号的梅尔频谱输入所述学生模型的编码器中得到嵌入，并结合提示 嵌入通过所述教师模型的解码器得到分割结果和miou；通过miou进行过滤无效分割，实现梅尔频谱图片整图的空载负载识别。9.一种深度学习模型蒸馏设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4任意一项所述的一种深度学习模型蒸馏方法。10.一种可读存储介质，其特征在于，存储有计算机程序，所述计算机程序能够被该存储介质所在设备的处理器执行，以实现如权利要求1至4任意一项所述的一种深度学习模型蒸馏方法。

技术总结
本发明提供了一种深度学习模型蒸馏方法、装置、设备及介质，包括以下步骤：将一维轧机音频信号通过梅尔频谱分析转化为二维频谱图；分别基于ViT-H及ViT-tiny构建万物可分割模型模型，作为模型蒸馏中的教师和学生模型；固定两模型提示编码器及解码器的参数，基于嵌入的KL散度训练两模型的频谱图像编码器;在时间轴逐秒生成提示点，基于ViT-tiny的编码器参数实现分割，通过mIoU过滤无效分割，生成最终的整图分割结果。本发明通过将大模型到小模型的蒸馏，实现了基于音频轧机空载负载识别，能够有效提高深度学习轧机空载负载音频识别的性能。效提高深度学习轧机空载负载音频识别的性能。效提高深度学习轧机空载负载音频识别的性能。


技术研发人员：梁磊 瞿千上 庄焰 谭熠
受保护的技术使用者：硕橙（厦门）科技有限公司
技术研发日：2023.08.24
技术公布日：2023/10/5