一种麦克风异常信号处理方法及多麦克风设备与流程

1.本说明书一个或多个实施例涉及音频处理技术领域，尤其涉及一种麦克风异常信号处理方法及多麦克风设备。


背景技术：

2.随着科技的发展，现代社会对于声音采集的需求越来越高。例如，在网络会议、录音棚或者户外短视频录音等场合，需要同时采集多个方向的声音，以保证声音的全面性和准确性。但是，在多麦克风设备所处的环境中，由于各种因素的影响，可能会出现某些麦克风异常的情况，如麦克风损坏、堵孔、风噪杂音干扰等，这将严重影响声音采集的质量和连续性。
3.目前，针对这一问题，已经提出了不少解决方案。例如，一些研究人员通过设计复杂的数据处理算法来实现对异常信号的识别和过滤，但这种方法存在计算复杂度高、精度难以保证等缺点。另外，还有一些方案尝试通过手工或者预设规则来解决问题，但这种方法的可扩展性和适应性有待提高。


技术实现要素：

4.本发明描述一种麦克风异常信号处理方法及多麦克风设备，可以解决上述技术问题。
5.根据第一方面，提供一种麦克风异常信号处理方法。该方法包括：启动麦克风设备中的多个麦克风进行音频信号采集，并监测其中各个麦克风的工作状态；当检测到出现若干异常麦克风，切换至其他正常工作的麦克风进行音频信号采集；响应于所述切换，提取预定时段内所述各个麦克风采集的音频信号，并基于所述音频信号，确定所述各个麦克风的音频特征向量；针对各个异常麦克风，计算其音频特征向量与所述多个麦克风中各个正常麦克风的音频特征向量之间的相似度，以及，利用所述相似度作为权重对所述各个正常麦克风在所述预定时段内的音频信号进行加权求平均处理，得到该异常麦克风在所述预定时段内的估计信号；将所述预定时间段内各个异常麦克风的估计信号和所述各个正常麦克风的音频信号合并，得到所述预定时间段的替代音频信号。
6.在一个实施例中，在采集音频信号之前，还包括启动所述麦克风设备，对所述多麦克风进行初始化配置；所述对多麦克风进行初始化配置包括：麦克风设备检测到针对音频信号的获取指令时，启动所述多麦克风获取所述音频信号；并对所述音频信号进行预处理。
7.在一个实施例中，所述切换至其他正常工作的麦克风为根据训练好的神经网络模型确定的至少一个正常工作的所述麦克风，包括：根据预处理输出的方向性声源定位信息，作为训练好的神经网络模型的输入，得到正常工作的麦克风组成的麦克风阵列。
8.在一个实施例中，所述预处理包括：对所述音频信号进行降噪和方向性声源定位处理，以及滤波处理；所述方向性声源定位处理用来确定音频信号的方向性声源定位信息，所述滤波处理用于消除所述音频信号中的噪声成分。
9.在一个实施例中，所述检测到出现若干异常麦克风的方法包括：所述麦克风信号的预设参数、多个所述麦克风之间的能量阈值、频谱响应关系。
10.根据第二方面，提供一种多麦克风设备。该装置包括：音频信号采集模块，配置为启动麦克风设备中的多个麦克风进行音频信号采集，并监测其中各个麦克风的工作状态；异常检测模块，配置为检测若干异常麦克风；切换模块，配置为切换至其他正常工作的麦克风进行音频信号采集；信号处理模块，配置为响应于所述切换，提取预定时段内所述各个麦克风采集的音频信号，并基于所述音频信号，确定所述各个麦克风的音频特征向量；针对各个异常麦克风，计算其音频特征向量与所述多个麦克风中各个正常麦克风的音频特征向量之间的相似度，以及，利用所述相似度作为权重对所述各个正常麦克风在所述预定时段内的音频信号进行加权求平均处理，得到该异常麦克风在所述预定时段内的估计信号；将所述预定时间段内各个异常麦克风的估计信号和所述各个正常麦克风的音频信号合并，得到所述预定时间段的替代音频信号。
11.在一个实施例中，所述信号处理模块还包括预处理模块，所述预处理模块包括降噪模块和方向性声源定位模块，用于对所述音频信号进行降噪处理和方向性声源定位处理。
12.在一个实施例中，所述信号处理模块还包括智能处理模块，用于对所述异常麦克风在所述预设时间段内的信号进行处理，得到所述预定时间段的替代音频信号。
13.在本说明书实施例提供的上述方法和设备中，根据训练好的神经网络模型，在多个正常工作的麦克风中选择最优的麦克风组成新的麦克风阵列进行声音采集，并对异常麦克风在预设时间段的音频信号进行处理，得到预定时间段的替代音频信号。由此可以针对多种类型的多麦克风设备中可能存在的麦克风异常信号问题进行有效处理，并且可以根据不同的应用场景进行调整和优化。
附图说明
14.为了更清楚地说明本发明实施例的技术方案，下面对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
15.图1示出本说明书实施例提供的一种多麦克风设备的结构示意图；
16.图2示出本说明书实施例提供的一种麦克风异常信号处理方法的流程示意图；
17.图3示出本说明书实施例提供的一种多麦克风设备的组成示意图。
具体实施方式
18.下面结合附图，对本说明书提供的方案进行描述。
19.为了使本技术实施例的目的、技术方案和优点更加清楚，下面将结合附图，对本技术实施例中的技术方案进行描述。
20.在本技术实施例的描述中，“示例性的”、“例如”或者“举例来说”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性的”、“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使
用“示例性的”、“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。
21.在本技术实施例的描述中，术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，单独存在b，同时存在a和b这三种情况。另外，除非另有说明，术语“多个”的含义是指两个或两个以上。
22.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
23.麦克风也称送话器、受话器、话筒等，可以是指将声音信号转换为电信号的能量转换器件。麦克风分类有动圈式、电容式、驻极体和最近新兴的硅微传声器，此外还有液体传声器和激光传声器。常见的麦克风类型有电容式麦克风、晶体麦克风、碳质麦克风以及动态麦克风。
24.随着科学技术的不断发展，现代社会对于声音采集的需求越来越高，例如，在网络会议、录音棚或者户外短视频录音等场合，需要同时采集多个方向的声音，或者对于指定方向的声音予以增强，以保证声音的全面性和准确性，因此多麦克风设备越来越普遍。但是，在多麦克风设备所处的环境中，由于各种因素的影响，可能会出现某些麦克风异常的情况，如麦克风损坏、堵孔、风噪杂音干扰等，这将严重影响声音采集的质量和连续性。
25.若干麦克风组成麦克风设备，多麦克风设备还包括中央处理器和存储器，中央处理器用于控制多个模块之间的数据传递，存储器用于存储事前预置的模型、参数等。
26.图1示出本说明书实施例提供的一种多麦克风设备的结构示意图；如图1所示，多麦克风设备m100包括：麦克风m111，m112，m113，m114，麦克风信号检测模块m121，麦克风信号切换模块m131和麦克风信号处理模块m141。麦克风m111和麦克风m114位于麦克风设备m100的左右两侧相对设置，用于收集位于麦克风设备m100左右两侧的声源信号。麦克风m112和麦克风m113位于麦克风设备m100的正面方向设置，用于收集位于麦克风设备m100前方的声源信号。
27.若干麦克风可以组成麦克风阵列，示例的，麦克风m111和麦克风m114可以组成线性麦克风阵列，麦克风m112和麦克风m113可以组成线性麦克风阵列；麦克风m112、麦克风m113和麦克风m114或麦克风m111可以组成平面麦克风阵列；麦克风m111、麦克风m112、麦克风m113或麦克风m114可以组成平面麦克风阵列。
28.在一个实施例中，至少一个麦克风出现异常后，麦克风阵列中其余麦克风组成麦克风子阵列。示例的，麦克风m111、麦克风m112、麦克风m113或麦克风m114组成平面麦克风阵列，若麦克风m111信号出现异常，则可以启用m112、m113和m114组成的面阵列，继续进行语音信号的采集。
29.图2示出本说明书实施例提供的一种麦克风异常信号处理方法的流程示意图，如图2所示，该方法包括以下步骤：
30.s210，启动麦克风设备中的多个麦克风进行音频信号采集，并监测其中各个麦克风的工作状态；
31.在一个实施例中，多个麦克风的确定可以是内嵌在设备当中的默认配置，也可以是用户在启动之时手动生成的配置，本技术实施例对此不做限定。
32.在一个实施例中，多麦克风设备的所有麦克风均能够同时启动，能够做到无缝切换麦克风；
33.在一个实施例中，启动麦克风设备后，对所有麦克风进行初始化配置，初始化配置结束后，由麦克风阵列进行声音采集，对采集到的音频信号进行预处理。
34.在一个实施例中，预处理步骤包括降噪和方向性声源定位处理，用于分别对第一麦克风阵列采集到的音频信号进行降噪处理和方向性声源定位处理。
35.在一个实施例中，预处理步骤还包括一种滤波处理，用于消除信号中的噪声成分。
36.在一个实施例中，监测麦克风阵列的工作状态，当检测到某个或某些麦克风出现异常时，自动切换至其他正常工作的麦克风进行声音采集；
37.示例的，麦克风异常状态可以是堵孔状态、麦克风信号异常饱和状态以及麦克风信号明显缺失等状态，在此不做限定。
38.在一个实施例中，检测确定至少一个麦克风处于异常状态的具体实现方式可以是多种多样的，例如可以是根据多个麦克风信号预设参数确定所述麦克风处于异常状态，或者可以是根据多个麦克风之间的能量阈值、频谱响应的关系确定所述麦克风处于异常状态等，在此不做限定。
39.s220，当检测到出现若干异常麦克风，切换至其他正常工作的麦克风进行音频信号采集。
40.在一个实施例中，根据预先设定的优先级顺序在多个正常工作的麦克风中选择最优的麦克风进行声音采集。
41.在一个实施例中，自动切换至其他正常工作的麦克风进行声音采集，可以使用预先训练好的神经网络模型，例如深度神经网络(deep neural networks，简称dnn)或者递归神经网络(recurrent neural networks，简称rnn)模型等方法在多个正常工作的麦克风中多个麦克风自适应选择最好的麦克风阵列进行声音采集。其中，一个常见的实施例是，如图1所示，m111麦克风由于正对吹风口，麦克风信号被饱和，无法有效复原人声信息；神经网络模型可以智能比对其余麦克风的信号情况，结合预处理步骤中输出的方向性声源定位信息，自适应选择信噪比最好、距离声源信号最近、失真最低的等条件的麦克风，组成新的麦克风子阵列，进行声音采集。
42.s220，响应于所述切换，提取预定时段内所述各个麦克风采集的音频信号，并基于所述音频信号，确定所述各个麦克风的音频特征向量；
43.在一个实施例中，当发生麦克风切换时，针对异常麦克风对应的信号进行特殊处理，以保证整个声音采集过程的连续性和稳定性。
44.在一个实施例中，特殊处理步骤可以是根据预先训练好的模型，判断出异常麦克风对应的信号，并针对这些信号进行处理；
45.在一个实施例中，特殊处理步骤还包括一种数据插值处理，用于在麦克风切换过程中保持信号的连续性和稳定性。具体来说，该插值处理方法基于已有数据，对缺失部分进行估计和填充，以达到信号的平滑过渡，避免因切换引起的信号断裂和噪声。
46.在一个实施例中，在检测到至少一个异常麦克风后对提取到的音频信号进行提取。
47.在一个实施例中，对所有正常工作的麦克风分别提取在预设时间段内对应的音频
特征向量。预设时间段为麦克风出现异常到检测到该异常的时间范围。
48.s220，针对各个异常麦克风，计算其音频特征向量与所述多个麦克风中各个正常麦克风的音频特征向量之间的相似度，以及，利用所述相似度作为权重对所述各个正常麦克风在所述预定时段内的音频信号进行加权求平均处理，得到该异常麦克风在所述预定时段内的估计信号。
49.在一个实施例中，可以利用余弦相似度来求解各个正常麦克风的音频特征向量之间的相似度。
50.加权求平均就是先加权，在对加权结果进行平均处理，示例的，有两路正常麦克风的音频信号x1、x2，计算出2个权重w1、w2，估计信号＝(x1*w1+x2*w2)/2；
51.在一个实施例中，根据异常麦克风和正常麦克风之间的相似度确定每一路麦克风信号的权重，分别将各个权重和对应麦克风信号的相乘在求和，最后除以麦克风信号的个数，得到该异常麦克风在所述预定时段内的估计信号。
52.在一个实施例中，还可以使用线性预测编码算法，分析音频信号的过去值估计未来的值，以此来估计异常麦克风在预定时间段内的估计信号。
53.s220，将所述预定时间段内各个异常麦克风的估计信号和所述各个正常麦克风的音频信号合并，得到所述预定时间段的替代音频信号；
54.在一个实施例中，当检测到麦克风阵列某个或某些麦克风出现异常时，还包括：生成提示信息，所述提示信息用于提示用户麦克风出现异常，排查麦克风故障信息等。
55.在一个实施例中，将经过特殊处理的音频信号即异常麦克风在预定时间段内的估计信号进行输出或者保存，完成声音采集任务。
56.第二方面，本技术还提供一种多麦克风设备300，该设备包括：
57.音频信号采集模块310，配置为启动麦克风设备中的多个麦克风进行音频信号采集，并监测其中各个麦克风的工作状态。
58.异常检测模块320，配置为检测若干异常麦克风。
59.切换模块330，配置为切换至其他正常工作的麦克风进行音频信号采集。
60.信号处理模块340，配置为响应于所述切换，提取预定时段内所述各个麦克风采集的音频信号，并基于所述音频信号，确定所述各个麦克风的音频特征向量；针对各个异常麦克风，计算其音频特征向量与所述多个麦克风中各个正常麦克风的音频特征向量之间的相似度，以及，利用所述相似度作为权重对所述各个正常麦克风在所述预定时段内的音频信号进行加权求平均处理，得到该异常麦克风在所述预定时段内的估计信号；将所述预定时间段内各个异常麦克风的估计信号和所述各个正常麦克风的音频信号合并，得到所述预定时间段的替代音频信号。
61.在一个实施例中，所述信号处理模块340还包括一个智能处理模块410，用于当检测到至少一个异常麦克风并需要切换至其他麦克风时，针对所述异常麦克风对应的信号进行特殊处理，得到所述预定时间段的替代音频信号。
62.在一个实施例中，所述声音信号处理模块340还包括一个预处理模块510，用于对麦克风阵列采集到的信号进行预处理，以保证后续处理的准确性和可靠性。
63.在一个实施例中，所述预处理模块510包括降噪模块610和方向性声源定位模块620，用于分别对所述麦克风阵列采集到的信号进行降噪处理和方向性声源定位处理。
64.根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2所描述的方法。
65.根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2所描述的方法。本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
66.以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

技术特征：
1.一种麦克风异常信号处理方法，其特征在于，所述方法包括：启动麦克风设备中的多个麦克风进行音频信号采集，并监测其中各个麦克风的工作状态；当检测到出现若干异常麦克风，切换至其他正常工作的麦克风进行音频信号采集；响应于所述切换，提取预定时段内所述各个麦克风采集的音频信号，并基于所述音频信号，确定所述各个麦克风的音频特征向量；针对各个异常麦克风，计算其音频特征向量与所述多个麦克风中各个正常麦克风的音频特征向量之间的相似度，以及，利用所述相似度作为权重对所述各个正常麦克风在所述预定时段内的音频信号进行加权求平均处理，得到该异常麦克风在所述预定时段内的估计信号；将所述预定时间段内各个异常麦克风的估计信号和所述各个正常麦克风的音频信号合并，得到所述预定时间段的替代音频信号。2.根据权利要求1所述的方法，其特征在于，在采集音频信号之前，还包括启动所述麦克风设备，对所述多麦克风进行初始化配置；所述对多麦克风进行初始化配置包括：麦克风设备检测到针对音频信号的获取指令时，启动所述多麦克风获取所述音频信号；并对所述音频信号进行预处理。3.根据权利要求1所述的方法，其特征在于，所述切换至其他正常工作的麦克风为根据训练好的神经网络模型确定的至少一个正常工作的所述麦克风，包括：根据预处理输出的方向性声源定位信息，作为训练好的神经网络模型的输入，得到正常工作的麦克风组成的麦克风阵列。4.根据权利要求2或3所述的方法，其特征在于，所述预处理包括：对所述音频信号进行降噪和方向性声源定位处理，以及滤波处理；所述方向性声源定位处理用来确定音频信号的方向性声源定位信息，所述滤波处理用于消除所述音频信号中的噪声成分。5.根据权利要求1所述的方法，其特征在于，所述检测到出现若干异常麦克风的方法包括：麦克风信号的预设参数、多个所述麦克风之间的能量阈值、频谱响应关系。6.一种多麦克风设备，其特征在于，包括：音频信号采集模块，配置为启动麦克风设备中的多个麦克风进行音频信号采集，并监测其中各个麦克风的工作状态；异常检测模块，配置为检测若干异常麦克风；切换模块，配置为切换至其他正常工作的麦克风进行音频信号采集；信号处理模块，配置为响应于所述切换，提取预定时段内所述各个麦克风采集的音频信号，并基于所述音频信号，确定所述各个麦克风的音频特征向量；针对各个异常麦克风，计算其音频特征向量与所述多个麦克风中各个正常麦克风的音频特征向量之间的相似度，以及，利用所述相似度作为权重对所述各个正常麦克风在所述预定时段内的音频信号进行加权求平均处理，得到该异常麦克风在所述预定时段内的估计信号；将所述预定时间段内各个异常麦克风的估计信号和所述各个正常麦克风的音频信号合并，得到所述预定时间段的替代音频信号。7.根据权利要求6所述的设备，其特征在于，所述信号处理模块还包括预处理模块，所述预处理模块包括降噪模块和方向性声源定位模块，用于对所述音频信号进行降噪处理和
方向性声源定位处理。8.根据权利要求6所述的设备，其特征在于，所述信号处理模块还包括智能处理模块，用于对所述异常麦克风在所述预设时间段内的信号进行处理，得到所述预定时间段的替代音频信号。

技术总结
本发明提供一种麦克风异常信号处理方法及多麦克风设备。该方法包括：当检测到出现若干异常麦克风，切换至其他正常工作的麦克风进行音频信号采集；响应于所述切换，提取预定时段内所述各个麦克风采集的音频信号，并基于所述音频信号，确定所述各个麦克风的音频特征向量；针对各个异常麦克风，计算其音频特征向量与所述多个麦克风中各个正常麦克风的音频特征向量之间的相似度，以及，利用所述相似度作为权重对所述各个正常麦克风在所述预定时段内的音频信号进行加权求平均处理，得到该异常麦克风在所述预定时段内的估计信号；由此可以实现针对多种类型的多麦克风设备中可能存在的麦克风异常信号问题进行有效处理。的麦克风异常信号问题进行有效处理。的麦克风异常信号问题进行有效处理。


技术研发人员：李从 项京朋
受保护的技术使用者：北京声加科技有限公司
技术研发日：2023.08.14
技术公布日：2023/10/15