一种声学相机的实现方法、装置及电子设备与流程

1.本发明涉及音频和图像信号处理技术领域，特别涉及一种声学相机的实现方法、装置及电子设备。


背景技术：

2.在声学测量中，由于声源和阵列各个传声器之间的距离不相等，每个传声器或者说麦克风接收到的声波存在不同的延迟。利用声波延迟和声源位置的对应关系，将接收到的声压信号进行时延((频域为相位)补偿后相加，逐点计算出空间声源强度的分布，这一过程称为声成像，通过声场分布叠加实物的光学图像信息，可实时且直观的显示镜头范围内的声源分布，就像是专门拍摄声音的相机，即声学相机，声学相机也叫声像仪，目前已在车辆鸣笛违规抓拍等领域广泛应用。声学相机中麦克风数量越多，则定位的精度也越高，当麦克风数量足够多时，则能比较精确的定位出声源的位置，且能生成空间的声场分布。
3.具体而言，声学相机的实现方法通常是求麦克风阵列先将每个麦克风的每帧信号进行时频变换到频域，两两求互功率谱并加权，将互功率谱通过逆傅里叶变换得到广义互相关信号，根据互相关的最大值得出麦克风信号的延迟，从而求出声源位置信息。其中涉及约个时频变换操作，计算量大，尤其在麦克风数量m较大时，仅仅考虑时频变换的计算量也十分大。
4.另一种方法是反卷积法，需要求出空间的beamform(声学波束形成)信息，然后通过求解空间各个点声源和麦克风阵列之间的卷积关系，定位出声源位置。但反卷积法计算量更是巨大，即使降低计算量，也较难在常规的cpu上部署运行。


技术实现要素：

5.本发明的目的在于提供一种声学相机的实现方法、装置及电子设备，以解决现有的声学相机的实现方法计算量大的问题。
6.为解决上述技术问题，本发明的第一方面，提供了一种声学相机的实现方法及装置，包括以下步骤：
7.s1，选取麦克风阵列中至少部分的麦克风进行两两配对形成若干麦克风对，并根据麦克风位置、拾取空间范围及拾取空间范围上的像素点划分，获得所述麦克风对中麦克风的采样点补偿张量；
8.s2，对所述麦克风对中的麦克风的时域信号进行分帧后分别求和，根据所需的采样率对求和结果进行升采样，得到麦克风的升采样时域信号；
9.s3，对所述麦克风对中的两个麦克风的升采样时域信号求互相关，获得互相关序列；
10.s4，使用分位数法将所述采样点补偿张量带入所述互相关序列求和，获得显示矩阵；
11.s5，匹配所述显示矩阵与实际图像，定位发声物体。
12.优选地，在s1中获得所述采样点补偿张量的步骤包括：
13.获取每个麦克风的位置、所需拾取空间范围；
14.基于所需拾取空间范围定义一入射平面及所述入射平面的基准原点，对所需拾取空间范围进行像素划分：在划分像素点时，自所述基准原点往所述入射平面的边缘的方向划分若干个区域，且每个区域设置不同的像素步长；
15.计算所述麦克风对中的两个麦克风的距离差值，基于所述距离差值计算所述采样点补偿张量。
16.优选地，在所述s1中，基于如下公式获得所述麦克风对中的两个麦克风的距离差值，所述距离差值用于获得所述采样点补偿张量：
17.dmatrix(i,j,k)＝distmatrix(i,j,k1)-distmatrix(i,j,k2)
18.i,j∈[1,2*dpi+1],k∈[1,n],k1,k2∈[1,m])
[0019]
其中，m表示麦克风数量，n表示麦克风对数目，2*dpi+1表示描述拾取空间范围上像素点划分的行数或列数，dmatrix(i,j,k)表示第i行第j列的像素点到第k1个麦克风的距离与到第k2个麦克风的距离差值。
[0020]
优选地，在所述s1中，所述采样点补偿张量通过如下公式获得：
[0021][0022]
其中，fs为所述所需的采样率，c是声速，round表示四舍五入取整，dotmatrix(i,j,k)为所述采样点补偿张量表示位置(i,j)处的声源到达第k1个麦克风与到达第k2个麦克风补齐所需要的采样点数，dmatrix(i,j,k)表示第i行第j列的像素点到第k1个麦克风的距离与到第k2个麦克风的距离差值。
[0023]
优选地，在所述s2中根据所述所需的采样率对所述求和结果进行升采样的步骤包括：
[0024]
对所述求和结果进行高通滤波；
[0025]
根据当前采样率和所述所需的采样率的倍数关系对所述求和结果进行插值；
[0026]
对所述求和结果进行低通滤波。
[0027]
优选地，在所述s3中，基于所述麦克风对中麦克风的升采样时域信号求互相关的步骤包括：
[0028]
对所述麦克风对中麦克风的升采样时域信号dum(n)进行分帧，得到分帧信号dum(n,l)，下标m表示麦克风索引，n是采样点索引，l表示帧索引；
[0029]
基于如下公式对所述麦克风对中的两个麦克风的分帧信号dum(n,l)进行两两结合求互相关：
[0030][0031]
其中，corrk(a,l)表示对麦克风k1和k2的升采样时域信号求互相关的结果，a∈[-a,a]，a表示在当前的采样率及当前麦克风间距下的最大采样点延迟，s表示一帧信号经过升采样后的采样点数。
[0032]
优选地，在所述s3中，对麦克风对中的两个麦克风的分帧信号dum(n,l)间隔预设个采样点进行互相关的求和计算。
[0033]
优选地，所述s3中，基于所述麦克风对中的两个麦克风的升采样时域信号求互相关的步骤还包括：对求互相关的结果corrk(a,l)进行归一化处理，得到互相关序列：
[0034]
normcorrk(a)＝corrk(a)/max(corrk)
[0035]
其中，获得的normcorrk(a)是一个(2a+1)*n维矩阵，表示第k个麦克风对的互相关值，n表示麦克风对数目，a表示在当前的采样率及当前麦克风间距下的最大采样点延迟。
[0036]
优选地，在所述s2中，麦克风升采样后的升采样时域信号采样率不大于48k，则在s3中对获得的所述互相关序列进行插值。
[0037]
优选地，在所述s4中，使用如下公式将所述采样点补偿张量带入所述互相关序列求和：
[0038][0039]
其中，dotmatrix(i,j,k)为所述采样点补偿张量，normcorrk(a)为所述互相关序列，dispmatrix就是最终输出的显示矩阵，n是所选择的麦克风对数目。
[0040]
本发明的第二方面，提供了一种声学相机的实现装置，包括：
[0041]
采样点补偿张量计算单元，用于选取麦克风阵列中至少部分的麦克风进行两两配对形成若干麦克风对，并根据声学相机的麦克风位置、拾取空间范围及拾取空间范围上的像素点划分，获得所述麦克风对中麦克风的采样点补偿张量；
[0042]
升采样单元，用于对所述麦克风对中的麦克风的时域信号进行分帧后分别求和，根据所需的采样率对求和结果进行升采样，得到各麦克风的升采样时域信号；
[0043]
互相关计算单元，用于基于所述麦克风对的两个中麦克风的升采样时域信号求互相关，获得互相关序列；
[0044]
像素计算单元，用于使用分位数法将所述采样点补偿张量带入所述互相关序列求和，获得显示矩阵，并匹配所述显示矩阵与实际图像，定位发声物体。
[0045]
本发明的第三方面，提供了一种电子设备，包括处理器、存储器和存储在所述存储器上并可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时用于实现如第一方面所述的声学相机的实现方法的步骤。
[0046]
在本发明提供的声学相机的实现方法、装置及电子设备，首先计算显示界面内每个像素点的位置和麦克风对的时延补偿关系；然后将麦克风时域信号进行滤波和升采样；接着对两两麦克风的升采样信号求互相关序列；最后根据每个像素点的时延补偿关系对互相关信号进行求和，得到每个像素点的值，获得显示矩阵，从而与实际图像进行匹配定位。与其它实现方法相比，直接在时域进行处理，简化了频繁的时频变换操作，降低计算量；进一步的，可自由选择任意两个麦克风组成一组麦克风对求互相关，也能选择麦克风对的数目，在不损失精度的条件下减小了计算量。
附图说明
[0047]
图1是本发明一实施例提供的执行流程图；
[0048]
图2是本发明一实施例提供的方位估计示意图；
[0049]
图3是本发明一实施例提供的声学相机位置示意图；
[0050]
图4是本发明一实施例提供的声源入射平面上的像素划分示意图；
[0051]
图5是本发明一实施例提供的声学相机的工作流程图；
[0052]
图6是本发明一实施例提供的声学相机的实现装置的结构示意图。
[0053]
图中，
[0054]
100、采样点补偿张量计算单元；200、升采样单元；300、互相关计算单元；400、像素计算单元。
具体实施方式
[0055]
以下结合附图和具体实施例对本发明提出的声学相机的实现方法、装置及电子设备作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
[0056]
发明人研究发现声学相机常见的两种实现方法(反卷积法和通过时频变换求出信号延迟和声源位置)的计算量都较大，尤其是通过时频变换求出信号延迟和声源位置，在为满足声源位置定位的精确度，设置麦克风数量较大的情况下，仅考虑进行时频变换所带来的计算量也是非常大的。
[0057]
基于此，本发明实的核心思想在于，通过先选取麦克风对，计算出麦克风对的距离差值以及采样点补偿个数，在对麦克风进行时域信号进行分帧求和后进行升采样，然后对麦克风对求互相关，使用分位数法将所述采样点补偿张量带入所述互相关序列求和，获得显示矩阵，从而降低计算量。
[0058]
具体的，本发明的第一方面提供了一种声学相机的实现方法，请参考图1-图6，其为本发明实施例的示意图。如图1所示，一种声学相机的实现方法，包括以下步骤：
[0059]
s1，选取麦克风阵列中至少部分的麦克风进行两两配对形成若干麦克风对，并根据麦克风位置、拾取空间范围及拾取空间范围上的像素点划分，获得所述麦克风对中麦克风的采样点补偿张量。
[0060]
s2，对所述麦克风对中的麦克风的时域信号进行分帧后分别求和，根据所需的采样率对求和结果进行升采样，得到各麦克风的升采样时域信号。
[0061]
s3，对所述麦克风对中的两个麦克风的升采样时域信号求互相关，获得互相关序列。
[0062]
s4，使用分位数法将所述采样点补偿张量带入所述互相关序列求和，获得显示矩阵。
[0063]
s5，匹配所述显示矩阵与实际图像，定位发声物体。
[0064]
本技术中直接在时域进行处理，省去了频繁的时频变换操作，进一步的，由于可自由选择任意两个麦克风组成一组麦克风对求互相关，也能选择麦克风对的数目，可根据实际采样状况适当调整麦克风对中麦克风的位置，也可调整参与求互相关的麦克风对，从而能够在不损失定位精度的条件下减小计算量。
[0065]
在本技术的方法中，首先确定出目标声源空间范围，将待拾取空间划分成一个个像素点，并根据光学镜头的失真情况对像素点包括的区间大小进行缩放，计算出每个像素点和麦克风的延迟关系；将麦克风信号进行升采样到合适的采样率，进行滤波得到需要的频率区间的信号；求出升采样麦克风信号两两的互相关信号；通过分位数法扫描像素点，将
对应延迟的互相关值进行相加，找到输出最大的空间节点作为声源位置。
[0066]
具体的，如图2是两个麦克风情况下，远场声源入射角度θ和时延τ的关系,由图2可知，入射角度θ和时延τ有一一对应的关系θ＝arcsin(cτ/l)，其中，b1和b2分别表示两个麦克风，c是声速，l是两个麦克风的间距。对于含有多个麦克风的阵列，以麦克风在阵列同一平面内为例，入射角度和各个麦克风之间的时延仍然有一一对应关系，图3是声学相机示意图：麦克风阵列位于一个平面内，平面前方与平面法线呈一定角度的方向入射一平面声波，当声波的入射方向一定时，麦克风阵列的相位关系也是一定的，也就是说入射方向和麦克风间的相位差也具有一一对应的关系，其中，θ表示入射角度，source表示声源，array表示麦克风阵列，i表示麦克风所在的平面。
[0067]
光学镜头所呈现的视角具有一定的范围，类似的，平面内的麦克风阵列所接收的声源角度也需规定范围，因为随着角度的变大，定位准确度将会逐渐降低。假定阵列上下左右的最大视角为θm，则阵列所能展示的声源入射角度范围是[-θm,θm]。假定声源在麦克风阵列前垂直于法线的平面上入射，入射平面到阵列距离为d，则声源的入射平面的长宽范围为[-tan(θm)*d,tan(θm)*d]，如图4所示。可将入射平面的长和宽均划分成2*dpi+1份，相邻两点的间距为tan(θm)*d/dpi。dpi可等效成分辨率，值越大，表示分辨率越高。每个点可等效为像素点，对于每个像素点的声源，在麦克风阵列均有唯一的时延关系与之对应。
[0068]
将麦克风阵列在笛卡尔坐标系中置于原点，阵列的法线当做x轴，则入射平面的空间坐标为(d,y,z)，其中d是入射平面到阵列的距离，y和z的取值范围是。求出每个像素点(d,y,z)到麦克风阵列每个麦克风的欧氏距离，可得到张量distmatrix。distmatrix维度是(2*dpi+1)*(2*dpi+1)*m，其中m表示麦克风数量。每个像素点，都对应着m个麦克风距离，有个麦克风对的距离差值，考虑计算量，选择其中的n(n》＝m)个麦克风对的计算距离差值。
[0069]
在所述s1中，基于如下公式获得所述麦克风对中的两个麦克风的距离差值，所述距离差值用于获得所述采样点补偿张量：
[0070]
dmatrix(i,j,k)＝distmatrix(i,j,k1)-distmatrix(i,j,k2)
[0071]
i,j∈[1,2*dpi+1],k∈[1,n],k1,k2∈[1,m])
ꢀꢀꢀꢀ
(1)
[0072]
其中，m表示麦克风数量，n表示麦克风对数目，2*dpi+1表示描述拾取空间范围上像素点划分的行数或列数，dmatrix(i,j,k)表示第i行，第j列的像素点到第k1个麦克风的距离与第k2个麦克风的距离差值。当距离d趋于无穷大时，该差值等效于平面波的入射时的距离差值，距离差值得到后，便可计算出与之对应的采样点补偿个数。
[0073]
在所述s1中，所述采样点补偿张量通过如下公式获得：
[0074][0075]
其中，fs为所述所需的采样率，c是声速，round表示四舍五入取整，dotmatrix(i,j,k)为所述采样点补偿张量表示位置(i,j)处的声源到达第k个麦克风需要的补偿的采样点数，dmatrix(i,j,k)表示第i行第j列的像素点到第k个麦克风的距离与到第k2个麦克风的距离差值。
[0076]
由(2)式可知，如果采样率fs不够大，则会导致补偿的采样点分辨率过低，所以当
麦克风信号采样率不够时，需要进行升采样操作，在所述s2中根据所述所需的采样率对所述求和结果进行升采样的步骤包括：
[0077]
对所述求和结果进行高通滤波；
[0078]
根据当前采样率和所述所需的采样率的倍数关系对所述求和结果进行插值；
[0079]
对所述求和结果进行低通滤波。
[0080]
在一种实施方式中，由于低频时域信号变换较缓慢，对于不同的时延补偿不敏感，体现在波束指向性上则是波束较胖，定位不精确，且需要选择频段进行声源成像。在实际算法中，为了控制计算量，高通滤波采用iir滤波器。然后在高通滤波后进行插值操作：根据当前采样率和需要的采样率倍数关系进行插值。为了减小插值带来的混叠效应，可采用线性插值法或基于sinc函数的插值方法。最后进行低通滤波：低通滤波可以抑制掉插值导致的混叠频率，也可以与高通滤波结合筛选出合适的频率进行声源成像。低通滤波器采用iir滤波器。如当麦克风信号的采样率为8k或12k时，可将其升采样至48k，也可根据实际采样情况升采样至更高的采样率。
[0081]
麦克风信号dm(n)通过如上的升采样操作，得到升采样的麦克风信号dum(n),其中下标m表示麦克风索引，n是采样点索引。在所述s3中，基于所述麦克风对中麦克风的升采样时域信号求互相关的步骤包括：
[0082]
对所述麦克风对中麦克风的升采样时域信号dum(n)进行分帧，得到分帧信号dum(n,l)，下标m表示麦克风索引，n是采样点索引，l表示帧索引；
[0083]
基于如下公式对所述麦克风对中的两个麦克风的分帧信号dum(n,l)进行两两结合求互相关：
[0084][0085]
其中，corrk(a,l)表示对麦克风k1和k2的升采样时域信号求互相关的结果，a∈[-a,a]，a表示在当前的采样率及当前麦克风间距下的最大采样点延迟，s表示一帧信号经过升采样后的采样点数。可以理解的，相较于gcc(广义互相关)算法，本技术的方法不涉及时频计算，不会增加时频变换的计算量，其次只有在麦克风间距远大于声音波长的情况下，gcc才有优势。
[0086]
所述s3中，基于所述麦克风对中的两个麦克风的升采样时域信号求互相关的步骤还包括：对求互相关的结果corrk(a,l)进行归一化处理，得到互相关序列：
[0087]
normcorrk(a)＝corrk(a)/max(corrk)
ꢀꢀꢀꢀ
(4)
[0088]
其中，这里去掉了帧索引，获得的normcorrk(a)是一个(2a+1)*n维矩阵，表示第k个麦克风对的互相关值，或者说第k1个和第k2个麦克风的互相关值，n表示麦克风对数目，a表示在当前的采样率及当前麦克风间距下的最大采样点延迟。当两个麦克风信号对齐时，normcorrk(a)具有最大值。normcorrk(a)是第k个麦克风对的互相关值，已知总共有n个这样的麦克风对，当声源位置确定时，可以计算出每个麦克风对的互相关值。
[0089]
在所述s4中，使用如下公式将所述采样点补偿张量带入所述互相关序列求和：
[0090][0091]
其中，dotmatrix(i,j,k)为所述采样点补偿张量，normcorrk(a)为所述互相关序列，dispmatrix就是最终输出的显示矩阵，n是所选择的麦克风对数目。扫描采样点补偿张
量dotmatrix(i,j,k)，并将对应延迟给到normcorrk(a)并对下标k求和。
[0092]
如图4是本发明提供的声学相机设计的总的流程图，具体可拆分为以下步骤：根据声学相机的麦克风位置、拾取角度、像素点划分和选择的麦克风对，计算出时延补偿张量，该步骤只需在初始化的时候计算一次；将每个麦克风时域信号进行分帧并求和，对求和信号进行升采样处理，包括高通滤波，插值和低通滤波；对选取的麦克风对进行求互相关，并对互相关序列进行插值；用分位数方法，将时延补偿张量合入互相关序列进行求和，定位最大的像素点和附近的像素点，获得显示矩阵；将显示矩阵与光学图像进行叠加，精确定位发声物体。
[0093]
通过以上描述可知，在采样点补偿张量的计算过程中，拾取空间范围的划分是均匀的，但实际情况由于光学镜头造成的畸变，在远离视野中心处会出现空间的压缩或膨胀；升采样之后，如果每帧都进行单独计算，容易产生声源位置不稳定的结果。又因为麦克风数量过多，且插值后的采样点数增加，导致即便采用的iir滤波器，计算量仍旧很大。最终的显示矩阵dispmatrix像素点极多，且计算复杂度是分辨率的2次方，当增加分辨率，计算复杂度将快速上升，不利于部署在常用cpu上。为了对技术方案进行进一步优化，我们做了如下处理。
[0094]
首先，在划分像素点的时候，从中心往边缘依据半径大小划分几个区域，每个区域设置不同的像素步长。其中，在s1中获得所述采样点补偿张量的步骤包括：
[0095]
获取每个麦克风的位置、所需拾取空间范围；
[0096]
基于所需拾取空间范围定义一入射平面及所述入射平面的基准原点，对所需拾取空间范围进行像素划分：在划分像素点时，自所述基准原点往入射平面的边缘的方向划分若干个区域，且每个区域设置不同的像素步长；
[0097]
计算所述麦克风对中的两个麦克风的距离差值，基于所述距离差值计算所述采样点补偿张量。
[0098]
其次是对s2中的麦克风的多帧信号同时处理，即利用系统的线性性质其中表示卷积标识。首先将同一麦克风信号dm(n)分帧为dm(n,l)，每帧长度可为10ms，l表示帧索引。然后对信号dm(n,l)按帧求和：
[0099][0100]
其中，dm是l帧时域的求和。l越大，表示同时考虑的帧数越多，声源位置信息可以越稳定，计算量越小，但取值太大也会造成刷新率不够的问题。为了兼顾稳定性和刷新率，在帧移10ms的情况下，l取值可为5，这样每秒可刷新20次。然后对求和的信号dm(n,l')进行升采样操作，得到升采样后的信号dum(n,l')，这些操作的次数都变为之前的1/5，升采样整体的计算量也变成之前的1/5。
[0101]
接着进行式(3)(4)的互相关计算和式(5)的显示矩阵每个像素的计算。由于式(3)是对升采样后对齐的信号求互相关，所以求和次数会比较多，即式中的s值较大，以16k采样率升采样到192k采样率为例，升采样倍数为12，则相比直接对原始信号求互相关，升采样后将是12倍的乘加数量，可以通过如下方法进行优化。
[0102]
可以通过在s3中，对麦克风对中的两个麦克风的分帧信号dum(n,l)间隔预设个采样点进行互相关的求和计算，降低升采样后求互相关的计算量，需要注意的是，可以间隔一段采样点进行求和，保证乘加数量在控制在可被硬件接受的程度，但同时需要兼顾最终成像效果。
[0103]
或者，在所述s2中，麦克风升采样后的升采样时域信号采样率不大于48k，则在s3中对获得的所述互相关序列进行插值。升采样的最终采样率可以低一些，比如说升采样到48k采样率，然后进行低通滤波并求互相关值，但是得到的互相关值可能连续性不够，这时可以对互相关序列进行插值，同样可以用线性插值或者sinc函数插值的方法。
[0104]
虽然dispmatrix(i,j)的每个像素点都需要显示，但大多数像素点其实并不需要考虑的，仅仅需要关注声源所在像素点和声源附件的像素点，可采用分位数的方法，逐级对声源进行定位和声源附近像素点的计算。基于上述像素的划分，总像素点有(2*dpi+1)*(2*dpi+1)个，如果每个像素点都用(5)式进行计算，则计算量比较大。为了降低计算量，每间隔dpis1个像素点用(5)式计算一次，将会计算(2*dpi/dpis1+1)*(2*dpi/dpis1+1)个像素点，找到像素点最大值maxvalue并记录下最大值所在位置(maxi,maxj)。这样一来，声源的位置就被定位在了像素点(maxi,maxj)附近。然后再进行二次搜索，在像素点区间(maxi-dpis1,maxi+
[0105]
dpis1)、(maxj-dpis1,maxj+dpis1)进行类似的间隔计算操作，间隔点数为dpis2，同时更新像素点最大值maxvalue和最大值所在位置(maxi,maxj)，这里需要计算的像素点个数为(2*dpis1/dpis2+1)*(2*dpis1/dpis2+1)。最后计算素点区间(maxi-dpis2,maxi+dpis2)、(maxj-dpis2,maxj+dpis2)所有像素点，这里需要计算的个数为(2*dpis2+1)*(2*dpis2+1)，获得像素点最大值及其附近的像素点值的位置，其余没有计算的像素点默认值为0，获得像素点的显示阵列，一般而言，像素点最大值及其附近的像素点值所在的位置为对应的声源位置。得到显示阵列后，将显示阵列的分布与实际图像上各处的位置进行对应匹配，并在获得的实际图像上对应标注出像素点最大值及其附近的像素点值位置，所标注出的位置即为声源所在地。
[0106]
经过优化后，像素点计算个数从(2*dpi+1)*(2*dpi+1)变成了(2*dpi/dpis1+1)*(2*dpi/dpis1+1)+(2*dpis1/dpis2+1)*(2*dpis1/dpis2+1)+(2*dpis2+1)*(2*dpis2+1)。若分辨率dpi为128，dpis1值为32，dpis2值为8，则像素点计算个数从66049降至451，计算量降低至1/100以下。加上升采样操作，互相关计算和选择适合的麦克风对的计算量优化，即便是在麦克风数量很多的场景下，cpu端的部署难度也大大降低。
[0107]
本发明的另一方面，提供了一种声学相机的实现装置，如图6所示，结合图6，图5和图4对具体的流程和结构进行描述，一种声学相机的实现装置，包括：
[0108]
采样点补偿张量计算单元100，用于选取麦克风阵列中部分的麦克风进行两两配对形成若干麦克风对，并根据麦克风位置、拾取空间范围及拾取空间范围上的像素点划分，获得所述麦克风对中麦克风的采样点补偿张量。
[0109]
在采样点补偿张量计算单元100中，先根据各个麦克风具体位置、需要拾取的角度范围和需要的分辨率，将需要拾取的范围投影到一个平面上，根据分辨率将平面分成一个个像素点。计算每个像素点到每个麦克风的距离，根据需要观测的声音频段估测出适合的距离，选择出合适的麦克风对，计算麦克风对之间的距离差值，并计算出距离差对应的采样
architecture，eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non-volatile memory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0118]
综上可见，在本发明实施例提供的声学相机的实现方法、装置及电子设备中，首先确定出目标声源空间范围，将空间划分成一个个像素点，并根据光学镜头的失真情况对像素点包括的区间大小进行缩放，计算出每个像素点的麦克风延迟关系；将麦克风信号进行升采样到合适的采样率，进行滤波得到需要的频率区间的信号；求出升采样麦克风信号两两的互相关信号；通过分位数法扫描像素点，将对应延迟的互相关值进行相加，找到输出最大的空间节点作为声源位置。与之前算法相比，直接在时域进行处理，省去了频繁的时频变换操作，不仅可以可自由选择任意两个麦克风组成一组麦克风对求互相关，也能选择麦克风对的数目，在不损失精度的条件下减小了计算量。针对光学镜头在边缘的失真，划分像素点时，将步长从视野中心到边缘划分成了不同的值，以应对光学镜头的畸变，进行空间的校准，保证声源显示位置和真实位置的一致性，相比已有算法，本发明具有计算量小、灵敏度高的优点，可灵活应用于违法鸣笛抓拍、漏电检测抓拍、异响抓拍和说话人定位抓拍等场景。
[0119]
上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。

技术特征：
1.一种声学相机的实现方法，其特征在于，包括以下步骤：s1，选取麦克风阵列中至少部分的麦克风进行两两配对形成若干麦克风对，并根据麦克风位置、拾取空间范围及拾取空间范围上的像素点划分，获得所述麦克风对中麦克风的采样点补偿张量；s2，对所述麦克风对中的麦克风的时域信号进行分帧后分别求和，根据所需的采样率对求和结果进行升采样，得到麦克风的升采样时域信号；s3，对所述麦克风对中的两个麦克风的升采样时域信号求互相关，获得互相关序列；s4，使用分位数法将所述采样点补偿张量带入所述互相关序列求和，获得显示矩阵；s5，匹配所述显示矩阵与实际图像，定位发声物体。2.如权利要求1所述的声学相机的实现方法，其特征在于，在所述s1中获得所述采样点补偿张量的步骤包括：获取每个麦克风的位置、所需拾取空间范围；基于所需拾取空间范围定义一入射平面及所述入射平面的基准原点，对所需拾取空间范围进行像素划分：在划分像素点时，自所述基准原点往所述入射平面的边缘的方向划分若干个区域，且每个区域设置不同的像素步长；计算所述麦克风对中的两个麦克风的距离差值，基于所述距离差值计算所述采样点补偿张量。3.如权利要求2所述的声学相机的实现方法，其特征在于，在所述s1中，基于如下公式获得所述麦克风对中的两个麦克风的所述距离差值，所述距离差值用于获得所述采样点补偿张量：dmatrix(i,j,k)＝distmatrix(i,j,k1)-distmatrix(i,j,k2)i,j∈[1,2*dpi+1],k∈[1,n],k1,k2∈[1,m])其中，m表示麦克风数量，n表示麦克风对数目，2*dpi+1表示描述拾取空间范围上像素点划分的行数或列数，dmatrix(i,j,k)表示第i行第j列的像素点到第k1个麦克风的距离与到第k2个麦克风的距离差值。4.如权利要求3所述的声学相机的实现方法，其特征在于，在所述s1中，所述采样点补偿张量通过如下公式获得：其中，fs为所述所需的采样率，c是声速，round表示四舍五入取整，dotmatrix(i,j,k)为所述采样点补偿张量表示位置(i,j)处的声源到达第k1个麦克风与到达第k2个麦克风补齐所需要的采样点数，dmatrix(i,j,k)表示第i行第j列的像素点到第k1个麦克风的距离与到第k2个麦克风的距离差值。5.如权利要求1所述的声学相机的实现方法，其特征在于，在所述s2中根据所述所需的采样率对所述求和结果进行升采样的步骤包括：对所述求和结果进行高通滤波；根据当前采样率和所述所需的采样率的倍数关系对所述求和结果进行插值；对所述求和结果进行低通滤波。
6.如权利要求1所述的声学相机的实现方法，其特征在于，在所述s3中，基于所述麦克风对中麦克风的升采样时域信号求互相关的步骤包括：对所述麦克风对中麦克风的升采样时域信号du
m
(n)进行分帧，得到分帧信号du
m
(n,l)，下标m表示麦克风索引，n是采样点索引，l表示帧索引；基于如下公式对所述麦克风对中的两个麦克风的分帧信号du
m
(n,l)进行两两结合求互相关：其中，corr
k
(a,l)表示对麦克风k1和k2的升采样时域信号求互相关的结果，a∈[-a,a]，a表示在当前的采样率及当前麦克风间距下的最大采样点延迟，s表示一帧信号经过升采样后的采样点数。7.如权利要求6所述的声学相机的实现方法，其特征在于，在所述s3中，对麦克风对中的两个麦克风的分帧信号du
m
(n,l)间隔预设个采样点进行互相关的求和计算。8.如权利要求6所述的声学相机的实现方法，其特征在于，所述s3中，基于所述麦克风对中的两个麦克风的升采样时域信号求互相关的步骤还包括：对求互相关的结果corr
k
(a,l)进行归一化处理，得到互相关序列：normcorr
k
(a)＝corr
k
(a)/max(corr
k
)其中，获得的normcorr
k
(a)是一个(2a+1)*n维矩阵，表示第k个麦克风对的互相关值，n表示麦克风对数目，a表示在当前的采样率及当前麦克风间距下的最大采样点延迟。9.如权利要求8所述的声学相机的实现方法，其特征在于，在所述s2中，麦克风升采样后的升采样时域信号采样率不大于48k，则在所述s3中对获得的所述互相关序列进行插值。10.如权利要求9所述的声学相机的实现方法，其特征在于，在所述s4中，使用如下公式将所述采样点补偿张量带入所述互相关序列求和：其中，dotmatrix(i,j,k)为所述采样点补偿张量，normcorr
k
(a)为所述互相关序列，dispmatrix就是最终输出的显示矩阵，n是所选择的麦克风对数目。11.一种声学相机的实现装置，其特征在于，包括：采样点补偿张量计算单元，用于选取麦克风阵列中至少部分的麦克风进行两两配对形成若干麦克风对，并根据麦克风位置、拾取空间范围及拾取空间范围上的像素点划分，获得所述麦克风对中麦克风的采样点补偿张量；升采样单元，用于对所述麦克风对中的麦克风的时域信号进行分帧后分别求和，根据所需的采样率对求和结果进行升采样，得到麦克风的升采样时域信号；互相关计算单元，用于对所述麦克风对中的两个麦克风的升采样时域信号求互相关，获得互相关序列；像素计算单元，用于使用分位数法将所述采样点补偿张量带入所述互相关序列求和，获得显示矩阵，并匹配所述显示矩阵与实际图像，定位发声物体。12.一种电子设备，其特征在于，包括处理器、存储器和存储在所述存储器上并可在所述处理器上运行的计算机程序，当所述计算机程序被所述处理器执行时用于实现如权利要求1-10任一项所述的声学相机的实现方法的步骤。

技术总结
本发明公开了一种声学相机的实现方法、装置及电子设备，属于音频和图像信号处理技术领域，该声学相机的实现方法，包括选取麦克风阵列中部分的麦克风进行两两配对形成若干麦克风对，获得麦克风对中麦克风的采样点补偿张量；对麦克风对中的麦克风的时域信号进行分帧后分别求和，根据所需的采样率对求和结果进行升采样，得到各麦克风的升采样时域信号；对麦克风对中的两个麦克风的升采样时域信号求互相关，获得互相关序列；使用分位数法将采样点补偿张量带入互相关序列求和，获得显示矩阵。在时域选取麦克风对求互相关，将采样点补偿张量带入互相关序列求和，获得显示矩阵，降低计算量。算量。算量。


技术研发人员：罗本彪 邹灵琦 居彩霞 董鹏宇
受保护的技术使用者：上海富瀚微电子股份有限公司
技术研发日：2023.08.04
技术公布日：2023/10/15