一种多向多尺度能量聚合的弱小目标增强及分割方法与流程

1.本发明涉及红外目标检测的计算机视觉技术领域，具体为一种多向多尺度能量聚合的弱小目标增强及分割方法。


背景技术：

2.红外探测器具有全天候，抗干扰能力强，分辨率高的特性。目前国内外学者针对红外目标检测算法进行了一系列的研究并取得了较出色的研究成果。但由于目标在经过检测模型的背景建模后目标的能量被削弱严重，这对后期进行目标的辨别，跟踪等研究造成困难，因此在进行红外目标检测时，对目标信号和背景信息进行研究对提高目标的检测率，降低检测虚警有重要意义。
3.为此，我们提出一种多向多尺度能量聚合的弱小目标增强及分割方法。


技术实现要素：

4.本发明的目的在于提供一种多向多尺度能量聚合的弱小目标增强及分割方法，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种多向多尺度能量聚合的弱小目标增强及分割方法，包括以下步骤：
6.步骤一：定义能量聚合填充分析模型；
7.步骤二：定义填充策略模型；
8.步骤三：结合能量聚合填充分析模型构建相应数学运算函数；
9.步骤四：构建二次能量增强数学模型；
10.步骤五：结合目标在弱小目标成像中目标信号分布不均匀的特性，通过调整不同的尺度大小来对目标进行目标分割，将目标在多个方向的信息都进行保留，提高目标的注意力；
11.步骤六：结合多向多尺度分析模型；
12.步骤七：定义分割模型。
13.优选的，所述步骤一中以中心色块3x3像元块分别向上，下，左，右构建像元的邻域3x3区域组成能量聚合模型，利用该模型对图像进行灰度能量聚合预处理来提高目标在图像中的对比度，达到增强目标信号的目的。
14.优选的，所述步骤二中定义了3种不同的能量聚合模式，当聚合模型中间色块区域块像元均值处于最大值时，表明该区域属于含有目标在内候选区域，则将该区域中最大灰度值提取并组成一个3x3的最大灰度值矩阵，将最大灰度值矩阵像元赋值到模型中的色块像元区域，模型中4个方向的区域块则用自身的像元灰度均值填充，达到增强目标信号的目的；
15.聚合模式a，当聚合模型中间色块区域块像元均值处在最小时，表明该区域不满足弱小目标成像时在图中形成的孤立突起特性，该区域属于背景区域，故而这时将模型中色
块区域块的像元均值填充到整个模型中，达到弱化背景影响的目的；
16.聚合模式b，若聚合模型中中间色块区域块像元均值非最大或最小，说明此时聚合模型可能处于背景的边缘轮廓处，聚合模型中各区域块的像元均值差值较小，属于背景部分，此时便选取上、下、左、右4个方向中均值最小的2个方向进行像元求和取均值，并将结果填充到新的3x3区域块组成如上图中的平均像元灰度聚合矩阵；
17.聚合模式c，将像元灰度聚合矩阵替换整个聚合模型，达到弱化边缘轮廓的目的。
18.优选的，所述步骤三中数学运算函数如下：
[0019][0020]
式中：
[0021]
f1表示从输入图像；
[0022]
f中选取的整个能量聚合模型区域；
[0023]
△fu3*3
，
△fd3*3
，
△ft3*3
，
△fl3*3
，
△fr3*3
分别表示聚合模型中的上、下、中心、左、右的区域均值；
[0024]
根据上式对聚合模型中各个区域的像元灰度进行区域块的均值求取；
[0025]
接着依据聚合模型中各个区域块的均值选取对应的聚合模式来完成能量聚合；
[0026]
此外，根据弱小目标灰度能量与背景灰度区分明显的成像机制，为了能够映射目标的特性以完成能量融合，完成局部感兴趣区域的灰度信号增强，通过单个像元差值t，最大两个区域的均值差值t1设定了相应的约束参数来提取局部区域，其具体数学模型如下：
[0027][0028][0029]
式中：
[0030]
f1表示能量聚合模型所占区域；
[0031]
△fu3*3
，
△fd3*3
，
△ft3*3
，
△fl3*3
，
△fr3*3
分别表示聚合模型中的上、下、中心、左、右的区域均值；
[0032]
up，down，left，right，center分别表示聚合模型中的上、下、左、右、中心3x3区域；
[0033]fcenter
表示与选取的f1区域等大小的原图像对应的中心区域；
[0034]
data表示排序后四个方向中均值最小的两个进行求和取平均后的像元灰度值；
[0035]
f(m，n)表示最终完成能量聚合处理的图像；
[0036]
a表示由上，下，左，右四个3x3区域均值组成的矩阵；
[0037]
a1表示a中剔除最大值后的数列矩阵；
[0038]
data，data1分别表示四个方向局部区域中最大两个方向的像元灰度均值。
[0039]
优选的，所述步骤四中数学模型如下：
[0040][0041]
式中：
[0042]
ff1表示初步增强图像f中所选取能量聚合区域，由于已对目标信号完成了初步的聚合增强，部分噪点信号在初步聚合时得到的增强不利于真实目标的检测，故而本次能量聚合利用单个像元差值t2来设定参数以提取感兴趣区域进行目标信号增强；
[0043]
相应地，在增强策略上，利用目标能量向四周扩散的特性，二次能量聚合模式仅利用图2中的模式a和模式c，可得到其对应的聚合表达式如下：
[0044][0045][0046]
式中：
[0047]
ff1表示初步聚合图像f中所选取能量聚合区域，ff表示完成二次能量聚合的图像。
[0048]
优选的，所述步骤五中具体定义像元的多向多尺度分析模型如下：
[0049][0050]
式中：
[0051]
p
upι
，p
downι
，p
leftι
，p
rightι
和p
up0
，p
down0
，p
left0
，p
right0
分别表示单个像元在上，下，左，右区域不同尺度下的像元和，l表示分割区域定义的多尺度范围，d表示经过背景建模后的差分图像，通过设定像元尺度l来调整分割尺度的大小，符合弱小目标成像时能量分布不均匀的特性。
[0052]
优选的，所述步骤六中定义上、下、左、右4方向上尺度区间内不同尺度的像元预处
理模型如下：
[0053][0054]
式中：
[0055]
p
upιavg
，p
downιavg
，p
leftιavg
，p
rightιavg
和p
up0avg
，p
down0avg
，p
left0avg
，p
right0avg
分别表示像元上、下、左、右的不同尺度时区域的像元均值，r,r1,r2,r3分别表示上、下、左、右区域内外窗区域的像元均值差，通过均值差与设定阈值t的比较以完成图像的分割。根据多尺度梯度的原理应将4个差值进行求和来确定最后的分割结果，但考虑到目标能量是呈区域分布，因此本发明对上述4个结果进行或运算来确定分割结果，达到保留目标信息，增强区分度的目的。
[0056]
优选的，所述步骤七中定义分割模型如下：
[0057][0058]
式中：
[0059]
p表示4个方向上不同尺度时像元的均值差集合，result(i，j)分别表示4个方向分割后图像填充0，1的结果，fg表示分割后的二值图像。
[0060]
与现有技术相比，本发明的有益效果是：
[0061]
(1)本发明所构建的区域填充分析模型具有较好的区域快梯度感知度，背景分析能力较强，能够在面对大轮廓体积的红外复杂背景时进行目标信号的增强，完成弱信号能量增强。
[0062]
(2)本发明利用目标区域各像元间差异不大的特性来分析目标的特性，从而这部分信息保留下来，能够结合填充策略将复杂背景中的尖锐边缘轮廓平滑，达到背景平滑，目标尖锐突显的目的，为后续背景建模铺垫。
[0063]
(3)本发明所构建的多向多尺度的局部信息分析模型能够有效的结合弱小目标的区域块成像特性进行分割，提高了目标信息的利用率。
[0064]
(4)本发明利用多尺度梯度能够增强目标信号的特点，充分结合多尺度梯度的尺度定义来设置自适应分割区间，实现一尺度一分割，有效的利用目标的局部信息来突显目标的信号，实现强噪点的剔除，完成后续检测算法的铺垫。
附图说明
[0065]
图1为本发明方法实现流程图；
[0066]
图2为本发明定义的能量聚合填充分析模型；
[0067]
图3为本发明定义的3种能量聚合填充策略；
[0068]
图4为场景a经过能量聚合后第一第二次目标能量增强后信噪比及多向多尺度分割结果；
[0069]
图5为场景b经过能量聚合后第一第二次目标能量增强后信噪比及多向多尺度分割结果。
具体实施方式
[0070]
实施例一
[0071]
请参阅图1-5，本发明提供一种技术方案：
[0072]
一种多向多尺度能量聚合的弱小目标增强及分割方法，包括以下步骤：
[0073]
步骤一：定义能量聚合填充分析模型；
[0074]
如图1所示，以中心色块3x3像元块分别向上，下，左，右构建像元的邻域3x3区域组成能量聚合模型。利用该模型对图像进行灰度能量聚合预处理来提高目标在图像中的对比度，达到增强目标信号的目的。结合上述模型，本发明定义了3种多向能量聚合策略来实现信号的增强如下。
[0075]
步骤二：定义填充策略模型
[0076]
如图2所示，本发明研究中定义了3种不同的能量聚合模式，当聚合模型中间色块区域块像元均值处于最大值时，表明该区域属于含有目标在内候选区域，则将该区域中最大灰度值提取并组成一个3x3的最大灰度值矩阵，将最大灰度值矩阵像元赋值到模型中的色块像元区域，模型中4个方向的区域块则用自身的像元灰度均值填充，达到增强目标信号的目的，具体如图中的聚合模式a所示。当聚合模型中间色块区域块像元均值处在最小时，表明该区域不满足弱小目标成像时在图中形成的孤立突起特性，该区域属于背景区域，故而这时将模型中色块区域块的像元均值填充到整个模型中，达到弱化背景影响的目的，如图聚合模式b所示。若聚合模型中中间色块区域块像元均值非最大或最小，说明此时聚合模型可能处于背景的边缘轮廓处，聚合模型中各区域块的像元均值差值较小，属于背景部分。此时便选取上、下、左、右4个方向中均值最小的2个方向进行像元求和取均值，并将结果填充到新的3x3区域块组成如上图中的平均像元灰度聚合矩阵，然后如上图聚合模式c所示，将像元灰度聚合矩阵替换整个聚合模型，达到弱化边缘轮廓的目的。
[0077]
步骤三：结合能量聚合填充分析模型构建相应数学运算函数：
[0078][0079]
式中：
[0080]
f1表示从输入图像；
[0081]
f中选取的整个能量聚合模型区域；
[0082]
△fu3*3
，
△fd3*3
，
△ft3*3
，
△fl3*3
，
△fr3*3
分别表示聚合模型中的上、下、中心、左、右的区域均值。
[0083]
根据上式对聚合模型中各个区域的像元灰度进行区域块的均值求取。接着依据聚合模型中各个区域块的均值选取对应的聚合模式来完成能量聚合。此外，根据弱小目标灰度能量与背景灰度区分明显的成像机制，为了能够映射目标的特性以完成能量融合，完成局部感兴趣区域的灰度信号增强，本文通过单个像元差值t，图2中最大两个区域的均值差值t1设定了相应的约束参数来提取局部区域，其具体数学模型如下：
[0084][0085][0086]
式中：
[0087]
f1表示能量聚合模型所占区域；
[0088]
△fu3*3
，
△fd3*3
，
△ft3*3
，
△fl3*3
，
△fr3*3
分别表示聚合模型中的上、下、中心、左、右的区域均值；
[0089]
up，down，left，right，center分别表示聚合模型中的上、下、左、右、中心3x3区域；
[0090]fcenter
表示与选取的f1区域等大小的原图像对应的中心区域；
[0091]
data表示排序后四个方向中均值最小的两个进行求和取平均后的像元灰度值；
[0092]
f(m，n)表示最终完成能量聚合处理的图像；
[0093]
a表示由上，下，左，右四个3x3区域均值组成的矩阵；
[0094]
a1表示a中剔除最大值后的数列矩阵；
[0095]
data，data1分别表示四个方向局部区域中最大两个方向的像元灰度均值。
[0096]
步骤四：构建二次能量增强数学模型：
[0097][0098]
式中：
[0099]
ff1表示初步增强图像f中所选取能量聚合区域，其余参数定义均如(1)式。由于已对目标信号完成了初步的聚合增强，部分噪点信号在初步聚合时得到的增强不利于真实目标的检测，故而本次能量聚合利用单个像元差值t2来设定参数以提取感兴趣区域进行目标信号增强。相应地，在增强策略上，利用目标能量向四周扩散的特性，二次能量聚合模式仅利用图2中的模式a和模式c，可得到其对应的聚合表达式如下：
[0100][0101][0102]
式中：
[0103]
ff1表示初步聚合图像f中所选取能量聚合区域，ff表示完成二次能量聚合的图像，其余定义均同式(2)(3)。
[0104]
步骤五：结合目标在弱小目标成像中目标信号分布不均匀的特性，通过调整不同的尺度大小来对目标进行目标分割，将目标在多个方向的信息都进行保留，提高目标的注意力。具体定义像元的多向多尺度分析模型如下：
[0105][0106]
式中：
[0107]
p
upι
，p
downι
，p
leftι
，p
rightι
和p
up0
，p
down0
，p
left0
，p
right0
分别表示单个像元在上，下，左，右区域不同尺度下的像元和，l表示分割区域定义的多尺度范围，d表示经过背景建模后的差分图像，通过设定像元尺度l来调整分割尺度的大小，符合弱小目标成像时能量分布不均匀的特性。
[0108]
步骤六：结合多向多尺度分析模型，定义上、下、左、右4方向上尺度区间内不同尺度的像元预处理模型：
[0109][0110]
式中：
[0111]
p
upιavg
，p
downιavg
，p
leftιavg
，p
rightιavg
和p
up0avg
，p
down0avg
，p
left0avg
，p
right0avg
分别表示像元上、下、左、右的不同尺度时区域的像元均值，r,r1,r2,r3分别表示上、下、左、右区域内外窗区域的像元均值差，通过均值差与设定阈值t的比较以完成图像的分割。根据多尺度梯度的原理应将4个差值进行求和来确定最后的分割结果，但考虑到目标能量是呈区域分布，因此本发明对上述4个结果进行或运算来确定分割结果，达到保留目标信息，增强区分度的目的。
[0112]
步骤七：定义分割模型：
[0113][0114]
式中：
[0115]
p表示4个方向上不同尺度时像元的均值差集合，result(i，j)分别表示4个方向分割后图像填充0，1的结果，fg表示分割后的二值图像。

技术特征：
1.一种多向多尺度能量聚合的弱小目标增强及分割方法，其特征在于：包括以下步骤：步骤一：定义能量聚合填充分析模型；步骤二：定义填充策略模型；步骤三：结合能量聚合填充分析模型构建相应数学运算函数；步骤四：构建二次能量增强数学模型；步骤五：结合目标在弱小目标成像中目标信号分布不均匀的特性，通过调整不同的尺度大小来对目标进行目标分割，将目标在多个方向的信息都进行保留，提高目标的注意力；步骤六：结合多向多尺度分析模型；步骤七：定义分割模型。2.根据权利要求1所述的一种多向多尺度能量聚合的弱小目标增强及分割方法，其特征在于：所述步骤一中以中心色块3x3像元块分别向上，下，左，右构建像元的邻域3x3区域组成能量聚合模型，利用该模型对图像进行灰度能量聚合预处理来提高目标在图像中的对比度，达到增强目标信号的目的。3.根据权利要求1所述的一种多向多尺度能量聚合的弱小目标增强及分割方法，其特征在于：所述步骤二中定义了3种不同的能量聚合模式，当聚合模型中间色块区域块像元均值处于最大值时，表明该区域属于含有目标在内候选区域，则将该区域中最大灰度值提取并组成一个3x3的最大灰度值矩阵，将最大灰度值矩阵像元赋值到模型中的色块像元区域，模型中4个方向的区域块则用自身的像元灰度均值填充，达到增强目标信号的目的；聚合模式a，当聚合模型中间色块区域块像元均值处在最小时，表明该区域不满足弱小目标成像时在图中形成的孤立突起特性，该区域属于背景区域，故而这时将模型中色块区域块的像元均值填充到整个模型中，达到弱化背景影响的目的；聚合模式b，若聚合模型中中间色块区域块像元均值非最大或最小，说明此时聚合模型可能处于背景的边缘轮廓处，聚合模型中各区域块的像元均值差值较小，属于背景部分，此时便选取上、下、左、右4个方向中均值最小的2个方向进行像元求和取均值，并将结果填充到新的3x3区域块组成如上图中的平均像元灰度聚合矩阵；聚合模式c，将像元灰度聚合矩阵替换整个聚合模型，达到弱化边缘轮廓的目的。4.根据权利要求1所述的一种多向多尺度能量聚合的弱小目标增强及分割方法，其特征在于：所述步骤三中数学运算函数如下：式中：f1表示从输入图像；f中选取的整个能量聚合模型区域；
△
f
u3*3
，
△
f
d3*3
，
△
f
t3*3
，
△
f
l3*3
，
△
f
r3*3
分别表示聚合模型中的上、下、中心、左、右的区域均值；
根据上式对聚合模型中各个区域的像元灰度进行区域块的均值求取；接着依据聚合模型中各个区域块的均值选取对应的聚合模式来完成能量聚合；此外，根据弱小目标灰度能量与背景灰度区分明显的成像机制，为了能够映射目标的特性以完成能量融合，完成局部感兴趣区域的灰度信号增强，通过单个像元差值t，最大两个区域的均值差值t1设定了相应的约束参数来提取局部区域，其具体数学模型如下：式中：f1表示能量聚合模型所占区域；
△
f
u3*3
，
△
f
d3*3
，
△
f
t3*3
，
△
f
l3*3
，
△
f
r3*3
分别表示聚合模型中的上、下、中心、左、右的区域均值；up，down，left，right，center分别表示聚合模型中的上、下、左、右、中心3x3区域；f
center
表示与选取的f1区域等大小的原图像对应的中心区域；data表示排序后四个方向中均值最小的两个进行求和取平均后的像元灰度值；f(m，n)表示最终完成能量聚合处理的图像；
a表示由上，下，左，右四个3x3区域均值组成的矩阵；a1表示a中剔除最大值后的数列矩阵；data，data1分别表示四个方向局部区域中最大两个方向的像元灰度均值。5.根据权利要求1所述的一种多向多尺度能量聚合的弱小目标增强及分割方法，其特征在于：所述步骤四中数学模型如下：式中：ff1表示初步增强图像f中所选取能量聚合区域，由于已对目标信号完成了初步的聚合增强，部分噪点信号在初步聚合时得到的增强不利于真实目标的检测，故而本次能量聚合利用单个像元差值t2来设定参数以提取感兴趣区域进行目标信号增强；相应地，在增强策略上，利用目标能量向四周扩散的特性，二次能量聚合模式仅利用图2中的模式a和模式c，可得到其对应的聚合表达式如下：2中的模式a和模式c，可得到其对应的聚合表达式如下：式中：ff1表示初步聚合图像f中所选取能量聚合区域，ff表示完成二次能量聚合的图像。6.根据权利要求1所述的一种多向多尺度能量聚合的弱小目标增强及分割方法，其特征在于：所述步骤五中具体定义像元的多向多尺度分析模型如下：式中：
p
upι
，p
downι
，p
leftι
，p
rightι
和p
up0
，p
down0
，p
left0
，p
right0
分别表示单个像元在上，下，左，右区域不同尺度下的像元和，l表示分割区域定义的多尺度范围，d表示经过背景建模后的差分图像，通过设定像元尺度l来调整分割尺度的大小，符合弱小目标成像时能量分布不均匀的特性。7.根据权利要求1所述的一种多向多尺度能量聚合的弱小目标增强及分割方法，其特征在于：所述步骤六中定义上、下、左、右4方向上尺度区间内不同尺度的像元预处理模型如下：式中：p
upιavg
，p
downιavg
，p
leftιavg
，p
rightιavg
和p
up0avg
，p
down0avg
，p
left0avg
，p
right0avg
分别表示像元上、下、左、右的不同尺度时区域的像元均值，r,r1,r2,r3分别表示上、下、左、右区域内外窗区域的像元均值差，通过均值差与设定阈值t的比较以完成图像的分割。根据多尺度梯度的原理应将4个差值进行求和来确定最后的分割结果，但考虑到目标能量是呈区域分布，因此本发明对上述4个结果进行或运算来确定分割结果，达到保留目标信息，增强区分度的目的。8.根据权利要求1所述的一种多向多尺度能量聚合的弱小目标增强及分割方法，其特征在于：所述步骤七中定义分割模型如下：式中：p表示4个方向上不同尺度时像元的均值差集合，result(i，j)分别表示4个方向分割后图像填充0，1的结果，f
g
表示分割后的二值图像。

技术总结
本发明公开了红外目标检测的计算机视觉技术技术领域的一种多向多尺度能量聚合的弱小目标增强及分割方法。首先构建了能量聚合填充模型来获取像元的细节信息，并结合填充模型定义了A,B,C三种填充策略来前期对图像进行首次增强处理，实现对图像不同区域的差别化处理，以平滑掉复杂的云层边缘轮廓。此外，为了进一步突显图像中目标与背景的局部灰度差异，保证各局部信息被有效处理，本发明在上述增强策略的基础上选用策略A，C对图像进行二次增强处理，以突显出目标信号区。最后利用弱小目标的成像尺度特征，构建了多尺度梯度分割模型来提取真实目标。经过相关的实验表明，本发明算法在有效增强目标信号的同时很好的实现目标的分割提取。分割提取。分割提取。


技术研发人员：王旭东 艾春 冯震宇 刘淑英
受保护的技术使用者：缤谷电力科技（上海）有限公司
技术研发日：2023.03.21
技术公布日：2023/8/9