图像融合方法、装置和处理器及电子设备与流程

1.本技术涉及图像处理领域，具体而言，涉及一种图像融合方法、装置和处理器及电子设备。


背景技术：

2.传统的多聚焦图像融合方法，由于在图像的细节保留方面不够全面，导致在复杂场景下提取和保留的细节信息不够全面，甚至产生融合图像失真的缺陷，进而存在图像融合结果的准确性低下。
3.多聚焦图像融合技术旨在将不同聚焦设置下得到的多幅包含相同场景的图像融合在一起，形成一幅信息量更加完备的全清晰图像。得到的全清晰图像更便于后续的计算机视觉任务。
4.在上述多聚焦图像融合的场景下，传统的多聚焦图像融合方法，由于在图像的细节保留方面不够全面，导致在复杂场景下提取和保留的细节信息不够全面，甚至产生融合图像失真的缺陷，进而存在图像融合的准确性较低的技术问题。
5.针对相关技术中图像融合的准确性较低的问题，目前尚未提出有效的解决方案。


技术实现要素：

6.本技术的主要目的在于提供一种图像融合方法、装置和处理器及电子设备，以解决相关技术中图像融合的准确性较低的问题。
7.为了实现上述目的，根据本技术的一个方面，提供了一种图像融合方法。该方法包括：获取待融合的至少两个图像，其中，至少两个图像指示同一场景、聚焦不同，至少两个图像包括第一图像、第二图像；对第一图像做特征提取处理，得到第一图像关联的第一图像特征，以及对第二图像做特征提取处理，得到第二图像关联的第二图像特征；对第一图像特征做全局递归处理，得到图像关联的第一决策图，以及对第二图像做全局递归处理，得到第二图像关联的第二决策图，其中，第一决策图用于指示第一图像的全局决策信息，第二决策图用于指示第二图像的全局决策信息；基于第一决策图和第二决策图，得到第一图像和第二图像的目标融合图像。
8.作为一种可选的方案，上述对第一图像特征和第二图像特征做全局递归处理，得到第一图像关联的第一决策图和第二图像关联的第二决策图包括：对第一图像特征中的各个像素点进行递归处理，得到第三图像特征，以及对第二图像特征中的各个像素点进行递归处理，得到第四图像特征；对第三图像特征进行归一化处理，得到第一决策图，以及对第三图像特征进行归一化处理，得到第二决策图。
9.作为一种可选的方案，上述对第一图像特征中的各个像素点进行递归处理，得到第三图像特征包括：从第一图像特征中确定出当前像素点，以及确定出当前像素点在目标方向的其他像素点，其中，目标方向包括：上方向、下方向、左方向、右方向；利用其他像素点，对当前像素点进行调整，得到调整后的当前像素点，其中，第三图像特征包括调整后的
当前像素点；对第三图像特征进行归一化处理，得到第一决策图包括：利用目标函数，对第三图像特征进行归一转换，得到第一决策图。
10.作为一种可选的方案，上述基于第一决策图和第二决策图，得到第一图像和第二图像的目标融合图像包括：对第一决策图做校正处理得到第一图像关联的第三决策图，以及对第二决策图做校正处理，得到第二图像关联的第四决策图；对第三决策图做区域平滑处理得到第一图像关联的第五决策图，以及对第四决策图做区域平滑处理，得到第二图像关联的第六决策图；基于第一图像与第五决策图的第一融合结果，和第二图像与第六决策图的第二融合结果，确定第一图像和第二图像的目标融合图像。
11.作为一种可选的方案，上述对第一决策图做校正处理得到第一图像关联的第三决策图包括：利用目标校正算法，对第一决策图进行校正，并将校正后的决策图确定为第三决策图；对第三决策图做区域平滑处理得到第一图像关联的第五决策图包括：利用目标区域平滑算法，将第三决策图划分为n个窗口，并基于划分后的n个窗口确定第五决策图，其中，n为正整数。
12.作为一种可选的方案，在获取待融合的至少两个图像之后，上述方法还包括：将第一图像和第二图像输入预设模型分别进行特征提取处理，得到第一图像关联的第一图像特征和第二图像关联的第二图像特征；利用预设模型，对第一图像特征和第二图像特征分别做全局递归处理、校正处理、区域平滑处理，得到第一图像关联的第五决策图和第二图像关联的第六决策图；基于第一图像、第二图像、第五决策图和第六决策图，确定并输出第一图像和第二图像的目标融合图像。
13.作为一种可选的方案，在将第一图像和第二图像输入预设模型分别进行特征提取处理之前，上述方法还包括：确定出用于得到预设模型的初始化模型；利用训练样本集合对初始化模型进行训练，其中，训练样本集包括多组训练样本对，每一组训练样本对包括第一训练图像、第二训练图像和真值图像，其中，第一训练图像和第二训练图像用于输入第一模型以得到融合训练图像，融合训练图像和真值图像用于确定第一模型在图像块级的第一损失值和在像素级的第二损失值，联合损失值基于第一损失值和第二损失值确定；在联合损失值小于预设收敛阈值的情况下，确定初始化模型训练完成，并将训练完成后的初始化模型确定为预设模型。
14.为了实现上述目的，根据本技术的另一方面，提供了一种图像融合装置。该装置包括：获取单元，用于获取待融合的至少两个图像，其中，至少两个图像指示同一场景、聚焦不同，至少两个图像包括第一图像、第二图像；提取单元，用于对第一图像做特征提取处理，得到第一图像关联的第一图像特征，以及对第二图像做特征提取处理，得到第二图像关联的第二图像特征；递归单元，用于对第一图像特征做全局递归处理，得到图像关联的第一决策图，以及对第二图像做全局递归处理，得到第二图像关联的第二决策图，其中，第一决策图用于指示第一图像的全局决策信息，第二决策图用于指示第二图像的全局决策信息；确定单元，用于基于第一决策图和第二决策图，得到第一图像和第二图像的目标融合图像。
15.作为一种可选的方案，递归单元包括：递归模块，用于对第一图像特征中的各个像素点进行递归处理，得到第三图像特征，以及对第二图像特征中的各个像素点进行递归处理，得到第四图像特征；归一模块，用于对第三图像特征进行归一化处理，得到第一决策图，以及对第三图像特征进行归一化处理，得到第二决策图。
16.作为一种可选的方案，递归模块包括：确定子模块，用于从第一图像特征中确定出当前像素点，以及确定出当前像素点在目标方向的其他像素点，其中，目标方向包括：上方向、下方向、左方向、右方向；调整子模块，用于利用其他像素点，对当前像素点进行调整，得到调整后的当前像素点，其中，第三图像特征包括调整后的当前像素点；归一模块包括：归一子模块，用于利用目标函数，对第三图像特征进行归一转换，得到第一决策图。
17.作为一种可选的方案，确定单元包括：校正模块，用于对第一决策图做校正处理得到第一图像关联的第三决策图，以及对第二决策图做校正处理，得到第二图像关联的第四决策图；平滑模块，用于对第三决策图做区域平滑处理得到第一图像关联的第五决策图，以及对第四决策图做区域平滑处理，得到第二图像关联的第六决策图；第一确定模块，用于基于第一图像与第五决策图的第一融合结果，和第二图像与第六决策图的第二融合结果，确定第一图像和第二图像的目标融合图像。
18.作为一种可选的方案，校正模块包括：校正子模块，用于利用目标校正算法，对第一决策图进行校正，并将校正后的决策图确定为第三决策图；平滑模块包括：平滑子模块，用于利用目标区域平滑算法，将第三决策图划分为n个窗口，并基于划分后的n个窗口确定第五决策图，其中，n为正整数。
19.作为一种可选的方案，装置还包括：提取处理模块，用于在获取待融合的至少两个图像之后，将第一图像和第二图像输入预设模型分别进行特征提取处理，得到第一图像关联的第一图像特征和第二图像关联的第二图像特征；递归处理模块，用于在获取待融合的至少两个图像之后，利用预设模型，对第一图像特征和第二图像特征分别做全局递归处理、校正处理、区域平滑处理，得到第一图像关联的第五决策图和第二图像关联的第六决策图；融合处理模块，用于在获取待融合的至少两个图像之后，基于第一图像、第二图像、第五决策图和第六决策图，确定并输出第一图像和第二图像的目标融合图像。
20.作为一种可选的方案，装置还包括：第二确定模块，用于在将第一图像和第二图像输入预设模型分别进行特征提取处理之前，确定出用于得到预设模型的初始化模型；训练模块，用于在将第一图像和第二图像输入预设模型分别进行特征提取处理之前，利用训练样本集合对初始化模型进行训练，其中，训练样本集包括多组训练样本对，每一组训练样本对包括第一训练图像、第二训练图像和真值图像，其中，第一训练图像和第二训练图像用于输入第一模型以得到融合训练图像，融合训练图像和真值图像用于确定第一模型在图像块级的第一损失值和在像素级的第二损失值，联合损失值基于第一损失值和第二损失值确定；第三确定模块，用于在将第一图像和第二图像输入预设模型分别进行特征提取处理之前，在联合损失值小于预设收敛阈值的情况下，确定初始化模型训练完成，并将训练完成后的初始化模型确定为预设模型。
21.通过本技术，采用以下步骤：获取待融合的至少两个图像，其中，至少两个图像指示同一场景、聚焦不同，至少两个图像包括第一图像、第二图像；对第一图像做特征提取处理，得到第一图像关联的第一图像特征，以及对第二图像做特征提取处理，得到第二图像关联的第二图像特征；对第一图像特征做全局递归处理，得到图像关联的第一决策图，以及对第二图像做全局递归处理，得到第二图像关联的第二决策图，其中，第一决策图用于指示第一图像的全局决策信息，第二决策图用于指示第二图像的全局决策信息；基于第一决策图和第二决策图，得到第一图像和第二图像的目标融合图像。在获取到待融合的图像并且提
取特征之后，对提取得到的特征进行全局递归处理，使得递归处理后得到能够指示图像的全局决策信息的决策图，进而基于全局信息的决策图进行图像融合，使得图像融合过程中的信息处理足够全面，从而实现了有效提高图像融合的准确性的技术效果，解决了相关技术中存在的图像融合的准确性较低的技术问题。
附图说明
22.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
23.图1是根据本技术实施例提供的图像融合方法的流程图；
24.图2是根据本技术实施例提供的图像融合方法的示意图；
25.图3是根据本技术实施例提供的图像融合方法的示意图；
26.图4是根据本技术实施例提供的图像融合装置的示意图；
27.图5是根据本技术实施例提供的图像融合电子设备的示意图。
具体实施方式
28.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
29.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
30.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
31.需要说明的是，本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。例如，本系统和相关用户或机构间设置有接口，在获取相关信息之前，需要通过接口向前述的用户或机构发送获取请求，并在接收到前述的用户或机构反馈的同意信息后，获取相关信息。
32.下面结合优选的实施步骤对本发明进行说明，图1是根据本技术实施例提供的图像融合方法的流程图，如图1所示，该方法包括如下步骤：
33.步骤s101，获取待融合的至少两个图像，其中，至少两个图像指示同一场景、聚焦不同，至少两个图像包括第一图像、第二图像；
34.步骤s102，对第一图像做特征提取处理，得到第一图像关联的第一图像特征，以及对第二图像做特征提取处理，得到第二图像关联的第二图像特征；
35.步骤s103，对第一图像特征做全局递归处理，得到图像关联的第一决策图，以及对第二图像做全局递归处理，得到第二图像关联的第二决策图，其中，第一决策图用于指示第一图像的全局决策信息，第二决策图用于指示第二图像的全局决策信息；
36.步骤s104，基于第一决策图和第二决策图，得到第一图像和第二图像的目标融合图像。
37.可选地，在本实施例中，上述图像融合方法可以但不限于多聚焦图像融合场景，其中，多聚焦图像融合场景下的多聚焦图像融合技术旨在将不同聚焦设置下得到的多幅包含相同场景的图像融合在一起，形成一幅信息量更加完备的全清晰图像。得到的全清晰图像更便于后续的计算机视觉任务，如识别、监督。
38.可选地，在多聚焦图像融合场景下，可以但不限于使用传统的多聚焦图像融合方法进行多聚焦图像的融合，例如基于空间域的融合方法和基于变换域的融合方法，然而该类方法需要人为设计活跃水平检测和图像融合规则，极大地增加了算法设计所带来的困难以及算法的复杂度。同时，在聚焦区域与非聚焦区域的边界难以获得令人满意的融合效果。
39.可选地，在多聚焦图像融合场景下，还可以但不限于使用基于深度学习的多聚焦图像融合方法，例如基于图像变换的融合方法和基于决策图的融合方法，然而基于图像变换的深度学习融合方法依赖于训练数据集的准确性，同时，图像的细节保留方面有待提高。基于决策图的深度学习融合方法。此类方法由于通过算法模型得到图像的决策图(0或者1)，导致在聚焦于非聚焦边缘比较锐利，不符合人眼视觉效果，效果欠佳。
40.可选地，在多聚焦图像融合场景下，还可以但不限于使用上述图像融合方法，在获取到待融合的图像并且提取特征之后，对提取得到的特征进行全局递归处理，使得递归处理后得到能够指示图像的全局决策信息的决策图，进而基于全局信息的决策图进行图像融合，使得图像融合过程中的信息处理足够全面，从而实现了有效提高图像融合的准确性的技术效果，解决上述图像融合不准确或效果欠佳等问题。
41.可选地，在本实施例中，待融合的至少两个图像可以但不限于为指示相同场景、且聚焦设置不同的图像，其中，指示相同场景可以但不限于用于指示至少两个图像的拍摄画面一样，聚焦设置不同可以但不限于用于指示至少两个图像的画面显示清晰度不同。
42.进一步举例说明，如图2所示，图2中的(a)指示当前场景下的实际两个实体，图2中的(b)和图2中的(c)分别是相同当前场景下的图像，且两个图像除聚焦设置不同(实体圆代表该实体聚焦清晰，虚线圆代表该实体聚焦模糊)，其他信息一致均指向图2中的(a)的场景。
43.可选地，在本实施例中，在获取到待融合的第一图像、第二图像的情况下，分别对第一图像和第二图像做特征提取处理，得到第一图像关联的第一图像特征和第二图像关联的第二图像特征。
44.需要说明的是，本实施例实际并不限制上述特征提取处理的具体实现方式，可以根据具体的应用场景和需求选择合适的特征提取方法，例如尺度不变特征变换(scale-invariant feature transform，sift)：通过检测图像中的关键点，并对关键点进行描述，得到具有尺度不变性的图像特征；主成分分析(principal component analysis，pca)：通过对图像进行降维处理，得到具有代表性的主成分特征；深度学习特征：通过使用深度学习模型，如卷积神经网络(convolutional neural network，cnn)，提取图像的高级语义特征。
45.可选地，在本实施例中，全局递归处理可以但不限于用于指示对图像特征所指示的各个像素点和各个像素点的目标方向上的其他像素点采用目标递归算法以获取全局决策信息，以得到图像特征对应的决策图。
46.可选地，在本实施例中，以第一图像特征的全局递归处理为例，可以但不限于利用当前像素点在目标方向上的其他像素点，对当前像素点进行调整，得到调整后的当前像素点，在第一图像特征的各个像素点均被调整后的情况下，基于调整后的各个像素点得到第一图像关联的第一决策图。
47.可选地，在本实施例中，目标方向可以但不限于包括上方向、下方向、左方向、右方向。
48.需要说明的是，当前像素点的不同方向、不同距离的其他像素点可以但不限于具有不同的调整权重，例如，距离当前像素点越近的其他像素点的调整权重越大，对应的影响性越高。
49.需要说明的是，可以但不限于设置其他像素点的预设数量，例如，每一个当前像素点关联的其他像素点的数量具有最大预设阈值，在其他像素点的数量超过最大预设阈值的情况下，按照与当前像素点的目标方向上的距离进行选择，选择距离最近的最大预设阈值的其他像素点。
50.可选地，在本实施例中，在得到第一决策图和第二决策图的情况下，可以但不限于对第一决策图和第二决策图分别进行校正处理和区域平滑处理，并基于上述处理后的第一决策图调整第一图像，以及基于上述处理后的第二决策图调整第二图像，得到调整后的第一图像和调整后的第二图像，进而基于调整后的第一图像和调整后的第二图像融合得到目标融合图像。
51.通过本技术提供的实施例，获取待融合的至少两个图像，其中，至少两个图像指示同一场景、聚焦不同，至少两个图像包括第一图像、第二图像；对第一图像做特征提取处理，得到第一图像关联的第一图像特征，以及对第二图像做特征提取处理，得到第二图像关联的第二图像特征；对第一图像特征做全局递归处理，得到图像关联的第一决策图，以及对第二图像做全局递归处理，得到第二图像关联的第二决策图，其中，第一决策图用于指示第一图像的全局决策信息，第二决策图用于指示第二图像的全局决策信息；基于第一决策图和第二决策图，得到第一图像和第二图像的目标融合图像。在获取到待融合的图像并且提取特征之后，对提取得到的特征进行全局递归处理，使得递归处理后得到能够指示图像的全局决策信息的决策图，进而基于全局信息的决策图进行图像融合，使得图像融合过程中的信息处理足够全面，从而实现了有效提高图像融合的准确性的技术效果。
52.作为一种可选的方案，对第一图像特征和第二图像特征做全局递归处理，得到第一图像关联的第一决策图和第二图像关联的第二决策图包括：
53.s1，对第一图像特征中的各个像素点进行递归处理，得到第三图像特征，以及对第二图像特征中的各个像素点进行递归处理，得到第四图像特征；
54.s2，对第三图像特征进行归一化处理，得到第一决策图，以及对第三图像特征进行归一化处理，得到第二决策图。
55.可选地，在本实施例中，以第一图像特征的全局递归处理为例，可以但不限于利用当前像素点在目标方向上的其他像素点，对当前像素点进行调整，得到调整后的当前像素
点，在第一图像特征的各个像素点均被调整后的情况下，得到第一图像特征递归处理后的第三图像特征。
56.可选地，在本实施例中，归一化处理可以但不限于指示将图像特征转换为决策图，例如使用目标函数将第三图像特征进行归一转换得到第一决策图。
57.通过本技术提供的实施例，对第一图像特征中的各个像素点进行递归处理，得到第三图像特征，以及对第二图像特征中的各个像素点进行递归处理，得到第四图像特征；对第三图像特征进行归一化处理，得到第一决策图，以及对第三图像特征进行归一化处理，得到第二决策图。
58.作为一种可选的方案，对第一图像特征中的各个像素点进行递归处理，得到第三图像特征包括：
59.s1，从第一图像特征中确定出当前像素点，以及确定出当前像素点在目标方向的其他像素点，其中，目标方向包括：上方向、下方向、左方向、右方向；
60.s2，利用其他像素点，对当前像素点进行调整，得到调整后的当前像素点，其中，第三图像特征包括调整后的当前像素点；
61.对第三图像特征进行归一化处理，得到第一决策图包括：
62.s3，利用目标函数，对第三图像特征进行归一转换，得到第一决策图。
63.可选地，在本实施例中，利用每一个像素点关联的目标像素点(即上述其他像素点)对每一个像素点进行调整，得到调整后的各个像素点，并在全部像素点都调整完成后得到第一图像特征调整后的第三图像特征。
64.需要说明的是，上述像素点的调整可以但不限于包括：在获取到当前的第一像素点关联的n个目标像素点的情况下，按照n个目标像素点中的各个像素点的权重，将n个目标像素点中的各个像素点指示的图像信息与第一像素点指示的图像信息进行融合，以调整优化第一像素点指示的图像信息，使得调整优化后的第一像素点尽可能多的指示全局信息。
65.可选地，在本实施例中，归一化处理可以但不限于指示将图像特征转换为决策图，例如使用目标函数将第三图像特征进行归一转换得到第一决策图。
66.可选地，在本实施例中，目标函数可以但不限于用于获取图像特征所指示的各个像素点的关联分数，并基于关联分数对各个像素点进行分类或其他处理，以及在分类或其他处理后生成对应的决策图。举例说明，目标函数可以但不限于为softmax函数。
67.通过本技术提供的实施例，从第一图像特征中确定出当前像素点，以及确定出当前像素点在目标方向的其他像素点，其中，目标方向包括：上方向、下方向、左方向、右方向；利用其他像素点，对当前像素点进行调整，得到调整后的当前像素点，其中，第三图像特征包括调整后的当前像素点；对第三图像特征进行归一化处理，得到第一决策图包括：利用目标函数，对第三图像特征进行归一转换，得到第一决策图。通过多方向上的像素点的信息递归结合，使得递归处理后的图像特征指示更加全面的全局信息，进而基于全局信息的决策图进行图像融合，使得图像融合过程中的信息处理足够全面，从而实现了有效提高图像融合的准确性的技术效果。
68.作为一种可选的方案，基于第一决策图和第二决策图，得到第一图像和第二图像的目标融合图像包括：
69.s1，对第一决策图做校正处理得到第一图像关联的第三决策图，以及对第二决策
图做校正处理，得到第二图像关联的第四决策图；
70.s2，对第三决策图做区域平滑处理得到第一图像关联的第五决策图，以及对第四决策图做区域平滑处理，得到第二图像关联的第六决策图；
71.s3，基于第一图像与第五决策图的第一融合结果，和第二图像与第六决策图的第二融合结果，确定第一图像和第二图像的目标融合图像。
72.可选地，在本实施例中，在获取到第一决策图和第二决策图之后，对第一决策图和第二决策图分别进行校正处理，再对校正得到的第三决策图和第四决策图分别进行区域平滑处理，得到校正平滑后的第五决策图和第六决策图。
73.可选地，在本实施例中，校正处理可以但不限于用于指示使用目标校正算法对第一决策图进行校正，并将校正后的决策图确定为第三决策图。
74.可选地，在本实施例中，区域平滑处理可以但不限于用于指示使用目标区域平滑算法将第三决策图划分为n个窗口，并基于划分后的n个窗口确定第五决策图。
75.可选地，在本实施例中，利用第五决策图融合调整第一图像，得到第一融合结果，以及利用第六决策图融合调整第二图像，得到第二融合结果，对第一融合结果和第二融合结果进行融合得到目标融合图像。
76.通过本技术提供的实施例，对第一决策图做校正处理得到第一图像关联的第三决策图，以及对第二决策图做校正处理，得到第二图像关联的第四决策图；对第三决策图做区域平滑处理得到第一图像关联的第五决策图，以及对第四决策图做区域平滑处理，得到第二图像关联的第六决策图；基于第一图像与第五决策图的第一融合结果，和第二图像与第六决策图的第二融合结果，确定第一图像和第二图像的目标融合图像。通过校正处理实现决策图低维度上的“自我”校正，以及通过区域平滑处理实现决策图高维度上的“他方”校正，进而实现了全面提高决策图的信息准确性的技术效果。
77.作为一种可选的方案，对第一决策图做校正处理得到第一图像关联的第三决策图包括：
78.s1，利用目标校正算法，对第一决策图进行校正，并将校正后的决策图确定为第三决策图；
79.s2，对第三决策图做区域平滑处理得到第一图像关联的第五决策图包括：
80.s3，利用目标区域平滑算法，将第三决策图划分为n个窗口，并基于划分后的n个窗口确定第五决策图，其中，n为正整数。
81.可选地，在本实施例中，目标校正算法可以但不限于用于指示将第一决策图/第二决策图进行相加卷积处理，下面以第一决策图的校正处理为例进行说明：
82.d2＝soft max(conv(f
add
(d1)，w)，μ)
83.其中，d2为校正处理后得到的第三决策图，d1为待校正处理的第一决策图，conv(，w)指示卷积操作，w指示卷积参数集，f
add
()指示相加操作，μ为soft max函数的参数。
84.可选地，在本实施例中，目标区域平滑算法可以但不限于用于指示对第三决策图/第四决策图进行区域平滑处理，得到划分后的若干窗口，并利用前后窗口的决策信息对当前窗口进行调整/校正，下面以第三决策图的区域平滑处理为例进行说明：
85.d3＝f
slide
(d2，a)
86.其中，d3为区域平滑处理后得到的第五决策图，d2为待区域平滑处理的第三决策
图，f
slide
(，a)用于指示目标区域平滑算法，a用于指示区域大小，例如，在a＝3时，则表示滑动窗口的大小为3x3。
87.进一步举例说明，上述f
slide
(，a)算法可以但不限于通过如下算法进行计算：
[0088][0089]
其中，d
n3
为区域平滑处理的得到的第五决策图(n＝1)/第六决策图(n＝2)，d
n2
为区域平滑处理前的第三决策图(n＝1)/第四决策图(n＝2)，avg()表示平均操作，(m,i)表示第m行，i列的像素点。
[0090]
通过本技术提供的实施例，利用目标校正算法，对第一决策图进行校正，并将校正后的决策图确定为第三决策图；利用目标区域平滑算法，将第三决策图划分为n个窗口，并基于划分后的n个窗口确定第五决策图，其中，n为正整数。通过目标校正算法和目标区域平滑算法，分别实现决策图低维度上的“自我”校正和决策图高维度上的“他方”校正，进而实现了全面提高决策图的信息准确性的技术效果。
[0091]
作为一种可选的方案，在获取待融合的至少两个图像之后，方法还包括：
[0092]
s1，将第一图像和第二图像输入预设模型分别进行特征提取处理，得到第一图像关联的第一图像特征和第二图像关联的第二图像特征；
[0093]
s2，利用预设模型，对第一图像特征和第二图像特征分别做全局递归处理、校正处理、区域平滑处理，得到第一图像关联的第五决策图和第二图像关联的第六决策图；
[0094]
s3，基于第一图像、第二图像、第五决策图和第六决策图，确定并输出第一图像和第二图像的目标融合图像。
[0095]
可选地，在本实施例中，预设模型可以但不限于为基于初始化模型进行多次训练和优化得到的模型。
[0096]
可选地，在本实施例中，在获取到待融合的至少两个图像的情况下，可以但不限于至少将第一图像和第二图像输入到预设模型中进行特征提取处理、全局递归处理、校正处理、区域平滑处理，以得到第一图像关联的第五决策图和第二图像关联的第六决策图，并基于第一图像和第五决策图的第一融合结果，以及第二图像和第六决策图的第二融合结果得到第一图像和第二图像的目标融合图像。
[0097]
通过本技术提供的实施例，将第一图像和第二图像输入预设模型分别进行特征提取处理，得到第一图像关联的第一图像特征和第二图像关联的第二图像特征；利用预设模型，对第一图像特征和第二图像特征分别做全局递归处理、校正处理、区域平滑处理，得到第一图像关联的第五决策图和第二图像关联的第六决策图；基于第一图像、第二图像、第五决策图和第六决策图，确定并输出第一图像和第二图像的目标融合图像。利用训练好的模型进行图像融合，能够有效提高图像融合的处理效率，以及基于图像融合结果进一步选择性调整优化训练模型，从而提高后续图像融合的准确性。
[0098]
作为一种可选的方案，在将第一图像和第二图像输入预设模型分别进行特征提取处理之前，方法还包括：
[0099]
s1，确定出用于得到预设模型的初始化模型；
[0100]
s2，利用训练样本集合对初始化模型进行训练，其中，训练样本集包括多组训练样本对，每一组训练样本对包括第一训练图像、第二训练图像和真值图像，其中，第一训练图
像和第二训练图像用于输入第一模型以得到融合训练图像，融合训练图像和真值图像用于确定第一模型在图像块级的第一损失值和在像素级的第二损失值，联合损失值基于第一损失值和第二损失值确定；
[0101]
s3，在联合损失值小于预设收敛阈值的情况下，确定初始化模型训练完成，并将训练完成后的初始化模型确定为预设模型。
[0102]
可选地，在本实施例中，采用多聚焦图像通用训练数据集训练网络。由于数据集中的图像具有任意的尺寸，在训练时，可以但不限于将图像统一变换为180
×
180的尺寸。在训练数据集上，对得到的融合图像，采用深度监督机制训练算法网络，优化联合损失函数，完成网络的训练，得到网络模型参数。
[0103]
可选地，在本实施例中，联合损失值可以但不限于为第一损失值进而第二损失值的和值，其中，第一损失值可以但不限于为图像块级的损失值，对应结构相似性函数l
ssim
，第二损失值可以但不限于为像素级的损失值，对应均方差损失函数l
msr
。
[0104]
结构相似性损失函数l
ssim
定义如下：
[0105][0106]
l
ssim
＝1-ssim(g,p)
[0107]
其中，μg，μ
p
分别表示真值图像与融合图像的均值；c1，c2表示两个常量，用于防止除零错误，分别设置为0.01和0.03；σg，σ
p
表示融合图像对应的真值图像与融合图像的方差；σ
gp
表示真值图像与融合图像的协方差。
[0108]
均方误差损失函数l
msr
定义如下：
[0109][0110]
其中，h，w表示图像的尺寸；g，p分别表示真值图像和融合图像；(i,j)表示图像中的空间位置。
[0111]
通过本技术提供的实施例，确定出用于得到预设模型的初始化模型；利用训练样本集合对初始化模型进行训练，其中，训练样本集包括多组训练样本对，每一组训练样本对包括第一训练图像、第二训练图像和真值图像，其中，第一训练图像和第二训练图像用于输入第一模型以得到融合训练图像，融合训练图像和真值图像用于确定第一模型在图像块级的第一损失值和在像素级的第二损失值，联合损失值基于第一损失值和第二损失值确定；在联合损失值小于预设收敛阈值的情况下，确定初始化模型训练完成，并将训练完成后的初始化模型确定为预设模型。通过两个层级的损失值的联合计算，进而能够得到更加精确的模型损失值，使得训练得到的预设模型在后续图像融合应用中得到的图像融合结果更加精确，从而实现了提高图像融合的准确性的技术效果。
[0112]
作为一种可选的方案，将上述图像融合方法应用在一种基于递归全局信息自校正决策图的多聚焦图像融合场景下，具体步骤包括：
[0113]
步骤1，图像特征预处理：
[0114]
采用双通道图像处理，对两张预配准的多聚焦图像进行决策图提取。首先，经过图像预处理得到易于处理的64通道的深度图像特征fnd，d＝1，n＝1或2(fnd表示第n个输入图像的第d级特征，特别的当d＝0时表示输入图像)。
[0115]
步骤2，构建递归全局决策信息获取模型
[0116]
对步骤1得到的预处理图像特征fnd，逐个遍历fnd，d＝2，n＝1或2像素点，并对其上、下、左、右四个方向的像素点采用递归算法获取全局信息，则fn2可由如下公式计算得到：
[0117]
fn2＝f(fn1，a)
[0118]
其中f(，a)表示递归算法，表示递归算法的参数。
[0119]
步骤3，构建校正模型：
[0120]
对步骤2得到的图像特征fn2使用softmax()得到决策图dn1：
[0121]
dn1＝softmax(fn2，μ)，其中，μ表示softmax()函数的参数。
[0122]
步骤4，决策图校正：
[0123]
对步骤3得到的决策图dn1使用校正算法得到决策图dn2：
[0124]
dn2＝soft max(conv(fadd(dn1)，w)，μ)
[0125]
其中，conv(，w)表示卷积操作，w表示卷积参数集，fadd表示()相加操作。
[0126]
对得到的决策图dn2采取滑动窗口平滑操作，得到最终的决策图dn3：
[0127]
dn3＝fslide(dn2，a)
[0128]
其中，fslide(，a)表示区域平滑算法，a表示区域大小，本算法取值为3，表示滑窗大小为3x3；
[0129]
其中，区域平滑算法fslide(，a)可通过如下方式计算：
[0130][0131]
其中，avg()表示平均操作，(m,i)表示第m行，i列的像素点。
[0132]
步骤5，构建联合损失函数
[0133]
为了优化融合图像的质量，使用联合损失函数lms＝lssim+lmse，包括基于图像块级的损失(结构相似性损失函数lssim)和基于像素级的损失(均方误差损失函数lmse)。
[0134]
均方误差损失函数lmse定义如下：
[0135][0136]
其中，h，w表示图像的尺寸；g，p分别表示真值图像和融合图像；(i,j)表示图像中的空间位置。
[0137]
结构相似性损失函数lssim定义如下：
[0138][0139]
l
ssim
＝1-ssim(g,p)
[0140]
其中，μg，μ
p
分别表示真值图像与融合图像的均值；c1，c2表示两个常量，用于防止除零错误，分别设置为0.01和0.03；σg，σ
p
表示融合图像对应的真值图像与融合图像的方差；σ
gp
表示真值图像与融合图像的协方差。
[0141]
步骤6，算法模型训练：
[0142]
采用多聚焦图像通用训练数据集训练网络。由于数据集中的图像具有任意的尺
寸，在训练时，把图像统一变换为180
×
180的尺寸。在训练数据集上，对步骤(3)得到的融合图像，采用深度监督机制训练算法网络，优化联合损失函数，完成网络的训练，得到网络模型参数。
[0143]
步骤7，构建融合图像
[0144]
步骤7.1：融合图像f
′
可由如下公式计算得到：
[0145][0146]
进一步举例说明，如图3中的(a)所示，在算法模型已经训练完成后，利用训练好的算法模型对输入的多聚焦图像1和多聚焦图像2进行融合以输出目标融合图像，其中，算法模型的训练过程如图3中的(b)所示，以训练数据集包括的多聚焦训练图像1和多聚焦训练图像2为例，在进行图像预处理得到多聚焦训练图像1和2各个对应的图像特征后，基于递归算法进一步获取全局决策信息并生成对应的决策图，以及对决策图进行校正相关处理以得到多聚焦训练图像1和2各个对应的最终决策信息，基于多聚焦训练图像1和多聚焦训练图像1的最终决策信息，以及多聚焦训练图像2和多聚焦训练图像2的最终决策信息得到融合图像，基于融合图像和训练数据集包括的真值图像进行最小化损失函数比对，训练算法模型，直至算法模型的联合损失值满足预设收敛条件，如小于预设收敛阈值。
[0147]
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0148]
本技术实施例还提供了一种图像融合装置，需要说明的是，本技术实施例的图像融合装置可以用于执行本技术实施例所提供的用于图像融合方法。以下对本技术实施例提供的图像融合装置进行介绍。
[0149]
图4是根据本技术实施例的图像融合装置的示意图。如图4所示，该装置包括：
[0150]
获取单元401，用于获取待融合的至少两个图像，其中，至少两个图像指示同一场景、聚焦不同，至少两个图像包括第一图像、第二图像；
[0151]
提取单元402，用于对第一图像做特征提取处理，得到第一图像关联的第一图像特征，以及对第二图像做特征提取处理，得到第二图像关联的第二图像特征；
[0152]
递归单元403，用于对第一图像特征做全局递归处理，得到图像关联的第一决策图，以及对第二图像做全局递归处理，得到第二图像关联的第二决策图，其中，第一决策图用于指示第一图像的全局决策信息，第二决策图用于指示第二图像的全局决策信息；
[0153]
确定单元404，用于基于第一决策图和第二决策图，得到第一图像和第二图像的目标融合图像。
[0154]
可选地，在本技术实施例提供的图像融合装置中，递归单元404包括：
[0155]
递归模块，用于对第一图像特征中的各个像素点进行递归处理，得到第三图像特征，以及对第二图像特征中的各个像素点进行递归处理，得到第四图像特征；
[0156]
归一模块，用于对第三图像特征进行归一化处理，得到第一决策图，以及对第三图像特征进行归一化处理，得到第二决策图。
[0157]
可选地，在本技术实施例提供的图像融合装置中，递归模块包括：
[0158]
确定子模块，用于从第一图像特征中确定出当前像素点，以及确定出当前像素点
在目标方向的其他像素点，其中，目标方向包括：上方向、下方向、左方向、右方向；
[0159]
调整子模块，用于利用其他像素点，对当前像素点进行调整，得到调整后的当前像素点，其中，第三图像特征包括调整后的当前像素点；
[0160]
归一模块包括：
[0161]
归一子模块，用于利用目标函数，对第三图像特征进行归一转换，得到第一决策图。
[0162]
可选地，在本技术实施例提供的图像融合装置中，确定单元404包括：
[0163]
校正模块，用于对第一决策图做校正处理得到第一图像关联的第三决策图，以及对第二决策图做校正处理，得到第二图像关联的第四决策图；
[0164]
平滑模块，用于对第三决策图做区域平滑处理得到第一图像关联的第五决策图，以及对第四决策图做区域平滑处理，得到第二图像关联的第六决策图；
[0165]
第一确定模块，用于基于第一图像与第五决策图的第一融合结果，和第二图像与第六决策图的第二融合结果，确定第一图像和第二图像的目标融合图像。
[0166]
可选地，在本技术实施例提供的图像融合装置中，校正模块包括：
[0167]
校正子模块，用于利用目标校正算法，对第一决策图进行校正，并将校正后的决策图确定为第三决策图；
[0168]
平滑模块包括：
[0169]
平滑子模块，用于利用目标区域平滑算法，将第三决策图划分为n个窗口，并基于划分后的n个窗口确定第五决策图，其中，n为正整数。
[0170]
可选地，在本技术实施例提供的图像融合装置中，装置还包括：
[0171]
提取处理模块，用于在获取待融合的至少两个图像之后，将第一图像和第二图像输入预设模型分别进行特征提取处理，得到第一图像关联的第一图像特征和第二图像关联的第二图像特征；
[0172]
递归处理模块，用于在获取待融合的至少两个图像之后，利用预设模型，对第一图像特征和第二图像特征分别做全局递归处理、校正处理、区域平滑处理，得到第一图像关联的第五决策图和第二图像关联的第六决策图；
[0173]
融合处理模块，用于在获取待融合的至少两个图像之后，基于第一图像、第二图像、第五决策图和第六决策图，确定并输出第一图像和第二图像的目标融合图像。
[0174]
可选地，在本技术实施例提供的图像融合装置中，装置还包括：
[0175]
第二确定模块，用于在将第一图像和第二图像输入预设模型分别进行特征提取处理之前，确定出用于得到预设模型的初始化模型；
[0176]
训练模块，用于在将第一图像和第二图像输入预设模型分别进行特征提取处理之前，利用训练样本集合对初始化模型进行训练，其中，训练样本集包括多组训练样本对，每一组训练样本对包括第一训练图像、第二训练图像和真值图像，其中，第一训练图像和第二训练图像用于输入第一模型以得到融合训练图像，融合训练图像和真值图像用于确定第一模型在图像块级的第一损失值和在像素级的第二损失值，联合损失函数包括第一损失值和第二损失值；
[0177]
第三确定模块，用于在将第一图像和第二图像输入预设模型分别进行特征提取处理之前，在联合损失值小于预设收敛阈值的情况下，确定初始化模型训练完成，并将训练完
成后的初始化模型确定为预设模型。
[0178]
本技术实施例提供的图像融合装置，在获取到待融合的图像并且提取特征之后，对提取得到的特征进行全局递归处理，使得递归处理后得到能够指示图像的全局决策信息的决策图，进而基于全局信息的决策图进行图像融合，使得图像融合过程中的信息处理足够全面，从而实现了有效提高图像融合的准确性的技术效果，解决了相关技术中存在的图像融合的准确性较低的技术问题。
[0179]
所述图像融合装置包括处理器和存储器，上述获取单元、提取单元、递归单元、确定单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
[0180]
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来保障质心点选取的均匀性，从而提高聚类的准确性。
[0181]
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一个存储芯片。
[0182]
本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现所述图像融合方法。
[0183]
本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述图像融合方法。
[0184]
如图5所示，本发明实施例提供了一种电子设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：
[0185]
获取待融合的至少两个图像，其中，至少两个图像指示同一场景、聚焦不同，至少两个图像包括第一图像、第二图像；
[0186]
对第一图像做特征提取处理，得到第一图像关联的第一图像特征，以及对第二图像做特征提取处理，得到第二图像关联的第二图像特征；
[0187]
对第一图像特征做全局递归处理，得到图像关联的第一决策图，以及对第二图像做全局递归处理，得到第二图像关联的第二决策图，其中，第一决策图用于指示第一图像的全局决策信息，第二决策图用于指示第二图像的全局决策信息；
[0188]
基于第一决策图和第二决策图，得到第一图像和第二图像的目标融合图像。
[0189]
作为一种可选的方案，对第一图像特征和第二图像特征做全局递归处理，得到第一图像关联的第一决策图和第二图像关联的第二决策图包括：
[0190]
对第一图像特征中的各个像素点进行递归处理，得到第三图像特征，以及对第二图像特征中的各个像素点进行递归处理，得到第四图像特征；
[0191]
对第三图像特征进行归一化处理，得到第一决策图，以及对第三图像特征进行归一化处理，得到第二决策图。
[0192]
作为一种可选的方案，对第一图像特征中的各个像素点进行递归处理，得到第三图像特征包括：
[0193]
从第一图像特征中确定出当前像素点，以及确定出当前像素点在目标方向的其他像素点，其中，目标方向包括：上方向、下方向、左方向、右方向；
[0194]
利用其他像素点，对当前像素点进行调整，得到调整后的当前像素点，其中，第三
图像特征包括调整后的当前像素点；
[0195]
对第三图像特征进行归一化处理，得到第一决策图包括：
[0196]
利用目标函数，对第三图像特征进行归一转换，得到第一决策图。
[0197]
作为一种可选的方案，基于第一决策图和第二决策图，得到第一图像和第二图像的目标融合图像包括：
[0198]
对第一决策图做校正处理得到第一图像关联的第三决策图，以及对第二决策图做校正处理，得到第二图像关联的第四决策图；
[0199]
对第三决策图做区域平滑处理得到第一图像关联的第五决策图，以及对第四决策图做区域平滑处理，得到第二图像关联的第六决策图；
[0200]
基于第一图像与第五决策图的第一融合结果，和第二图像与第六决策图的第二融合结果，确定第一图像和第二图像的目标融合图像。
[0201]
作为一种可选的方案，对第一决策图做校正处理得到第一图像关联的第三决策图包括：
[0202]
利用目标校正算法，对第一决策图进行校正，并将校正后的决策图确定为第三决策图；
[0203]
对第三决策图做区域平滑处理得到第一图像关联的第五决策图包括：
[0204]
利用目标区域平滑算法，将第三决策图划分为n个窗口，并基于划分后的n个窗口确定第五决策图，其中，n为正整数。
[0205]
作为一种可选的方案，在获取待融合的至少两个图像之后，方法还包括：
[0206]
将第一图像和第二图像输入预设模型分别进行特征提取处理，得到第一图像关联的第一图像特征和第二图像关联的第二图像特征；
[0207]
利用预设模型，对第一图像特征和第二图像特征分别做全局递归处理、校正处理、区域平滑处理，得到第一图像关联的第五决策图和第二图像关联的第六决策图；
[0208]
基于第一图像、第二图像、第五决策图和第六决策图，确定并输出第一图像和第二图像的目标融合图像。
[0209]
作为一种可选的方案，在将第一图像和第二图像输入预设模型分别进行特征提取处理之前，方法还包括：
[0210]
确定出用于得到预设模型的初始化模型；
[0211]
利用训练样本集合对初始化模型进行训练，其中，训练样本集包括多组训练样本对，每一组训练样本对包括第一训练图像、第二训练图像和真值图像，其中，第一训练图像和第二训练图像用于输入第一模型以得到融合训练图像，融合训练图像和真值图像用于确定第一模型在图像块级的第一损失值和在像素级的第二损失值，联合损失函数包括第一损失值和第二损失值；
[0212]
在联合损失值小于预设收敛阈值的情况下，确定初始化模型训练完成，并将训练完成后的初始化模型确定为预设模型。
[0213]
本文中的设备可以是服务器、pc、pad、手机等。
[0214]
本技术还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：
[0215]
获取待融合的至少两个图像，其中，至少两个图像指示同一场景、聚焦不同，至少
两个图像包括第一图像、第二图像；
[0216]
对第一图像做特征提取处理，得到第一图像关联的第一图像特征，以及对第二图像做特征提取处理，得到第二图像关联的第二图像特征；
[0217]
对第一图像特征做全局递归处理，得到图像关联的第一决策图，以及对第二图像做全局递归处理，得到第二图像关联的第二决策图，其中，第一决策图用于指示第一图像的全局决策信息，第二决策图用于指示第二图像的全局决策信息；
[0218]
基于第一决策图和第二决策图，得到第一图像和第二图像的目标融合图像。
[0219]
作为一种可选的方案，对第一图像特征和第二图像特征做全局递归处理，得到第一图像关联的第一决策图和第二图像关联的第二决策图包括：
[0220]
对第一图像特征中的各个像素点进行递归处理，得到第三图像特征，以及对第二图像特征中的各个像素点进行递归处理，得到第四图像特征；
[0221]
对第三图像特征进行归一化处理，得到第一决策图，以及对第三图像特征进行归一化处理，得到第二决策图。
[0222]
作为一种可选的方案，对第一图像特征中的各个像素点进行递归处理，得到第三图像特征包括：
[0223]
从第一图像特征中确定出当前像素点，以及确定出当前像素点在目标方向的其他像素点，其中，目标方向包括：上方向、下方向、左方向、右方向；
[0224]
利用其他像素点，对当前像素点进行调整，得到调整后的当前像素点，其中，第三图像特征包括调整后的当前像素点；
[0225]
对第三图像特征进行归一化处理，得到第一决策图包括：
[0226]
利用目标函数，对第三图像特征进行归一转换，得到第一决策图。
[0227]
作为一种可选的方案，基于第一决策图和第二决策图，得到第一图像和第二图像的目标融合图像包括：
[0228]
对第一决策图做校正处理得到第一图像关联的第三决策图，以及对第二决策图做校正处理，得到第二图像关联的第四决策图；
[0229]
对第三决策图做区域平滑处理得到第一图像关联的第五决策图，以及对第四决策图做区域平滑处理，得到第二图像关联的第六决策图；
[0230]
基于第一图像与第五决策图的第一融合结果，和第二图像与第六决策图的第二融合结果，确定第一图像和第二图像的目标融合图像。
[0231]
作为一种可选的方案，对第一决策图做校正处理得到第一图像关联的第三决策图包括：
[0232]
利用目标校正算法，对第一决策图进行校正，并将校正后的决策图确定为第三决策图；
[0233]
对第三决策图做区域平滑处理得到第一图像关联的第五决策图包括：
[0234]
利用目标区域平滑算法，将第三决策图划分为n个窗口，并基于划分后的n个窗口确定第五决策图，其中，n为正整数。
[0235]
作为一种可选的方案，在获取待融合的至少两个图像之后，方法还包括：
[0236]
将第一图像和第二图像输入预设模型分别进行特征提取处理，得到第一图像关联的第一图像特征和第二图像关联的第二图像特征；
[0237]
利用预设模型，对第一图像特征和第二图像特征分别做全局递归处理、校正处理、区域平滑处理，得到第一图像关联的第五决策图和第二图像关联的第六决策图；
[0238]
基于第一图像、第二图像、第五决策图和第六决策图，确定并输出第一图像和第二图像的目标融合图像。
[0239]
作为一种可选的方案，在将第一图像和第二图像输入预设模型分别进行特征提取处理之前，方法还包括：
[0240]
确定出用于得到预设模型的初始化模型；
[0241]
利用训练样本集合对初始化模型进行训练，其中，训练样本集包括多组训练样本对，每一组训练样本对包括第一训练图像、第二训练图像和真值图像，其中，第一训练图像和第二训练图像用于输入第一模型以得到融合训练图像，融合训练图像和真值图像用于确定第一模型在图像块级的第一损失值和在像素级的第二损失值，联合损失函数包括第一损失值和第二损失值；
[0242]
在联合损失值小于预设收敛阈值的情况下，确定初始化模型训练完成，并将训练完成后的初始化模型确定为预设模型。
[0243]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0244]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0245]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0246]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0247]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0248]
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
[0249]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法
或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0250]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0251]
本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0252]
以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。

技术特征：
1.一种图像融合方法，其特征在于，包括：获取待融合的至少两个图像，其中，所述至少两个图像指示同一场景、聚焦不同，所述至少两个图像包括第一图像、第二图像；对所述第一图像做特征提取处理，得到所述第一图像关联的第一图像特征，以及对所述第二图像做特征提取处理，得到所述第二图像关联的第二图像特征；对所述第一图像特征做全局递归处理，得到所述图像关联的第一决策图，以及对所述第二图像做全局递归处理，得到所述第二图像关联的第二决策图，其中，所述第一决策图用于指示所述第一图像的全局决策信息，所述第二决策图用于指示所述第二图像的全局决策信息；基于所述第一决策图和所述第二决策图，得到所述第一图像和所述第二图像的目标融合图像。2.根据权利要求1所述的方法，其特征在于，所述对所述第一图像特征和所述第二图像特征做全局递归处理，得到所述第一图像关联的第一决策图和所述第二图像关联的第二决策图包括：对所述第一图像特征中的各个像素点进行递归处理，得到第三图像特征，以及对所述第二图像特征中的各个像素点进行递归处理，得到第四图像特征；对所述第三图像特征进行归一化处理，得到所述第一决策图，以及对所述第三图像特征进行归一化处理，得到所述第二决策图。3.根据权利要求2所述的方法，其特征在于，所述对所述第一图像特征中的各个像素点进行递归处理，得到第三图像特征包括：从所述第一图像特征中确定出当前像素点，以及确定出所述当前像素点在目标方向的其他像素点，其中，所述目标方向包括：上方向、下方向、左方向、右方向；利用所述其他像素点，对所述当前像素点进行调整，得到调整后的当前像素点，其中，所述第三图像特征包括所述调整后的当前像素点；所述对所述第三图像特征进行归一化处理，得到所述第一决策图包括：利用目标函数，对所述第三图像特征进行归一转换，得到所述第一决策图。4.根据权利要求1所述的方法，其特征在于，所述基于所述第一决策图和所述第二决策图，得到所述第一图像和所述第二图像的目标融合图像包括：对所述第一决策图做校正处理得到所述第一图像关联的第三决策图，以及对所述第二决策图做校正处理，得到所述第二图像关联的第四决策图；对所述第三决策图做区域平滑处理得到所述第一图像关联的第五决策图，以及对所述第四决策图做区域平滑处理，得到所述第二图像关联的第六决策图；基于所述第一图像与所述第五决策图的第一融合结果，和所述第二图像与所述第六决策图的第二融合结果，确定所述第一图像和所述第二图像的目标融合图像。5.根据权利要求4所述的方法，其特征在于，所述对所述第一决策图做校正处理得到所述第一图像关联的第三决策图包括：利用目标校正算法，对所述第一决策图进行校正，并将校正后的所述决策图确定为所述第三决策图；所述对所述第三决策图做区域平滑处理得到所述第一图像关联的第五决策图包括：
利用目标区域平滑算法，将所述第三决策图划分为n个窗口，并基于划分后的n个窗口确定所述第五决策图，其中，n为正整数。6.根据权利要求1所述的方法，其特征在于，在所述获取待融合的至少两个图像之后，所述方法还包括：将所述第一图像和所述第二图像输入预设模型分别进行特征提取处理，得到所述第一图像关联的所述第一图像特征和所述第二图像关联的所述第二图像特征；利用所述预设模型，对所述第一图像特征和所述第二图像特征分别做全局递归处理、校正处理、区域平滑处理，得到所述第一图像关联的所述第五决策图和所述第二图像关联的所述第六决策图；基于所述第一图像、所述第二图像、所述第五决策图和所述第六决策图，确定并输出所述第一图像和所述第二图像的所述目标融合图像。7.根据权利要求6所述的方法，其特征在于，在所述将所述第一图像和所述第二图像输入预设模型分别进行特征提取处理之前，所述方法还包括：确定出用于得到所述预设模型的初始化模型；利用训练样本集合对所述初始化模型进行训练，其中，所述训练样本集包括多组训练样本对，每一组训练样本对包括第一训练图像、第二训练图像和真值图像，其中，所述第一训练图像和所述第二训练图像用于输入所述第一模型以得到融合训练图像，所述融合训练图像和所述真值图像用于确定所述第一模型在图像块级的第一损失值和在像素级的第二损失值，所述联合损失函数包括所述第一损失值和所述第二损失值；在所述联合损失值小于预设收敛阈值的情况下，确定所述初始化模型训练完成，并将训练完成后的所述初始化模型确定为所述预设模型。8.一种图像融合装置，其特征在于，包括：获取单元，用于获取待融合的至少两个图像，其中，所述至少两个图像指示同一场景、聚焦不同，所述至少两个图像包括第一图像、第二图像；提取单元，用于对所述第一图像做特征提取处理，得到所述第一图像关联的第一图像特征，以及对所述第二图像做特征提取处理，得到所述第二图像关联的第二图像特征；递归单元，用于对所述第一图像特征做全局递归处理，得到所述图像关联的第一决策图，以及对所述第二图像做全局递归处理，得到所述第二图像关联的第二决策图，其中，所述第一决策图用于指示所述第一图像的全局决策信息，所述第二决策图用于指示所述第二图像的全局决策信息；确定单元，用于基于所述第一决策图和所述第二决策图，得到所述第一图像和所述第二图像的目标融合图像。9.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至7中任意一项所述的7方法。10.一种电子设备，其特征在于，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至7中任意一项所述的方法。

技术总结
本申请公开了一种图像融合方法、装置和处理器及电子设备。涉及图像处理领域，该方法包括：获取待融合的至少两个图像，其中，至少两个图像指示同一场景、聚焦不同，至少两个图像包括第一图像、第二图像；对第一图像做特征提取处理，得到第一图像关联的第一图像特征，以及对第二图像做特征提取处理，得到第二图像关联的第二图像特征；对第一图像特征做全局递归处理，得到图像关联的第一决策图，以及对第二图像做全局递归处理，得到第二图像关联的第二决策图；基于第一决策图和第二决策图，得到第一图像和第二图像的目标融合图像。通过本申请，解决了相关技术中图像融合的准确性较低的问题。题。题。


技术研发人员：苏喆 田赛赛 王江娟
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：2023.06.26
技术公布日：2023/9/20