图像融合方法、图像融合装置及计算机可读存储介质与流程

1.本技术涉及图像处理技术领域，特别是涉及一种图像融合方法、图像融合装置以及计算机可读存储介质。


背景技术：

2.荧光显影剂能通过注射的方式，自动聚集到肿瘤等病变部位。注入目标血管和组织的荧光显影剂吸收近红外光后释放出不同波长荧光，利用镜头感受器捕捉荧光信号得到荧光图像。
3.荧光图像能很好的反应病灶的大小和位置，但无法直观的显示当前场景；可见光图像能很好的反应当前场景的纹理和细节，但无法呈现可见光谱外的图像信息，医生常常需要结合二者信息从而更加精确的做出诊断。然而，目前关于可见光图像和荧光图像的融合图像存在颜色不可控、融合图像中荧光路可解释性不强、融合后纹理特征缺失等问题，导致图像融合后显示效果和细节都大打折扣。


技术实现要素：

4.本技术提供了一种图像融合方法、图像融合装置以及计算机可读存储介质。
5.本技术提供了一种图像融合方法，所述图像融合方法包括：
6.获取相同区域的可见光图像和荧光图像；
7.利用所述荧光图像的第四通道值，以及第一通道融合曲线，对所述可见光图像的第一通道值进行调节，得到第一融合通道值；
8.利用所述荧光图像的第四通道值、所述可见光图像的第二通道值，和/或所述可见光图像的第三通道值通过第二通道融合曲线进行融合，得到第二融合通道值；
9.利用所述荧光图像的第四通道值、所述可见光图像的第二通道值，和/或所述可见光图像的第三通道值通过第三通道融合曲线进行融合，得到第三融合通道值；
10.利用所述第一融合通道值、所述第二融合通道值以及所述第三融合通道值生成所述可见光图像和所述荧光图像的融合图像。
11.其中，所述第一通道融合曲线包括第一通道调节曲线和第一通道映射曲线；
12.所述利用所述荧光图像的第四通道值，以及第一通道融合曲线，对所述可见光图像的第一通道值进行调节，得到第一融合通道值，包括：
13.利用所述第一通道调节曲线对所述第四通道值进行调节，得到第四通道强度；
14.利用所述第一通道映射曲线以及所述第四通道强度，对所述第一通道值进行映射，得到映射后的第一融合通道值。
15.其中，所述第一通道调节曲线和所述第一通道映射曲线的曲线类型为：取反曲线、单调曲线、倒数曲线、对数曲线、指数曲线，或者以上任意两种或两种以上的曲线的融合曲线。
16.其中，所述利用所述荧光图像的第四通道值、所述可见光图像的第二通道值，和/
或所述可见光图像的第三通道值通过第二通道融合曲线进行融合，得到第二融合通道值，包括：
17.将所述荧光图像的第四通道值作为所述第二通道融合曲线的输入数据，融合得到所述第二融合通道值；
18.或者，将所述可见光图像的第二通道值作为所述第二通道融合曲线的输入数据，融合得到所述第二融合通道值；
19.或者，将所述可见光图像的第三通道值作为所述第二通道融合曲线的输入数据，融合得到所述第二融合通道值；
20.或者，将所述荧光图像的第四通道值、所述可见光图像的第二通道值和所述可见光图像的第三通道值按照预设权重融合，得到加权融合通道值，将所述加权融合通道值作为所述第二通道融合曲线的输入数据，融合得到所述第二融合通道值。
21.其中，所述第二通道融合曲线的输入和所述第三通道融合曲线的输入不同，和/或所述第二通道融合曲线的曲线类型和所述第三通道融合曲线的曲线类型不同。
22.其中，所述获取相同区域的可见光图像和荧光图像之后，所述图像融合方法还包括：
23.将所述可见光图像从第一色域转换为第二色域进行图像融合；
24.所述利用所述第一融合通道值、所述第二融合通道值以及所述第三融合通道值生成所述可见光图像和所述荧光图像的融合图像之后，所述图像融合方法还包括：
25.将所述融合图像从所述第二色域转换为所述第一色域；
26.将所述第一色域的融合图像与所述第一色域的可见光图像进行融合，得到最终的融合图像。
27.其中，所述将所述第一色域的融合图像与所述第一色域的可见光图像进行融合，得到最终的融合图像，包括：
28.利用所述荧光图像的第四通道值经过第四通道融合曲线映射得到融合权重；
29.按照所述融合权重将所述第一色域的融合图像与所述第一色域的可见光图像进行融合，得到最终的融合图像。
30.其中，所述获取相同区域的可见光图像和荧光图像之后，所述图像融合方法还包括：
31.获取所述可见光图像每一通道的高亮区；
32.将所述每一通道的高亮区进行融合，得到所述可见光图像的高亮区；
33.对所述可见光图像的高亮区以外的区域进行图像融合。
34.其中，所述获取所述可见光图像每一通道的高亮区，包括：
35.获取所述可见光图像的第二通道的过渡带上限和过渡带下限；
36.将所述第二通道值低于所述过渡带下限的像素点的区域设置为高亮区；
37.将所述第二通道值高于所述过渡带上限的像素点的区域设置为非高亮区；
38.将所述第二通道值在所述过渡带上限和所述过渡带下限之间的范围的像素点按照预设过渡曲线的高亮概率设置为高亮区或非高亮区。
39.本技术还提供了一种图像融合装置，所述图像融合装置包括处理器和存储器，所述存储器中存储有程序数据，所述处理器用于执行所述程序数据以实现如上述的图像融合
方法。
40.本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现上述的图像融合方法。
41.本技术的有益效果是：图像融合装置获取相同区域的可见光图像和荧光图像；利用所述荧光图像的第四通道值，以及第一通道融合曲线，对所述可见光图像的第一通道值进行调节，得到第一融合通道值；利用所述荧光图像的第四通道值、所述可见光图像的第二通道值，和/或所述可见光图像的第三通道值通过第二通道融合曲线进行融合，得到第二融合通道值；利用所述荧光图像的第四通道值、所述可见光图像的第二通道值，和/或所述可见光图像的第三通道值通过第三通道融合曲线进行融合，得到第三融合通道值；利用所述第一融合通道值、所述第二融合通道值以及所述第三融合通道值生成所述可见光图像和所述荧光图像的融合图像。通过上述方式，图像融合装置将可见光图像和荧光图像进行融合，使得融合后的图像既有可见光的纹理信息，又有荧光信息，提高图像的显示效果和细节。
附图说明
42.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
43.图1是本技术提供的图像融合方法一实施例的流程示意图；
44.图2是本技术提供的图像融合方法的总体流程示意图；
45.图3是图1所示图像融合方法步骤s11的具体流程示意图；
46.图4是本技术提供的可见光路s通道过渡带示意图；
47.图5是本技术提供的可见光路v通道过渡带示意图；
48.图6是本技术提供的添加高亮策略和未添加高亮策略的仿真对比图；
49.图7是本技术提供的h通道映射曲线一实施例的示意图；
50.图8是本技术提供的s通道映射曲线一实施例的示意图；
51.图9是本技术提供的v通道映射曲线一实施例的示意图；
52.图10是本技术提供的图像融合方法另一实施例的流程示意图；
53.图11是本技术提供的未添加rgb域融合与添加rgb域融合的对比图；
54.图12是本技术提供的图像融合装置一实施例的结构示意图；
55.图13是本技术提供的图像融合装置另一实施例的结构示意图；
56.图14是本技术提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
57.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
58.在医疗场景中，将可见光图像与荧光图像进行融合，得到的融合图像既能反应病
灶的大小和位置，又能反应当前场景的纹理和细节，因此对可见光图像和荧光图像进行融合尤为重要。
59.对此，本技术提出了一种可见光图像与荧光图像的融合方法，使得融合后的图像既有可见光的纹理信息，又有荧光信息，实现有效的病灶或者正常组织显示，且解决现有方案中存在的融合图像颜色不可控、融合图像中荧光路可解释性不强、融合后纹理特征缺失、融合图像颜色过渡不自然以及融合图像高亮区不自然的问题。
60.具体请参阅图1和图2，图1是本技术提供的图像融合方法一实施例的流程示意图，图2是本技术提供的图像融合方法的总体流程示意图。
61.其中，本技术的图像融合方法应用于一种图像融合装置，其中，本技术的图像融合装置可以为服务器，也可以为由服务器和终端设备相互配合的系统。相应地，图像融合装置包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以分别设置于服务器和终端设备中。
62.进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。在一些可能的实现方式中，本技术实施例的图像融合方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
63.具体而言，如图1所示，本技术实施例的图像融合方法具体包括以下步骤：
64.步骤s11：获取相同区域的可见光图像和荧光图像。
65.在本技术实施例中，图像融合装置利用可见光相机采集同一区域的可见光图像，以及在同一时刻利用荧光相机采集该区域的荧光图像。
66.如图2所示，图像融合装置将可见光图像由rgb色域转换到hsv色域，在hsv色域下与荧光图像进行融合。进一步地，图像融合装置使用高亮策略将可见光图像和荧光图像进行融合，即在融合图像中，高亮区域像素值保持不变，这种策略可以保留高亮区的真实特征，使得融合图像更自然。
67.具体地，本技术所提及的高亮策略中关于高亮区的判定方式请参阅图3，图3是图1所示图像融合方法步骤s11的具体流程示意图。
68.如图3所示，本技术实施例的图像融合方法具体包括以下步骤：
69.步骤s111：获取可见光图像每一通道的高亮区。
70.在本技术实施例中，高亮区具有s通道值，即第二通道值较小的特点，根据这一特点以及给定的s通道高亮判定阈值，可以确定自然光路，即可见光路s通道的高亮区。
71.为了使高亮区与非高亮区之间过渡平滑自然，在高亮区与非高亮区之间添加过渡带，如图4所示，低于过渡带下限的部分被判定为高亮区域，高于过渡带上限的部分被判定为非高亮区域，中间部分以连续的曲线或直线进行填充，曲线包括但不限于取反曲线、单调曲线、倒2数曲线、对数曲线、指数曲线，或者以上任意两种或两种以上的曲线的融合曲线等，三个部分共同构成了基于可见光路s通道的高亮区。
72.其中，过渡带上限和过渡带下限之间的高亮概率表示对应可见光路s通道值属于高亮区的概率，从而可以对过渡区中的像素点进行高亮区和非高亮区划分。
73.同时，高亮区具有v通道值，即第三通道值较大的特点，根据这一特点以及给定的v
通道高亮判定阈值，可以确定自然光路v通道的高亮区。
74.为了使高亮区与非高亮区之间过渡平滑自然，在高亮区与非高亮区之间添加过渡带，如图5所示，高于过渡带上限的部分被判定为高亮区域，低于过渡带下限的区域被判定为非高亮区域，中间部分以连续的曲线或直线进行填充，曲线包括但不限于取反曲线、单调曲线、倒数曲线、对数曲线、指数曲线，或者以上任意两种或两种以上的曲线的融合曲线等，三个部分共同构成了基于可见光路v通道的高亮区。
75.其中，过渡带上限和过渡带下限之间的高亮概率表示对应可见光路v通道值属于高亮区的概率，从而可以对过渡区中的像素点进行高亮区和非高亮区划分。
76.步骤s112：将每一通道的高亮区进行融合，得到可见光图像的高亮区。
77.在本技术实施例中，图像融合装置根据可见光路s通道确定的高亮区以及可见光路v通道确定的高亮区，融合得到最终的高亮区，融合方式可以为两种通道确定的高亮区的并集作为最终的高亮区。
78.本技术实施例采用多种方法共同计算可见光路的高亮区，可以避免或减少由于单一阈值分割引起的高亮区误差，从而减小对后续图像融合的影响。
79.步骤s113：对可见光图像的高亮区以外的区域进行图像融合。
80.在本技术实施例中，图像融合装置只对可见光图像的高亮区以外的区域执行与荧光图像的图像融合，保持高亮区的像素点像素值不变。
81.添加高亮策略和未添加高亮策略的仿真对比图如图6所示，可以看出，未添加高亮策略时，融合图像的高亮区也会被染色，与实际光照场景下不符。因此，添加高亮策略可以保留高亮区的真实特征，使融合图像更自然。
82.步骤s12：利用荧光图像的第四通道值，以及第一通道融合曲线，对可见光图像的第一通道值进行调节，得到第一融合通道值。
83.在本技术实施例中，在融合之前，图像融合装置还可以对荧光图像进行预处理，具体过程如下：
84.通过将荧光路响应强度与给定荧光路阈值进行比较，得到荧光路实际响应区域。对荧光路图像进行滤波处理，包括但不限于均值滤波、高斯滤波、中值滤波等，减少荧光路噪声对融合图像的影响。对荧光路图像进行归一化操作，增强荧光响应对比度。
85.进一步地，图像融合装置通过根据荧光响应强度调节可见光路的hsv通道数据，完成hsv的图像融合。下面分别从可见光图像的各个色域通道的图像融合过程进行说明：
86.hsv域融合图像的h通道值由荧光路y通道值(即第四通道值)、h通道调节曲线以及h通道映射曲线控制，可以使得融合图像的颜色在指定颜色范围内，而不出现影响视觉判断的其它颜色。h通道调节曲线可以由单条或者多条曲线或者折线经过线性拟合或者融合得到，曲线包括但不限于倒数曲线、对数曲线、取反曲线、指数曲线及其融合曲线。为保证融合图像色调的连续性，h通道映射曲线应为单调曲线，包括但不限于取反曲线、单调折线、倒数曲线、对数曲线及其融合曲线。
87.以荧光路y通道值作为数据，通过h通道调节曲线，得到映射后的荧光路强度y’。h通道调节曲线可以对荧光路h通道值进行修改，通过增强或抑制指定数据范围的对比度或荧光响应强度等，改变融合图像中融合区域的效果；h通道映射曲线可以将荧光响应区域的颜色从原始色相转换到其它指定色相，通过简单的方法实现不同色相之间的转换，在融合
图像中对荧光响应区域进行突出显示。当h通道映射曲线具有单调性时，融合图像具有荧光可解释性。具体如图7所示，图7是本技术提供的h通道映射曲线一实施例的示意图。
88.步骤s13：利用荧光图像的第四通道值、可见光图像的第二通道值，和/或可见光图像的第三通道值通过第二通道融合曲线进行融合，得到第二融合通道值。
89.在本技术实施例中，hsv域融合图像的s通道值由可见光路s通道值(第二通道值)、可见光路v通道值(第三通道值)以及荧光路y通道值数据经过多条调整曲线联合作用得到，多条曲线联合调控可以增强s通道的可调性，曲线数量根据实际需求确定。其中每条调整曲线均可以由单条或者多条曲线或者折线经过线性拟合或者融合得到，曲线包括但不限于倒数曲线、对数曲线、取反曲线、指数曲线及其融合曲线。
90.需要说明的是，输入s通道多条映射曲线的数据由自然光路s通道值、自然光路v通道值以及荧光路y通道值确定，确定方法包括但不限于以下几种：1)仅使用荧光路y通道数据作为映射曲线的数据；2)仅使用可见光路s通道数据作为映射曲线输入数据；3)仅使用可见光路v通道作为映射曲线输入数据，具体如图8所示，图8是本技术提供的s通道映射曲线一实施例的示意图；4)将荧光路y通道数据、可见光路s通道数据以及可见光路v通道数据以一定权重进行融合，得到的融合数据作为映射曲线的输入数据；5)s通道的多条映射曲线，每一条的输入都可能是以上四种情况中的任意一种。
91.通过以上方式，确定s通道映射曲线以及映射曲线的输入数据，可以得到hsv域融合图像的s通道。
92.步骤s14：利用荧光图像的第四通道值、可见光图像的第二通道值，和/或可见光图像的第三通道值通过第三通道融合曲线进行融合，得到第三融合通道值。
93.在本技术实施例中，hsv域融合图像的v通道值由可见光路s通道值(第二通道值)、可见光路v通道值(第三通道值)以及荧光路y通道值数据经过多条调整曲线联合作用得到，多条曲线联合调控可以增强v通道的可调性，曲线数量根据实际需求确定。其中每条调整曲线均可以由单条或者多条曲线或者折线经过线性拟合或者融合得到，曲线包括但不限于倒数曲线、对数曲线、取反曲线、指数曲线及其融合曲线。
94.需要说明的是，输入v通道多条映射曲线的数据由自然光路s通道值、自然光路v通道值以及荧光路y通道值确定，确定方法包括但不限于以下几种：1)仅使用荧光路y通道数据作为映射曲线的数据；2)仅使用可见光路s通道数据作为映射曲线输入数据；3)仅使用可见光路v通道作为映射曲线输入数据，具体如图9所示，图9是本技术提供的v通道映射曲线一实施例的示意图；4)将荧光路y通道数据、可见光路s通道数据以及可见光路v通道数据以一定权重进行融合，得到的融合数据作为映射曲线的输入数据；5)s通道的多条映射曲线，每一条的输入都可能是以上四种情况中的任意一种。
95.通过以上方式，确定v通道映射曲线以及映射曲线的输入数据，可以得到hsv域融合图像的v通道。
96.需要说明的是，计算hsv域融合图像的s通道和v通道时，均由可见光路s通道值(第二通道值)、可见光路v通道值(第三通道值)以及荧光路y通道值数据经过多条调整曲线联合作用，图像融合装置可以通过调整映射曲线的输入、映射曲线的曲线类型、映射曲线的曲线参数等控制映射曲线输出不同的数据，即分别输出s通道值和v通道值。
97.步骤s15：利用第一融合通道值、第二融合通道值以及第三融合通道值生成可见光
图像和荧光图像的融合图像。
98.在本技术实施例中，图像融合装置通过步骤s12至步骤s14分别计算得到融合图像的h通道值、s通道值以及v通道值，从而组合生成可见光图像和荧光图像的融合图像。
99.在本技术实施例中，图像融合装置获取相同区域的可见光图像和荧光图像；利用所述荧光图像的第四通道值，以及第一通道融合曲线，对所述可见光图像的第一通道值进行调节，得到第一融合通道值；利用所述荧光图像的第四通道值、所述可见光图像的第二通道值，和/或所述可见光图像的第三通道值通过第二通道融合曲线进行融合，得到第二融合通道值；利用所述荧光图像的第四通道值、所述可见光图像的第二通道值，和/或所述可见光图像的第三通道值通过第三通道融合曲线进行融合，得到第三融合通道值；利用所述第一融合通道值、所述第二融合通道值以及所述第三融合通道值生成所述可见光图像和所述荧光图像的融合图像。通过上述方式，图像融合装置将可见光图像和荧光图像进行融合，使得融合后的图像既有可见光的纹理信息，又有荧光信息，提高图像的显示效果和细节，融合图像具有荧光路可解释性且能简单迅速的实现不同色相之间的转换。
100.进一步地，图像融合装置还可以将上述实施例得到的融合图像与原来的可见光图像进行二次融合，具体请参阅图10，图10是本技术提供的图像融合方法另一实施例的流程示意图。
101.如图10所示，本技术实施例的图像融合方法具体包括以下步骤：
102.步骤s16：将融合图像从第二色域转换为第一色域。
103.步骤s17：将第一色域的融合图像与第一色域的可见光图像进行融合，得到最终的融合图像。
104.在本技术实施例中，图像融合装置将融合后的hsv图像，即上述实施例得到的融合图像转换到rgb域，得到rgb域的融合图像fuse1。然后，图像融合装置将可见光路rgb图像与fuse1进行融合，得到最终的融合图像，这样可以使得融合边缘过渡更自然。
105.如图11所示，图11是本技术提供的未添加rgb域融合与添加rgb域融合的对比图，通过rgb域的二次融合，使得融合区域颜色过渡平滑自然。
106.具体地，融合权重由荧光路y通道数据经过融合曲线映射得到，为了使融合效果自然，融合曲线需要具有单调性。融合曲线可以由单条或者多条曲线经过线性拟合或者融合得到，融合曲线包括但不限于倒数曲线、对数曲线、取反曲线、指数曲线及其融合曲线。
107.本技术在多个色域对可见光图像和荧光图像进行融合，这种方法使得融合图像颜色可控、荧光路可解释性强、纹理细节丰富、颜色自然且过渡平滑。
108.本技术在hsv域和rgb域依次进行融合。在hsv域的融合中，通过控制h通道的像素值控制融合区域的颜色，避免融合区域出现与环境相似的颜色而干扰判断，且能简单快速调控融合区域的色相，实现不同色相之间的转换，通过调控s和v通道的像素值，使融合图像中能尽可能多的保留自然光路的纹理和细节。通过rgb域的二次融合，使得融合区域颜色过渡平滑自然。
109.本技术融合图像h通道与荧光响应强度强相关，使得融合区域具有荧光可解释性。
110.本技术使用高亮策略，融合图像中，高亮区域像素值保持不变，这种策略可以保留高亮区的真实特征，使融合图像更自然。
111.本技术使用两种高亮判定方法确定最终高亮区域，避免减少了单一阈值判定可能
出现的高亮判定失误的问题。
112.本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
113.为实现上述实施例的图像融合方法，本技术还提出了一种图像融合装置，具体请参阅图12，图12是本技术提供的图像融合装置一实施例的结构示意图。
114.本技术实施例的图像融合装置200包括获取模块21、通道模块22以及图像模块23。
115.其中，所述获取模块21，用于获取相同区域的可见光图像和荧光图像。
116.所述通道模块22，用于利用所述荧光图像的第四通道值，以及第一通道融合曲线，对所述可见光图像的第一通道值进行调节，得到第一融合通道值。
117.所述通道模块22，用于利用所述荧光图像的第四通道值、所述可见光图像的第二通道值，和/或所述可见光图像的第三通道值通过第二通道融合曲线进行融合，得到第二融合通道值。
118.所述通道模块22，用于利用所述荧光图像的第四通道值、所述可见光图像的第二通道值，和/或所述可见光图像的第三通道值通过第三通道融合曲线进行融合，得到第三融合通道值。
119.所述图像模块23，用于利用所述第一融合通道值、所述第二融合通道值以及所述第三融合通道值生成所述可见光图像和所述荧光图像的融合图像。
120.为实现上述实施例的图像融合方法，本技术还提出了另一种图像融合装置，具体请参阅图13，图13是本技术提供的图像融合装置另一实施例的结构示意图。
121.本技术实施例的图像融合装置300包括存储器31和处理器32，其中，存储器31和处理器32耦接。
122.存储器31用于存储程序数据，处理器32用于执行程序数据以实现上述实施例所述的图像融合方法。
123.在本实施例中，处理器32还可以称为cpu(central processing unit，中央处理单元)。处理器32可能是一种集成电路芯片，具有信号的处理能力。处理器32还可以是通用处理器、数字信号处理器(dsp，digital signal process)、专用集成电路(asic，application specific integrated circuit)、现场可编程门阵列(fpga，field programmable gate array)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器32也可以是任何常规的处理器等。
124.为实现上述实施例的图像融合方法，本技术还提供了一种计算机可读存储介质，如图14所示，计算机可读存储介质400用于存储程序数据41，程序数据41在被处理器执行时，用以实现如上述实施例所述的图像融合方法。
125.本技术还提供一种计算机程序产品，其中，上述计算机程序产品包括计算机程序，上述计算机程序可操作来使计算机执行如本技术实施例所述的图像融合方法。该计算机程序产品可以为一个软件安装包。
126.本技术上述实施例所述的图像融合方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方
案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
127.以上所述仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。

技术特征：
1.一种图像融合方法，其特征在于，所述图像融合方法包括：获取相同区域的可见光图像和荧光图像；利用所述荧光图像的第四通道值，以及第一通道融合曲线，对所述可见光图像的第一通道值进行调节，得到第一融合通道值；利用所述荧光图像的第四通道值、所述可见光图像的第二通道值，和/或所述可见光图像的第三通道值通过第二通道融合曲线进行融合，得到第二融合通道值；利用所述荧光图像的第四通道值、所述可见光图像的第二通道值，和/或所述可见光图像的第三通道值通过第三通道融合曲线进行融合，得到第三融合通道值；利用所述第一融合通道值、所述第二融合通道值以及所述第三融合通道值生成所述可见光图像和所述荧光图像的融合图像。2.根据权利要求1所述的图像融合方法，其特征在于，所述第一通道融合曲线包括第一通道调节曲线和第一通道映射曲线；所述利用所述荧光图像的第四通道值，以及第一通道融合曲线，对所述可见光图像的第一通道值进行调节，得到第一融合通道值，包括：利用所述第一通道调节曲线对所述第四通道值进行调节，得到第四通道强度；利用所述第一通道映射曲线以及所述第四通道强度，对所述第一通道值进行映射，得到映射后的第一融合通道值。3.根据权利要求2所述的图像融合方法，其特征在于，所述第一通道调节曲线和所述第一通道映射曲线的曲线类型为：取反曲线、单调曲线、倒数曲线、对数曲线、指数曲线，或者以上任意两种或两种以上的曲线的融合曲线。4.根据权利要求1所述的图像融合方法，其特征在于，所述利用所述荧光图像的第四通道值、所述可见光图像的第二通道值，和/或所述可见光图像的第三通道值通过第二通道融合曲线进行融合，得到第二融合通道值，包括：将所述荧光图像的第四通道值作为所述第二通道融合曲线的输入数据，融合得到所述第二融合通道值；或者，将所述可见光图像的第二通道值作为所述第二通道融合曲线的输入数据，融合得到所述第二融合通道值；或者，将所述可见光图像的第三通道值作为所述第二通道融合曲线的输入数据，融合得到所述第二融合通道值；或者，将所述荧光图像的第四通道值、所述可见光图像的第二通道值和所述可见光图像的第三通道值按照预设权重融合，得到加权融合通道值，将所述加权融合通道值作为所述第二通道融合曲线的输入数据，融合得到所述第二融合通道值。5.根据权利要求4所述的图像融合方法，其特征在于，所述第二通道融合曲线的输入和所述第三通道融合曲线的输入不同，和/或所述第二通道融合曲线的曲线类型和所述第三通道融合曲线的曲线类型不同。6.根据权利要求1所述的图像融合方法，其特征在于，所述获取相同区域的可见光图像和荧光图像之后，所述图像融合方法还包括：将所述可见光图像从第一色域转换为第二色域进行图像融合；所述利用所述第一融合通道值、所述第二融合通道值以及所述第三融合通道值生成所
述可见光图像和所述荧光图像的融合图像之后，所述图像融合方法还包括：将所述融合图像从所述第二色域转换为所述第一色域；将所述第一色域的融合图像与所述第一色域的可见光图像进行融合，得到最终的融合图像。7.根据权利要求6所述的图像融合方法，其特征在于，所述将所述第一色域的融合图像与所述第一色域的可见光图像进行融合，得到最终的融合图像，包括：利用所述荧光图像的第四通道值经过第四通道融合曲线映射得到融合权重；按照所述融合权重将所述第一色域的融合图像与所述第一色域的可见光图像进行融合，得到最终的融合图像。8.根据权利要求1所述的图像融合方法，其特征在于，所述获取相同区域的可见光图像和荧光图像之后，所述图像融合方法还包括：获取所述可见光图像每一通道的高亮区；将所述每一通道的高亮区进行融合，得到所述可见光图像的高亮区；对所述可见光图像的高亮区以外的区域进行图像融合。9.根据权利要求8所述的图像融合方法，其特征在于，所述获取所述可见光图像每一通道的高亮区，包括：获取所述可见光图像的第二通道的过渡带上限和过渡带下限；将所述第二通道值低于所述过渡带下限的像素点的区域设置为高亮区；将所述第二通道值高于所述过渡带上限的像素点的区域设置为非高亮区；将所述第二通道值在所述过渡带上限和所述过渡带下限之间的范围的像素点按照预设过渡曲线的高亮概率设置为高亮区或非高亮区。10.一种图像融合装置，其特征在于，所述图像融合装置包括处理器和存储器，所述存储器中存储有程序数据，所述处理器用于执行所述程序数据以实现如权利要求1-9任一项所述的图像融合方法。11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现权利要求1-9任一项所述的图像融合方法。

技术总结
本申请提供一种图像融合方法、图像融合装置以及计算机可读存储介质。该图像融合方法包括：利用荧光图像的第四通道值，以及第一通道融合曲线，对可见光图像的第一通道值进行调节，得到第一融合通道值；利用第四通道值、可见光图像的第二通道值，和/或可见光图像的第三通道值通过第二通道融合曲线进行融合，得到第二融合通道值；利用第四通道值、可见光图像的第二通道值，和/或可见光图像的第三通道值通过第三通道融合曲线进行融合，得到第三融合通道值；生成可见光图像和荧光图像的融合图像。通过上述方式，图像融合装置将可见光图像和荧光图像进行融合，使得融合后的图像既有可见光的纹理信息，又有荧光信息，提高图像的显示效果和细节。果和细节。果和细节。


技术研发人员：黄诗瑶 张东 冉昭 王松
受保护的技术使用者：浙江大华技术股份有限公司
技术研发日：2023.05.16
技术公布日：2023/9/22