一种拍摄目标物体红外可见光融合图像的方法及系统与流程

1.本发明涉及图像处理领域，具体涉及一种拍摄目标物体红外可见光融合图像的方法及系统。


背景技术：

2.红外图像可反映物体的热辐射，因成本较高，一般手机终端配备的红外热成像仪的分辨率都较低，而低分辨率的红外图像只能反映物体的区域信息，无法清晰分辨物体的边界，不方便人眼辨识成像目标究竟是哪一个物体，故使用红外图像和可见光图像融合的方法，可清晰分辨每个物体的热分布。
3.现有的红外和可见光融合图像多使用红外和可见光的双光模组，这样增加了终端配件的成本和功耗；现有的融合方法有使用红外的低频信息和可见光的高频信息，这样目标物体的可辨识度不是很强。


技术实现要素：

4.鉴于现有技术中存在的技术缺陷和技术弊端，本发明实施例提供克服上述问题或者至少部分地解决上述问题的一种拍摄目标物体红外可见光融合图像的方法及系统，通过使用单红外图像模组，搭配手机摄像头的可见光模组，通过手动配准的方式，可实现任意距离段的目标配准，综合利用可见光的高频和彩色信息及红外图像的热信息，可清晰分辨每个物体的热分布，具体方案如下：
5.作为本发明的第一方面，提供一种拍摄目标物体红外可见光融合图像的方法，所述方法包括，在预览模式下：
6.s101，将剪裁后的实时视频流可见光图像缩放到与红外图像相同的大小；
7.s102，对缩放后的实时视频流可见光图像依次进行边缘检测、边缘增强以及边缘反色处理，获得第一可见光边缘图像；
8.s103，将经s102处理后的第一可见光边缘图像与红外图像进行融合，获得第一红外可见光边缘融合图；
9.s104，将s103获得的第一红外可见光边缘融合图再与缩放后实时视频流可见光图像进行融合，获得实时显示的红外可见光融合图像。
10.进一步地，所述方法还包括，在拍照模式下：
11.s201，对剪裁后的可见光图像依次进行边缘检测、边缘增强以及边缘反色处理，从而获得第二可见光边缘图；
12.s202，将红外图像缩放到与剪裁后的可见光图像相同大小；
13.s203，将s201获得的第二可见光边缘图与s202获得的缩放后的红外图像进行融合，获得第二红外可见光边缘融合图；
14.s204，将s203获得的第二红外可见光边缘融合图再与剪裁后的实时视频流可见光图像进行融合，获得最终拍摄目标物体的红外可见光融合图像。
15.进一步地，对实时视频流可见光图像和/或可见光图像进行剪裁包括：
16.拍摄一组红外图像和可见光图像；
17.基于图像配准区域，将可见光图像剪裁成与所述图像配准区域大小相同的区域，得到可见光彩色图像。
18.进一步地，所述方法还包括：将可见光图像的格式转换成bgr格式，并在转换过程加入图像配准区域作为基准，仅对图像配准区域的可见光图像进行转换，将转换成bgr格式的可见光图像区域剪裁出来，从而获得与所述图像配准区域大小相同的可见光图像。
19.进一步地，在手机端通过初始化配准，以获得图像配准区域。
20.进一步地，在手机端通过初始化配准，以获得图像配准区域具体包括：拍摄一组包含配准目标的红外目标图像和可见光目标图像，对可见光目标图像进行缩放和平移，使可见光目标图像中的目标轮廓和红外目标图像中的目标轮廓重合，重合后的红外图像区域对应的可见光图像区域，作为图像配准区域。
21.进一步地，所述方法还包括：在使可见光目标图像中的目标轮廓和红外目标图像中的目标轮廓重合之前，对可见光目标图像进行预处理，具体包括：
22.对可见光目标图像进行图像边缘检测，获得可见光目标图像的边缘图像；
23.对可见光目标图像的边缘图像进行图像边缘增强处理，并对增强处理后的可见光目标图像进行边缘反色处理，基于反色处理后的可见光目标图像与所述红外目标图像进行目标轮廓重合。
24.进一步地，所述方法还包括：
25.在对可见光目标图像进行图像边缘检测之前，将可见光目标图像转为bgr格式的可见光目标图像，并在对可见光目标图像进行边缘反色处理后，将可见光目标图像转为argb格式，将红外目标图像转为argb格式，将转为argb格式的可见光目标图像与转为argb格式的红外目标图像进行目标轮廓重合。
26.作为本发明的第二方面，提供一种拍摄目标物体红外可见光融合图像的系统，所述系统包括预览模块，所述预览模块用于：
27.在预览模式下：
28.将剪裁后的实时视频流可见光图像缩放到与红外图像相同的大小；
29.对缩放后的实时视频流可见光图像依次进行边缘检测、边缘增强以及边缘反色处理，获得第一可见光边缘图像；
30.将处理后的第一可见光边缘图像与红外图像进行融合，获得第一红外可见光边缘融合图；
31.将获得的第一红外可见光边缘融合图再与缩放后实时视频流可见光图像进行融合，获得实时显示的红外可见光融合图像。
32.进一步地，所述系统包括拍照模块，所述拍照模块用于：
33.在拍照模式下：
34.对剪裁后的可见光图像依次进行边缘检测、边缘增强以及边缘反色处理，从而获得第二可见光边缘图；
35.将红外图像缩放到与剪裁后的可见光图像相同大小；
36.将获得的第二可见光边缘图与缩放后的红外图像进行融合，获得第二红外可见光
边缘融合图；
37.将获得的第二红外可见光边缘融合图再与剪裁后的实时视频流可见光图像进行融合，获得最终拍摄目标物体的红外可见光融合图像。
38.本发明具有以下有益效果：
39.本发明提出的一种拍摄目标物体红外可见光融合图像的算法，通过初始化配准区域，对配准区域的图像做红外图像和可见光边缘和可见光的融合图像，对可见光边缘做了增强处理，通过红外图像和反色的边缘图像及可见光彩色图像的融合，实现了红外和可见光的融合，融合目标能够清晰辨识对应物体的热辐射分布，具有较好的使用和视觉效果。
附图说明
40.图1为本发明实施例提供的手机终端红外图像和可见光图像融合方法流程图；
41.图2为本发明实施例提供的获取图像配准区域的处理流程图；
42.图3为本发明实施例提供的预览模式和拍照模式下红外图像和可见光图像融合处理的流程图。
具体实施方式
43.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
44.如图1所示，为本发明实施例提供的手机终端红外图像和可见光图像融合方法，其主要包括：
45.在手机端通过初始化配准，以获得图像配准区域；
46.其中，获取图像配准区域的具体流程如图2所示，包括；
47.拍摄一组包含配准目标的红外目标图像和可见光目标图像，其中，拍摄的可见光目标图像为yuv格式，在进行边缘处理前，需要将可见光目标图像转换为bgr格式；
48.对转换成bgr格式的可见光目标图像进行边缘处理，并将边缘处理后的可见光目标图像转换为argb输出，其中，所述边缘处理包括依次进行的图像边缘检测处理，图像边缘增强处理以及边缘反色处理；
49.将argb格式的可见光目标图像和argb格式的红外目标图像进行手动融合，具体为：手动对可见光目标图像进行缩放和平移，使可见光目标图像中的目标轮廓和红外目标图像中的目标轮廓重合；
50.重合后的红外图像区域对应的可见光图像区域，作为红外目标图像和可见光目标图像的图像配准区域。
51.以获得的图像配准区域为基准，对拍摄的红外图像和可见光图像进行图像融合；
52.其中，红外图像和可见光图像融合处理的流程图如图2-3所示，包括：
53.拍摄一组红外图像和可见光图像，其中，拍摄可见光图像为yuv格式，拍摄的红外图像为argb格式；
54.基于所述图像配准区域，将可见光图像剪裁成与所述图像配准区域大小相同的区
域，得到可见光彩色图像；
55.具体为：将可见光图像的格式转换成bgr格式，并在转换过程加入图像配准区域作为基准，仅对图像配准区域的可见光图像进行转换，将转换成bgr格式的可见光图像区域剪裁出来，从而获得与所述图像配准区域大小相同的可见光图像，通过在yuv转rgb图像的时候加入图像配准区域，从而可以减少图像转换的计算量，提高帧率；
56.将剪裁后的图像分为两路，一路为预览模式，一路为拍照模式；
57.其中，预览模式的处理流程具体为：
58.s101，将剪裁后的可见光图像缩放到与所述红外图像相同的大小；
59.s102，对缩放后的可见光图像依次进行边缘检测、边缘增强以及边缘反色处理，获得可见光边缘图像，将红外图像的格式转换成bgr格式；
60.s103，将经s102处理后的可见光图像与红外图像进行融合，获得红外可见光边缘融合图，即红外可见光勾边融合图像；
61.s104，将s103获得的红外可见光边缘融合图再与缩放后可见光图像进行融合，获得最终的红外图像和可见光图像融合图，最后将融合图转换成argb格式的图像输出；
62.其中，拍照模式的处理流程具体为：
63.s201，对剪裁后的可见光图像依次进行边缘检测、边缘增强以及边缘反色处理，从而获得可见光边缘图；
64.s202，将红外图像的格式转换成bgr格式，并缩放到与剪裁后的可见光图像相同大小；
65.s203，将s201获得的可见光边缘图与缩放后的红外图像进行融合，获得红外可见光边缘融合图，即红外可见光勾边融合图像；
66.s204，将s203获得的红外可见光边缘融合图再与剪裁后的可见光图像(即可见光彩色图像)进行融合，获得最终的红外图像和可见光图像融合图，最后将融合图转换成argb格式的图像输出。
67.其中，配准模式使用argb中的alpha通道设置不透明度，使两幅图像同时显示到手机屏幕上；融合模式使多幅图像融合生成一幅图像，显示最终融合图像到手机屏幕上。
68.拍照模式是在原始的可见光图像上进行边缘检测，边缘检测的细腻度较高，但可见光图像分辨率较高，所以对原始图像进行图像边缘检测计算量较大，为了较少计算量，提高帧率，分支出一个预览模式，在预览模式中，将实时视频流图像进行缩放，缩放成与红外图像相同大小的图像，然后进行边缘检测和融合处理，以达到实时显示融合图像的目的。
69.其中，预览模式对红外可见光边缘融合图勾边是此模式下可见光图像已缩放到与红外图像相同的大小；拍照模式下对裁剪区域勾边是针对原始的可见光图像进行勾边，为了减少计算量，在原始可见光分辨率图像上只针对参与融合的裁剪区域进行勾边。
70.需要说明的是，对图像进行边缘检测、边缘增强以及边缘反色处理均为常用的图像处理手段，本发明不对其具体公式算法进行限定。
71.本发明提出的一种基于手机终端的红外图像与可见光图像融合算法，在手机端通过初始化配准，获得图像配准区域，以图像配准区域为基准，在该区域内，做红外图像和可见光边缘图像以及可见光彩色图像的融合图像，并且对可见光边缘做了增强处理，通过红外图像和反色的可见光边缘图像及可见光彩色图像的融合，实现了红外和可见光的融合，
融合目标能够清晰辨识对应物体的热辐射分布，相比于现有技术，具有较好的使用和视觉效果。
72.其中，红外图像和可见光边缘图像的融合公式如下：
73.ir_edge＝(1-gamma)
×
ir+gamma*(255-scale*edge)
74.其中，gamma为边缘融合系数，ir为红外图像，edge为可见光边缘图像；
75.其中，红外可见光边缘融合图和可见光彩色图像的融合公式如下：
76.vi_ir_edge＝(1-alpha)
×
ir_edge+alpha*vi
77.其中，alpha为可见光融合系数，ir_edge为红外可见光边缘融合图，vi为可见光彩色图像。
78.以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种拍摄目标物体红外可见光融合图像的方法，其特征在于，所述方法包括，在预览模式下：s101，将剪裁后的实时视频流可见光图像缩放到与红外图像相同的大小；s102，对缩放后的实时视频流可见光图像依次进行边缘检测、边缘增强以及边缘反色处理，获得第一可见光边缘图像；s103，将经s102处理后的第一可见光边缘图像与红外图像进行融合，获得第一红外可见光边缘融合图；s104，将s103获得的第一红外可见光边缘融合图再与缩放后实时视频流可见光图像进行融合，获得实时显示的红外可见光融合图像。2.根据权利要求1所述的拍摄目标物体红外可见光融合图像的方法，其特征在于，所述方法还包括，在拍照模式下：s201，对剪裁后的可见光图像依次进行边缘检测、边缘增强以及边缘反色处理，从而获得第二可见光边缘图；s202，将红外图像缩放到与剪裁后的可见光图像相同大小；s203，将s201获得的第二可见光边缘图与s202获得的缩放后的红外图像进行融合，获得第二红外可见光边缘融合图；s204，将s203获得的第二红外可见光边缘融合图再与剪裁后的实时视频流可见光图像进行融合，获得最终拍摄目标物体的红外可见光融合图像。3.根据权利要求1或2所述的拍摄目标物体红外可见光融合图像的方法，其特征在于，对实时视频流可见光图像和/或可见光图像进行剪裁包括：拍摄一组红外图像和可见光图像；基于图像配准区域，将可见光图像剪裁成与所述图像配准区域大小相同的区域，得到可见光彩色图像。4.根据权利要求3所述的拍摄目标物体红外可见光融合图像的方法，其特征在于，所述方法还包括：将可见光图像的格式转换成bgr格式，并在转换过程加入图像配准区域作为基准，仅对图像配准区域的可见光图像进行转换，将转换成bgr格式的可见光图像区域剪裁出来，从而获得与所述图像配准区域大小相同的可见光图像。5.根据权利要求3所述的拍摄目标物体红外可见光融合图像的方法，其特征在于，在手机端通过初始化配准，以获得图像配准区域。6.根据权利要求5所述的拍摄目标物体红外可见光融合图像的方法，其特征在于，在手机端通过初始化配准，以获得图像配准区域具体包括：拍摄一组包含配准目标的红外目标图像和可见光目标图像，对可见光目标图像进行缩放和平移，使可见光目标图像中的目标轮廓和红外目标图像中的目标轮廓重合，重合后的红外图像区域对应的可见光图像区域，作为图像配准区域。7.根据权利要求6所述的拍摄目标物体红外可见光融合图像的方法，其特征在于，所述方法还包括：在使可见光目标图像中的目标轮廓和红外目标图像中的目标轮廓重合之前，对可见光目标图像进行预处理，具体包括：对可见光目标图像进行图像边缘检测，获得可见光目标图像的边缘图像；对可见光目标图像的边缘图像进行图像边缘增强处理，并对增强处理后的可见光目标
图像进行边缘反色处理，基于反色处理后的可见光目标图像与所述红外目标图像进行目标轮廓重合。8.根据权利要求7所述的拍摄目标物体红外可见光融合图像的方法，其特征在于，所述方法还包括：在对可见光目标图像进行图像边缘检测之前，将可见光目标图像转为bgr格式的可见光目标图像，并在对可见光目标图像进行边缘反色处理后，将可见光目标图像转为argb格式，将红外目标图像转为argb格式，将转为argb格式的可见光目标图像与转为argb格式的红外目标图像进行目标轮廓重合。9.一种拍摄目标物体红外可见光融合图像的系统，其特征在于，所述系统包括预览模块，所述预览模块用于：在预览模式下：将剪裁后的实时视频流可见光图像缩放到与红外图像相同的大小；对缩放后的实时视频流可见光图像依次进行边缘检测、边缘增强以及边缘反色处理，获得第一可见光边缘图像；将处理后的第一可见光边缘图像与红外图像进行融合，获得第一红外可见光边缘融合图；将获得的第一红外可见光边缘融合图再与缩放后实时视频流可见光图像进行融合，获得实时显示的红外可见光融合图像。10.根据权利9所述的拍摄目标物体红外可见光融合图像的系统，其特征在于，所述系统包括拍照模块，所述拍照模块用于：在拍照模式下：对剪裁后的可见光图像依次进行边缘检测、边缘增强以及边缘反色处理，从而获得第二可见光边缘图；将红外图像缩放到与剪裁后的可见光图像相同大小；将获得的第二可见光边缘图与缩放后的红外图像进行融合，获得第二红外可见光边缘融合图；将获得的第二红外可见光边缘融合图再与剪裁后的实时视频流可见光图像进行融合，获得最终拍摄目标物体的红外可见光融合图像。

技术总结
一种拍摄目标物体红外可见光融合图像的方法及系统，所述方法包括，在预览模式下：S101，将剪裁后的实时视频流可见光图像缩放到与红外图像相同的大小；S102，对缩放后的实时视频流可见光图像依次进行边缘检测、边缘增强以及边缘反色处理，获得第一可见光边缘图像；S103，将第一可见光边缘图像与红外图像进行融合，获得第一红外可见光边缘融合图像；S104，将第一红外可见光边缘融合图再与缩放后实时视频流可见光图像进行融合，获得实时显示的红外图像和可见光图像融合图。本发明实现了红外和可见光图像的融合，融合目标能够清晰辨识对应物体的热辐射分布，具有较好的使用和视觉效果。果。果。


技术研发人员：黄晟 邱佳杰 潘想 陈熊 熊高 王鹏 周汉林
受保护的技术使用者：武汉高德智感科技有限公司
技术研发日：2020.09.14
技术公布日：2023/8/28