基于FPGA平台实现的红外图像边缘增强方法及装置与流程

基于fpga平台实现的红外图像边缘增强方法及装置
技术领域
1.本发明涉及红外热成像领域，特别是基于fpga平台实现的红外图像边缘增强方法及装置。


背景技术：

2.在图像的生成、传输和变换过程中，由于受到种种条件的限制和随机干扰，使得图像的外观质量多少会有所降低(或简称退化)。
3.传统技术采取灰度校正、噪声滤除等方法使输出图像在视觉感知或某种准则下尽量恢复原始图像的水平，但无法针对性加强图像中的信息，使得图像难以被高效率使用。


技术实现要素：

4.本发明的目的在于提供一种基于fpga实现的红外图像边缘增强方法及装置，解决传统技术无法针对性加强图像中的信息，使得图像难以被高效率使用的问题。
5.一种基于fpga平台实现的红外图像边缘增强方法，所述方法包括：
6.对每帧输入的已经排除红外探测器时域噪声非均匀性的校正后图像进行图像缓存，并进行图像模板化，得到模板化图像；
7.根据所述模板化图像，得到中值滤波后的图像；
8.对所述中值滤波后的图像进行卷积运算，得到卷积计算结果；
9.将所述卷积计算结果，叠加到滤波前的图像之上并结合行、场同步输出，得到红外边缘增强图像。
10.在一个实施例中，所述对每帧输入的已经排除红外探测器时域噪声非均匀性的校正后图像进行图像缓存包括：根据校正图像的行、场同步信号进行图像有效数据的缓存。
11.在一个实施例中，所述进行图像模板化，得到模板化图像包括：
12.对每帧输入的校正后图像进行图像缓存模板化，缓存图像数据及其相邻数据形成3
×
3窗口的图像数据模板，得到模板化图像。
13.在一个实施例中，所述根据所述模板化图像，得到中值滤波后的图像包括：
14.在实际fpga实现流程中，缓存中心数据及其相邻数据,即选用3
×
3的模板窗口大小，从左上到右下遍历整帧校正图像形成每个数据及该数据对应的3
×
3数据模板窗口；
[0015]3×
3数据模板窗口的输出值由窗口中的中值决定，遍历完成后得到中值滤波后的图像。
[0016]
在一个实施例中，所述对所述中值滤波后的图像进行卷积运算，得到卷积计算结果包括：
[0017]
利用拉普拉斯算子通过公式(2-1)对中值滤波后的图像模板进行卷积运算；
[0018]
▽2f(x,y)＝f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)
……
公式(2-1)；
[0019]
其中x表示数据在图像中的水平坐标，y表示垂直坐标。
[0020]
在一个实施例中，所述将所述卷积计算结果，叠加到滤波前的图像之上并结合行、
场同步输出，得到红外边缘增强图像包括：
[0021]
由公式(2-1)所得到的卷积结果按照三档增益(0.2,0.4以及1)与图像原始值相加,按照原图像控制信号的行场同步信号延时同步输出,延时的时间即是卷积运算的耗时。
[0022]
一种基于fpga平台实现的红外图像边缘增强装置，所述装置包括：
[0023]
图像模板化模块，用于对每帧输入的校正后图像进行图像缓存，并进行图像模板化，得到模板化图像；
[0024]
中值滤波模块，用于根据所述模板化图像，得到中值滤波后的图像；
[0025]
卷积计算模块，用于对所述中值滤波后的图像进行卷积运算，得到卷积计算结果；
[0026]
图像增强模块，用于将所述卷积计算结果，叠加到滤波前的图像之上并结合行、场同步输出，得到红外边缘增强图像。
[0027]
在一个实施例中，所述图像模板化模块还用于对每帧输入的校正后图像进行图像缓存包括：根据校正图像的行、场同步信号进行图像有效数据的缓存。
[0028]
一种搭载xilinx公司k7系列fpga芯片同等性能的图像处理板，包括图像缓冲输入输出芯片，所述fpga芯片上电自举装载存储于flash的fpga程序，fpga芯片执行所述图像处理算法，实现以上任一项实施例所述方法的步骤。
[0029]
一种fpga芯片支持的flash芯片，其上存储有fpga程序，其特征在于，所述fpga程序被fpga芯片上电自举后执行时实现以上任一项实施例所述方法的步骤。
[0030]
本发明方法利用中值滤波、拉普拉斯算子和卷积运算相结合的方式在fpga平台上有目的性地增强红外图像的边缘信息，改善图像的对比度低、模糊等状况，强调、突出图像的边缘特征，使图像更适合于人或机器进行分析处理，属于红外图像空域特征增强算法的一种。该方法可以有效增强图像边缘信息且不受场景的动静限制。
附图说明
[0031]
图1fpga软件子模块功能划分示意图；
[0032]
图2数据原图以及拉普拉斯卷积运算后边缘提取图；
[0033]
图3fpga软件框架结构图；
[0034]
图4数据原图和软件算法实现处理后边缘增强效果图；
[0035]
图5提供了一种基于fpga实现的红外图像边缘增强算法的流程图。
具体实施方式
[0036]
以下结合附图和具体实施例对本发明作详细说明，根据下面说明和权利要求书，本发明的优点和特征将更清楚。
[0037]
虽然本发明可以以多种形式的修改和替换来扩展，说明书中也列出了一些具体的实施图例并进行详细阐述；应当理解的是，发明者的出发点不是将该发明限于所阐述的特定实施例，正相反，发明者的出发点在于保护所有给予由本权利声明定义的精神或范围内进行的改进、等效替换和修改。
[0038]
在红外图像的判读或识别中如果需要突出边缘和轮廓信息，可以通过锐化滤波器来实现。边缘、轮廓的灰度具有突变特性，从频谱的角度出发可以将灰度突变视作一个高频分量，而微分运算可以使图像的边缘或轮廓更加突出，下面将进一步介绍基于laplacian算
子的微分运算图像锐化方法。
[0039]
laplacian算子是常用的边缘增强处理算子，它是各向同性的二阶导数：
[0040][0041]
其中，x是图像水平坐标，y是图像垂直坐标，对于离散的数字图像而言，二阶导数可以用二阶差分近似为：
[0042][0043][0044][0045][0046]
因此laplacian算子可以按下式2-1计算：
[0047]
▽2f(x,y)＝f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)2-1
[0048]
用3
×
3卷积模板表示为：
[0049][0050]
从模板形式可以看到，如果图像中一个较暗的区域内出现了一个亮点，那么用拉普拉斯运算就会使这个亮点变得更亮。该性质在边缘检测中非常有用。拉普拉斯模板在锐化的同时也增强了图像的噪声，因此可以结合图像平滑处理(中值滤波)来降低这一影响。常用的拉普拉斯模板还有：
[0051][0052]
由于运用拉普拉斯模板对图像进行锐化滤波的同时会增强图像的噪声，这显然是所不希望的。为此，在锐化处理之前，势必要对图像进行空域平滑处理，筛除噪声对图像锐化处理的影响。
[0053]
中值滤波是一种基于排序统计理论的非线性滤波技术，它的目的是在消除噪声的同时保持图像中的边缘和细节。中值滤波法是把领域内所有像素按序排列，然后用中间值作为中心像素的输出。
[0054]
二维中值滤波的定义为：
[0055][0056]
式中，a为模板窗口，x为数据的水平坐标，y为数据的垂直坐标，k为窗口的水平偏
斜，l为窗口内的垂直方向偏斜。由于中值滤波输出的像素是由邻域图像的中间值决定的，因此中值滤波对个别与周围像素灰度差异较大的点不如取平均值那么敏感，从而可以消除一些孤立的噪声点，又不容易产生模糊。
[0057]
在一个实施例中，一种基于fpga平台实现的红外图像边缘增强方法，所述方法包括：
[0058]
对每帧输入的已经排除红外探测器时域噪声非均匀性的校正后图像进行图像缓存，并进行图像模板化，得到模板化图像；
[0059]
根据所述模板化图像，得到中值滤波后的图像；
[0060]
对所述中值滤波后的图像进行卷积运算，得到卷积计算结果；
[0061]
将所述卷积计算结果，叠加到滤波前的图像之上并结合行、场同步输出，得到红外边缘增强图像。
[0062]
在一个实施例中，所述对每帧输入的校正后图像进行图像缓存包括：根据校正图像的行、场同步信号进行图像有效数据的缓存。
[0063]
在一个实施例中，对所述进行图像模板化，得到模板化图像包括：
[0064]
对每帧输入的校正后图像进行图像缓存模板化，缓存图像数据及其相邻数据形成3
×
3窗口的图像数据模板，得到模板化图像。
[0065]
在一个实施例中，所述根据所述模板化图像，得到中值滤波后的图像包括：
[0066]
在实际fpga实现流程中，缓存中心数据及其相邻数据,即选用3
×
3的模板窗口大小，从左上到右下遍历整帧校正图像形成每个数据及该数据对应的3
×
3数据模板窗口；
[0067]3×
3数据模板窗口的输出值由窗口中的中值决定，遍历完成后得到中值滤波后的图像。
[0068]
在一个实施例中，所述对所述中值滤波后的图像进行卷积运算，得到卷积计算结果包括：
[0069]
利用拉普拉斯算子通过公式(2-1)对中值滤波后的图像模板进行卷积运算；
[0070]
▽2f(x,y)＝f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)
……
公式(2-1)；
[0071]
其中x表示数据在图像中的水平坐标，y表示垂直坐标。在一个实施例中，将所述卷积计算结果，叠加到滤波前的图像之上并结合行、场同步输出，得到红外边缘增强图像包括：
[0072]
由公式(2-1)所得到的卷积结果按照三档增益(0.2,0.4以及1)与图像原始值相加,按照原图像控制信号的行场同步信号延时同步输出,延时的时间即是卷积运算的耗时。
[0073]
在一个实施例中，提供了一种基于fpga平台实现的红外图像边缘增强装置，所述装置包括：
[0074]
图像模板化模块，用于对每帧输入的校正后图像进行图像缓存，并进行图像模板化，得到模板化图像；
[0075]
中值滤波模块，用于根据所述模板化图像，得到中值滤波后的图像；
[0076]
卷积计算模块，用于对所述中值滤波后的图像进行卷积运算，得到卷积计算结果；
[0077]
图像增强模块，用于将所述卷积计算结果，叠加到滤波前的图像之上并结合行、场同步输出，得到红外边缘增强图像。
[0078]
在一个实施例中，所述图像模板化模块还用于对每帧输入的校正后图像进行图像
缓存包括：根据校正图像的行、场同步信号进行图像有效数据的缓存。
[0079]
在一个实施例中，请一并参阅图1，提供了fpga软件子模块功能划分示意图，综合考虑fpga软件模块的可拓展性和灵活性，将功能性滤波模块划分三个子级模块：
[0080]
子模块template_data,用于将行场同步以及图像数据缓存，将图像数据3*3模板化。设计了子模块laplacian_filter，以验证拉普拉斯算子的卷积运算是否能按照预期功能提取图像边缘信息并输出。子模块func_filter设计为模块顶层，用于选择对应的滤波器将数据输出。
[0081]
请一并参阅图2，数据原图是分辨率640
×
512的14位宽数字校正图，实验fpga平台为xilinx公司k7系列芯片xc7k325t。由经过对比后可以看出，经过拉普拉斯算子卷积运算之后，数据原图中的边缘被很清晰准确地提取了出来。而且由于原图经过中值滤波处理之后再进行的拉普拉斯算子卷积运算，图像当中的噪点并没有被明显地放大。图像中的轮廓清晰，边缘锐利清楚。该算法初步的功能已经验证，算法可行、有效。
[0082]
在一个实施例中，在边缘提取功能性滤波模块的主要功能仿真验证之后，考虑将卷积运算结果叠加到原始数据上可能的溢出性风险，防止图像的极性反转，对数据进行合理性保护并结合行、场同步输出。软件顶层将图1流程模块化，fpga设计之后的结构如图3所示：
[0083]
仍利用分辨率640*512的14bit数字校正图作为数据图源，fpga芯片xc7k325t，测试验证模块功能，得到的效果图如图4所示，左上为数据原图。右上、左下、右下分别为对应三种拉普拉斯滤波模板的三种增强档位的边缘增强效果图。从图中可以看出该模块的边缘增强的效果明显，显著增强了图像的物体边缘信息，使图像整体的清晰度有了显著的提高。
[0084]
在一个实施例中，提供了一种fpga搭载平台，其上运载有模块化fpga程序，所述fpga程序被fpga芯片执行时实现以上任一实施例所述的方法的步骤。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分的流程时可以通过fpga模块化程序来指令相适配的fpga芯片平台来完成，所述fpga程序可存储于相应fpga芯片所支持的一款非易失性flash芯片可读存储介质中，该fpga程序在执行时，可包括如上述各方法的实施例的流程。
[0085]
一种搭载上述fpga芯片的图像处理板，包括图像缓冲输入输出芯片以及固化fpga程序的flash芯片，所述fpga芯片上电自举装载存储于flash中的fpga程序，fpga芯片执行所述fpga程序时实现以上任一实施例所述方法的步骤。具体地，该图像处理板需搭载必要外设，包括图像缓冲输入输出芯片，承担图像数据输入输出的串并转换缓冲工作。
[0086]
本发明方法利用中值滤波、拉普拉斯算子和卷积运算相结合的方式在fpga平台上有目的性地增强红外图像的边缘信息，改善图像的对比度低、模糊等状况，强调、突出图像的边缘特征，使图像更适合于人或机器进行分析处理，属于红外图像空域特征增强算法的一种。该方法可以有效增强图像边缘信息且不受场景的动静限制。

技术特征：
1.一种基于fpga平台实现的红外图像边缘增强方法，其特征在于，所述方法包括：对每帧输入的已经排除红外探测器时域噪声非均匀性的校正后图像进行图像缓存，并进行图像模板化，得到模板化图像；根据所述模板化图像，得到中值滤波后的图像；对所述中值滤波后的图像进行卷积运算，得到卷积计算结果；将所述卷积计算结果，叠加到滤波前的图像之上并结合行、场同步输出，得到红外边缘增强图像。2.根据权利要求1所述的方法，其特征在于，所述对每帧输入的已经排除红外探测器时域噪声非均匀性的校正后图像进行图像缓存包括：根据校正图像的行、场同步信号进行图像有效数据的缓存。3.根据权利要求2所述的方法，其特征在于，所述进行图像模板化，得到模板化图像包括：对每帧输入的校正后图像进行图像缓存模板化，缓存图像数据及其相邻数据形成3
×
3窗口的图像数据模板，得到模板化图像。4.根据权利要求3所述的方法，其特征在于，所述根据所述模板化图像，得到中值滤波后的图像包括：在实际fpga实现流程中，缓存中心数据及其相邻数据,即选用3
×
3的模板窗口大小，从左上到右下遍历整帧校正图像形成每个数据及该数据对应的3
×
3数据模板窗口；3
×
3数据模板窗口的输出值由窗口中的中值决定，遍历完成后得到中值滤波后的图像。5.根据权利要求4所述的方法，其特征在于，所述对所述中值滤波后的图像进行卷积运算，得到卷积计算结果包括：利用拉普拉斯算子通过公式(2-1)对中值滤波后的图像模板进行卷积运算；
▽2f(x,y)＝f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)
……
公式(2-1)；其中x表示数据在图像中的水平坐标，y表示垂直坐标。6.根据权利要求5所述的方法，其特征在于，所述将所述卷积计算结果，叠加到滤波前的图像之上并结合行、场同步输出，得到红外边缘增强图像包括：由公式(2-1)所得到的卷积结果按照三档增益(0.2,0.4以及1)与图像原始值相加,按照原图像控制信号的行场同步信号延时同步输出,延时的时间即是卷积运算的耗时。7.一种基于fpga平台实现的红外图像边缘增强装置，其特征在于，所述装置包括：图像模板化模块，用于对每帧输入的校正后图像进行图像缓存，并进行图像模板化，得到模板化图像；中值滤波模块，用于根据所述模板化图像，得到中值滤波后的图像；卷积计算模块，用于对所述中值滤波后的图像进行卷积运算，得到卷积计算结果；图像增强模块，用于将所述卷积计算结果，叠加到滤波前的图像之上并结合行、场同步输出，得到红外边缘增强图像。8.根据权利要求7所述的装置，其特征在于，所述图像模板化模块还用于对每帧输入的校正后图像进行图像缓存包括：根据校正图像的行、场同步信号进行图像有效数据的缓存。9.一种搭载xilinx公司k7系列fpga芯片同等性能的图像处理板，包括图像缓冲输入输
出芯片，所述fpga芯片上电自举装载存储于flash的fpga程序，fpga芯片执行所述图像处理算法实现权利要求1-6中任一项所述的方法的步骤。10.一种fpga芯片支持的flash芯片，其上存储有fpga程序，其特征在于，所述fpga程序被fpga芯片上电自举后执行时实现权利要求1-6中任一项所述的方法的步骤。

技术总结
本发明一种基于FPGA平台实现的红外图像边缘增强算法，其具体方法步骤如下：a.对每帧输入的校正后图像进行图像缓存，并3


技术研发人员：张天一 张越 张硕
受保护的技术使用者：北京遥感设备研究所
技术研发日：2022.11.25
技术公布日：2023/9/22