一种内窥镜图像自适应增强方法

1.本发明涉及一种内窥镜图像自适应增强方法，属于计算机视觉与医学相结合的交叉学科技术领域。


背景技术：

2.无线胶囊内窥镜(wireless capsule endoscopy，wce)可以有效的观察患者胃肠道信息。但是由于wce有限的照明功率以及复杂的胃肠道环境，导致wce所拍摄的图像往往是不清晰的，尤其是在长满微小绒毛的小肠中。小肠表面长满了用来吸收营养物质到血管的微小绒毛，导致wce所拍摄的小肠图像模糊导致绒毛信息不足甚至消失。因此，有必要对wce小肠图像进行增强处理，来凸显具有微小绒毛结构的边缘细节信息，帮助医生更好的观察图像，且为诸如基于wce采集图像的即时导航规划、以及后期小肠三维重建等提供支撑。
3.目前已有许多对图像进行增强的方法，常见的经典方法有三类，即直方图均衡(histogram equalization，he)方法、基于retinex理论方法和反锐化掩模(unsharping mask，usm)方法等。基于he的方法通过输入图像的灰度级的概率分布重新映射图像的灰度级来实现图像增强，但是其增强结果存在增强不足、过度增强和噪声严重放大的问题；基于retinex的方法将图像视为照度分量和反射分量的组合，通过调整相应分量来增强图像，然而基于retinex方法对图像细节信息进行凸显的效果并不很理想。而usm方法在强调图像细节信息上具有良好的优势。具体来说，传统的usm方法采用固定的增益因子来增强高频分量，之后有学者对usm方法进行了改进提出了基于图像局部信息的自适应增益因子。此外，在近十年也有许多学者提出了基于usm对内窥镜图像增强的方法，但这些方法没有考虑好细节增强和噪声抑制之间的平衡，导致增强结果存在边缘过冲以及噪声放大的问题，因此并不能直接适合于内窥镜小肠特性增益因子的生成。


技术实现要素：

4.为了目前无线胶囊内窥镜拍摄图像增强效果不明显的问题，本发明提供了一种内窥镜图像自适应增强方法，所述技术方案如下：
5.本发明的第一个目的在于提供一种内窥镜图像自适应增强方法，包括：
6.步骤1：获取原始内窥镜图像，通过引导滤波器对所述原始内窥镜图像进行滤波平滑得到其低频分量，然后采用所述原始内窥镜图像减去滤波后的低频分量获得高频分量；
7.步骤2：根据所述原始内窥镜图像不同区域的低频分量构造光照增益函数来自适应地生成光照增益因子w1，在增强高频分量的同时抑制暗区域的噪声；
8.步骤3：基于所述内窥镜图像不同区域的拉普拉斯算子，卷积获得梯度增益函数，以自适应地生成梯度增益因子w2；
9.步骤4：将所述光照增益因子w1、梯度增益因子w2和高频分量做矩阵相乘，得到增益高频分量，再将所述增益高频分量叠加到原图中，对所述内窥镜图像进行增强。
10.可选的，所述光照增益因子w1通过光照增益函数获得，所述光照增益函数为：
[0011][0012]
其中，(x，y)为图像像素坐标，为原内窥镜图像经过低通滤波器滤波后的图像，mean为的均值。
[0013]
可选的，所述梯度增益因子w2的计算方法为：
[0014][0015]
其中，为原始图像与拉普拉斯算子模板卷积并归一化之后的结果的绝对值，代表图像的边缘信息。
[0016]
可选的，所述步骤4得到的增强后的图像为：
[0017][0018]
k＝α
·
w1
·
w2
[0019]
其中，zi(x，y)为增强后的图像，i(x，y)为原始内窥镜图像，α为控制最大值参数。
[0020]
可选的，所述引导滤波器包含输入图像p、引导图像g和输出图像q，所述引导图像g和输出图像q之间的的线性关系为：
[0021][0022]
其中，ωm为方形窗口，窗口中心位于m；am和bm为线性函数系数，所述输入图像p为待滤波图像；
[0023]
然后通过最小化线性代价函数来获得am和bm，从而得到输出图像q，所述线性代价函数为：
[0024][0025]
其中，ε是防止am过大正则因子。
[0026]
可选的，所述步骤1首先将所述内窥镜图像从rgb颜色空间转换到hsi颜色空间，再运用所述引导滤波器对所述内窥镜图像hsi颜色空间的i分量进行滤波平滑，从而得到其低频分量。
[0027]
可选的，所述步骤4中将增益高频分量叠加到原始内窥镜图像hsi颜色空间的i分量中。
[0028]
可选的，所述步骤4还包括：将增强后的内窥镜图像从hsi颜色空间转换到rgb颜色空间。
[0029]
本发明的第二个目的在于提供一种内窥镜图像自适应增强装置，包括处理器以及存储器，所述存储器上存储有由所述处理器执行的指令，当指令被所述处理器执行时，使得所述内窥镜图像自适应增强装置实现上述任一项所述的内窥镜图像自适应增强方法。
[0030]
本发明的第三个目的在于提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述任一项所述的内窥镜图像自适应增强方法。
[0031]
本发明有益效果是：
[0032]
本发明通过使用引导滤波器对内窥镜图像进行滤波得到边缘与梯度保持良好的
低频分量，并根据内窥镜图像不同区域的低频分量构造光照增益函数来自适应生成光照增益因子；以及根据内窥镜图像不同区域的拉普拉斯算子卷积结果构造梯度增益函数来自适应生成梯度增益因子；最后联合上述的光照增益因子与梯度增益因子生成usm方法所需要的自适应增益系数来完成对usm方法的改进，实验证明，本发明应用于小肠内窥镜图片增强时，可以在有效实现增强小肠绒毛细节信息的同时抑制暗区域噪声和防止边缘过冲现象发生，有效地凸显了具有微小绒毛结构的边缘细节信息。
附图说明
[0033]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0034]
图1是本发明一种基于反锐化掩模内窥镜小肠图像自适应增强方法的流程图
[0035]
图2为本发明实施例二中小肠图片处理结果图，其中，(a)-(d)为原始图像，(e)-(h)为增强后的图像。
具体实施方式
[0036]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
[0037]
实施例一：
[0038]
本实施例提供一种内窥镜图像自适应增强方法，参见图1，方法包括：
[0039]
步骤1：获取原始内窥镜图像，通过引导滤波器对原始内窥镜图像进行滤波平滑得到其低频分量，然后采用原始内窥镜图像减去滤波后的低频分量获得高频分量；
[0040]
步骤2：根据原始内窥镜图像不同区域的低频分量构造光照增益函数来自适应地生成光照增益因子w1，在增强高频分量的同时抑制暗区域的噪声；
[0041]
步骤3：基于内窥镜图像不同区域的拉普拉斯算子，卷积获得梯度增益函数，以自适应地生成梯度增益因子w2；
[0042]
步骤4：将光照增益因子w1、梯度增益因子w2和高频分量做矩阵相乘，得到增益高频分量，再将增益高频分量叠加到原图中，对内窥镜图像进行增强。
[0043]
实施例二：
[0044]
本实施例提供一种内窥镜图像自适应增强方法，对wce小肠图像进行增强，参见图1，所述方法包括：
[0045]
步骤1：获取无线胶囊内窥镜拍摄的小肠图片，首先将wce小肠图像从rgb颜色空间转换到hsi颜色空间，然后徐通过引导滤波器对wce小肠图像进行滤波平滑得到其低频分量，然后采用原图减去滤波后的低频分量获得高频分量；
[0046]
反锐化掩模usm是一种锐化增强技术，反锐化掩模计算如式(1)所示：
[0047][0048]
其中，zi(x，y)为增强后的图像；i(x，y)为原始图像，k为增益系数，为经过低通滤波器滤波后的图像。
[0049]
可以看出，为了获得更加准确的高频分量，使用低通滤波器获得边缘保持效果良好的低频分量是关键。引导滤波器包含输入图像p、引导图像g和输出图像q，引导图像g和输出图像q存在式(2)所示的线性关系：
[0050][0051]
其中，ωm为方形窗口，窗口中心位于m；am和bm为线性函数系数，输入图像可以是待滤波图像。
[0052]
然后通过最小化线性代价函数来获得am和bm，从而得到输出图像q，线性代价函数如式(3)所示。
[0053][0054]
其中，ε是防止am过大正则因子。
[0055]
步骤2：根据步骤1获得的wce图像不同区域的低频分量构造光照增益函数来自适应地生成光照增益因子w1，在增强高频分量的同时抑制暗区域的噪声；
[0056]
将光照增益因子引入式(1)中的增益系数，wce图像不同区域的光照增益因子通过光照增益函数获得，光照增益函数如式(4)所示：
[0057][0058]
其中，(x,y)为图像像素坐标，mean为的均值。
[0059]
由于光照变化缓慢且平滑属于低频信息，因此本实施例将通过引导滤波器得到的低频信息作为wce图像的光照信息。当wce图像亮度小于mean时即wce图像暗区域，本实施例通过压缩的正弦函数来得到光照增益因子，之后将光照增益因子引入增益系数中，在增强暗区域高频信息的同时抑制暗区域的噪声；当wce图像亮度大于mean时，本实施例采用正弦函数来得到光照增益因子，wce图像亮度适中时的光照增益因子值明显大于亮区域光照增益因子值，而且随着亮度的增加，光照增益因子是减小的，通过这样得到的光照增益因子可以重点增强wce图像亮度适中时的高频信息，从而使得增强过后的wce图像细节信息更加丰富，且有效实现了光照增益因子的自适应。
[0060]
步骤3：基于wce小肠图像不同区域的拉普拉斯算子，卷积获得梯度增益函数，以便自适应地生成梯度增益因子w2；
[0061]
本实施例根据梯度增益函数得到不同区域的梯度增益因子，之后将梯度增益因子引入式(1)中的增益系数，从而实现wce小肠图像的自适应增强，梯度增益函数w2如式(5)所示。
[0062][0063]
其中，(x,y)为图像像素坐标；为原始图像与拉普拉斯算子模板卷积并归一化之后的结果的绝对值，其代表图像的边缘信息。
[0064]
当wce小肠图像边缘信息值小于0.1时，此时梯度增益函数增长快速，使得wce小肠图像在边缘信息值较小部分可以快速得到较大的梯度增益因子，之后将梯度增益因子引入
增益系数，达到丰富图像细节信息的目的；当wce小肠图像边缘信息值大于0.1时，此时函数曲线斜率缓慢减小，使得梯度增益因子减小缓慢，且此时wce小肠图像依然需要较大的梯度增益因子，而当边缘信息值接近1时为图像强边缘处，此时梯度增益因子较小，防止边缘过冲现象的发生。
[0065]
步骤4：将上述得到的光照增益因子、梯度增益因子和高频分量做矩阵相乘得到增益高频分量，再将增益高频分量叠加到原图中，对wce小肠图像进行增强。
[0066]
本实施例将结合式(4)和式(5)得到的光照增益因子和梯度增益因子生成式(1)中的增益系数，从而实现对wce小肠图像的自适应增强。自适应增益系数如式(6)所示。
[0067]
k＝α
·
w1
·
w2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0068]
其中，α为控制最大值参数，w1为光照增益因子，w2为梯度增益因子。
[0069]
将其与得到的高频分量进行矩阵相乘，从而得到wce小肠图像不同区域的增益高频分量，之后将其叠加到wce小肠原始输入图像hsi颜色空间的i分量中得到增强分量i，从而达到增强wce小肠图像边缘的目的。
[0070]
基于上述具体实施方式，下面结合具体的实验对本发明的效果加以验证：
[0071]
如图2所示为wce小肠原始输入图像，图2(e)-(h)为与之对应的使用本发明方法增强之后的结果。
[0072]
在图2(e)-(h)中，黑色方框中的绒毛明显比原图中的更多，且本发明使用了自适应的梯度增益因子，所得到的结果在绒毛凸显的同时没有边缘过冲现象的发生；同时在图2(e)-(h)的白色方框为增强的暗区域，在图2(a)-(d)的原始图像中可以发现，暗区域信息少且充满噪声，但是本发明方法通过使用光照增益因子，所得到的增强结果中暗区域的噪声得到了抑制。同时在图2中可以发现，本发明方法增强之后的wce小肠绒毛得到了良好的凸显，医生将可以更好的观察图像诊断病情。
[0073]
本实施例在matlab 2019a完成下完成的，硬件环境是一台8核intel i5-8520u、1.80ghz cpu和8gb ram的pc上进行的，实验过程相对稳定。
[0074]
本发明实施例中的部分步骤，可以利用软件实现，相应的软件程序可以存储在可读取的存储介质中，如光盘或硬盘等。
[0075]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种内窥镜图像自适应增强方法，其特征在于，所述方法包括：步骤1：获取原始内窥镜图像，通过引导滤波器对所述原始内窥镜图像进行滤波平滑得到其低频分量，然后采用所述原始内窥镜图像减去滤波后的低频分量获得高频分量；步骤2：根据所述原始内窥镜图像不同区域的低频分量构造光照增益函数来自适应地生成光照增益因子w1，在增强高频分量的同时抑制暗区域的噪声；步骤3：基于所述内窥镜图像不同区域的拉普拉斯算子，卷积获得梯度增益函数，以自适应地生成梯度增益因子w2；步骤4：将所述光照增益因子w1、梯度增益因子w2和高频分量做矩阵相乘，得到增益高频分量，再将所述增益高频分量叠加到原图中，对所述内窥镜图像进行增强。2.根据权利要求1所述的内窥镜图像自适应增强方法，其特征在于，所述光照增益因子w1通过光照增益函数获得，所述光照增益函数为：其中，(x,y)为图像像素坐标，为原内窥镜图像经过低通滤波器滤波后的图像，mean为的均值。3.根据权利要求2所述的内窥镜图像自适应增强方法，其特征在于，所述梯度增益因子w2的计算方法为：其中，为原始图像与拉普拉斯算子模板卷积并归一化之后的结果的绝对值，代表图像的边缘信息。4.根据权利要求3所述的内窥镜图像自适应增强方法，其特征在于，所述步骤4得到的增强后的图像为：k＝α
·
w1
·
w2其中，zi(x,y)为增强后的图像，i(x,y)为原始内窥镜图像，α为控制最大值参数。5.根据权利要求1所述的内窥镜图像自适应增强方法，其特征在于，所述引导滤波器包含输入图像p、引导图像g和输出图像q，所述引导图像g和输出图像q之间的的线性关系为：其中，ω
m
为方形窗口，窗口中心位于m；a
m
和b
m
为线性函数系数，所述输入图像p为待滤波图像；然后通过最小化线性代价函数来获得a
m
和b
m
，从而得到输出图像q，所述线性代价函数为：其中，ε是防止a
m
过大正则因子。
6.根据权利要求1所述的内窥镜图像自适应增强方法，其特征在于，所述步骤1首先将所述内窥镜图像从rgb颜色空间转换到hsi颜色空间，再运用所述引导滤波器对所述内窥镜图像hsi颜色空间的i分量进行滤波平滑，从而得到其低频分量。7.根据权利要求6所述的内窥镜图像自适应增强方法，其特征在于，所述步骤4中将增益高频分量叠加到原始内窥镜图像hsi颜色空间的i分量中。8.根据权利要求7所述的内窥镜图像自适应增强方法，其特征在于，所述步骤4还包括：将增强后的内窥镜图像从hsi颜色空间转换到rgb颜色空间。9.一种内窥镜图像自适应增强装置，包括处理器以及存储器，所述存储器上存储有由所述处理器执行的指令，当指令被所述处理器执行时，使得所述内窥镜图像自适应增强装置实现根据权利要求1-8中任一项所述的内窥镜图像自适应增强方法。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现根据权利要求1-8中任一项所述的内窥镜图像自适应增强方法。

技术总结
本发明公开了一种内窥镜图像自适应增强方法，属于计算机视觉与医学相结合的交叉技术领域。本发明使用引导滤波器对内窥镜图像进行滤波得到边缘与梯度保持良好的低频分量，并根据图像不同区域的低频分量构造光照增益函数来自适应生成光照增益因子；以及根据内窥镜图像不同区域的拉普拉斯算子卷积结果构造梯度增益函数来自适应生成梯度增益因子；最后联合光照增益因子与梯度增益因子生成USM方法所需要的自适应增益系数来完成对USM方法的改进，实验证明，本发明应用于小肠内窥镜图片增强时，可以在有效实现增强小肠绒毛细节信息的同时抑制暗区域噪声和防止边缘过冲现象发生，有效地凸显了具有微小绒毛结构的边缘细节信息。效地凸显了具有微小绒毛结构的边缘细节信息。效地凸显了具有微小绒毛结构的边缘细节信息。


技术研发人员：王映辉 刘培煊 张少杰
受保护的技术使用者：江南大学
技术研发日：2023.04.04
技术公布日：2023/8/1