一种基于块匹配三维协同滤波的电子断层图像去噪方法

1.本发明涉及冷冻电子断层图像处理和计算机视觉领域，尤其涉及一种基于块匹配三维协同滤波的电子断层图像去噪方法。


背景技术：

2.冷冻电子断层成像技术能够通过生物大分子的电子显微投影图像重构出纳米级分辨率的三维结构，是解析生物大分子三维结构的重要手段。由于成像电子剂量较低和采样角度有限，电子断层图像通常具有较低信噪比，影响后续对图像的分析，因此对电子断层图像去噪具有重要意义。
3.现有的提高电子断层图像信噪比的方法如冷冻电镜子断层平均方法，通过在电子断层图像中识别定位目标分子结构，进行对齐、平均提高图像质量。该方法需要很多人工干预的环节，效率较低。电子断层图像直接去噪方法如低通滤波、双边滤波和各向异性扩散滤波等，存在过度平滑、丢失重要结构信息等问题。
4.因此如何有效降低电子断层图像噪声，同时保护边缘结构和纹理细节等重要信息是需要解决的问题。


技术实现要素：

5.本发明提出了一种基于空间相似性和块匹配三维协同滤波的电子断层图像去噪方法。该方法基于电子断层图像间的空间连贯性，合理扩展二维相似块在图像间的搜索区域，提高相似块的匹配质量，结合来自于多个图像间和图像内的冗余信息进行协同滤波去除噪声。针对块匹配三维协同滤波方法无法直接应用于三维电子断层图像去噪的问题，提出了一种基于空间相似性和块匹配三维协同滤波的电子断层图像去噪方法。
6.冷冻电子断层图像的基于图像间空间相似性的块匹配三维协同滤波去噪方法主要可分为以下几个步骤：
7.一种基于块匹配三维协同滤波的电子断层图像去噪方法，包括以下步骤：
8.(1)含噪声图像相似块匹配：所述相似块的分组是利用非局部的思想，将二维图像块堆叠为三维矩阵；对于三维电子断层图像，除了二维图像块的搜索范围同一层的图像块得到图像内的冗余信息以外，z方向的图像序列也具有相似性，按照固定窗口大小在图像中搜索与给定图像块相似程度高的图像块作为相似块，相似块搜索范围扩展到二维图像序列层间；
9.(2)协同硬阈值滤波：所述步骤(1)得到的三维矩阵进行离散协同变换，对变换域的系数进行收缩操作过滤噪声，再进行逆变换到空间域，得到对每个二维图像块的估计结果；协同硬阈值滤波是通过变换域系数收缩的方法对一组相似图像块的去噪；
10.(3)图像块聚合加权平均得到基础估计：根据步骤(2)得到的估计结果，对图像块的估计结果进行加权平均得到基础估计结果；
11.(4)相似块匹配：根据步骤(3)去噪得到的基础估计结果，进行相似块匹配，得到基
础估计图像的相似块三维矩阵；根据基础估计的相似块三维矩阵的位置信息，在含噪声图像上提取相同位置的相似块组成三维矩阵，得到两组相似块三维矩阵；
12.(5)协同维纳滤波：对步骤(4)得到的两组三维矩阵，以基础估计得到的三维矩阵作为维纳滤波经验值，对含噪声图像的三维矩阵进行维纳滤波；
13.(6)图像块聚合加权平均得到最终估计：对步骤(5)维纳滤波后得到的结果，对图像块的估计结果进行加权平均得到最终估计结果。
14.具体地，所述步骤(1)中除了二维图像块的搜索范围同一层的图像块得到图像内的冗余信息以外，还根据三维电子断层图像在z方向的二维图像序列之间具有的相似性，扩展相似图像块的搜索区域来提取图像间的冗余信息；所述z方向的搜索范围定义为：[z-h，z+h]，其中z表示当前二维图像的z方向坐标，搜索z前后连续h张图像。
[0015]
具体地，所述提取的图像间和图像内的冗余信息是用于进行协同滤波的。
[0016]
具体地，所述以当前参考图像块p为中心的图像窗口中寻找相似图像块q，窗口大小为n
×
n，将这些二维图像块堆叠为三维矩阵，相似块集合表达式如下：
[0017][0018]
其中τ定义了判断相似程度的阈值，d表示图像块p和q的相似性度量。
[0019]
具体地，所述步骤(2)中的硬阈值滤波是白噪声在小波的各个尺度中均匀分布，需通过一个硬阈值来将其区分开来，小于阈值的系数，将其置零，大于阈值的系数保持不变；硬阈值协同滤波的数学表达式如下：
[0020][0021]
其中p(p)表示一组相似图像块组成的三维矩阵，表示硬阈值阶段三维变换，γ表示按照给定阈值。
[0022]
具体地，所述步骤(3)加权平均后基础估计表达式如下：
[0023][0024]
其中表示权值；χq(x)在x∈q时为1，否则为0。
[0025]
具体地，步骤(3)中对图像块聚合加权平均，噪声相对大的图像权重越小，即可降低噪声。
[0026]
具体地，所述步骤(5)中对含噪声图像的三维矩阵进行维纳滤波，维纳滤波器由如下公式表示：
[0027][0028]
其中p
basic
(p)表示参考图像块p与其相似图像块组成的三维矩阵，表示三维线性变换，σ表示噪声水平；
[0029]
因此对三维矩阵进行维纳滤波再逆变换的过程表示如下：
[0030][0031]
具体地，所述步骤(4)和步骤(5)中对基础估计进行块匹配，是根据基础估计结果
的块匹配结果的位置信息，在含噪声图像上提取相同位置的相似块组；以基础估计得到的三维矩阵作为经验值指导含噪声图像三维矩阵进行维纳滤波。
[0032]
具体地，所述步骤(6)中加权平均得到基础估计结果的数学表达式为：
[0033][0034]
其中表示权值；χq(x)在x∈q时为1，否则为0。
[0035]
与现有技术相比，本发明的有益效果为：
[0036]
本发明的方法针对冷冻电子断层图像的去噪处理，基于空间相似性和块匹配三维协同滤波方法提升三维图像质量。三维电子断层图像在z方向的二维图像序列之间具有相似性，合理扩展相似图像块的搜索区域来提取图像间的冗余信息，以提高相似块匹配质量，在协同滤波降低噪声的同时，更好地保留图像的纹理信息。
附图说明
[0037]
图1为基于空间相似性和块匹配三维协同滤波的电子断层图像去噪方法的流程图；
[0038]
图2为二维图像块匹配示意图；
[0039]
图3为电子断层图像z方向三张连续的二维图像；
[0040]
图4为含噪声电子断层图像和去噪结果图像z方向截面图；
[0041]
图5为图4中灰框选中细节放大展示图。
具体实施方式
[0042]
为使本发明的目的、技术方案和优点更加清楚，以下结合实施例及其附图对本发明作进一步说明。发明所述的完整流程如图1所示。
[0043]
一种基于块匹配三维协同滤波的电子断层图像去噪方法，包括以下步骤：
[0044]
(1)含噪声图像相似块匹配：所述相似块的分组是利用非局部的思想，将二维图像块堆叠为三维矩阵；对于三维电子断层图像，除了二维图像块的搜索范围同一层的图像块得到图像内的冗余信息以外，z方向的图像序列也具有相似性，按照固定窗口大小在图像中搜索与给定图像块相似程度高的图像块作为相似块，相似块搜索范围扩展到二维图像序列层间；
[0045]
(2)协同硬阈值滤波：所述步骤(1)得到的三维矩阵进行离散协同变换，对变换域的系数进行收缩操作过滤噪声，再进行逆变换到空间域，得到对每个二维图像块的估计结果；协同硬阈值滤波是通过变换域系数收缩的方法对一组相似图像块的去噪；
[0046]
(3)图像块聚合加权平均得到基础估计：根据步骤(2)得到的估计结果，对图像块的估计结果进行加权平均得到基础估计结果；
[0047]
(4)相似块匹配：根据步骤(3)去噪得到的基础估计结果，进行相似块匹配，得到基础估计图像的相似块三维矩阵；根据基础估计的相似块三维矩阵的位置信息，在含噪声图像上提取相同位置的相似块组成三维矩阵，得到两组相似块三维矩阵；
[0048]
(5)协同维纳滤波：对步骤(4)得到的两组三维矩阵，以基础估计得到的三维矩阵作为维纳滤波经验值，对含噪声图像的三维矩阵进行维纳滤波；
[0049]
(6)图像块聚合加权平均得到最终估计：对步骤(5)维纳滤波后得到的结果，对图像块的估计结果进行加权平均得到最终估计结果。
[0050]
实施例1
[0051]
这组实验数据采用从-61
°
～+65
°
投影角度范围，每次投影间隔2
°
，所得共64张投影图像，三维重建后得到的大小为1024
×
1024
×
300的三维电子断层图像。针对这组数据进行本发明所述的基于空间相似性和块匹配三维协同滤波的电子断层图像去噪方法，包括以下步骤：
[0052]
s1，含噪声图像相似块匹配：二维图像块匹配如图2所示。对于三维电子断层图像，二维图像块的搜索范围除了同一层的图像块以外，z方向的图像序列也具有相似性，相似块搜索范围扩展到二维图像序列层间，电子断层图像z方向三张连续的二维图像如图3所示。在以当前参考图像块p为中心的图像窗口中寻找相似图像块q。其相似块集合表达式如下：
[0053][0054]
其中τ定义了判断相似程度的阈值，d表示图像块p和q的相似性度量。
[0055]
其中搜索窗口大小为n
×
n，n＝8，滑动步长为p＝3，层间搜索范围h＝2。相似程度阈值τ＝0.1。
[0056]
s2，协同硬阈值滤波：对s1得到的三维矩阵进行离散协同变换，对变换域的系数进行收缩操作，再进行逆变换，得到对每个二维图像块的估计结果；协同滤波通过变换域系数收缩的方法可以有效降低一组相似图像块的噪声。其硬阈值协同滤波的数学表达式如下：
[0057][0058]
其中p(p)表示一组相似图像块组成的三维矩阵，表示硬阈值阶段三维变换，γ表示按照给定阈值。
[0059]
计算得到硬阈值协同滤波阈值λ
3d
＝2.7。
[0060]
s3，图像块聚合加权平均得到基础估计：在协同滤波之后，得到三维矩阵中每个二维图像块的去噪结果，这些二维图像块在三维图像的位置会出现重复现象，也就是每个体素值存在多组估计结果。针对这一问题，通过图像块聚合加权平均，即对图像块的估计结果进行加权平均得到最终的估计结果。
[0061]
加权平均后基础估计表示如下：
[0062][0063]
其中表示权值；χq(x)在x∈q时为1，否则为0。
[0064]
s4，根据s3得到的去噪基础估计，进行相似块匹配，得到基础估计图像的相似块三维矩阵。根据基础估计结果的相似块三维矩阵的位置信息，在含噪声图像上提取相同位置的相似块组成三维矩阵，得到两组相似块三维矩阵。
[0065]
s5，协同维纳滤波：对步骤(4)得到的两组三维矩阵，以基础估计得到的三维矩阵作为维纳滤波经验值，对含噪声图像的三维矩阵进行维纳滤波。维纳滤波器由如下公式表示：
[0066][0067]
其中p
basic
(p)表示参考图像块p与其相似图像块组成的三维矩阵，表示三维线性变换，σ表示噪声水平。
[0068]
因此对三维矩阵进行维纳滤波再逆变换的过程表示如下：
[0069][0070]
s6，图像块聚合加权平均得到最终估计：对步骤(5)得到的维纳滤波结果，对图像块的估计结果进行加权平均得到基础估计结果。最终估计的表示如下：
[0071][0072]
其中表示权值；χq(x)在x∈q时为1，否则为0。含噪声电子断层图像和去噪结果图像z方向截面图如图4所示，图4中灰框选中细节放大展示图如图5所示。
[0073]
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。
[0074]
应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。

技术特征：
1.一种基于块匹配三维协同滤波的电子断层图像去噪方法，其特征在于，包括以下步骤：(1)含噪声图像相似块匹配：所述相似块的分组是利用非局部的思想，将二维图像块堆叠为三维矩阵；对于三维电子断层图像，除了二维图像块的搜索范围同一层的图像块得到图像内的冗余信息以外，z方向的图像序列也具有相似性，按照固定窗口大小在图像中搜索与给定图像块相似程度高的图像块作为相似块，相似块搜索范围扩展到二维图像序列层间；(2)协同硬阈值滤波：所述步骤(1)得到的三维矩阵进行离散协同变换，对变换域的系数进行收缩操作过滤噪声，再进行逆变换到空间域，得到对每个二维图像块的估计结果；协同硬阈值滤波是通过变换域系数收缩的方法对一组相似图像块的去噪；(3)图像块聚合加权平均得到基础估计：根据步骤(2)得到的估计结果，对图像块的估计结果进行加权平均得到基础估计结果；(4)相似块匹配：根据步骤(3)去噪得到的基础估计结果，进行相似块匹配，得到基础估计图像的相似块三维矩阵；根据基础估计的相似块三维矩阵的位置信息，在含噪声图像上提取相同位置的相似块组成三维矩阵，得到两组相似块三维矩阵；(5)协同维纳滤波：对步骤(4)得到的两组三维矩阵，以基础估计得到的三维矩阵作为维纳滤波经验值，对含噪声图像的三维矩阵进行维纳滤波；(6)图像块聚合加权平均得到最终估计：对步骤(5)维纳滤波后得到的结果，对图像块的估计结果进行加权平均得到最终估计结果。2.根据权利要求1所述的一种基于块匹配三维协同滤波的电子断层图像去噪方法，其特征在于，所述步骤(1)中除了二维图像块的搜索范围同一层的图像块得到图像内的冗余信息以外，还根据三维电子断层图像在z方向的二维图像序列之间具有的相似性，扩展相似图像块的搜索区域来提取图像间的冗余信息；所述z方向的搜索范围定义为：[z-h,z+h],其中z表示当前二维图像的z方向坐标，搜索z前后连续h张图像。3.根据权利要求2所述的一种基于块匹配三维协同滤波的电子断层图像去噪方法，其特征在于，所述提取的图像间和图像内的冗余信息是用于进行协同滤波的。4.根据权利要求1所述的一种基于块匹配三维协同滤波的电子断层图像去噪方法，其特征在于，所述以当前参考图像块p为中心的图像窗口中寻找相似图像块q，窗口大小为n
×
n，将这些二维图像块堆叠为三维矩阵，相似块集合表达式如下：p(p)＝{q:d(p,q)≤τ}其中τ定义了判断相似程度的阈值，d表示图像块p和q的相似性度量。5.根据权利要求1所述的一种基于块匹配三维协同滤波的电子断层图像去噪方法，其特征在于，所述步骤(2)中的硬阈值滤波是白噪声在小波的各个尺度中均匀分布，需通过一个硬阈值来将其区分开来，小于阈值的系数，将其置零，大于阈值的系数保持不变；硬阈值协同滤波的数学表达式如下：其中p(p)表示一组相似图像块组成的三维矩阵，表示硬阈值阶段三维变换，γ表示按照给定阈值。
6.根据权利要求1所述的一种基于块匹配三维协同滤波的电子断层图像去噪方法，其特征在于，所述步骤(3)加权平均后基础估计表达式如下：其中表示权值；χ
q
(x)在x∈q时为1，否则为0。7.根据权利要求1所述的一种基于块匹配三维协同滤波的电子断层图像去噪方法，其特征在于，步骤(3)中对图像块聚合加权平均，噪声相对大的图像权重越小，即可降低噪声。8.根据权利要求1所述的一种基于块匹配三维协同滤波的电子断层图像去噪方法，其特征在于，所述步骤(5)中对含噪声图像的三维矩阵进行维纳滤波，维纳滤波器由如下公式表示：其中p
basic
(p)表示参考图像块p与其相似图像块组成的三维矩阵，表示三维线性变换，σ表示噪声水平；因此对三维矩阵进行维纳滤波再逆变换的过程表示如下：9.根据权利要求1所述的一种基于块匹配三维协同滤波的电子断层图像去噪方法，其特征在于，所述步骤(4)和步骤(5)中对基础估计进行块匹配，是根据基础估计结果的块匹配结果的位置信息，在含噪声图像上提取相同位置的相似块组；以基础估计得到的三维矩阵作为经验值指导含噪声图像三维矩阵进行维纳滤波。10.根据权利要求1所述的一种基于块匹配三维协同滤波的电子断层图像去噪方法，其特征在于，所述步骤(6)中加权平均得到基础估计结果的数学表达式为：其中表示权值；χ
q
(x)在x∈q时为1，否则为0。

技术总结
本发明公开了一种基于块匹配三维协同滤波的电子断层图像去噪方法，该方法成功将基于块匹配的滤波方法应用到三维电子断层图像去噪任务中。具体为根据三维电子断层图像在Z方向的二维图像序列之间具有相似性，合理扩展相似图像块的搜索区域来提取图像间的冗余信息，以提高相似块匹配质量，在协同滤波降低噪声的同时，更好地保留图像的纹理信息。本发明提出的基于空间相似性的块匹配三维协同滤波方法对电子断层图像的去噪效果优于主流的电子断层图像去噪方法，去噪后的图像拥有更丰富的纹理细节。理细节。


技术研发人员：冯结青 陈雪梅
受保护的技术使用者：浙江大学
技术研发日：2023.03.29
技术公布日：2023/7/31