快速消除累积误差的显微图像实时拼接方法

1.本发明涉及图像拼接技术领域，具体是一种快速消除累积误差的显微图像实时拼接方法。


背景技术：

2.显微镜广泛应用于工业检测、医学分析以及激光、半导体等科学研究领域，但是在实际应用中，由于显微镜视野大小的限制，只能采集到待观察样本的部分图像。近年来，随着图像处理技术的快速发展，可以通过图像处理的方式，运用图像拼接技术将待观察样本在显微镜下各个视野的显微图像进行合成，从而获得具有较宽视野、较高分辨率的大视野显微图像。
3.图像拼接技术在虚拟现实、显微图像处理、遥感技术和军事领域等受到了广泛关注，是目前的研究热点。在显微图像拼接中，对大视野显微图像进行快速而又准确的拼接是人们重点关注的问题。现有的图像拼接方式可分为两大类，一类是采用先匹配后融合的拼接方式，即当所有图像都拼接完成后才能得到最后的大视野显微图像，无法实现显微图像的实时拼接及大视野显微图像的实时预览；另一类是边配准边融合的拼接方法，即在图像配准后按顺序拼接，这对显微图像的采集质量以及图像配准算法的准确度要求非常高，一旦匹配失败，拼接误差便会沿着拼接路径累加，从而使后续的图像产生拼接错位等问题。因此，亟需一种拼接方法，能极大地消除拼接过程的累积误差，优化匹配失败带来的问题，有效地提高大视野显微图像的拼接质量和拼接速度。


技术实现要素：

4.针对上述现有技术中显微图像拼接过程中的累积误差问题，本发明提供一种快速消除累积误差的显微图像实时拼接方法，能极大地消除拼接过程中的累积误差，优化匹配失败带来的问题，有效地提高大视野显微图像的拼接质量和拼接速度，能够在显微图像采集的同时进行局部显微图像的实时拼接。
5.为实现上述目的，本发明提供一种快速消除累积误差的显微图像实时拼接方法，包括如下步骤：
6.步骤1，获取当前帧扫描得到的当前帧显微图像，并对所述当前帧显微图像进行亮度校正与位置校正处理；
7.步骤2，获取已拼接大视野显微图像，并得到所述已拼接大视野显微图像中与所述当前帧显微图像相邻的已拼接相邻显微图像；
8.步骤3，基于所述当前帧显微图像与所述已拼接相邻显微图像进行模板匹配，得到所述当前帧显微图像在对应所述已拼接相邻显微图像方向上的配准度及偏移量；
9.步骤4，判断所述当前帧显微图像各个方向上的配准度及偏移量是否匹配正确；
10.步骤5，基于所述当前帧显微图像在各个方向上的配准度及偏移量的匹配结果，以及所述已拼接相邻显微图像在所述已拼接大视野显微图像中的绝对位置坐标，采用基于快
速消除累积误差的方法得到所述当前帧显微图像在所述已拼接大视野显微图像中的绝对位置坐标；
11.步骤6，基于所述当前帧显微图像在所述已拼接大视野显微图像中的绝对位置坐标，将所述当前帧显微图像拼接至所述已拼接大视野显微图像中，完成所述已拼接大视野显微图像的实时更新并展示；
12.步骤7，重复步骤1至步骤6，直至大视野显微图像拼接完成。
13.与现有技术相比，本发明具有如下有益技术效果：
14.1.本发明可在显微图像采集的同时进行局部显微图像拼接，并将已拼接显微图像进行实时显示；
15.2.本发明在图像拼接的过程中，采用基于快速消除累积误差的方法进行图像定位，进而可有效消除拼接过程中累积误差对拼接效果的影响；
16.3.本发明通过事先进行亮度矩阵标定的方式，对采集到的显微图像进行亮度矫正，可有效消除大视野显微图像各部分亮度不一致问题；
17.4.本发明通过事先对显微物镜和运动平台之间的位置关系进行标定，对采集到的显微图像进行位置矫正，进而有效解决实际应用中显微物镜和运动平台之间不完全垂直的问题。
附图说明
18.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
19.图1为本发明实施例中快速消除累积误差的显微图像实时拼接方法的流程图；
20.图2为本发明实施例中从上至下的蛇形扫描方式的示意图；
21.图3为本发明实施例中从左至右的蛇形扫描方式的示意图；
22.图4为本发明实施例中显微图像的邻域匹配的示意图；
23.图5为本发明实施例中匹配方向j＝0的匹配示意图；
24.图6为本发明实施例中匹配方向j＝1的匹配示意图；
25.图7为本发明实施例中匹配方向j＝2的匹配示意图；
26.图8为本发明实施例中匹配方向j＝3的匹配示意图；
27.图9为本发明实施例中显微图像的位置索引示意图。
28.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
29.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后......)仅
用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
31.另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
32.另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
33.本实施例公开了一种快速消除累积误差的显微图像实时拼接方法，该拼接方法建立于图像拼接已进行一段时间后，即当前具有已拼接一部分的大视野显微图像(以下定义为“已拼接大视野显微图像”)。参考图1，本实施例中的显微图像实时拼接方法具体包括如下步骤1至步骤7。
34.步骤1，获取当前帧扫描得到的当前帧显微图像，并对当前帧显微图像进行亮度校正与位置校正处理。
35.本实施例中，为了快速获得相互重叠的原始显微图像序列，可采取的扫描方式有两种，分别是从上至下的蛇形扫描方式和从左至右的蛇形扫描方式。假定样本包括3
×
3个待扫描视野，从上至下的蛇形扫描方式即图2中箭头所示的扫描方向，从左至右的蛇形扫描方式即图3中箭头所示的扫描方向。在具体实施过程中，可将扫描得到的原始显微图像序列先存储至图像栈中，在进行显微图像的实时拼接时，再根据时间顺序从图像栈中逐帧提取显微图像，作为当前帧显微图像。
36.在扫描过程中，考虑到镜头和光源对显微成像的影响，采集到的显微图像会出现亮度不均匀的情况，这会导致生成的大视野显微图像各部分亮度不同，因此在显微图像拼接之前需要对原始的当前帧显微图像进行亮度矫正，本实施例中采用的亮度校正方法是利用事先标定好的亮度矫正矩阵乘以原始的当前帧显微图像，即可完成亮度矫正，即：
[0037][0038]
其中，表示亮度矫正后的当前帧显微图像，i表示原始的当前帧显微图像，bc表示亮度矫正矩阵。
[0039]
亮度矫正矩阵需要事先标定好，且每个显微设备仅需标定一次，考虑到采集的显微图像存在一定的噪声，因此本实施例通过采用多张图像累加求平均的方法进行图像去噪，具体步骤如下：
[0040]
首先，通过显微设备采集多张空白无杂质的空白显微图像，并对各空白显微图像进行累加求平均，得到标准显微图像；
[0041]
然后，将标准显微图像转换成灰度图像，并计算灰度图像的亮度平均值同时在灰度图像中进行遍历查找亮度最大的值v
max
，再计算得到亮度矫正矩阵，为：
[0042][0043]
其中，bc(x，y)表示亮度矫正矩阵bc中(x，y)坐标处的亮度矫正系数，g(x，y)表示灰度图像中(x，y)坐标处的灰度值。
[0044]
在对当前帧显微图像进行亮度校正后，再进行位置校正。现有的显微图像拼接方法为了提高拼接的效率，大多数都假定显微物镜与运动平台间的相对位置关系是垂直的，即运动平台坐标系与成像面坐标系是平行的，这样在匹配过程中只需要考虑水平面上的偏移量，从而使得拼接效果不佳。在实际应用中，显微物镜和运动平台之间做不到完全垂直，即运动平台坐标系和成像面坐标系间存在一定的夹角，因此本实施例通过事先对显微物镜和运动平台之间的位置关系进行标定，得到位置变换矩阵，将位置变换矩阵乘以亮度矫正后的当前帧显微图像实现位置矫正，即得到亮度校正与位置校正后的当前帧显微图像。
[0045]
其中，位置变换矩阵同样需要事先标定好，且每个显微设备仅需标定一次，标定方法可以采用张正友标定法。当然，在具体应用过程中也可以采用其它方法标定得到位置变换矩阵。
[0046]
值得注意的时，在具体应用时并不局限于从图像栈中获取当前帧显微图像后再进行亮度校正与位置校正，也可以先对扫描得到的显微图像进行亮度校正与位置校正后再将其存储至图像栈。
[0047]
步骤2，获取已拼接大视野显微图像，并得到已拼接大视野显微图像中与当前帧显微图像相邻的已拼接相邻显微图像。
[0048]
由于在采集显微图像时的扫描方式为从上至下的蛇形扫描和从左至右的蛇形扫描。若是采用从上至下或从下至上的蛇形扫描，则对于当前帧显微图像而言，与之相邻的已拼接相邻显微图像在已拼接大视野显微图像位于其左侧(或右侧)与上方(或下方)，或仅位于左侧或右侧(即当前帧显微图像为一列图像的第一帧时)，或仅位于上方或下方(即当前帧显微图像的所在列为第一列时)。若是采用从左至右或从右至左的蛇形扫描，则对于当前帧显微图像而言，与之相邻的已拼接相邻显微图像在已拼接大视野显微图像位于其左侧(或右侧)与上方(或下方)，或仅位于上方或下方(即当前帧显微图像为一行图像的第一帧时)，或仅位于左侧或右侧(即当前帧显微图像的所在行为第一行时)。
[0049]
步骤3，基于当前帧显微图像与已拼接相邻显微图像进行模板匹配，得到当前帧显微图像在对应已拼接相邻显微图像方向上的配准度及偏移量。
[0050]
本实施例中，采用基于梯度积分图的模板匹配算法依次计算两两相邻显微图像间的配准度及偏移量。假定样本包括3
×
3个待扫描区域，扫描区域四个角点处的显微图像有2个与之相邻的显微图像，扫描区域首行、首列、末行以及末列(除去四个角点)处的显微图像有3个与之相邻的显微图像，扫描区域的其他位置处均有与之相邻的四个显微图像，即如图4所示。
[0051]
在具体实施过程中，计算当前帧显微图像在对应已拼接相邻显微图像方向上的配准度及偏移量的过程为：
[0052]
步骤301，定义当前帧显微图像为待匹配图像，定义在方向j上的已拼接相邻显微图像为参考图像j，其中，j＝0，1，2，3；方向j＝0表示参考图像位于待匹配图像上方，即图5所示；方向j＝1表示参考图像位于待匹配图像左侧，即图6所示；方向j＝2表示参考图像位于待匹配图像下方，即图7所示；方向j＝3表示参考图像位于待匹配图像右侧，即图8所示；
[0053]
步骤302，根据匹配方向，在参考图像j的重叠区域提取感兴趣区域作为模板图像；其中，当j＝0或j＝2时，重叠区域为参考图像j的高度的5％～10％；当j＝1或j＝3时，重叠区域为参考图像j的宽度的5％～10％；即图5至图8所示；由于本实施例设定的扫描方式为
从上至下的蛇形扫描方式，因此在实际匹配过程中，待匹配图像的匹配方向为0和1或者是2和1；
[0054]
步骤303，获取感兴趣区域中心点在待匹配图像中的对应位置，以该位置为基准点，按设定的步长沿水平或垂直方向(即沿显微图像宽度或高度的方向)在待匹配图像中移动基准点；
[0055]
步骤304，每移动一次基准点，以基准点为中心点，在待匹配图像中选取与模板图像大小相同的区域，计算该区域与模板图像的配准度，并计算此时基准点的偏移量，再将计算的配准度、偏移量分别保存在配准度数据集和偏移量数据集中，其中，配准度的计算方法可以采用标准的平方差匹配法、标准的相关匹配法或归一化互相关匹配法等；
[0056]
步骤305，当基准点运动到设定的边界时停止移动，并将配准度数据集中最大的配准度及其对应的偏移量作为待匹配图像在方向j上的配准度及偏移量；
[0057]
其中，当待匹配图像在已拼接大视野显微图像中不存在参考图像j时，则定义待匹配图像在方向j上的配准度及偏移量为0。
[0058]
本实施例中，采用梯度积分图的方法来计算感兴趣区域，具体为：
[0059]
首先，计算参考图像j重叠区域的梯度，具体可采用sobel算子、roberts算子、laplacian算子等计算图像的梯度；
[0060]
其次，在计算参考图像j重叠区域的梯度后，再计算图像梯度的积分图，积分图的计算公式如下：
[0061]
i(x，y)＝i(x-1，y)+i(x，y-1)-i(x-1，y-1)+g(x，y)
[0062]
其中，i(x，y))表示积分图中(x，y)处的积分值，i(x-1，y)表示积分图中(x-1，y)处的积分值，i(x，y-1)表示积分图中(x，y-1)处的积分值，g(x，y)表示图像梯度中(x，y)处的梯度值；
[0063]
最后，基于积分图，计算图像梯度中任意位置一定大小的矩形区域的梯度值之和，找到梯度值之和最大的矩形区域的位置，即为感兴趣区域。利用积分图可以极大地加快计算图像梯度中任意矩形区域的梯度值之和，因为只需经过一次计算。
[0064]
本实施例采用模板匹配方法作为计算相邻两幅显微图像的配准度及偏移量的方法，主要原因是模板匹配方法匹配精度及计算效率非常高，很好的满足了图像拼接过程中效率与精度的平衡。
[0065]
步骤4，判断当前帧显微图像各个方向上的配准度及偏移量是否匹配正确，其具体实施过程为：
[0066]
对于当前帧显微图像在方向j上的匹配结果判定，若当前帧显微图像在方向j上的配准度大于第一阈值，且当前帧显微图像在方向j上的偏移量大于第二阈值，则判定当前帧显微图像在方向j上匹配正确，否则判定当前帧显微图像在方向j上未匹配正确。本实施例将配准度和偏移量分别与第一阈值、第二阈值进行比较是考虑到如下两方面因素：一个是参考图像或待匹配图像的重叠区域无目标或目标物极少时，容易将噪声判断为目标点；另一个是显微图像内容单一，且存在大量相似目标，会产生大量相似目标区域。
[0067]
步骤5，基于当前帧显微图像在各个方向上的配准度及偏移量的匹配结果，以及已拼接相邻显微图像在已拼接大视野显微图像中的绝对位置坐标，采用基于快速消除累积误差的方法得到当前帧显微图像在已拼接大视野显微图像中的绝对位置坐标。
[0068]
在具体实施过程中，根据当前帧显微图像在各个方向的匹配结果，分别采用不同的方式计算当前帧显微图像在大视野显微图像中的绝对位置坐标。其具体实施过程可根据当前帧显微图像在各个方向的匹配结果分为如下两种情况：
[0069]
情况一：当前帧显微图像在至少一个方向匹配正确时，当前帧显微图像在已拼接大视野显微图像中绝对位置坐标的计算过程具体包括如下步骤：
[0070]
步骤501，分别计算当前帧显微图像在各个方向上的可信度，为：
[0071]
对于未匹配正确或不存在绝对位置坐标已确定的已拼接相邻显微图像的方向，判定当前帧显微图像在对应方向的可信度为0；
[0072]
对于匹配正确且存在绝对位置坐标已确定的已拼接相邻显微图像的方向，则基于该已拼接相邻显微图像以及该已拼接相邻显微图像之前的已拼接好m-1帧显微图像计算得到当前帧显微图像在对应方向的可信度，为：
[0073][0074]
其中，mj表示当前帧显微图像在方向j的可信度，s
ij
表示第i帧显微图像在第j个方向上的配准度；
[0075]
步骤502，基于当前帧显微图像在各个方向上的偏移量及已拼接相邻显微图像的绝对位置坐标，分别计算当前帧显微图像各个方向上对应的绝对位置坐标，为：
[0076][0077][0078][0079][0080][0081][0082][0083][0084]
其中，(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)分别表示当前帧显微图像在方向j＝0、j＝2、j＝1、j＝3上对应的绝对位置坐标，分别表示当前帧显微图像在方向j＝0、j＝2、j＝1、j＝3上对应已拼接相邻显微图像的绝对位置坐标，d1、d2、d3、d4分别表示当前帧显微图像在方向j＝0、j＝2、j＝1、j＝3上的偏移量，b1表示当前帧显微图像在方向j＝0、j＝2的重叠区域，b2表示当前帧显微图像在方向j＝1、j＝3的重叠区域；
[0085]
步骤503，基于当前帧显微图像在各个方向上对应的绝对位置坐标以及可信度，计算得到当前帧显微图像在已拼接大视野显微图像中的绝对位置坐标，为：
[0086][0087]
[0088]
其中，(x
p
，y
p
)表示当前帧显微图像在已拼接大视野显微图像中的绝对位置坐标，m0、m2、m1、m3分别表示当前帧显微图像在方向j＝0、j＝2、j＝1、j＝3上的可信度，表示当前帧显微图像在所有方向上的可信度之和；
[0089]
步骤504，将当前帧显微图像标记为绝对位置坐标已确定。
[0090]
值得注意的是，在进行步骤502时，可能会存在中某一个或两个或三个坐标未知的情况，此时可将未知的坐标定位为(0，0)或其它任意值。因此，若存在某一方向已拼接相邻显微图像的绝对位置坐标未知，则当前帧显微图像在该方向的可信度为0，则在步骤503的绝对位置坐标计算过程中该未知坐标的对应项为0，因此即便是将未知的坐标定位为(0，0)或其它任意值，也不会对最终的计算结果造成影响。
[0091]
本实施例考虑到拼接过程中误差的累积效应，因此采用了基于快速消除累积误差的方法来消除拼接过程中累积误差带来的拼接精度的影响。通过计算未拼接图像邻域各个方向上的可信度，并将其加权到位置信息中，使得可信度高的位置信息对最终的位置贡献大。
[0092]
情况二：当前帧显微图像在四个方向均未匹配正确时，当前帧显微图像在已拼接大视野显微图像中绝对位置坐标的计算过程具体为：
[0093]
参考上一次拼接完成的显微图像在已拼接大视野显微图像中的绝对位置坐标，采用机械硬拼的方式得到当前帧显微图像的绝对位置坐标。
[0094]
由于本实施例的拼接方法中，在拼接过程中每一帧显微图像的绝对位置坐标是逐帧确定的。而上一帧显微图像必然为当前帧显微图像某一方向上的已拼接相邻显微图像，因此，在对当前帧显微图像进行拼接时，必然可通过上述两种情况中的一种得到当前帧显微图像在已拼接大视野显微图像中的绝对位置坐标。
[0095]
本实施例中，机械硬拼的方式是指相邻显微图像之间的偏移量为零，基于所要参考图像的绝对位置坐标、单幅图像的尺寸信息、未拼接显微图像的位置索引以及伸缩系数计算未拼接显微图像的位置信息，即与下文中初始图像的绝对位置坐标计算方式相同，本实施例暂不对其赘述。
[0096]
步骤6，基于当前帧显微图像在已拼接大视野显微图像中的绝对位置坐标，即在获得当前显微图像的绝对位置坐标后，对相邻两幅显微图像的重叠区域采用线性融合的方式进行图像融合，即能将当前帧显微图像拼接至已拼接大视野显微图像中，完成已拼接大视野显微图像的实时更新并展示；
[0097]
步骤7，重复步骤1至步骤6，直至大视野显微图像拼接完成。
[0098]
作为优选地实施方式，为了实现实时的显微图像拼接，采用并行技术来提高整个拼接流程的运行速度。并行处理是一种能同时执行多个任务的处理机制，它将工作的各部分分配到不同处理进程(线程)中同时运行，这种处理机制能够有效地提高系统的运行速度。本实施例中设计的显微图像拼接方法的整个拼接流程可拆分为图像采集及预处理(即步骤1)、图像匹配(即步骤2、步骤3、步骤4)和图像拼接(即步骤5、步骤6)三个阶段，采用多线程技术使其并行处理以进一步提高运行速度。
[0099]
另外，虽然本实施例中拼接方法建立于图像拼接已进行一段时间后，即当前具有已拼接一部分的大视野显微图像。但是在大多数图像拼接算法中，当所有图像匹配完成后，
需要根据匹配过程得到的偏移量按顺序对显微图像序列进行拼接，从而得到大视野显微图像，即计算每幅显微图像在大视野显微图像中的绝对位置。现有技术中通常的做法是从扫描的起始位置开始，按顺序依次对匹配后的显微图像进行融合拼接。但考虑到某些情况下，扫描的起始位置采集到的是空白的显微图像或低纹理的显微图像，该显微图像在匹配过程中无法得到有效的配准度和偏移量，不适合将其作为拼接的初始图像。因此本实施例基于一定数量的已匹配完成的显微图像，即图像栈中具有一定数量的显微图像后在搜索初始图像，其搜索过程为：
[0100]
计算图像栈中每幅显微图像在各个方向上的配准度之和，将配准度之和的最大值与设定的第三阈值进行比较，如果大于设定的第三阈值，则将配准度之和最大的那个显微图像作为拼接的初始图像，如果小于或等于设定的第三阈值，则动态地增加已匹配完成的显微图像的数量(即继续进行图像扫描增加图像栈中显微图像的数量)，重复上述过程，直到确定拼接的初始图像。
[0101]
当确定好拼接的初始图像后，即可对显微图像集中的显微图像进行拼接，具体为：
[0102]
先计算得到初始图像在大视野显微图像中的绝对位置坐标，并基于初始图像的绝对位置坐标将初始图像拼接至大视野显微图像，其中，计算初始图像在大视野显微图像中的绝对位置坐标，具体为：
[0103]
x0＝(w-s
x
)
×
i+δd[0104]
y0＝(h-sy)
×
j+δd[0105]
其中，(x，y)表示初始图像在大视野显微图像中的绝对位置坐标，w和h表示单幅显微图像的宽度和高度，s
x
和sy表示x和y方向上的伸缩系数，δd表示预留回程差的安全值，i和j表示初始图像在m
×
n个待扫描区域的位置索引，即图9所示；
[0106]
伸缩系数是两个标定参数，需要在拼接前进行标定获得，其计算方法是：选取若干幅内容丰富的显微图像，计算这些显微图像与其相邻的四幅显微图像之间的偏移量，然后计算x方向(即显微图像的宽度方向)偏移量的均值以及y方向(即显微图像的高度方向)偏移量的均值并作为x和y方向上的伸缩系数；
[0107]
在计算得到初始图像在大视野显微图像中的绝对位置坐标后，先将图像栈中时间戳位于初始图像之前的所有显微图像，沿时间戳倒序的方式依次排列，形成第一显微图像序列，同时将图像栈中时间戳位于初始图像之后的所有显微图像，沿时间戳顺序的方式依次排列，形成第二显微图像序列。然后参考初始图像在大视野显微图像中的绝对位置坐标，以初始图像为起点按序列顺序依次将第一显微图像序列中的各显微图像拼接至大视野显微图像后，再以初始图像为起点按序列顺序依次将第二显微图像序列中的各显微图像拼接至大视野显微图像，拼接过程与前述的情况一或情况二相同，因此不再赘述。值得注意的是，在对第二显微图像序列中的各显微图像进行拼接时，随着图像栈中图像数量的增多，第二显微图像序列也是实时更新的，对第二显微图像序列中已有的或更新的显微图像拼接即为本实施例中所定义的实时拼接。
[0108]
当然，在具体实施过程中，对于第一显微图像序列中的显微图像也可以不按照沿时间戳倒序的方式排列，也可以按沿时间戳顺序的方式或随机排列的方式。当第一显微图像序列中的显微图像按沿时间戳顺序的方式或随机排列的方式进行排列时，第一显微图像序列中各显微图像的拼接过程为：
[0109]
第一步，将当前已拼接至大视野显微图像中的显微图像定义为已拼接显微图像，将当前第一显微图像序列中未拼接至大视野显微图像中的显微图像定义为待拼接显微图像；
[0110]
第二步，从前往后遍历第一显微图像序列，依次将邻域方向上存在已拼接显微图像的待拼接显微图像，根据上述情况一或情况二将该待拼接显微图像拼接至大视野显微图像中，同时标记为已拼接显微图像；
[0111]
第三步，再次进行第二步中的遍历拼接过程，如此往复直至第一显微图像序列中所有的显微图像均完成拼接。
[0112]
当第一显微图像序列中所有的显微图像均完成拼接后，再以初始图像为起点按序列顺序依次将第二显微图像序列中的各显微图像拼接至大视野显微图像。
[0113]
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

技术特征：
1.一种快速消除累积误差的显微图像实时拼接方法，其特征在于，包括如下步骤：步骤1，获取当前帧扫描得到的当前帧显微图像，并对所述当前帧显微图像进行亮度校正与位置校正处理；步骤2，获取已拼接大视野显微图像，并得到所述已拼接大视野显微图像中与所述当前帧显微图像相邻的已拼接相邻显微图像；步骤3，基于所述当前帧显微图像与所述已拼接相邻显微图像进行模板匹配，得到所述当前帧显微图像在对应所述已拼接相邻显微图像方向上的配准度及偏移量；步骤4，判断所述当前帧显微图像各个方向上的配准度及偏移量是否匹配正确；步骤5，基于所述当前帧显微图像在各个方向上的配准度及偏移量的匹配结果，以及所述已拼接相邻显微图像在所述已拼接大视野显微图像中的绝对位置坐标，采用基于快速消除累积误差的方法得到所述当前帧显微图像在所述已拼接大视野显微图像中的绝对位置坐标；步骤6，基于所述当前帧显微图像在所述已拼接大视野显微图像中的绝对位置坐标，将所述当前帧显微图像拼接至所述已拼接大视野显微图像中，完成所述已拼接大视野显微图像的实时更新并展示；步骤7，重复步骤1至步骤6，直至大视野显微图像拼接完成。2.根据权利要求1所述的快速消除累积误差的显微图像实时拼接方法，其特征在于，步骤1中，所述亮度校正与所述位置校正的过程为：对所述当前帧显微图像i进行亮度矫正，为：其中，表示亮度矫正后的当前帧显微图像，b
c
表示亮度矫正矩阵；再对显微图像进行位置矫正，为：将显微图像乘以显微物镜和运动平台之间的位置变换矩阵，即得到亮度校正与位置校正后的当前帧显微图像。3.根据权利要求2所述的快速消除累积误差的显微图像实时拼接方法，其特征在于，所述亮度矫正矩阵b
c
的获取过程为：通过显微设备采集多张空白无杂质的空白显微图像，并对各所述空白显微图像进行累加求平均，得到标准显微图像；将所述标准显微图像转换成灰度图像，计算所述灰度图像的亮度平均值并在所述灰度图像中进行遍历查找亮度最大的值v
max
，再计算得到亮度矫正矩阵，为：其中，b
c
(x,y)表示亮度矫正矩阵b
c
中(x,y)坐标处的亮度矫正系数，g(x,y)表示灰度图像中(x,y)坐标处的灰度值。4.根据权利要求1或2或3所述的快速消除累积误差的显微图像实时拼接方法，其特征在于，步骤3的过程为：步骤301，定义所述当前帧显微图像为待匹配图像，定义在方向j上的已拼接相邻显微图像为参考图像j，其中，j＝0,1,2,3；方向j＝0表示所述参考图像位于所述待匹配图像上
方，方向j＝1表示所述参考图像位于所述待匹配图像左侧，方向j＝2表示所述参考图像位于所述待匹配图像下方，方向j＝3表示所述参考图像位于所述待匹配图像右侧；步骤302，在所述参考图像j的重叠区域提取感兴趣区域作为模板图像；其中，当j＝0或j＝2时，重叠区域为所述参考图像j的高度的5％～10％；当j＝1或j＝3时，重叠区域为所述参考图像j的宽度的5％～10％；步骤303，获取所述感兴趣区域中心点在所述待匹配图像中的对应位置，以该位置为基准点，按设定的步长沿水平或垂直方向在所述待匹配图像中移动所述基准点；步骤304，每移动一次所述基准点，以所述基准点为中心点，在所述待匹配图像中选取与所述模板图像大小相同的区域，计算该区域与所述模板图像的配准度，并计算此时所述基准点的偏移量，再将计算的配准度、偏移量分别保存在配准度数据集和偏移量数据集中；步骤305，当所述基准点运动到设定的边界时停止移动，并将配准度数据集中最大的配准度及其对应的偏移量作为所述待匹配图像在方向j上的配准度及偏移量；其中，当所述待匹配图像在所述已拼接大视野显微图像中不存在参考图像j时，则定义待匹配图像在方向j上的配准度及偏移量为0。5.根据权利要求4所述的快速消除累积误差的显微图像实时拼接方法，其特征在于，步骤302中，采用梯度积分图计算所述感兴趣区域，具体为：计算所述参考图像j重叠区域的梯度，并计算得到图像梯度的积分图；基于所述积分图，计算图像梯度中任意位置一定大小的矩形区域的梯度值之和，找到梯度值之和最大的矩形区域的位置，即为所述感兴趣区域。6.根据权利要求4所述的快速消除累积误差的显微图像实时拼接方法，其特征在于，步骤4的过程为：对于所述当前帧显微图像在方向j上的匹配，若所述当前帧显微图像在方向j上的配准度大于第一阈值，且所述当前帧显微图像在方向j上的偏移量大于第二阈值，则判定所述当前帧显微图像在方向j上匹配正确，否则判定所述当前帧显微图像在方向j上未匹配正确。7.根据权利要求6所述的快速消除累积误差的显微图像实时拼接方法，其特征在于，当所述当前帧显微图像在至少一个方向匹配正确时，步骤5的过程具体为：步骤501，分别计算所述当前帧显微图像在各个方向上的可信度，为：对于未匹配正确或不存在绝对位置坐标已确定的所述已拼接相邻显微图像的方向，判定所述当前帧显微图像在对应方向的可信度为0；对于匹配正确且存在绝对位置坐标已确定的所述已拼接相邻显微图像的方向，则基于该所述已拼接相邻显微图像以及该所述已拼接相邻显微图像之前的已拼接好m-1帧显微图像计算得到所述当前帧显微图像在对应方向的可信度，为：其中，m
j
表示所述当前帧显微图像在方向j的可信度，s
ij
表示第i帧显微图像在第j个方向上的配准度；步骤502，基于所述当前帧显微图像在各个方向上的偏移量及所述已拼接相邻显微图像的绝对位置坐标，分别计算所述当前帧显微图像各个方向上对应的绝对位置坐标，为：
其中，(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)分别表示所述当前帧显微图像在方向j＝0、j＝2、j＝1、j＝3上对应的绝对位置坐标，分别表示所述当前帧显微图像在方向j＝0、j＝2、j＝1、j＝3上对应所述已拼接相邻显微图像的绝对位置坐标，d1、d2、d3、d4分别表示所述当前帧显微图像在方向j＝0、j＝2、j＝1、j＝3上的偏移量，b1表示所述当前帧显微图像在方向j＝0、j＝2的重叠区域，b2表示所述当前帧显微图像在方向j＝1、j＝3的重叠区域；步骤503，基于所述当前帧显微图像在各个方向上对应的绝对位置坐标以及可信度，计算得到所述当前帧显微图像在所述已拼接大视野显微图像中的绝对位置坐标，为：算得到所述当前帧显微图像在所述已拼接大视野显微图像中的绝对位置坐标，为：其中，(x
p
,y
p
)表示所述当前帧显微图像在所述已拼接大视野显微图像中的绝对位置坐标，m0、m2、m1、m3分别表示所述当前帧显微图像在方向j＝0、j＝2、j＝1、j＝3上的可信度，表示所述当前帧显微图像在所有方向上的可信度之和；步骤504，将当前帧显微图像标记为绝对位置坐标已确定。8.根据权利要求6所述的快速消除累积误差的显微图像实时拼接方法，其特征在于，当所述当前帧显微图像在四个方向均未匹配正确时，步骤5的过程具体为：参考上一次拼接完成的显微图像在所述已拼接大视野显微图像中的绝对位置坐标，采用机械硬拼的方式得到所述当前帧显微图像的绝对位置坐标。

技术总结
本发明公开了一种快速消除累积误差的显微图像实时拼接方法，包括：获取当前帧显微图像，进行亮度校正与位置校正；获取已拼接大视野显微图像中与当前帧显微图像相邻的已拼接相邻显微图像，并进行模板匹配，得到当前帧显微图像在对应方向上的配准度及偏移量；判断当前帧显微图像各个方向上的配准度及偏移量是否匹配正确；采用基于快速消除累积误差的方法得到当前帧显微图像的绝对位置坐标；将当前帧显微图像拼接至已拼接大视野显微图像中，完成已拼接大视野显微图像的实时更新并展示。本发明应用于图像拼接领域，能极大地消除拼接过程中的累积误差，优化匹配失败带来的问题，有效地提高大视野显微图像的拼接质量和拼接速度。地提高大视野显微图像的拼接质量和拼接速度。地提高大视野显微图像的拼接质量和拼接速度。


技术研发人员：翟永平
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：2023.07.21
技术公布日：2023/10/19