图像匹配方法、装置、电子设备及存储介质与流程

1.本技术涉及图像处理技术领域，尤其涉及一种图像匹配方法、装置、电子设备及存储介质。


背景技术：

2.图像匹配技术有着广泛的应用，例如用于视觉即时定位与地图创建(simultaneous localization and mapping，slam)、图像识别、三维重建等场景。目前应用较多的图像匹配技术是快速特征点提取和描述(oriented fast and rotated brief，orb)算法，结合特征检测与特征描述子进行图像匹配，缩短了匹配时间。
3.但是，使用orb算法进行图像匹配容易受图像纹理、光照、和噪声等影响，特别是应用于复杂多变的场景时，误匹配率较高，图像匹配的质量难以保证。


技术实现要素：

4.有鉴于此，本技术实施例期望提供一种图像匹配方法、装置、电子设备及存储介质。
5.本技术的技术方案是这样实现的：
6.第一方面，本技术实施例提供一种图像匹配方法，包括：
7.从第一图像提取第一特征点以及所述第一特征点的描述信息，并从第二图像提取第二特征点以及所述第二特征点的描述信息；
8.基于所述第一特征点的描述信息和所述第二特征点的描述信息，得到第一特征点对，其中，所述第一特征点对包括：一个所述第一特征点和一个所述第二特征点，且所述第一特征点对的一个所述第一特征点的描述信息和一个所述第二特征点的描述信息满足第一条件；
9.基于至少部分所述第一特征点对，生成目标矩阵；
10.基于所述目标矩阵，确定内点率；
11.根据所述内点率以及所述第一特征点对，确定第二特征点对，其中，所述第二特征点对的特征点的匹配准确度高于所述第一特征点对的特征点的匹配准确度。
12.基于上述方案，所述第一条件，包括：
13.根据所述第一特征点对的所述第一特征点的描述信息和所述第二特征点的描述信息确定的汉明距离，小于第一设定距离的设定倍数；
14.其中，所述第一设定距离为：任意一个所述第一特征点和任意一个所述第二特征点之间的最小汉明距离。
15.基于上述方案，所述第一特征点对的第一特征点满足第一极线方程，所述第一特征点对的第二特征点满足第二极线方程，其中，所述第一极线方程基于所述第一特征点对的第二特征点确定，所述第二极线方程基于所述第一特征点对的第一特征点确定。
16.基于上述方案，所述内点率为：所述第一特征点对的数量与满足第二条件的所述
第一特征点对的数量之间的第一比值，其中，所述第二条件为：第一距离的平方与第二距离的平方的和小于第二设定距离，所述第一距离为所述第一特征点对的第一特征点与所述第二极线方程的距离，所述第二距离为所述第一特征点对的第二特征点与所述第一极线方程的距离。
17.基于上述方案，所述根据所述内点率以及所述第一特征点对，确定第二特征点对，包括以下至少之一：
18.当所述内点率小于第一设定阈值时，重新从所述第一图像提取第一特征点以及所述第一特征点的描述信息，并从所述第二图像提取第二特征点和所述第二特征点的描述信息；
19.当所述内点率大于或等于所述第一设定阈值且小于第二设定阈值时，根据所述目标矩阵和所述第一特征点对确定所述第二特征点对；
20.当所述内点率大于或等于所述第二设定阈值时，根据所述第一特征点对确定所述第二特征点对。
21.基于上述方案，所述根据所述目标矩阵和所述第一特征点对确定所述第二特征点对，包括：
22.根据所述第一极线方程和所述第二极线方程，确定所述第一特征点与所述第二特征点之间的第三距离；
23.根据所述第三距离，确定所述第二特征点对。
24.基于上述方案，所述根据所述第三距离，确定所述第二特征点对，包括以下至少之一：
25.当所述第三距离小于第三设定阈值时，确定所述第一特征点和所述第二特征点的匹配对为所述第二特征点对；
26.当所述第三距离大于或等于所述第三设定阈值且小于第四设定阈值时，确定满足第三条件的所述第一特征点和所述第二特征点的匹配对为所述第二特征点对；
27.当所述第三距离大于或等于所述第四设定阈值时，确定所述第一特征点和所述第二特征点的匹配对不为所述第二特征点对。
28.基于上述方案，所述第三条件，包括：
29.所述第一特征点和所述第二特征点之间的连线没有相交。
30.基于上述方案，所述基于至少部分所述第一特征点对，生成目标矩阵，包括：
31.确定所述第一特征点对的所述第一特征点和所述第二特征点之间的第四距离；
32.确定所述第一特征点对的所述第一特征点与次近邻特征点之间的第五距离；其中，所述次近邻特征点为距离所述第一特征点第二近的所述第二特征点；
33.确定所述第四距离和所述第五距离之间的第二比值；
34.基于满足第四条件的所述第一特征点对，生成所述目标矩阵，其中，所述第四条件为所述第二比值小于第五设定阈值。
35.第二方面，本技术实施例提供一种图像匹配装置，包括：
36.提取模块，用于从第一图像提取第一特征点以及所述第一特征点的描述信息，并从第二图像提取第二特征点以及所述第二特征点的描述信息；
37.得到模块，用于基于所述第一特征点的描述信息和所述第二特征点的描述信息，
得到第一特征点对，其中，所述第一特征点对包括：一个所述第一特征点和一个所述第二特征点，且所述第一特征点对的一个所述第一特征点的描述信息和一个所述第二特征点的描述信息满足第一条件；
38.生成模块，用于基于至少部分所述第一特征点对，生成目标矩阵；
39.第一确定模块，用于基于所述目标矩阵，确定内点率；
40.第二确定模块，用于根据所述内点率以及所述第一特征点对，确定第二特征点对，其中，所述第二特征点对的特征点的匹配准确度高于所述第一特征点对的特征点的匹配准确度。
41.第三方面，本技术实施例提供一种电子设备，包括：
42.存储器，存储有计算机可读指令；
43.处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现第一方面技术方案提供的方法。
44.第四方面，本技术实施例提供一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令，所述计算机可执行指令被执行后，能够实现第一方面技术方案提供的方法。
45.本技术实施例提供的基于图像匹配方法、装置、电子设备及存储介质，能够通过对待匹配的图像进行特征点和描述信息的提取，基于设定条件筛选部分特征点对生成目标矩阵，如此，能够通过设定条件进行筛选从而提升特征点对的质量，进而提升图像匹配的质量；通过目标矩阵与特征点对计算出内点率，并根据内点率进一步筛选出特征点对，如此，能够通过内点率判断出特征点对的匹配质量，从而将匹配质量较高的特征点对筛选出来，进一步提升特征点对的质量，并进一步提升图像匹配的质量。
附图说明
46.图1为本技术实施例提供的一种图像匹配方法的流程示意图；
47.图2为本技术实施例提供的另一种图像匹配方法的流程示意图；
48.图3为本技术实施例提供的一种基于对极几何约束优化的图像误匹配剔除方法的流程示意图；
49.图4为本技术实施例提供的一种对图像进行特征提取的示意图；
50.图5为本技术实施例提供的一种图像之间对极几何约束关系的示意图；
51.图6为本技术实施例提供的一种特征点之间交叉匹配关系的示意图；
52.图7为本技术实施例提供的一种图像匹配装置的结构示意图；
53.图8为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
54.为了能够更加详尽地了解本技术的特点与技术内容，下面结合附图对本技术的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本技术。
55.如图1所示，本技术实施例提供一种图像匹配方法，包括：
56.步骤s110：从第一图像提取第一特征点以及所述第一特征点的描述信息，并从第二图像提取第二特征点以及所述第二特征点的描述信息；
57.步骤s120：基于所述第一特征点的描述信息和所述第二特征点的描述信息，得到第一特征点对，其中，所述第一特征点对包括：一个所述第一特征点和一个所述第二特征点，且所述第一特征点对的一个所述第一特征点的描述信息和一个所述第二特征点的描述信息满足第一条件；
58.步骤s130：基于至少部分所述第一特征点对，生成目标矩阵；
59.步骤s140：基于所述目标矩阵，确定内点率；
60.步骤s150：根据所述内点率以及所述第一特征点对，确定第二特征点对，其中，所述第二特征点对的特征点的匹配准确度高于所述第一特征点对的特征点的匹配准确度。
61.所述图像匹配，可以为通过一定的匹配算法，通过对图像的特征，如颜色、纹理、形状和/或空间位置等进行分析，在两幅或多幅图像之间识别同名点的过程。
62.所述第一图像和所述第二图像均为待匹配的图像，这里的“第一”、“第二”仅是用于区分不同的图像，而非具有实际的意义。示例性地，所述第一图像和所述第二图像可以为风景图像、指纹图像或人物图像等。
63.所述特征点，可以为图像中灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点，即图像中较为显著的点，例如轮廓点、较暗区域中的亮点或较亮区域中的暗点等。
64.在本技术实施例中，可以通过fast(features from accelerated segment test，快速特征检测)算法来检测特征点。
65.所述特征点的描述信息，用于指示特征点的属性。示例性地，所述描述信息包括但不限于特征点以及特征点周围邻近点的灰度值。
66.在本技术实施例中，步骤s110可包括：
67.选定单个像素点为待验证点，并根据待验证点确定检测范围；
68.在检测范围内选取多个像素点并计算其灰度值，计算得到的灰度值满足一定条件时，确定待验证点为特征点；
69.利用灰度质心法和brief(binary robust independent elementary features，二进制编码描述子)算法创建特征点的描述信息。
70.在本技术实施例中，可以随机选定图像中的一个像素点作为待验证点，也可以选择图像的轮廓点等较为显著的点作为待验证点，提升确定特征点的准确性。
71.在本技术实施例中，选定待验证点后，可以以待验证点为中心确定检测范围，然后选取圆周上的多个像素点并计算其灰度值。示例性地，以待验证点作为圆心，第一长度为半径确定一个圆。这里，第一长度可以根据实际需求来确定，第一长度的数值决定了获取的像素点的数量，而获取的每一个像素点均需要计算灰度值，因此为了提高计算的效率，通常会设定一个较小的数值作为第一长度。例如，设定第一长度为3个单位，其中1个单位为1个像素点的大小。这样在圆周上能够获取16个像素点，简单高效，同时保证计算效率与确定特征点的准确率。
72.在本技术实施例中，通过设定阈值t的方式来验证计算出来的灰度值是否符合条件。具体地，通过比较待验证点的灰度值与其周边的其他像素点的灰度值，如果该点周围有足够多的点的灰度值与该点的灰度值差别足够大，则认为其是特征点。示例性地，设待验证点的灰度值为i，若有多个计算出的灰度值与待验证点的灰度值i的差值超过阈值t，则确定待验证点为特征点。例如，设定第一长度为3个单位时，获取的16个像素点中有连续12个像
素点的灰度值大于i+t或小于i-t，则确定待验证点为特征点。
73.在本技术实施例中，考虑到同一张图像发生旋转时，计算出来的图像的特征点及其描述信息应当不变，因此本技术实施例中通过灰度质心法对提取到的特征点添加方向性，即使得特征点具备旋转一致性，从而在利用相同方式对旋转后的图像进行确定特征点时，确定出来的特征点与描述信息与原图像中相同。
74.在本技术实施例中，通过brief算法创建特征点的描述信息。具体地，在特征点的邻域选取n个点对，比较点对灰度值大小，若大于则取1，反之取0，生成n维的特征描述信息。例如，选取4个点对，生成4维的特征描述信息，可以为1101、1110等。这样创建的描述信息不仅能够准确地对特征点的以及特征点周围的灰度值进行描述，而且二进制的记录形式能够节约存储空间。
75.在本技术实施例中，通过所述第一特征点与所述第二特征点之间的相似度确定所述第一特征点与所述第二特征点是否匹配。所述第一条件可以为所述第一特征点与所述第二特征点之间的相似度大于预设阈值。示例性地，当所述第一特征点与所述第二特征点之间的相似度大于80％～90％，优选为90％时，确定所述第一特征点与所述第二特征点匹配成功，即组成第一特征点对。
76.在本技术实施例中，可以通过特征点的描述信息的确定特征点之间的相似度。例如，第一特征点的描述信息为101111，第二特征点的描述信息为111111，则第一特征点与第二特征点仅有第二位字符不同，一共有六位，因此特征点之间的相似度为83.3％，大于80％的预设阈值，即认为第一特征点与第二特征点匹配，组成第一特征点对。
77.在本技术实施例中，步骤s130可包括：
78.基于所述第一特征点对的匹配质量，确定满足预设条件的第一特征点对；
79.基于所述满足预设条件的第一特征点对，生成所述目标矩阵。
80.所述目标矩阵可以为基础矩阵。所述基础矩阵为：表示第一图像的第一特征点与第二图像的第二特征点之间的空间几何关系的矩阵，可以通过基础矩阵与第一特征点的空间坐标计算得出第二特征点的空间坐标，也可以通过基础矩阵与第二特征点的空间坐标计算得出第一特征点的空间坐标。
81.所述目标矩阵用于表示所述第一特征点和所述第二特征点之间的对应关系。
82.具体地，第一特征点和第二特征点满足匹配条件的关系用所述目标矩阵表示。例如，第一特征点和第二特征点满足对极几何约束，所述目标矩阵用于表示第一特征点和第二特征点之间对极几何约束的关系。
83.在本技术实施例中，可以通过归一化八点算法生成所述目标矩阵。
84.在本技术实施例中，考虑到目标矩阵的优化，需要提高第一特征点对的匹配质量，因此在本技术实施例中对确定的第一特征点对的匹配质量进行评估，选取匹配质量较高的第一特征点对用于生成目标矩阵。如此，能够提高目标矩阵的准确性。
85.在本技术实施例中，与所述目标矩阵符合一定关系的第一特征点对为内点，所述内点率即为符合一定关系的第一特征点对的数量与用于生成目标矩阵的第一特征点对的数量的比值，用于表示生成的目标矩阵与第一特征点对的适配程度。内点率越高，表明第一特征点对的匹配质量越高。
86.在本技术实施例中，根据内点率和第一特征点对来确定第二特征点对，即选取内
点率较高的第一特征点对作为第二特征点对，保证第二特征点对的匹配质量，进而保证图像匹配算法的匹配质量。
87.在本技术实施例中，通过对待匹配的图像进行特征提取找出特征点，并对特征点处理获得对应的描述信息，再比较不同特征点的描述信息来判断特征点之间的相似程度，进而确定满足匹配的特征点对，如此，可以提升特征点对的匹配质量；再抽取部分匹配的特征点对，生成目标矩阵并计算内点率，从而评估抽取部分匹配的特征点对的匹配质量，选取内点率较高的部分匹配的特征点对作为最终的匹配点对，能够进一步提升匹配点对的匹配质量，进而提升图像匹配的匹配质量。
88.在本技术实施例中，所述第一条件，包括：
89.根据所述第一特征点对的所述第一特征点的描述信息和所述第二特征点的描述信息确定的汉明距离，小于第一设定距离的设定倍数；
90.其中，所述第一设定距离为：任意一个所述第一特征点和任意一个所述第二特征点之间的最小汉明距离。
91.所述汉明距离表示字符串对应位置的不同字符的数量。例如，第一特征点的描述信息为101111，第二特征点的描述信息为111111，第一特征点与第二特征点仅有一个对应位置的字符不同，因此第一特征点与第二特征点的汉明距离为1。汉明距离越小，表明特征点之间的相似度越高。故在本技术实施例中通过计算特征点之间的汉明距离来确定匹配的第一特征点对。如此，能大幅度缩短特征点之间匹配的时间。
92.为了提高匹配的正确率，需要过滤掉错误的匹配，故在本技术实施例中，将已匹配的第一特征点对之间的汉明距离与任意特征点之间的最小汉明距离的比值作为判断依据。当比值大于设定倍数时，认为该已匹配的第一特征点对为正确匹配；当比值小于或等于设定倍数时，认为该已匹配的第一特征点对为错误匹配。设定倍数可以根据实际情况进行设定，在本技术实施例中设定倍数为2。
93.考虑到某些场景下特征点之间的最小汉明距离非常小，导致错误地将正确的匹配过滤掉，故在本技术实施例中，在最小汉明距离较小时，可以通过设定经验值来代替最小汉明距离。示例性地，所述经验值可以取25～35，优选为30。
94.在本技术实施例中，所述第一特征点对的第一特征点满足第一极线方程，所述第一特征点对的第二特征点满足第二极线方程，其中，所述第一极线方程基于所述第一特征点对的第二特征点确定，所述第二极线方程基于所述第一特征点对的第一特征点确定。
95.当利用相机在不同位置对同一场景进行拍摄时，会有同一场景的两幅不同图像。故为了描述两幅图像直接的关系，引入对极几何约束来表示。具体地，两幅图上的特征点与相机在不同位置的光学中心组成对极平面，对极平面与各个图像的交线即为极线。
96.所述第一极线方程和第二极线方程用于描述第一特征点和第二特征点之间的关系。具体地，第一特征点与第二特征点匹配时，会满足对极几何约束关系，第二特征点满足由第一特征点确定的第一极线方程，即第二特征点会落在第一极线上；同样地，第一特征点满足由第二特征点确定的第二极线方程，即第一特征点会落在第二极线上。
97.在本技术实施例中，所述内点率为：所述第一特征点对的数量与满足第二条件的所述第一特征点对的数量之间的第一比值，其中，所述第二条件为：第一距离的平方与第二距离的平方的和小于第二设定距离，所述第一距离为所述第一特征点对的第一特征点与所
述第二极线方程的距离，所述第二距离为所述第一特征点对的第二特征点与所述第一极线方程的距离。
98.当第一距离的平方与第二距离的平方的和小于第二设定距离时，认定第一特征点对为内点，即与目标矩阵的匹配度较高。
99.在本技术实施例中，第二条件还可以为第一特征点对的sampson距离小于设定阈值，此时认为sampson距离小于设定阈值的第一特征点对为内点，即与目标矩阵的匹配度较高。具体地，设目标矩阵为f，第一特征点为p＝(x1，y1，1)
t
，第二特征点为q＝(x2，y2，1)
t
，i为正整数，pi表示第i个第一特征点，qi表示第i个第二特征点，[.]k表示取向量的第k个元素，sampson距离为ds，则有
[0100][0101]
如图2所示，所述根据所述内点率以及所述第一特征点对，确定第二特征点对，包括以下至少之一：
[0102]
步骤s210：当所述内点率小于第一设定阈值时，重新从所述第一图像提取第一特征点以及所述第一特征点的描述信息，并从所述第二图像提取第二特征点和所述第二特征点的描述信息；
[0103]
步骤s220：当所述内点率大于或等于所述第一设定阈值且小于第二设定阈值时，根据所述目标矩阵和所述第一特征点对确定所述第二特征点对；
[0104]
步骤s230：当所述内点率大于或等于所述第二设定阈值时，根据所述第一特征点对确定所述第二特征点对。
[0105]
所述第一设定阈值和所述第二设定阈值可根据实际要求和实验经验所要达到的内点率要求进行设置。示例性地，所述第一设定阈值可以为0.78～0.82，优选为0.8；所述第二设定阈值可以为0.88～0.92，优选为0.9。
[0106]
在本技术实施例中，通过设定两个不同的阈值将内点率分为三种不同的情况，进而针对不同的情况进行对应的处理。具体地，当内点率小于第一设定阈值时，表明目标矩阵并未达到最优状态，需要重新获取特征点并确定目标矩阵；当内点率大于或等于第一设定阈值且小于第二设定阈值时，表明目标矩阵已达到最优状态，需要对第一特征点对进一步优化得到匹配质量更高的第二特征点对；当内点率大于或等于第二设定阈值时，表明第一特征点对的匹配质量已到达最优状态，考虑到匹配算法复杂度以及匹配效率，将此时的第一特征点对作为第二特征点对，即最终的匹配点对。
[0107]
如此，相比于设置单个阈值进行处理的方式，本技术实施例中所提供的根据实际需求设置多个阈值显然能够根据内点率所反映出来目标矩阵的状态以及特征点对的匹配质量选择更合理高效的处理方式，提高所得到的特征点对的匹配质量的同时，减少匹配方法的复杂度，提高匹配效率。
[0108]
在本技术实施例中，所述根据所述目标矩阵和所述第一特征点对确定所述第二特征点对，包括：
[0109]
根据所述第一极线方程和所述第二极线方程，确定所述第一特征点与所述第二特征点之间的第三距离；
[0110]
根据所述第三距离，确定所述第二特征点对。
[0111]
在本技术实施例中，为了进一步提升匹配的正确率，可以根据特征点之间的距离作为判断依据。具体地，距离越大，表明特征点对的匹配程度越低。如此，可以剔除一部分错误的匹配，进一步提高特征点对的匹配质量
[0112]
在本技术实施例中，所述根据所述第三距离，确定所述第二特征点对，包括以下至少之一：
[0113]
当所述第三距离小于第三设定阈值时，确定所述第一特征点和所述第二特征点的匹配对为所述第二特征点对；
[0114]
当所述第三距离大于或等于所述第三设定阈值且小于第四设定阈值时，确定满足第三条件的所述第一特征点和所述第二特征点的匹配对为所述第二特征点对；
[0115]
当所述第三距离大于或等于所述第四设定阈值时，确定所述第一特征点和所述第二特征点的匹配对不为所述第二特征点对。
[0116]
所述第三设定阈值和所述第四设定阈值可根据实际要求和实验的经验值设置。示例性地，所述第三设定阈值可以为30～40，优选为35；所述第四设定阈值可以为60～70，优选为65。
[0117]
在本技术实施例中，通过设定两个不同的阈值将特征点之间的距离分为三种不同的情况，进而针对不同的情况进行对应的处理。具体地，当距离小于第三设定阈值时，表明第一特征点对的匹配质量已到达最优状态，考虑到匹配算法复杂度以及匹配效率，将此时的第一特征点对作为第二特征点对，即最终的匹配点对；当距离大于或等于第三设定阈值且小于第四设定阈值时，表明第一特征点对的匹配质量未到达最优状态，需要对第一特征点对进一步优化得到匹配质量更高的第二特征点对；当距离大于第四设定阈值时，表明第一特征点对的匹配质量较低，需要剔除不作为匹配点对。
[0118]
如此，相比于设置单个阈值进行处理的方式，本技术实施例中所提供的根据实际需求设置多个阈值显然能够根据特征点之间的距离所反映出来特征点对的匹配质量选择更合理高效的处理方式，提高所得到的特征点对的匹配质量的同时，减少匹配方法的复杂度，提高匹配效率。
[0119]
在本技术实施例中，所述第三条件，包括：
[0120]
所述第一特征点和所述第二特征点之间的连线没有相交。
[0121]
考虑到满足对极几何约束的匹配，不同阈值参数的选定依然可能存在误匹配情况，当同一条极线上的匹配出现交叉的情况时，会发生错误匹配。故在本技术实施例中，根据第一特征点和第二特征点之间的连线为依据可以判定是否出现交叉匹配，即错误匹配的情况，从而剔除错误匹配，进一步提升匹配点对的匹配质量。
[0122]
在本技术实施例中，所述第三条件，还可以包括：
[0123]
确定一个第一特征点为预设点；
[0124]
确定所述预设点与所有所述第二特征点之间的汉明距离，然后将得到的汉明距离进行排序，取汉明距离最近的一个所述第二特征点作为第一待匹配点；
[0125]
确定所述第一待匹配点与所有所述第一特征点之间的汉明距离，然后将得到的汉明距离进行排序，取汉明距离最近的一个所述第一特征点作为第二待匹配点；
[0126]
若第二待匹配点为所述预设点，则所述第一待匹配点和所述第二待匹配点满足匹
配，将该匹配点对作为所述第二特征点对。
[0127]
在本技术实施例中，通过双向匹配来剔除错误的匹配点对，进而进一步提升匹配点对的匹配质量。具体地，对于特征点a选出相匹配的特征点b，再用同样的匹配方法，对于特征点b选出相匹配的特征点，若此时选出相匹配的特征点仍为特征点a，则认为该匹配点对正确，将该匹配点对作为第二特征点对，否则剔除该匹配点对。
[0128]
在本技术实施例中，所述基于至少部分所述第一特征点对，生成目标矩阵，包括：
[0129]
确定所述第一特征点对的所述第一特征点和所述第二特征点之间的第四距离；
[0130]
确定所述第一特征点对的所述第一特征点与次近邻特征点之间的第五距离；其中，所述次近邻特征点为距离所述第一特征点第二近的所述第二特征点；
[0131]
确定所述第四距离和所述第五距离之间的第二比值；
[0132]
基于满足第四条件的所述第一特征点对，生成所述目标矩阵，其中，所述第四条件为所述第二比值小于第五设定阈值。
[0133]
所述第五设定阈值可根据实际要求和实验的经验值设置，过大的阈值可能导致存在大量错误匹配点，难以提升匹配质量，而过小的阈值又可能导致符合的匹配点对数量较少，不利于进行目标矩阵的生成。示例性地，所述第五设定阈值可以为0.4～0.6，优选为0.5。
[0134]
在本技术实施例中，引入第二比值对第一特征点对的匹配质量进行评判，所述第二比值越小，说明匹配质量越高。当所有特征点之间的距离都比较近时，匹配的可靠性难以保证，而只有在待匹配点与一个特征点距离比较近，其他特征点距离都相对较远时，该待匹配点匹配的可靠程度增加。故根据第二比值能够筛选出较为可靠的匹配质量较高的第一特征点对。
[0135]
如此，相比于随机抽取部分第一特征点对用于生成目标矩阵，通过比较特征点到最近邻特征点与到次近邻特征点之间的距离，能够提升抽取的第一特征点对的匹配质量，进而提升生成的目标矩阵的准确性。
[0136]
基于前述实施例，本技术实施例提供一种基于对极几何约束优化的图像误匹配剔除方法，旨在保证图像匹配效率和鲁棒性的同时，提高匹配精度和数目。通过对待匹配图像进行orb特征提取及描述，根据汉明距离进行初始匹配，使用基于sampson距离的prosac(progressive sample consensus，渐进一致采样)算法计算基础矩阵f，根据基础矩阵计算出来的内点率以及对极几何约束，对初始特征点集进行筛选，根据距离阈值以及对极几何约束剔除极线上存在的交叉匹配，得到最终的优质匹配点集。所述待匹配图像为前述第一图像或第二图像的一种，所述基础矩阵为前述目标矩阵的一种，所述初始特征点集为前述第一特征点对的一种，所述距离阈值为前述第三距离的一种，所述匹配点集为前述第二特征点对的一种。
[0137]
如图3所示，为本技术提供的一种基于对极几何约束优化的图像误匹配剔除方法的流程示意图。
[0138]
由图3可知，该图像误匹配剔除方法可分为4个步骤：
[0139]
步骤s310：对图像a、b进行orb特征提取及描述，根据汉明距离进行初始匹配；
[0140]
步骤s320：使用基于sampson距离的prosac算法计算基础矩阵f；
[0141]
步骤s330：根据步骤s2中内点率阈值ε以及对极几何约束，使用基础矩阵f双向筛
选初始特征点集；
[0142]
步骤s340：根据距离阈值ζ以及对极几何约束剔除极线上存在的交叉匹配，得到最终的优质匹配。
[0143]
在本技术实施例中，所述步骤s310具体包括：
[0144]
步骤s311：检测范围确定：如图4所示，为本技术实施例提供的一种对图像进行特征提取的示意图，选定图像中的像素p，设其灰度值为i
p
，选取以p为圆心，半径为3的圆周上的16个像素点；
[0145]
步骤s312：阈值比较：设定阈值t，若选取的16个像素点有连续12个像素点的灰度值大于i
p
+t或者小于i
p-t，则该点被确定为特征点；
[0146]
步骤s313：利用灰度质心法，对提取到的特征点添加方向性。采用brief算法创建特征点的描述符，在特征点的邻域选取n个点对，比较点对灰度值大小，若大于则取1，反之取0，生成n维的特征描述符；
[0147]
步骤s314：特征提取完成后，根据汉明汉明距离进行初始匹配：计算原图像中每一个特征点描述子到待匹配图像每一个特征点描述子的汉明距离，距离越小，代表两个特征点越相似，若获得的汉明距离小于最小距离的两倍，则认为匹配。
[0148]
在本技术实施例中，所述步骤s2中基础矩阵f的计算，传统的方法是使用ransac算法，但是由于ransac算法是完全随机抽样，并没有考虑到样本之间的差异性，算法效率较低，本技术对样本质量进行评价，从具有较高质量的样本子集中进行随机抽样，提出一种基于sampson距离的prosac算法用来计算基础矩阵f，提高了算法的效率和鲁棒性。
[0149]
如图5所示，为本技术实施例提供的一种图像之间对极几何约束关系的示意图。首先介绍对极几何原理，对极几何被用来描述两幅图像之间存在的内在射影关系，由图5所示，o1和o2分别为相机在不同角度的光学中心，p点为三维空间中一点，e1和e2是o1和o2的连线和两个成像平面的交点，称为极点。p1和p2分别为p点在两个成像平面上的投影点，射线o1p在第二幅图像中被映射为直线l2，即p1对应的极线，p1对应的点p2必定落在极线l2上，同理，p2对应的点必然落在极线l1上。对极几何约束可以通过基础矩阵f代数表示，基础矩阵f用来表示点到直线的映射，设p1＝(x,y,1)
t
，则其极线l2的方程可以表示为：
[0150][0151]
p1的对应点p2＝(x＇,y＇,1)
t
在l2上，故满足：
[0152]
ax＇+by＇+c＝0
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0153]
且有：
[0154][0155]
对极几何约束描述了正确匹配点对的关系。
[0156]
在本技术实施例中，所述步骤s320具体包括：
[0157]
步骤s321：评价初始匹配集中的样本质量，按质量的好坏进行降序排序，选取样本质量排序靠前的子集合作为抽样子集合；
[0158]
具体的，对于每一组匹配，引入质量评价函数：
[0159]
β＝d
min
/d
min2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0160]
其中，d
min
为匹配对的距离，也就是对应的特征点到最近邻的距离，d
min2
是到次近邻的距离，采用距离比率准则来评价匹配点对的质量，比率越小，质量越高，选取质量较高的匹配集合作为抽样子集合；
[0161]
步骤s322：从抽样子集中随机抽取样本，计算对应的基础矩阵模型，并分别计算所有匹配对与模型的sampson距离，评估此模型，得到满足当前模型的匹配一致集；
[0162]
具体的，计算对极几何模型，设点p1＝(x1,y1,1)
t
和点p2＝(x2,y2,1)
t
是正确匹配，根据式(3)，那么有：
[0163][0164]
将基础矩阵f伸展，得到：
[0165][0166]
根据式(6)，将式(5)转化为：
[0167][0168]
通过抽取8组匹配计算得到基础矩阵参数，针对计算出的模型参数，引入改进的sampson距离进行模型评估，由式(3)定义函数：
[0169]ff
(x)＝(qi)
t
fpi＝0
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0170]
式(8)中其中sampson距离的思想是估计点x的一阶近似函数在估计点附近有很好的线性近似，即:
[0171][0172]
称满足式(9)的δx的范数||δx||2为sampson距离，则可以表示为：
[0173][0174]
式(10)中，[.]k表示取向量的第k个元素。计算每一个匹配的sampson距离，用来评价基础矩阵，若距离小于阈值，加入当前模型的内点集合；
[0175]
步骤s323：根据当前一致集中的元素个数判断当前模型是否最优，若是，则保持当前的基础矩阵模型和集合，删除原先的模型和集合；
[0176]
步骤s324：重复步骤s322至s323，直到当前迭代次数结束或者模型达到设定的内点率阈值ε要求，此处阈值参数可根据实际要求和实验经验所要达到的内点率要求设置两个等级ε1和ε2(参考取值为0.8和0.9)，其中ε1》ε2,如果当前模型的内点率小于阈值参数ε2，则表示模型并未达到最优，继续进行迭代直至迭代次数结束；如果模型内点率在阈值参数ε1和ε2之间，则在得到基础矩阵f最优模型之后继续执行步骤s325进一步优化匹配点；若当前模型的内点率高于阈值参数ε1，则认为匹配质量已经达到最优状态，权衡算法复杂度和匹配效率的考虑下不再进行步骤s330的双向筛选和步骤s340的交叉匹配剔除；
[0177]
步骤s325：对迭代最后得到的最优内点集合重新计算基础矩阵f，得到对极模型。
[0178]
在本技术实施例中，步骤s330是在得到基础矩阵f后，运用对极几何约束双向筛选，步骤s330具体包括：
[0179]
步骤s331：根据式(1)，使用基础矩阵f，对于原图中的特征点pi，计算其对应的极线方程，在待匹配图像中找出与极线方程距离最近的特征点qi，若距离小于某一阈值ζ，则将其作为待匹配点，此处阈值参数可根据实际要求和实验经验值设置两个等级ζ1和ζ2，其中ζ1《ζ2。如果阈值参数选取大于ζ2，则剔除不作为待匹配点；阈值参数在ζ1和ζ2之间在执行完步骤s330之后继续执行步骤s340的交叉匹配剔除，进一步提高匹配质量；如果阈值参数小于ζ1，则认为出现交叉匹配的可能性极小，权衡算法复杂度和匹配效率的考虑下不需要再进行步骤s340的交叉匹配剔除；
[0180]
步骤s332：双向匹配进一步约束。同理，对于待匹配图像中的每一个特征点qi，找出其在原图像中的待匹配点
[0181]
步骤s333：根据匹配点的唯一性原则，若pi与为同一点，满足双向筛选，代表特征点匹配，加入匹配集合，否则剔除；
[0182]
步骤s334：对于所有的特征点进行判断，保留满足对极几何约束的匹配点。
[0183]
在本技术实施例中，步骤s340需要注意的是对于满足对极几何约束的匹配，不同阈值参数的选定依然可能存在误匹配情况，如图6所示，为本技术实施例提供的一种特征点之间交叉匹配关系的示意图，当同一条极线上的匹配出现交叉的情况时，会发生错误匹配。匹配点对(p1,q1)和(p2,q2)都满足对极几何约束，点p1和p2在同一条极线上，对应的q1和q2在另一条极线上，一般情况下，点p1位于点p2上方，那么对应的点q1也应该在q2上方，当发生交叉匹配时，代表匹配错误，为了进一步提高匹配的准确率，需要对这种情况进行处理，剔除交叉匹配，得到最后的优质匹配点集合。
[0184]
如图7所示，为本技术实施例提供的一种图像匹配装置，所述装置包括：
[0185]
提取模块110，用于从第一图像提取第一特征点以及所述第一特征点的描述信息，并从第二图像提取第二特征点以及所述第二特征点的描述信息；
[0186]
得到模块120，用于基于所述第一特征点的描述信息和所述第二特征点的描述信息，得到第一特征点对，其中，所述第一特征点对包括：一个所述第一特征点和一个所述第二特征点，且所述第一特征点对的一个所述第一特征点的描述信息和一个所述第二特征点的描述信息满足第一条件；
[0187]
生成模块130，基于至少部分所述第一特征点对，生成目标矩阵；
[0188]
第一确定模块140，用于基于所述目标矩阵，确定内点率；
[0189]
第二确定模块150，用于根据所述内点率以及所述第一特征点对，确定第二特征点对，其中，所述第二特征点对的特征点的匹配准确度高于所述第一特征点对的特征点的匹配准确度。
[0190]
在一些实施例中，所述提取模块110、得到模块120、生成模块130、第一确定模块140及所述第二确定模块150可均为程序模块，该程序模块被处理器执行之后，能够实现上述各个模块的功能。
[0191]
在另一些实施例中，所述提取模块110、得到模块120、生成模块130、第一确定模块140及所述第二确定模块150可均为软硬结合模块；所述软硬结合模块包括但不限于：各种
可编程阵列；所述现场可编程阵列包括但不限于：现场可编程阵列和/或复杂可编程阵列。
[0192]
在还有一些实施例中，所述提取模块110、得到模块120、生成模块130、第一确定模块140及所述第二确定模块150可均为纯硬件模块；所述纯硬件模块包括但不限于：专用集成电路。
[0193]
在一些实施例中，所述第一条件，包括：
[0194]
根据所述第一特征点对的所述第一特征点的描述信息和所述第二特征点的描述信息确定的汉明距离，小于第一设定距离的设定倍数；
[0195]
其中，所述第一设定距离为：任意一个所述第一特征点和任意一个所述第二特征点之间的最小汉明距离。
[0196]
在一些实施例中，所述第一特征点满足第一极线方程，所述第二特征点满足第二极线方程，其中，所述第一极线方程基于所述第二特征点和所述目标矩阵确定，所述第二极线方程基于所述第一特征点和所述目标矩阵确定。
[0197]
在一些实施例中，所述内点率为：所述第一特征点对的数量与满足第二条件的所述第一特征点对的数量之间的第一比值，其中，所述第二条件为：第一距离的平方与第二距离的平方的和小于第二设定距离，所述第一距离为所述第一特征点对的第一特征点与所述第二极线方程的距离，所述第二距离为所述第一特征点对的第二特征点与所述第一极线方程的距离。
[0198]
在一些实施例中，所述根据所述内点率以及所述第一特征点对，确定第二特征点对，包括以下至少之一：
[0199]
当所述内点率小于第一设定阈值时，重新从所述第一图像提取第一特征点以及所述第一特征点的描述信息，并从所述第二图像提取第二特征点和所述第二特征点的描述信息；
[0200]
当所述内点率大于或等于所述第一设定阈值且小于第二设定阈值时，根据所述目标矩阵和所述第一特征点对确定所述第二特征点对；
[0201]
当所述内点率大于或等于所述第二设定阈值时，根据所述第一特征点对确定所述第二特征点对。
[0202]
在一些实施例中，所述根据所述目标矩阵和所述第一特征点对确定所述第二特征点对，包括：
[0203]
根据所述第一极线方程和所述第二极线方程，确定所述第一特征点与所述第二特征点之间的第三距离；
[0204]
根据所述第三距离，确定所述第二特征点对。
[0205]
在一些实施例中，所述根据所述第三距离，确定所述第二特征点对，包括以下至少之一：
[0206]
当所述第三距离小于第三设定阈值时，确定所述第一特征点和所述第二特征点的匹配对为所述第二特征点对；
[0207]
当所述第三距离大于或等于所述第三设定阈值且小于第四设定阈值时，确定满足第三条件的所述第一特征点和所述第二特征点的匹配对为所述第二特征点对；
[0208]
当所述第三距离大于或等于所述第四设定阈值时，确定所述第一特征点和所述第二特征点的匹配对不为所述第二特征点对。
[0209]
在一些实施例中，所述第三条件，包括：
[0210]
所述第一特征点和所述第二特征点之间的连线没有相交。
[0211]
在一些实施例中，所述基于至少部分所述第一特征点对，生成目标矩阵，包括：
[0212]
确定所述第一特征点对的所述第一特征点和所述第二特征点之间的第四距离；
[0213]
确定所述第一特征点对的所述第一特征点与次近邻特征点之间的第五距离；其中，所述次近邻特征点为距离所述第一特征点第二近的所述第二特征点；
[0214]
确定所述第四距离和所述第五距离之间的第二比值；
[0215]
基于满足第四条件的所述第一特征点对，生成所述目标矩阵，其中，所述第四条件为所述第二比值小于第五设定阈值。
[0216]
如图8所示，本技术实施例提供一种电子设备，所述电子设备包括：
[0217]
存储器，用于存储计算机可读指令；
[0218]
处理器，与所述存储器连接，用于通过执行计算机可读指令，能够实现前述任意实施例提供的方法，例如，可执行图1、图2和/或图3中所示方法。
[0219]
该存储器可为各种类型的存储器，可为随机存储器、只读存储器、闪存等。所述存储器可用于信息存储，例如，存储计算机可执行指令等。所述计算机可执行指令可为各种程序指令，例如，目标程序指令和/或源程序指令等。
[0220]
所述处理器可为各种类型的处理器，例如，中央处理器、微处理器、数字信号处理器、可编程阵列、数字信号处理器、专用集成电路或图像处理器等。所述处理器可以通过总线与所述存储器连接。所述总线可为集成电路总线等。
[0221]
如图8所示，该电子设备还可包括网络接口，该网络接口可用于通过网络和对端设备进行交互。
[0222]
本技术实施例还提供一种计算机存储介质，该计算机存储介质存储有计算机可执行指令，该计算机可执行指令被执行后，能够实现前述任意实施例提供的方法，例如，可执行图1、图2和/或图3中所示方法。
[0223]
本实施例提供的计算机存储介质包括：移动存储设备、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0224]
在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
[0225]
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0226]
另外，在本技术各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0227]
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0228]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种图像匹配方法，其特征在于，所述图像匹配方法包括：从第一图像提取第一特征点以及所述第一特征点的描述信息，并从第二图像提取第二特征点以及所述第二特征点的描述信息；基于所述第一特征点的描述信息和所述第二特征点的描述信息，得到第一特征点对，其中，所述第一特征点对包括：一个所述第一特征点和一个所述第二特征点，且所述第一特征点对的一个所述第一特征点的描述信息和一个所述第二特征点的描述信息满足第一条件；基于至少部分所述第一特征点对，生成目标矩阵；基于所述目标矩阵，确定内点率；根据所述内点率以及所述第一特征点对，确定第二特征点对，其中，所述第二特征点对的特征点的匹配准确度高于所述第一特征点对的特征点的匹配准确度。2.根据权利要求1所述的方法，其特征在于，所述第一条件，包括：根据所述第一特征点对的所述第一特征点的描述信息和所述第二特征点的描述信息确定的汉明距离，小于第一设定距离的设定倍数；其中，所述第一设定距离为：任意一个所述第一特征点和任意一个所述第二特征点之间的最小汉明距离。3.根据权利要求1所述的方法，其特征在于，所述第一特征点对的第一特征点满足第一极线方程，所述第一特征点对的第二特征点满足第二极线方程，其中，所述第一极线方程基于所述第一特征点对的第二特征点确定，所述第二极线方程基于所述第一特征点对的第一特征点确定。4.根据权利要求3所述的方法，其特征在于，所述内点率为：所述第一特征点对的数量与满足第二条件的所述第一特征点对的数量之间的第一比值，其中，所述第二条件为：第一距离的平方与第二距离的平方的和小于第二设定距离，所述第一距离为所述第一特征点对的第一特征点与所述第二极线方程的距离，所述第二距离为所述第一特征点对的第二特征点与所述第一极线方程的距离。5.根据权利要求4所述的方法，其特征在于，所述根据所述内点率以及所述第一特征点对，确定第二特征点对，包括以下至少之一：当所述内点率小于第一设定阈值时，重新从所述第一图像提取第一特征点以及所述第一特征点的描述信息，并从所述第二图像提取第二特征点和所述第二特征点的描述信息；当所述内点率大于或等于所述第一设定阈值且小于第二设定阈值时，根据所述目标矩阵和所述第一特征点对确定所述第二特征点对；当所述内点率大于或等于所述第二设定阈值时，根据所述第一特征点对确定所述第二特征点对。6.根据权利要求5所述的方法，其特征在于，所述根据所述目标矩阵和所述第一特征点对确定所述第二特征点对，包括：根据所述第一极线方程和所述第二极线方程，确定所述第一特征点与所述第二特征点之间的第三距离；根据所述第三距离，确定所述第二特征点对。7.根据权利要求6所述的方法，其特征在于，所述根据所述第三距离，确定所述第二特
征点对，包括以下至少之一：当所述第三距离小于第三设定阈值时，确定所述第一特征点和所述第二特征点的匹配对为所述第二特征点对；当所述第三距离大于或等于所述第三设定阈值且小于第四设定阈值时，确定满足第三条件的所述第一特征点和所述第二特征点的匹配对为所述第二特征点对；当所述第三距离大于或等于所述第四设定阈值时，确定所述第一特征点和所述第二特征点的匹配对不为所述第二特征点对。8.根据权利要求7所述的方法，其特征在于，所述第三条件，包括：所述第一特征点和所述第二特征点之间的连线没有相交。9.根据权利要求1所述的方法，其特征在于，所述基于至少部分所述第一特征点对，生成目标矩阵，包括：确定所述第一特征点对的所述第一特征点和所述第二特征点之间的第四距离；确定所述第一特征点对的所述第一特征点与次近邻特征点之间的第五距离；其中，所述次近邻特征点为距离所述第一特征点第二近的所述第二特征点；确定所述第四距离和所述第五距离之间的第二比值；基于满足第四条件的所述第一特征点对，生成所述目标矩阵，其中，所述第四条件为所述第二比值小于第五设定阈值。10.一种图像匹配装置，其特征在于，所述图像匹配装置包括：提取模块，用于从第一图像提取第一特征点以及所述第一特征点的描述信息，并从第二图像提取第二特征点以及所述第二特征点的描述信息；得到模块，用于基于所述第一特征点的描述信息和所述第二特征点的描述信息，得到第一特征点对，其中，所述第一特征点对包括：一个所述第一特征点和一个所述第二特征点，且所述第一特征点对的一个所述第一特征点的描述信息和一个所述第二特征点的描述信息满足第一条件；生成模块，用于基于至少部分所述第一特征点对，生成目标矩阵；第一确定模块，用于基于所述目标矩阵，确定内点率；第二确定模块，用于根据所述内点率以及所述第一特征点对，确定第二特征点对，其中，所述第二特征点对的特征点的匹配准确度高于所述第一特征点对的特征点的匹配准确度。11.一种电子设备，其特征在于，包括：存储器，存储有计算机可读指令；处理器，与所述存储器连接，用于通过运行所述计算机可读指令，能够实现权利要求1至9任一项提供的方法。12.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行后，能够实现权利要求1至9任一项所述的方法。

技术总结
本申请实施例公开了一种图像匹配方法、装置、电子设备及存储介质。图像匹配方法包括：从第一图像提取第一特征点以及第一特征点的描述信息，并从第二图像提取第二特征点以及第二特征点的描述信息；基于第一特征点的描述信息和第二特征点的描述信息，得到第一特征点对，其中，第一特征点对包括：一个第一特征点和一个第二特征点，且第一特征点对的一个第一特征点的描述信息和一个第二特征点的描述信息满足第一条件；基于至少部分第一特征点对，生成目标矩阵；基于目标矩阵，确定内点率；根据内点率以及第一特征点对，确定第二特征点对，其中，第二特征点对的特征点的匹配准确度高于第一特征点对的特征点的匹配准确度。提高匹配质量。量。量。


技术研发人员：宋亚风 赵旭 尚云华
受保护的技术使用者：中国移动通信集团有限公司
技术研发日：2022.08.10
技术公布日：2023/9/22