基于图像处理的针痕检测方法、装置、设备及介质与流程

1.本公开涉及晶圆测试技术领域，尤其涉及一种基于图像处理的针痕检测方法、装置、设备及介质。


背景技术：

2.晶圆制造完成之后需要进行晶圆测试，具体测试时，可以将探针扎入晶圆上的测试接点(pad)来进行定位，测试结束后，测试接点上会留下针痕，一般需要通过针痕检测方法，对针痕进行位置检测，并依据检测结果判断晶圆测试质量。
3.需要说明的是，针痕检测质量会极大地影响到晶圆测试质量，如何保证针痕检测质量对于本领域技术人员而言是一个值得关注的问题。


技术实现要素：

4.为了保证针痕检测质量，提出了本公开。本公开的实施例提供了一种基于图像处理的针痕检测方法、装置、设备及介质。
5.根据本公开实施例的一个方面，提供了一种基于图像处理的针痕检测方法，包括：
6.将包括待进行针痕检测的测试接点的待处理图像转换为第一灰度图像；
7.从所述待处理图像中分离出预定颜色分量对应的单色图像；
8.基于所述第一灰度图像，按照第一规则生成第一二值图像；其中，所述第一规则包括：像素值未超过对应的像素值阈值的像素点呈白色；
9.基于所述单色图像，按照第二规则生成第二二值图像；其中，所述第二规则包括：像素值超过对应的像素值阈值的像素点呈白色；
10.对所述第一二值图像和所述第二二值图像进行合并，得到合并二值图像；
11.基于所述合并二值图像，确定所述待处理图像中的测试接点的针痕检测结果。
12.根据本公开实施例的另一个方面，提供了一种基于图像处理的针痕检测装置，包括：
13.转换模块，用于将包括待进行针痕检测的测试接点的待处理图像转换为第一灰度图像；
14.分离模块，用于从所述待处理图像中分离出预定颜色分量对应的单色图像；
15.第一生成模块，用于基于所述第一灰度图像，按照第一规则生成第一二值图像；其中，所述第一规则包括：像素值未超过对应的像素值阈值的像素点呈白色；
16.第二生成模块，用于基于所述单色图像，按照第二规则生成第二二值图像；其中，所述第二规则包括：像素值超过对应的像素值阈值的像素点呈白色；
17.合并模块，用于对所述第一二值图像和所述第二二值图像进行合并，得到合并二值图像；
18.第一确定模块，用于基于所述合并二值图像，确定所述待处理图像中的测试接点的针痕检测结果。
19.根据本公开实施例的再一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述基于图像处理的针痕检测方法。
20.根据本公开实施例的又一个方面，提供了一种电子设备，包括：
21.处理器；
22.用于存储所述处理器可执行指令的存储器；
23.所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述基于图像处理的针痕检测方法。
24.基于图像处理的针痕检测方法、装置、设备及介质，对于包括待进行针痕检测的测试接点的待处理图像，一方面可以通过灰度化处理得到能够明显呈现发暗针痕的第一灰度图像，另一方面可以通过分离处理得到能够明显呈现发亮针痕的单色图像，针对第一灰度图像，可以按照第一规则，生成用于突出发暗分量的第一二值图像，针对单色图像，可以按照第二规则，生成用于突出发亮分量的第二二值图像，通过将第一二值图像和第二二值图像进行合并，发暗分量和发亮分量可以被合并在一张二值图像(即合并二值图像)上，将合并二值图像用于待处理图像中的测试接点的针痕检测结果的确定，不管是发暗针痕还是发亮针痕，都能够被有效地检测出来，这样，即便测试接点存在各种材质，导致针痕的亮度存在明显差异，也能够高效可靠地实现针痕检测，因此，本公开的实施例能够兼容对不同特征的针痕的检测，由此能够提升针痕检测质量。
25.下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
26.通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
27.图1是本公开一示例性实施例提供的基于图像处理的针痕检测方法的流程示意图。
28.图2是本公开一示例性实施例中第一灰度图像的示意图。
29.图3是本公开一示例性实施例中单色图像的示意图。
30.图4是本公开一示例性实施例中合并二值图像的示意图。
31.图5是本公开另一示例性实施例提供的基于图像处理的针痕检测方法的流程示意图。
32.图6是本公开一示例性实施例中第一填充图像的示意图。
33.图7是本公开再一示例性实施例提供的基于图像处理的针痕检测方法的流程示意图。
34.图8是本公开一示例性实施例中第二填充图像的示意图。
35.图9是本公开一示例性实施例中晶粒表面图像对应的灰度图像的示意图。
36.图10是本公开一示例性实施例中模板图像对应的灰度图像的示意图。
37.图11是本公开一示例性实施例中测试接点定位信息的生成方式的流程示意图。
38.图12是本公开一示例性实施例中从第一灰度图像中截取出的截取图像的示意图。
39.图13是本公开一示例性实施例中进行开运算之前的第三二值图像的示意图。
40.图14是本公开一示例性实施例中进行开运算之后的第三二值图像的示意图。
41.图15是本公开一示例性实施例中第一最大连通域的示意图。
42.图16是本公开一示例性实施例中第一最小矩形的示意图。
43.图17是本公开一示例性实施例中浸水填充图像的示意图。
44.图18是本公开一示例性实施例中测试接点定位掩码图的示意图。
45.图19是本公开一示例性实施例中模板图像的生成方式的流程示意图。
46.图20是本公开一示例性实施例中第二灰度图像的示意图。
47.图21是本公开一示例性实施例中经去毛刺处理前的第四二值图像的示意图。
48.图22是本公开一示例性实施例中经去毛刺处理后的第四二值图像的示意图。
49.图23是本公开一示例性实施例中凸包的示意图。
50.图24是本公开一示例性实施例中第二最大连通域的示意图。
51.图25是本公开一示例性实施例中pad凸包填充图像的示意图。
52.图26是本公开一示例性实施例中pad轮廓填充图像的示意图。
53.图27是本公开一示例性实施例中边缘缺损二值图像的示意图。
54.图28是本公开一示例性实施例中边缘缺损区域经修复后的参考图像对应的灰度图像的示意图。
55.图29是本公开一示例性实施例中凸包对应的膨胀区域的示意图。
56.图30是本公开又一示例性实施例提供的基于图像处理的针痕检测方法的流程示意图。
57.图31是本公开一示例性实施例中扎针风险预警方式的流程示意图。
58.图32是本公开一示例性实施例中针痕检测结果对应的灰度图像的示意图。
59.图33是本公开一示例性实施例中pad模板注册阶段的流程示意图。
60.图34是本公开一示例性实施例中针痕检测阶段的流程示意图。
61.图35是本公开一示例性实施例提供的基于图像处理的针痕检测装置的结构示意图。
62.图36是本公开一示例性实施例中模板图像的生成涉及的模块的示意图。
63.图37是本公开一示例性实施例中扎针风险预警涉及的模块的示意图。
64.图38是本公开一示例性实施例提供的电子设备的结构图。
具体实施方式
65.下面，将参考附图详细地描述根据本公开的示例实施例。显然，所描述的实施例仅仅是本公开的一部分实施例，而不是本公开的全部实施例，应理解，本公开不受这里描述的示例实施例的限制。
66.应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
67.本领域技术人员可以理解，本公开实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，不代表特定技术含义和必然逻辑顺序。
68.还应理解，在本公开实施例中，“多个”可以指两个或两个以上，“至少一个”可以指
一个、两个或两个以上。
69.还应理解，对于本公开实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
70.本公开中术语“和/或”，仅是一种描述关联对象的关联关系，表示可存在三种关系，例如，a和/或b，可表示：单独存在a，同时存在a和b，单独存在b这三种情况。本公开中字符“/”，表示前后关联对象是一种“或”的关系。
71.还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
72.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
73.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
74.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
75.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
76.本公开实施例可以应用于终端设备、计算机系统、服务器等电子设备，其可与众多其它通用或专用计算系统环境或配置一起操作。适于与终端设备、计算机系统、服务器等电子设备一起使用的众所周知的终端设备、计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
77.终端设备、计算机系统、服务器等电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可包括例程、程序、目标程序、组件、逻辑、数据结构等，它们执行特定任务或实现特定抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
78.示例性方法
79.图1是本公开一示例性实施例提供的基于图像处理的针痕检测方法的流程示意图。图1所示的方法可以包括步骤110、步骤120、步骤130、步骤140、步骤150和步骤160，下面对各步骤分别进行说明。
80.步骤110，将包括待进行针痕检测的测试接点的待处理图像转换为第一灰度图像。
81.可选地，待处理图像可以属于彩色图像，包括但不限于rgb图像、yuv图像等；其中，rgb中的r表示红色，g表示绿色，b表示蓝色；yuv中的y表示亮度，u和v代表色度。
82.可选地，待处理图像中待进行针痕检测的测试接点的数量可以为1个、2个或者2个以上，在此不再一一列举。
83.为了便于理解，本公开的实施例中均以待处理图像为rgb图像，待处理图像中待进行针痕检测的测试接点的数量为一个的情况为例进行说明。待处理图像中待进行针痕检测
的这个测试接点在下文中也可以称为待检测测试接点。
84.在步骤110中，可以对待处理图像进行灰度化处理，以将待处理图像由彩色转换为灰色，从得到第一灰度图像；其中，第一灰度图像与待处理图像两者的图像尺寸可以相同。在一个例子中，第一灰度图像可以如图2所示。
85.步骤120，从待处理图像中分离出预定颜色分量对应的单色图像。
86.在步骤120中，可以对待处理图像的3个通道进行分离处理，以得到预定颜色分量对应的单色图像；其中，单色图像与待处理图像两者的图像尺寸可以相同。
87.可选地，预定颜色分量可以包括：蓝色分量。这样，预定颜色分量对应的单色图像也可以称为蓝色图像，在一个例子中，预定颜色分量对应的单色图像可以如图3所示。
88.当然，预定颜色分量并不局限于蓝色分量，预定颜色分量也可以包括：红色分量或者绿色分量。
89.步骤130，基于第一灰度图像，按照第一规则生成第一二值图像；其中，第一规则包括：像素值未超过对应的像素值阈值的像素点呈白色。
90.在步骤130中，可以基于第一灰度图像，确定第一待二值化图像，并按照第一规则，将第一待二值化图像转换为第一二值图像；其中，第一待二值化图像和第一二值图像两者的图像尺寸可以相同。这里，第一待二值化图像中的像素点与第一二值图像中的像素点可以一一对应，例如，第一待二值化图像中位于第i行第j列的像素点可以与第一二值图像中位于第i行第j列的像素点对应。
91.可选地，可以直接将第一灰度图像作为第一待二值化图像；或者，可以对第一灰度图像进行预定处理，并将第一灰度图像的预定处理结果作为第一待二值化图像。为了布局清楚，下文中再对预定处理进行举例介绍。
92.可选地，可以利用第一阈值分割算法，确定第一待二值化图像中的每个像素点各自对应的像素值阈值。例如，可以利用一个滑动窗口在第一待二值化图像上滑动，滑动窗口覆盖的区域的像素点的像素值可以用于确定相应像素点对应的像素值阈值。在一个例子中，滑动窗口的大小为3
×
3，当滑动窗口滑动至某一位置时，滑动窗口覆盖的9个像素点中除了位于中心的像素点之外的8个像素点的像素值均值可以作为位于中心的像素点对应的像素值阈值。对于第一待二值化图像中像素值未超过对应的像素值阈值的像素点，可以令第一二值图像中与该像素点对应的像素点的像素值为255，对于第一待二值化图像中像素值超过对应的像素值阈值的像素点，可以令第一二值图像中与该像素点对应的像素点的像素值为0，由此可以按照第一规则，实现第一二值图像的生成。
93.由上文中的介绍可知，第一阈值分割算法的作用是将图像中的发暗分量处理为白色，将图像中的发亮分量处理为黑色，那么，第一阈值分割算法可以为反二进制阈值分割算法，例如为局部自适应反二进制阈值分割算法。
94.步骤140，基于单色图像，按照第二规则生成第二二值图像；其中，第二规则包括：像素值超过对应的像素值阈值的像素点呈白色。
95.在步骤140中，可以基于单色图像，确定第二待二值化图像，并按照第二规则，将第二待二值化图像转换为第二二值图像；其中，第二待二值化图像和第二二值图像两者的图像尺寸可以相同。这里，第二待二值化图像中的像素点与第二二值图像中的像素点可以一一对应，例如，第二待二值化图像中位于第i行第j列的像素点可以与第二二值图像中位于
第i行第j列的像素点对应。
96.可选地，可以直接将单色图像作为第二待二值化图像；或者，可以对单色图像进行预定处理，并将单色图像的预定处理结果作为第二待二值化图像。
97.可选地，可以利用第二阈值分割算法，确定第二待二值化图像中的每个像素点各自对应的像素值阈值，具体确定方式参照上文中对确定第一待二值化图像中的每个像素点各自对应的像素值阈值的方式的介绍即可，在此不再赘述。对于第二待二值化图像中像素值超过对应的像素值阈值的像素点，可以令第二二值图像中与该像素点对应的像素点的像素值为255，对于第二待二值化图像中像素值未超过对应的像素值阈值的像素点，可以令第二二值图像中与该像素点对应的像素点的像素值为0，由此可以按照第二规则，实现第二二值图像的生成。
98.由上文中的介绍可知，第二阈值分割算法的作用是图像中的发亮分量处理为白色，将图像中的发暗分量处理为黑色，那么，第二阈值分割算法可以为二进制阈值分割算法，例如为局部自适应二进制阈值分割算法。
99.步骤150，对第一二值图像和第二二值图像进行合并，得到合并二值图像。
100.需要说明的是，第一二值图像、第二二值图像、合并二值图像三者的图像尺寸可以相同，第一二值图像中的像素点与第二二值图像中的像素点可以一一对应，第一二值图像中的像素点与合并二值图像中的像素点可以一一对应，第二二值图像中的像素点与合并二值图像中的像素点可以一一对应。
101.假设第一二值图像中位于第i行第j列的像素点为像素点o1，o1的像素值为s1，第二二值图像中位于第i行第j列的像素点为像素点o2，o2的像素值为s2，合并二值图像中位于第i行第j列的像素点为o3，o3的像素值为s3，则s3可以按照如下规则进行计算：
[0102][0103]
这样，通过将第一二值图像与第二二值图像进行像素点的像素值的对应相加，并参考相加结果与255之间的大小关系，能够高效可靠地确定合并二值图像中的像素点的像素值，由此可以通过二值图像之间的合并，实现合并二值图像的生成。在一个例子中，合并二值图像可以如图4所示，由图4可知，合并二值图像能够体现针痕相关信息，例如针痕的形状、尺寸、在待处理图像中的位置等信息，合并二值图像也可以称为针痕二值图像。
[0104]
步骤160，基于合并二值图像，确定待处理图像中的测试接点的针痕检测结果。
[0105]
在步骤160中，参考合并二值图像体现的针痕相关信息，可以确定待处理图像中的测试接点的针痕检测结果，针痕检测结果可以包括针痕的形状、尺寸、在待检测测试接点上的位置等。
[0106]
本公开的实施例中，对于包括待进行针痕检测的测试接点的待处理图像，一方面可以通过灰度化处理得到能够明显呈现发暗针痕的第一灰度图像，另一方面可以通过分离处理得到能够明显呈现发亮针痕的单色图像，针对第一灰度图像，可以按照第一规则，生成用于突出发暗分量的第一二值图像，针对单色图像，可以按照第二规则，生成用于突出发亮分量的第二二值图像，通过将第一二值图像和第二二值图像进行合并，发暗分量和发亮分量可以被合并在一张二值图像(即合并二值图像)上，将合并二值图像用于待处理图像中的
测试接点的针痕检测结果的确定，不管是发暗针痕还是发亮针痕，都能够被有效地检测出来，这样，即便测试接点存在各种材质，导致针痕的亮度存在明显差异，也能够高效可靠地实现针痕检测，因此，本公开的实施例能够兼容对不同特征的针痕的检测，由此能够提升针痕检测质量。
[0107]
需要说明的是，在单色图像包括蓝色图像的情况下，单色图像对发亮针痕的呈现效果最佳，因此，这种情况下能够更为有效地兼容对不同特征的针痕的检测。
[0108]
在图1所示实施例的基础上，如图5所示，本公开的实施例提供的方法还包括步骤125。
[0109]
步骤125，确定待处理图像对应的测试接点定位信息。
[0110]
需要说明的是，待处理图像对应的测试接点定位信息可以用于指示待检测测试接点在待处理图像中占据的区域。可选地，测试接点定位信息可以呈坐标形式或者呈定位掩码图形式。
[0111]
可选地，步骤125可以在步骤110和步骤120之后执行，或者在步骤110和步骤120之前执行，再或者在步骤110和步骤120之间执行。
[0112]
步骤130，包括步骤1301、步骤1303、步骤1305和步骤1307。
[0113]
步骤1301，基于测试接点定位信息，确定第一灰度图像中的测试接点区域。
[0114]
在步骤1301中，可以将待处理图像中测试接点定位信息指示的区域映射至第一灰度图像，以确定第一灰度图像中的第一映射区域，基于第一映射区域，可以确定第一灰度图像中的测试接点区域，确定的测试接点区域可以认为是待检测测试接点在第一灰度图像中占据的区域。
[0115]
可选地，第一灰度图像中的一个区域(例如区域a)与待处理图像中的另一个区域(例如区域b)映射可以理解为：区域a中包括与区域b中的像素点一一对应的像素点。在一个例子中，区域b中包括待处理图像中左上角3
×
3区域的像素点，则区域a中可以包括第一灰度图像中左上角3
×
3区域的像素点。需要说明的是，不同图像之间的区域映射方式均可以参照本段中的说明，后文对此不再进行展开介绍。
[0116]
可选地，可以直接将第一映射区域作为测试接点区域；或者，可以根据经验，对第一映射区域进行修正(例如对第一映射区域进行细微的缩放)，并将第一映射区域的修正结果作为测试接点区域。
[0117]
步骤1303，基于第一灰度图像中的测试接点区域中的像素点的像素值，确定第一填充像素值。
[0118]
在步骤1303中，可以确定第一灰度图像中的测试接点区域中的所有像素点(假设为n个像素点)各自的像素值，以得到n个像素值，并基于n个像素值进行均值运算，以得到第一填充像素值。
[0119]
可选地，可以直接计算n个像素值的平均值，并将计算得到的像素值均值作为第一填充像素值；或者，可以从n个像素值中筛除部分像素值(例如筛除最大和最小的两个像素值)，计算剩余像素值的平均值，并将计算得到的像素值均值作为第一填充像素值。
[0120]
步骤1305，利用第一填充像素值，对第一灰度图像中除了测试接点区域之外的区域进行填充，得到第一填充图像。
[0121]
可选地，第一灰度图像中的测试接点区域也可以称为第一灰度图像中的pad区域，
第一灰度图像中除了测试接点之外的区域也可以称为第一灰度图像中pad区域的外部。
[0122]
在步骤1305中，可以将第一灰度图像中除了测试接点之外的区域中的像素点的像素值均更新为第一填充像素值，以通过均值填充处理，得到第一灰度图像对应的第一填充图像。在一个例子中，第一填充图像可以如图6所示。
[0123]
步骤1307，按照第一规则，将第一填充图像转换为第一二值图像。
[0124]
需要说明的是，均值填充处理可以作为上文中的预定处理，第一填充图像可以作为上文中的第一灰度图像的预定处理结果，按照第一规则，将第一填充图像转换为第一二值图像的具体实施方式参照图1所示实施例中的相关介绍即可，在此不再赘述。当然，预定处理并不局限于此，例如，预定处理还可以包括滤波处理等。
[0125]
本公开的实施例中，利用待处理图像对应的测试接点定位信息，通过简单的映射操作，即可确定第一灰度图像中的pad区域，利用pad区域中的像素点的像素值，通过均值运算等简单的运算逻辑，能够高效可靠地确定第一填充像素值以用于第一灰度图像中pad区域的外部的填充。这样，在使用第一阈值分割算法确定像素值阈值时，如果滑动窗口滑动至靠近pad区域的边缘的位置，导致滑动窗口中的部分像素点位于pad区域，另外部分像素点位于pad区域的外部，由于pad区域的外部已经利用第一填充像素值进行了填充，pad区域的外部的像素值与pad区域的像素值不会差异过大，有利于避免pad区域边缘发黑部分对像素值阈值的确定造成不利影响，从而能够保证确定出的像素值阈值的准确性和可靠性，进而有利于提升图像分割效果。
[0126]
在图1所示实施例的基础上，如图7所示，本公开的实施例提供的方法还包括步骤125。
[0127]
步骤125，确定待处理图像对应的测试接点定位信息。
[0128]
步骤140，包括：
[0129]
步骤1401，基于测试接点定位信息，确定单色图像中的测试接点区域；
[0130]
步骤1403，基于单色图像中的测试接点区域中的像素点的像素值，确定第二填充像素值；
[0131]
步骤1405，利用第二填充像素值，对单色图像中除了测试接点区域之外的区域进行填充，得到第二填充图像；
[0132]
步骤1407，按照第二规则，将第二填充图像转换为第二二值图像。
[0133]
需要说明的是，图7所示实施例的具体实施方式与图5所示实施例的具体实施方式是类似的，区别主要在于，图5所示实施例是对第一灰度图像中的pad区域的外部进行填充，并将得到的第一填充图像用于第一二值图像的生成，而图7所示实施例是对单色图像中的pad区域的外部进行填充，并将得到的第二填充图像用于第二二值图像的生成，在此不再对图7所示实施例的具体实施方式进行展开介绍。在一个例子中，第二填充图像可以如图8所示。
[0134]
与图5所示实施例类似，采用如图7所示实施例，能够保证在使用第二阈值分割算法确定像素值阈值时，确定出的像素值阈值的准确性和可靠性，从而利于提升图像分割效果。
[0135]
在一个可选示例中，本公开的实施例提供的方法还包括：
[0136]
从晶粒表面图像中的第一区域截取待处理图像。
[0137]
在一个例子中，晶粒表面图像可以为图9所示的灰度图像对应的彩色图像。
[0138]
步骤125，包括：
[0139]
基于第一区域对应的模板图像，生成待处理图像对应的测试接点定位信息；其中，模板图像包括：用于呈现第一区域对应的模板测试接点的尺寸以及背景的图像。
[0140]
晶圆上的不同晶粒的测试接点排布通常是相同的，那么，可以预先将某一晶粒作为模板晶粒，针对模板晶粒的表面图像，确定其包括的各个测试接点，这些测试接点中的每个测试接点可以分别作为一个模板测试接点，针对每个模板测试接点，可以由人工框选该模板测试接点在模板晶粒的表面图像中的分布区域，框选时可以令该模板测试接点的四个边缘处均留有一定的晶粒背景，由此可以形成多个(例如m个)模板测试接点与多个(例如m个)分布区域之间的对应关系。
[0141]
在一个例子中，m的取值为4，4个模板测试接点的id依次为id1、id2、id3、id4，则形成的对应关系可以呈如下形式：
[0142]
id分布区域id1p1id2p2id3p3id4p4
[0143]
表1
[0144]
针对m个分布区域中的每个分布区域，可以通过pad模板注册，生成相应的模板图像，模板图像用于呈现该分布区域对应的模板测试接点的尺寸以及背景。
[0145]
与模板晶粒的表面图像类似，本公开的实施例中的晶粒表面图像可以包括4个分布区域，分别是p1＇、p2＇、p3＇、p4＇；其中，p1＇可以与p1映射，p2＇可以与p2映射，p3＇可以与p3映射，p4＇可以与p4映射。可选地，晶粒表面图像中的第一区域可以为p1＇、p2＇、p3＇、p4＇中的任一个分布区域。
[0146]
假设第一区域为p1＇，由于p1＇与p1映射，p1与id1对应，可以认为第一区域对应的模板图像为p1对应的模板图像。在一个例子中，第一区域对应的模板图像可以为图10所示的灰度图像对应的彩色图像。
[0147]
在一种可选实施方式中，基于第一区域对应的模板图像，生成待处理图像对应的测试接点定位信息，包括图11所示的步骤1110、步骤1120、步骤1130、步骤1140、步骤1150和步骤1160，下面对各步骤分别进行说明。
[0148]
步骤1110，确定待处理图像中与模板图像(该处和下文中出现的模板图像均是指第一区域对应的模板图像)匹配的第二区域。
[0149]
可选地，待处理图像的图像尺寸可以大于模板图像的图像尺寸。在步骤1110中，可以将待处理图像与模板图像进行模板匹配，匹配方法包括但不限于基于形状的匹配方法、基于相关性的匹配方法、基于灰度的匹配方法等，通过模板匹配，可以在待处理图像中寻找与模板图像最相似的区域，寻找出的区域可以作为步骤1110中的第二区域。
[0150]
步骤1120，基于第二区域，从第一灰度图像中截取包括待进行针痕检测的测试接点的截取图像。
[0151]
在步骤1120中，可以将第二区域映射至第一灰度图像，以确定第一灰度图像中的
第二映射区域，基于第二映射区域，可以对第一灰度图像进行截取，以得到包括待进行针痕检测的测试接点的截取图像。
[0152]
可选地，可以直接截取第二映射区域的局部图像以作为截取图像；或者，可以根据经验，对第二映射区域进行修正(例如对第二映射区域进行细微的缩放)，并截取第二映射区域的修正结果的局部图像以作为截取图像。在一个例子中，截取图像可以如图12所示。
[0153]
步骤1130，按照第一规则，将截取图像转换为第三二值图像。
[0154]
需要说明的是，步骤1130的具体实施方式参照上文中对将第一待二值化图像转换为第一二值图像的方式的介绍即可，在此不再赘述。
[0155]
步骤1140，确定第三二值图像中的第一最大连通域。
[0156]
可以理解的是，连通域通常是指二值图像中，白色相连形成的区域，连通域中的每个像素点的像素值均可以为255。在步骤1140中，可以统计第三二值图像中呈白色的像素点，依据统计结果可以求解最大连通域，由此可以得到第一最大连通域。
[0157]
可选地，可以先对第三二值图像进行开运算(在形态学中，开运算是指先腐蚀后膨胀)以消除图像中部分噪点，并进行去毛刺以平滑测试接点边缘(例如边缘连续8个像素点中，仅一个像素点的像素值为0，其余像素点的像素值均为255，则将像素值为0的像素点的像素值更新为255)，然后再确定第三二值图像中的第一最大连通域。在一个例子中，进行开运算之前的第三二值图像可以如图13所示，进行开运算之后的第三二值图像可以如图14所示，针对进行开运算和去毛刺处理后的第三二值图像确定的第一最大连通域可以如图15中面积最大的白色区域所示。
[0158]
步骤1150，确定能够包围第一最大连通域的第一最小矩形。
[0159]
在步骤1150中，可以确定第一最大连通域的最小旋转包围矩，第一最大连通域的最小旋转包围矩即可作为第一最小矩形。可选地，第一最小矩形的四条边中的每条边与第三二值图像的四条边中的相应边可能平行，也可能不平行。在一个例子中，第一最小矩形可以为图16中位于图像内部的矩形。
[0160]
步骤1160，基于第一最小矩形，生成待处理图像对应的测试接点定位信息。
[0161]
在一种可选实施方式中，步骤1160，包括：
[0162]
对第一最小矩形包围的区域进行边缘裁剪，并确定第一最小矩形包围的区域中未被裁剪的区域；
[0163]
将未被裁剪的区域映射至图像尺寸与待处理图像一致的图像，以生成待处理图像对应的测试接点定位掩码图。
[0164]
可选地，可以从第一最小矩形包围的区域中任选一个像素点作为种子像素点进行浸水填充，获取图17所示的浸水填充图像，然后对图17所示的浸水填充图像中的白色区域进行腐蚀操作以裁剪边缘。另外，可以预先准备一张图像尺寸与待处理图像相同的纯黑图像，并将第一最小矩形包围的区域中未被裁剪的区域映射至纯黑图像，以确定纯黑图像中的第三映射区域，第三映射区域中的像素点的像素值可以均设置为255，由此可以形成图18所示的待处理图像对应的测试接点定位掩码图，测试接点定位掩码图也可以称为pad定位mask图。
[0165]
这种实施方式中，结合边缘裁剪操作和映射操作，能够高效可靠地实现测试接点定位掩码图的生成，测试接点定位掩码图可以有效地指示待检测测试接点在待处理图像中
占据的区域，测试接点定位掩码图可以作为上文中的测试接点定位信息。另外，通过边缘裁剪操作，有利于缩小测试接点定位掩码图指示的区域的尺寸，防止测试接点边缘黑边对针痕检测造成不利影响。
[0166]
当然，步骤1160的实施方式并不局限于此，例如，在确定第一最小矩形之后，可以将第一最小矩形缩小一定比例(其可以依据经验预先确定)，以得到缩小矩形，并将缩小矩形映射至图像尺寸与待处理图像一致的图像，以实现测试接点定位掩码图的生成。
[0167]
另外，基于第一区域对应的模板图像，生成待处理图像对应的测试接点定位信息的具体实施方式也并不局限于图11所示实施方式，例如，可以确定待处理图像中与模板图像匹配的第二区域，基于第二区域，从单色图像中截取包括待进行针痕检测的测试接点的截取图像，并通过对得到的截取图像的运用，确定待处理图像对应的测试接点定位掩码图。
[0168]
本公开的实施例中，通过对晶粒表面图像的某一区域进行截取，可以高效可靠地得到待处理图像，再以pad模板注册阶段生成的相应模板图像为指导信息，可以高效可靠地生成呈定位掩码图形式的测试接点定位信息。
[0169]
在一个可选示例中，如图19所示，本公开的实施例提供的方法还包括步骤1910、步骤1920、步骤1930和步骤1940，下面对各步骤分别进行说明。
[0170]
步骤1910，获取包括第一区域对应的模板测试接点的参考图像。
[0171]
可选地，模板晶粒的表面图像中，第一区域对应的分布区域处的局部图像可以作为包括第一区域对应的模板测试接点的参考图像。例如，第一区域为p1＇，则模板晶粒的表面图像中p1处的局部图像可以作为参考图像。
[0172]
步骤1920，确定参考图像中的模板测试接点的边缘缺损区域。
[0173]
在一种可选实施方式中，步骤1920，包括：
[0174]
将参考图像转换为第二灰度图像；
[0175]
按照第一规则，将第二灰度图像转换为第四二值图像；
[0176]
确定第四二值图像中的第二最大连通域；
[0177]
确定第二最大连通域对应的凸包；
[0178]
基于第二最大连通域和凸包，确定参考图像中的模板测试接点的边缘缺损区域。
[0179]
可选地，可以对参考图像进行灰度化处理，以将参考图像由彩色转换为灰色，从而得到第二灰度图像；其中，第二灰度图像与参考图像两者的图像尺寸可以相同。在一个例子中，第二灰度图像如图20所示。
[0180]
需要说明的是，按照第一规则，将第二灰度图像转换为第四二值图像的具体实施方式参照上文中对将第一待二值化图像转换为第一二值图像的方式的介绍即可，确定第四二值图像中的第二最大连通域的具体实施方式参照上文中对确定第三二值图像中的第一最大连通域的方式的介绍即可，在此不再赘述。
[0181]
可选地，可以先对第四二值图像进行去毛刺以平滑测试接点边缘，然后再将经去毛刺处理后的第四二值图像用于第二最大连通域的确定。在一个例子中，经去毛刺处理前的第四二值图像如图21所示，经去毛刺处理后的第四二值图像如图22所示。
[0182]
需要说明的是，作为图形学中的概念，凸包可以采用如下方式定义：假设s为欧几里得空间的任意子集，包括s的最小凸集可以称为s的凸包。按照这种定义方式，可以将包括第二最大连通域的最小凸集作为第二最大连通域对应的凸包。
[0183]
在一种可选实施方式中，基于第二最大连通域和凸包(该处和下文中出现的凸包均是指第二最大连通域对应的凸包)，确定参考图像中的模板测试接点的边缘缺损区域，包括：
[0184]
确定凸包的包围区域与第二最大连通域的外轮廓的包围区域的差集；
[0185]
将差集映射至参考图像，以确定参考图像中的模板测试接点的边缘缺损区域。
[0186]
在一个例子中，凸包的包围区域可以如图23中图像内部的白色边框包围的区域所示，第二最大连通域的外轮廓的包围区域可以如图24中图像内部的白色边框包围的区域所示。
[0187]
可选地，可以将凸包的包围区域中的像素点的像素值均设置为255，以得到图25所示的pad凸包填充图像，另外，可以将第二最大连通域的外轮廓的包围区域中的像素点的像素值均设置为255，以得到图26所示的pad轮廓填充图像。通过将pad轮廓填充图像与pad凸包填充图像相减，可以得到图27所示的边缘缺损二值图像，边缘缺损二值图像中白色区域的集合即可作为凸包的包围区域与第二最大连通域的外轮廓的包围区域的差集。通过将图27中白色区域的集合映射至参考图像，即可确定参考图像中的边缘缺损区域。
[0188]
这种实施方式中，结合区域差集的计算操作和映射操作，能够高效可靠地实现边缘缺损区域的确定。
[0189]
当然，在确定边缘缺损区域时，也可以不确定pad轮廓填充图像和pad凸包填充图像，以及将pad轮廓填充图像与pad凸包填充图像相减，而可以将凸包的包围区域映射至待处理图像，以确定待处理图像中的第四映射区域，并将第二最大连通域的外轮廓的包围区域映射至待处理图像，以确定待处理图像中的第五映射区域，且将第四映射区域与第五映射区域的差集作为边缘缺损区域。
[0190]
上述步骤1920的具体实施方式中，结合图像灰度化处理，第一阈值分割算法的运用，以及最大连通域的确定和凸包的运用，能够高效可靠地实现边缘缺损区域的区域。当然，步骤1920的具体实施方式并不局限于此，例如，可以由人工手动标记边缘缺损区域。
[0191]
步骤1930，对边缘缺损区域进行修复。
[0192]
在步骤1930中，对于边缘缺损区域中的每个像素点，可以在参考图像中确定该像素点的邻域像素点集，利用邻域像素点集的像素值均值替换该像素点的原像素值，由此实现边缘缺损区域的修复，这样相当于将测试接点边缘未缺损区域的颜色和结构繁殖和混合到存在测试接点边缘缺损的参考图像中，以实现测试接点边缘修复。在一个例子中，边缘缺损区域经修复后的参考图像可以为图28所示的灰度图像对应的彩色图像。
[0193]
步骤1940，基于边缘缺损区域经修复后的参考图像，生成模板图像。
[0194]
在一种可选实施方式中，步骤1940，包括：
[0195]
对凸包进行膨胀，并确定凸包对应的膨胀区域；
[0196]
从边缘缺损区域经修复后的参考图像中，截取与膨胀区域映射的第三区域的局部图像；
[0197]
基于局部图像，生成模板图像。
[0198]
可以理解的是，凸包的膨胀处理能够使凸包的边界向外部扩张。在一个例子中，凸包的包围区域如图23中图像内部的白色边框包围的区域所示，凸包对应的膨胀区域如图29中的白色区域所示。
[0199]
通过将膨胀区域映射至边缘缺损区域经修复后的参考图像，可以确定边缘缺损区域经修复后的参考图像中的第六映射区域，第六映射区域即可以作为上述第三区域，第三区域的局部图像可以直接作为模板图像，或者，可以对第三区域的局部图像进行平滑等处理，并将第三区域的局部图像的平滑处理结果作为模板图像。可选地，模板图像可以保存在本地或者其他预定存储位置。
[0200]
这种实施方式中，结合膨胀处理和图像截取处理，能够高效可靠地实现模板图像的确定，模板图像不仅包括模板测试接点边缘本身，还包括模板测试接点边缘外围一定的晶粒背景，这样，模板图像能够有效地体现模板测试接点的尺寸以及背景，该背景能够有效地指导后续的模板匹配。
[0201]
当然，步骤1940的实施方式并不局限于此，例如，可以由人工手动对边缘缺损区域经修复后的参考图像进行区域框选，并将框选区域的局部图像作为模板图像。
[0202]
本公开的实施例中，可以将边缘缺损区域经修复后的参考图像用于模板图像的生成，这样有利于保证模板图像质量，以提升后续的模板匹配精度，从而能够提升针痕检测精度。
[0203]
在一个可选示例中，如图30所示，步骤160包括步骤1601、步骤1603、步骤1605和步骤1607。
[0204]
步骤1601，确定合并二值图像中的多个连通域。
[0205]
可选地，合并二值图像中的连通域的数量可以是2个、3个、4个、5个或者5个以上，在此不再一一列举。
[0206]
步骤1603，确定多个连通域中尺寸符合第一预设约束条件的连通域。
[0207]
可选地，连通域的尺寸可以用连通域包括的像素值数量来进行表征。如果连通域包括的像素值数量大于预设数量，可以判定连通域的尺寸符合第一预设约束条件，如果连通域包括的像素值数量小于或等于预设数量，可以判定连通域的尺寸不符合第一预设约束条件，按照这种方式，可以高效可靠地从多个连通域中确定出尺寸符合第一预设约束条件的连通域。
[0208]
当然，连通域的尺寸也可以用连通域的面积来进行表征，这样，如果连通域的面积大于预设面积，可以判定连通域的尺寸符合第一预设约束条件，如果连通域的面积小于或等于预设面积，可以判定连通域的尺寸不符合第一预设约束条件。
[0209]
步骤1605，将尺寸符合第一预设约束条件的连通域中，相互之间的距离满足第二预设约束条件的连通域进行合并，以得到合并连通域。
[0210]
针对符合第一预设约束条件的连通域中的任意两个连通域，可以确定这两个连通域之间的距离，如果这两个连通域之间的距离小于或等于第一预设距离，可以判定这两个连通域之间的距离满足第二预设约束条件，如果这两个连通域之间的距离大于第一预设距离，可以判定这两个连通域之间的距离不满足第二预设约束条件，由此可以将相互之间的距离均满足第二预设约束条件的各个连通域进行合并，以得到合并连通域。
[0211]
步骤1607，基于合并连通域，确定待处理图像中的测试接点的针痕检测结果。
[0212]
在一种可选实施方式中，步骤1607，包括：
[0213]
确定能够包围合并连通域的第二最小矩形；
[0214]
基于第二最小矩形的长度和宽度，确定合并连通域的区域属性；其中，区域属性用
于表征合并连通域是否属于针痕区域；
[0215]
基于合并连通域的区域属性，确定待处理图像中的测试接点的针痕检测结果。
[0216]
需要说明的是，确定能够包围合并连通域的第二最小矩形的具体实施方式参照上文中对确定第一最小矩形的方式的介绍即可，在此不再赘述。
[0217]
在一种可选实施方式中，基于第二最小矩形的长度和宽度，确定合并连通域的区域属性，包括：
[0218]
确定第二最小矩形的长度和预设长度之间的第一数值关系；
[0219]
确定第二最小矩形的宽度和预设宽度之间的第二数值关系；
[0220]
确定第二最小矩形的长度和宽度的比值与预设比值之间的第三数值关系；
[0221]
基于第一数值关系、第二数值关系和第三数值关系，确定合并连通域的区域属性。
[0222]
可选地，第一数值关系可以用于表征第二最小矩形的长度与预设长度之间的大小关系，第二数值关系可以用于表征第二最小矩形的宽度与预设宽度之间的大小关系，第三数值关系可以用于表征第二最小矩形的长度和宽度的比值与预设比值之间的大小关系。
[0223]
如果第二最小矩形的长度大于预设长度，第二最小矩形的宽度大于预设宽度，第二最小矩形的长度和宽度的比值小于预设比值这三个条件均满足，可以认为合并连通域的尺寸符合针痕的尺寸特征，那么，合并连通域的区域属性可以用于表征合并连通域属于针痕区域。
[0224]
如果第二最小矩形的长度大于预设长度，第二最小矩形的宽度大于预设宽度，第二最小矩形的长度和宽度的比值小于预设比值这三个条件中的至少一个条件不满足，可以认为合并连通域的尺寸不符合针痕的尺寸特征，那么，合并连通域的区域属性可以用于表征合并连通域不属于针痕区域。
[0225]
这样，结合合并连通域的长度、宽度和长宽比，能够依据合并连通域的形态，高效可靠地判断合并连通域是否属于针痕区域。
[0226]
当然，确定合并连通域的区域属性的方式并不局限于此，例如，可以参考第一数值关系、第二数值关系、第三数值关系中的两者来确定合并连通域的区域属性，再例如，可以参考第一数值关系、第二数值关系、第三数值关系中的一者以及合并连通域的面积来确定合并连通域的区域属性。
[0227]
如果合并连通域的区域属性用于表征合并连通域属于针痕区域，针痕检测结果可以包括合并连通域和第二最小矩形中的至少一者。如果合并连通域的区域属性用于表征合并连通域不属于针痕区域，针痕检测结果可以不包括合并连通域和第二最小矩形中的任一者。
[0228]
这种实施方式中，通过确定能够包围合并连通域的第二最小矩形，结合第二最小矩形的尺寸信息，能够高效可靠地确定合并连通域是否属于针痕区域，由此可以高效可靠地确定待处理图像中的测试接点的针痕检测结果，这样可以通过一套简单的判别标准，高效可靠地识别出针痕。
[0229]
当然，步骤1607的实施方式并不局限于此，例如，在确定第二最小矩形之后，可以直接将第二最小矩形作为针痕检测结果的组成部分。
[0230]
本公开的实施例中，针对合并二值图像中的多个连通域，可以筛除尺寸不符合要求的连通域，保留尺寸符合要求的连通域，并对相互之间的距离满足要求的连通域进行合
并，以将合并连通域用于待处理图像中的测试接点的针痕检测结果的确定，这样有利于避免无效的连通域对针痕检测的影响，从而能够提升针痕检测的准确性和可靠性，同时还能够提升针痕检测的效率。
[0231]
在一个可选示例中，如图31所示，本公开的实施例中提供的方法还包括步骤3110和步骤3120。
[0232]
步骤3110，基于待处理图像中的测试接点的针痕检测结果，确定待处理图像中的针痕区域与测试接点区域的相对分布信息。
[0233]
可选地，针痕检测结果可以用于指示待处理图像中的针痕区域和测试接点区域；其中，针痕区域可以为第二最小矩形的包围区域，测试接点区域可以为第一最小矩形的包围区域。在一个例子中，针痕检测结果可以为图32所示的灰度图像对应的彩色图像，其中，矩形框3210包围的区域可以认为是测试接点区域，矩形框3220包围的区域可以认为是针痕区域。
[0234]
可选地，待处理图像中的针痕区域与测试接点区域的相对分布信息可以包括：矩形框3210的上边与矩形框3220的上边之间的第一垂直距离，矩形框3210的下边与矩形框3220的下边之间的第二垂直距离，矩形框3210的左边与矩形框3220的左边之间的第三垂直距离，以及矩形框3210的右边与矩形框3220的右边之间的第四垂直距离。
[0235]
步骤3120，响应于相对分布信息符合预设异常条件，输出异常告警信号。
[0236]
在步骤3120中，可以从第一垂直距离、第二垂直距离、第三垂直距离、第四垂直距离中，筛选数值最大的垂直距离。
[0237]
如果数值最大的垂直距离大于第二预设距离，可以认为待检测测试接点上扎针太偏，那么，可以判定相对分布信息符合预设异常条件，并通过文字、语音、灯光等形式，输出异常告警信息，以提示人工待检测测试接点上扎针太偏，预警扎针风险，以便人工及时针对该情况进行处理。
[0238]
如果数值最大的垂直距离小于或等于第二预设距离，可以认为待检测测试接点上扎针位置正常，那么，可以判定相对分布信息不符合预设异常条件，这时无需进行异常告警信号的输出。
[0239]
本公开的实施例中，可以依据待处理图像中的针痕区域与测试接点区域的相对分布信息，高效可靠地确定待检测测试接点是否存在扎针太偏的情况，对于该情况，可以及时进行风险预警，有利于保证晶圆测试质量。
[0240]
需要说明的是，本公开的实施例可以分为两个阶段，分别是pad模板注册阶段和针痕检测阶段。
[0241]
可选地，pad模板注册阶段的流程可以如图33所示。在pad模板注册阶段，可以对参考图像进行灰度化处理，得到第二灰度图像；通过图像阈值分割算法，将第二灰度图像转换为第四二值图像，针对第四二值图像，可以采用开运算去噪点，并去毛刺平滑pad边缘；通过检索最大连通域，可以提取pad轮廓(对应第二最大连通域的外轮廓)，在此基础上可以计算出pad轮廓填充图像；针对第二最大连通域，可以提取pad凸包，在此基础上可以计算出pad凸包填充图像；通过将pad凸包填充图像与pad轮廓填充图像相减，可以得到边缘缺损二值图像；基于边缘缺损二值图像，可以修复参考图像中的pad边缘缺损区域。在pad模板注册阶段，还可以通过膨胀pad凸包获得边缘定义域(相当于上文中的膨胀区域)，通过边缘定义
域，可以在边缘缺损区域经修复后的参考图像上创建pad模板，以得到所需的模板图像，这样就完成了针对一个模板图像的pad模板注册。采用这种pad模板注册方式，能够通过边缘缺损区域修复，提升模板图像质量，保证模板匹配精度和后续的针痕检测精度。
[0242]
可选地，针痕检测阶段的流程可以如图34所示。如图34所示，在针痕检测阶段，可以通过控制电机，使用于对晶粒表面进行拍摄的相机移动到初始位置(例如当前需要进行针痕检测的测试接点所在的位置)，并利用经初始化了的相机和光源，进行图像拍摄，以得到晶粒表面图像。为了提升针痕检测效率，晶粒表面图像包括的测试接点数量可以尽可能多。
[0243]
针对晶粒表面图像，可以截取pad局部检测区域(相当于上文中的待处理图像)，对pad局部检测区域进行灰度化处理，得到pad局部检测区域灰度图像(相当于上文中的第一灰度图像)。在pad局部检测区域上通过注册的pad模板(相当于上文中的模板图像)进行模板匹配，根据匹配位置，可以在第一灰度图像上截取实际pad区域(相当于上文中步骤1120中涉及的截取图像)。利用图像阈值分割，可以对实际pad区域进行处理，还可以利用开运算去除实际pad区域的噪点，并通过去毛刺平滑实际pad区域的pad边缘，通过获取最大连通域可以得到匹配pad连通域(相当于上文中的第一最大连通域)。针对匹配pad连通域，可以提取最小旋转包围矩(相当于上文的第一最小矩形)，浸水填充最小旋转包围矩，并通过腐蚀操作裁剪最小旋转包围矩，再结合映射操作，可以生成上文中的pad定位mask图。针对pad局部检测区域，还可以通过分离处理，得到pad局部检测区域蓝色图像(相当于上文中的单色图像)。
[0244]
另外，还可以计算pad局部检测区域灰度图像中pad区域的平均像素值(相当于上文中的第一填充像素值)，以及计算pad局部检测区域蓝色图像中pad区域的平均像素值(相当于上文中的第二填充像素值)，并分别以相应的填充像素值填充pad局部检测区域灰度图像和pad局部检测区域蓝色图像中pad区域的外部(这样可以得到上文中的第一填充图像和第二填充图像)。第一填充图像和第二填充图像可以分别以相应的阈值分割算法进行图像分割，以便在pad局部检测区域灰度图像中分割出发暗连通域，并在pad局部检测区域蓝色图像中分割出发亮连通域，之后可以合并发暗和发亮连通域二值图(相当于通过合并处理得到上文中的合并二值图像)。对于合并二值图像，可以遍历其中面积大于设定面积的连通域，计算其中连通域的最小旋转包围矩(相当于上文中的第二最小矩形)。
[0245]
针对第二最小矩形，可以确定其长度、宽度和长宽比。如果确定的长度大于预设长度(相当于上文中的预设长度)，确定的宽度大于设定值(相当于上文中的预设宽度)，确定的长宽比小于设定值(相当于上文中的预设比值)，则可以判定第二最小矩形包围的区域属于针痕区域，并计算第二最小矩形的四条边中的每条边与第一最小矩形中的相应边之间的垂直距离，且判断得到的4个垂直距离中的最大垂直距离是否大于设定值(相当于上文中的第二预设距离)。如果最大垂直距离大于设定值，则需要输出异常告警信息，以预警扎针风险，从而提示操作人员进行确认调整等处理。如果最大垂直距离小于或等于设定值，则可以结束针痕检测(对应不存在其他需要进行针痕检测的测试接点的情况)，或者，可以通过控制电机，使相机移动至下个检测视野，以通过相机拍摄另一晶粒表面图像，后续可以再次截取pad局部检测区域图像，截取pad局部检测区域图像之后的操作参照本段中的上述介绍即可，在此不再赘述。
[0246]
采用这种针痕检测方法，通过在灰度图像上提取发暗连通域，并在蓝色图像上提取发亮连通域，且通过连通域的合并，可以获取到针痕二值图像，在针痕二值图像上可以检测发亮、发暗针痕，有利于兼容亮暗针痕的检测。通过进行开运算、去毛刺、均值填充等处理，有利于提升对光照、脏污、裂纹等干扰的适应性，以尽量避免针痕的漏提取或者错误提取，从而有利于提升针痕检测的准确性和可靠性。另外，通过结合连通域形状进行针痕识别，也有利于避免针痕的漏提取或者错误提取，从而有利于进一步提升针痕检测的准确性和可靠性。
[0247]
本公开的实施例提供的任一种基于图像处理的针痕检测方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种基于图像处理的针痕检测方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种基于图像处理的针痕检测方法。下文不再赘述。
[0248]
示例性装置
[0249]
图35是本公开一示例性实施例提供的基于图像处理的针痕检测装置的结构示意图，图35所示的装置包括：
[0250]
转换模块3510，用于将包括待进行针痕检测的测试接点的待处理图像转换为第一灰度图像；
[0251]
分离模块3520，用于从待处理图像中分离出预定颜色分量对应的单色图像；
[0252]
第一生成模块3530，用于基于第一灰度图像，按照第一规则生成第一二值图像；其中，第一规则包括：像素值未超过对应的像素值阈值的像素点呈白色；
[0253]
第二生成模块3540，用于基于单色图像，按照第二规则生成第二二值图像；其中，第二规则包括：像素值超过对应的像素值阈值的像素点呈白色；
[0254]
合并模块3550，用于对第一二值图像和第二二值图像进行合并，得到合并二值图像；
[0255]
第一确定模块3560，用于基于合并二值图像，确定待处理图像中的测试接点的针痕检测结果。
[0256]
在一个可选示例中，本公开的实施例提供的装置还包括：
[0257]
第二确定模块，用于确定待处理图像对应的测试接点定位信息；
[0258]
第一生成模块3530，具体用于基于测试接点定位信息，确定第一灰度图像中的测试接点区域；基于第一灰度图像中的测试接点区域中的像素点的像素值，确定第一填充像素值；利用第一填充像素值，对第一灰度图像中除了测试接点区域之外的区域进行填充，得到第一填充图像；按照第一规则，将第一填充图像转换为第一二值图像。
[0259]
在一个可选示例中，本公开的实施例提供的装置还包括：
[0260]
第二确定模块，用于确定待处理图像对应的测试接点定位信息；
[0261]
第二生成模块3540，具体用于基于测试接点定位信息，确定单色图像中的测试接点区域；基于单色图像中的测试接点区域中的像素点的像素值，确定第二填充像素值；利用第二填充像素值，对单色图像中除了测试接点区域之外的区域进行填充，得到第二填充图像；按照第二规则，将第二填充图像转换为第二二值图像。
[0262]
在一个可选示例中，本公开的实施例提供的装置还包括：
[0263]
截取模块，用于从晶粒表面图像中的第一区域截取待处理图像；
[0264]
第二确定模块，具体用于基于第一区域对应的模板图像，生成待处理图像对应的测试接点定位信息；其中，模板图像包括：用于呈现第一区域对应的模板测试接点的尺寸以及背景的图像。
[0265]
在一个可选示例中，如图36所示，本公开的实施例提供的装置还包括：
[0266]
获取模块3610，用于获取包括第一区域对应的模板测试接点的参考图像；
[0267]
第三确定模块3620，用于确定参考图像中的模板测试接点的边缘缺损区域；
[0268]
修复模块3630，用于对边缘缺损区域进行修复；
[0269]
第三生成模块3640，用于基于边缘缺损区域经修复后的参考图像，生成模板图像。
[0270]
在一个可选示例中，如图37所示，本公开的实施例提供的装置还包括：
[0271]
第四确定模块3710，用于基于待处理图像中的测试接点的针痕检测结果，确定待处理图像中的针痕区域与测试接点区域的相对分布信息；
[0272]
输出模块3720，用于响应于相对分布信息符合预设异常条件，输出异常告警信号。
[0273]
在一个可选示例中，预定颜色分量包括：蓝色分量。
[0274]
在本公开的装置中，上述公开的各种可选实施例、可选实施方式和可选示例，都可以根据需要进行灵活的选择和组合，从而实现相应的功能和效果，本公开不进行一一列举。
[0275]
示例性电子设备
[0276]
图38是本公开实施例提供的一种电子设备的结构图，包括至少一个处理器3810和存储器3820。
[0277]
处理器3810可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备3800中的其他组件以执行期望的功能。
[0278]
存储器3820可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器3810可以运行所述程序指令，以实现上文所述的本公开的各个实施例的基于图像处理的针痕检测方法和/或其他期望的功能。
[0279]
在一个示例中，电子设备3800还可以包括：输入装置3830和输出装置3840，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
[0280]
该输入装置3830还可以包括例如键盘、鼠标等等。
[0281]
该输出装置3840可以向外部输出各种信息，其可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
[0282]
当然，为了简化，图38中仅示出了该电子设备3800中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备3800还可以包括任何其他适当的组件。
[0283]
示例性计算机程序产品和计算机可读存储介质
[0284]
除了上述方法和设备外，本公开的实施例还可提供一种计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行上述“示例性方法”描述的本公开各种实施例的基于图像处理的针痕检测方法中的步骤。
[0285]
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0286]
此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行上述“示例性方法”部分中描述的本公开各种实施例的基于图像处理的针痕检测方法中的步骤。
[0287]
计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如但不限于包括电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0288]
以上结合具体实施例描述了本公开的基本原理，但是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为其是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
[0289]
本领域的技术人员可以对本公开进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

技术特征：
1.一种基于图像处理的针痕检测方法，包括：将包括待进行针痕检测的测试接点的待处理图像转换为第一灰度图像；从所述待处理图像中分离出预定颜色分量对应的单色图像；基于所述第一灰度图像，按照第一规则生成第一二值图像；其中，所述第一规则包括：像素值未超过对应的像素值阈值的像素点呈白色；基于所述单色图像，按照第二规则生成第二二值图像；其中，所述第二规则包括：像素值超过对应的像素值阈值的像素点呈白色；对所述第一二值图像和所述第二二值图像进行合并，得到合并二值图像；基于所述合并二值图像，确定所述待处理图像中的测试接点的针痕检测结果。2.根据权利要求1所述的方法，其中，所述方法还包括：确定所述待处理图像对应的测试接点定位信息；所述基于所述第一灰度图像，按照第一规则生成第一二值图像，包括：基于所述测试接点定位信息，确定所述第一灰度图像中的测试接点区域；基于所述第一灰度图像中的测试接点区域中的像素点的像素值，确定第一填充像素值；利用所述第一填充像素值，对所述第一灰度图像中除了测试接点区域之外的区域进行填充，得到第一填充图像；按照所述第一规则，将所述第一填充图像转换为所述第一二值图像。3.根据权利要求1所述的方法，其中，所述方法还包括：确定所述待处理图像对应的测试接点定位信息；所述基于所述单色图像，按照第二规则生成第二二值图像，包括：基于所述测试接点定位信息，确定所述单色图像中的测试接点区域；基于所述单色图像中的测试接点区域中的像素点的像素值，确定第二填充像素值；利用所述第二填充像素值，对所述单色图像中除了测试接点区域之外的区域进行填充，得到第二填充图像；按照所述第二规则，将所述第二填充图像转换为所述第二二值图像。4.根据权利要求2或3所述的方法，其中，所述方法还包括：从晶粒表面图像中的第一区域截取所述待处理图像；所述确定所述待处理图像对应的测试接点定位信息，包括：基于所述第一区域对应的模板图像，生成所述待处理图像对应的测试接点定位信息；其中，所述模板图像包括：用于呈现所述第一区域对应的模板测试接点的尺寸以及背景的图像。5.根据权利要求4所述的方法，其中，所述基于所述第一区域对应的模板图像，生成所述待处理图像对应的测试接点定位信息，包括：确定所述待处理图像中与所述模板图像匹配的第二区域；基于所述第二区域，从所述第一灰度图像中截取包括待进行针痕检测的测试接点的截
取图像；按照所述第一规则，将所述截取图像转换为第三二值图像；确定所述第三二值图像中的第一最大连通域；确定能够包围所述第一最大连通域的第一最小矩形；基于所述第一最小矩形，生成所述待处理图像对应的测试接点定位信息。6.根据权利要求5所述的方法，其中，所述基于所述第一最小矩形，生成所述待处理图像对应的测试接点定位信息，包括：对所述第一最小矩形包围的区域进行边缘裁剪，并确定所述第一最小矩形包围的区域中未被裁剪的区域；将所述未被裁剪的区域映射至图像尺寸与所述待处理图像一致的图像，以生成所述待处理图像对应的测试接点定位掩码图。7.根据权利要求4所述的方法，其中，所述方法还包括：获取包括所述第一区域对应的模板测试接点的参考图像；确定所述参考图像中的所述模板测试接点的边缘缺损区域；对所述边缘缺损区域进行修复；基于所述边缘缺损区域经修复后的所述参考图像，生成所述模板图像。8.根据权利要求7所述的方法，其中，所述确定所述参考图像中的所述模板测试接点的边缘缺损区域，包括：将所述参考图像转换为第二灰度图像；按照所述第一规则，将所述第二灰度图像转换为第四二值图像；确定所述第四二值图像中的第二最大连通域；确定所述第二最大连通域对应的凸包；基于所述第二最大连通域和所述凸包，确定所述参考图像中的所述模板测试接点的边缘缺损区域。9.根据权利要求8所述的方法，其中，所述基于所述第二最大连通域和所述凸包，确定所述参考图像中的所述模板测试接点的边缘缺损区域，包括：确定所述凸包的包围区域与所述第二最大连通域的外轮廓的包围区域的差集；将所述差集映射至所述参考图像，以确定所述参考图像中的所述模板测试接点的边缘缺损区域。10.根据权利要求8所述的方法，其中，所述基于所述边缘缺损区域经修复后的所述参考图像，生成所述模板图像，包括：对所述凸包进行膨胀，并确定所述凸包对应的膨胀区域；从所述边缘缺损区域经修复后的所述参考图像中，截取与所述膨胀区域映射的第三区域的局部图像；基于所述局部图像，生成所述模板图像。11.根据权利要求1所述的方法，其中，所述基于所述合并二值图像，确定所述待处理图像中的测试接点的针痕检测结果，包括：确定所述合并二值图像中的多个连通域；确定所述多个连通域中尺寸符合第一预设约束条件的连通域；
将所述尺寸符合第一预设约束条件的连通域中，相互之间的距离满足第二预设约束条件的连通域进行合并，以得到合并连通域；基于所述合并连通域，确定所述待处理图像中的测试接点的针痕检测结果。12.根据权利要求11所述的方法，其中，所述基于所述合并连通域，确定所述待处理图像中的测试接点的针痕检测结果，包括：确定能够包围所述合并连通域的第二最小矩形；基于所述第二最小矩形的长度和宽度，确定所述合并连通域的区域属性；其中，所述区域属性用于表征所述合并连通域是否属于针痕区域；基于所述合并连通域的区域属性，确定所述待处理图像中的测试接点的针痕检测结果。13.根据权利要求12所述的方法，其中，所述基于所述第二最小矩形的长度和宽度，确定所述合并连通域的区域属性，包括：确定所述第二最小矩形的长度和预设长度之间的第一数值关系；确定所述第二最小矩形的宽度和预设宽度之间的第二数值关系；确定所述第二最小矩形的长度和宽度的比值与预设比值之间的第三数值关系；基于所述第一数值关系、所述第二数值关系和所述第三数值关系，确定所述合并连通域的区域属性。14.根据权利要求1-3和5-13中任一项所述的方法，其中，所述方法还包括：基于所述待处理图像中的测试接点的针痕检测结果，确定所述待处理图像中的针痕区域与测试接点区域的相对分布信息；响应于所述相对分布信息符合预设异常条件，输出异常告警信号。15.根据权利要求1-3和5-13中任一项所述的方法，其中，所述预定颜色分量包括：蓝色分量。16.一种基于图像处理的针痕检测装置，包括：转换模块，用于将包括待进行针痕检测的测试接点的待处理图像转换为第一灰度图像；分离模块，用于从所述待处理图像中分离出预定颜色分量对应的单色图像；第一生成模块，用于基于所述第一灰度图像，按照第一规则生成第一二值图像；其中，所述第一规则包括：像素值未超过对应的像素值阈值的像素点呈白色；第二生成模块，用于基于所述单色图像，按照第二规则生成第二二值图像；其中，所述第二规则包括：像素值超过对应的像素值阈值的像素点呈白色；合并模块，用于对所述第一二值图像和所述第二二值图像进行合并，得到合并二值图像；第一确定模块，用于基于所述合并二值图像，确定所述待处理图像中的测试接点的针痕检测结果。17.一种电子设备，包括：存储器，用于存储计算机程序产品；处理器，用于执行所述存储器中存储的计算机程序产品，且所述计算机程序产品被执行时，实现上述权利要求1至15中任一项所述的基于图像处理的针痕检测方法。
18.一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时，实现上述权利要求1至15中任一项所述的基于图像处理的针痕检测方法。

技术总结
本发明公开了一种基于图像处理的针痕检测方法、装置、设备及介质，涉及晶圆测试技术领域，该方法包括：将包括待进行针痕检测的测试接点的待处理图像转换为第一灰度图像；从待处理图像中分离出预定颜色分量对应的单色图像；基于第一灰度图像，按照第一规则生成第一二值图像；其中，第一规则包括：像素值未超过对应的像素值阈值的像素点呈白色；基于单色图像，按照第二规则生成第二二值图像；其中，第二规则包括：像素值超过对应的像素值阈值的像素点呈白色；对第一二值图像和第二二值图像进行合并，得到合并二值图像；基于合并二值图像，确定待处理图像中的测试接点的针痕检测结果。本公开的实施例能够兼容对不同特征的针痕的检测。开的实施例能够兼容对不同特征的针痕的检测。开的实施例能够兼容对不同特征的针痕的检测。


技术研发人员：蔡超鹏 陈思乡 杨奉利 梁思文 戴啟辉
受保护的技术使用者：杭州长川科技股份有限公司
技术研发日：2023.05.04
技术公布日：2023/10/15