基于半导体应用的语义图像分割的制作方法

1.本发明大体上涉及用于确定样品的信息的方法及系统。某些实施例涉及一种经配置以将标签指派给样品图像中的多个像素中的每一者的语义分割模型。


背景技术：

2.以下描述及实例不能因其包含于本章节中而被承认为现有技术。
3.制造例如逻辑及存储器装置的半导体装置通常包含：使用大量半导体制程来处理例如半导体晶片的衬底以形成半导体装置的各种特征及多个层级。例如，光刻是涉及将图案从倍缩光罩转印到布置于半导体晶片上的光致抗蚀剂的半导体制程。半导体制程的额外实例包含(但不限于)化学机械抛光(cmp)、蚀刻、沉积及离子植入。多个半导体装置可依布置制造于单个半导体晶片上且接着分离成个别半导体装置。
4.在半导体制程期间的各种步骤中使用检验过程来检测样品上的缺陷以驱动制程中的较高良率且因此驱动较高利润。检验始终为制造半导体装置的重要部分。然而，随着半导体装置的尺寸减小，检验对于成功制造可接受半导体装置而言变得更加重要，因为更小缺陷会引起装置失效。
5.缺陷检视通常涉及重新检测如此通过检验过程检测到的缺陷且使用高倍率光学系统或扫描电子显微镜(sem)以更高分辨率产生关于缺陷的额外信息。因此，在其中已通过检验检测到缺陷的样品上的离散位置处执行缺陷检视。由缺陷检视产生的缺陷的更高分辨率数据更适合于确定缺陷的属性(例如分布、粗糙度、更准确的大小信息等)。与检验相比，基于由缺陷检视确定的信息，通常可更准确地将缺陷分类为缺陷类型。
6.在半导体制程期间，度量过程也用于各种步骤以监测及控制过程。度量过程与检验过程的不同的处在于：不同于其中在样品上检测到缺陷的检验过程，度量过程用于测量无法使用当前所使用的检验工具确定的样品的一或多个特性。例如，度量过程用于测量样品的一或多个特性，例如在过程期间形成于样品上的特征的尺寸(例如线宽、厚度等)，使得可从所述一或多个特性确定过程的性能。另外，如果样品的一或多个特性不可接受(例如超出所述特性的预定范围)，那么样品的一或多个特性的测量可用于更改过程的一或多个参数使得由所述过程制造的额外样品具有可接受特性。
7.度量过程与缺陷检视过程的不同的处还在于：不同于其中通过检验检测到的缺陷在缺陷检视中被再次访问的缺陷检视过程，度量过程可在尚未检测到缺陷的位置执行。换句话说，不同于缺陷检视，对样品执行度量过程的位置可独立于对样品执行检验过程的结果。特定来说，执行度量过程的位置可独立于检验结果进行选择。另外，由于可独立于检验结果选择执行度量的样品上的位置，因此不同于其中待执行缺陷检视的样品上的位置无法确定直到产生样品的检验结果且可供使用的缺陷检视，在已对样品执行检验过程之前，可确定执行度量过程的位置。
8.存在许多不同方式来处理由如上文所描述般配置的工具产生的图像、输出等以从其确定信息。通常，将测试图像与参考图像相比较使得可确定测试图像与参考图像之间的
任何差异且用于确定样品的信息。在检验的情况下，许多当前使用的缺陷检验算法需要参考图像来计算差分图像且接着基于定限差分图像执行缺陷检测。以类似方式，可将测试图像与参考图像相比较以在度量的情况下确定相对特性或在缺陷检视的情况下执行缺陷重新检测。
9.在上文所描述的应用中使用参考图像存在若干缺点。例如，参考图像本身可在差分图像中引入噪声使缺陷检验由于噪声级别较高而不太灵敏。参考图像在缺陷检视以及度量中也可具有类似影响。另外，许多当前使用的缺陷检验算法均基于在差分图像中检测缺陷，但在一些情况中，在不存在适合参考的情况下，难以或甚至不可能产生差分图像。例如，在重复缺陷的情况下，意味着缺陷存在于每个裸片中，来自一个裸片的图像无法用作为另一裸片的图像的参考图像，因为两个图像中的缺陷信号将通过减法消除以使重复缺陷在所得差分图像中显现为不可检测。例如标准参考裸片(srd)的技术已针对此类情况开发，但此类技术的成功通常取决于原始裸片无缺陷(情况不一定如此)的假设。在相对度量测量及缺陷检视重新检测中也可发生类似困难。
10.因此，将有利地开发不具有上文所描述的缺点中的一或多者的用于确定样品的信息的系统及方法。


技术实现要素：

11.各种实施例的以下描述绝不应被解释为限制所附权利要求书的标的物。
12.一个实施例涉及一种系统，其经配置以确定样品的信息。所述系统包含计算机子系统及由所述计算机子系统执行的一或多个组件。所述一或多个组件包含语义分割模型，其经配置以响应于在多个像素中的每一者中表示的内容而将标签指派给图像中的所述多个像素中的每一者。所述图像是由成像子系统产生的样品的图像。所述计算机子系统经配置用于从所述指派标签确定所述样品的信息且无需所述样品的参考图像。所述系统可如本文所描述般进一步配置。
13.另一实施例涉及一种计算机实施方法，其用于确定样品的信息。所述方法包含通过将图像输入到包含于由计算机子系统执行的一或多个组件中的语义分割模型中而响应于在多个像素中的每一者中表示的内容来将标签指派给所述图像中的所述多个像素中的每一者。所述图像是由成像子系统产生的样品的图像。所述方法还包含从所述指派标签确定所述样品的信息且无需所述样品的参考图像。
14.方法的步骤中的每一者可如本文所进一步描述般进一步执行。方法可包含本文所描述的任何其它方法的任何其它步骤。方法可由本文所描述的系统中的任何者执行。
15.另一实施例涉及一种非暂时性计算机可读媒体，其存储可在计算机系统上执行的程序指令，所述程序指令执行用于确定样品的信息的计算机实施方法。所述计算机实施方法包含上文所描述的方法的步骤。所述计算机可读媒体可如本文所描述般进一步配置。所述计算机实施方法的步骤可如本文所进一步描述般执行。另外，所述程序指令可执行的所述计算机实施方法可包含本文所描述的任何其它方法的任何其它步骤。
附图说明
16.所属领域的技术人员将在受益于优选实施例的以下详细描述及参考附图之后变
得明白本发明的进一步优点，其中：
17.图1及1a是说明如本文所描述般配置的系统的实施例的侧视图的示意图；
18.图2是说明可由本文所描述的实施例执行的步骤的流程图；
19.图3到4是说明可由本文所描述的实施例产生的结果的示意图；
20.图5是说明可用于如本文所描述般配置的语义分割模型的架构的一个实施例的示意图；及
21.图6是说明存储程序指令的非暂时性计算机可读媒体的一个实施例的框图，所述程序指令用于引起计算机系统执行本文所描述的计算机实施方法。
22.尽管本发明可接受各种修改及替代形式，但本发明的特定实施例依举例方式展示于图式中且在本文中被详细描述。图式可能未按比例。然而，应了解，图式及其详细描述不希望使本发明受限于所公开的特定形式，而是相反地，本发明用于涵盖落入如由所附权利要求书定义的本发明的精神及范围内的所有修改、等效物及替代。
具体实施方式
23.如本文所可互换地使用的术语“设计”、“设计数据”及“设计信息”大体上指的是ic或其它半导体装置的物理设计(布局)及通过复杂模拟或简单几何及布尔(boolean)运算从物理设计导出的数据。设计可包含描述于以下中的任何其它设计数据或设计数据代理：扎法尔(zafar)等人于2009年8月4日发布的共同拥有的第7,570,796号美国专利及库卡尼(kulkarni)等人于2010年3月9日发布的第7,676,077号，所述两个专利以宛如全文阐述引用的方式并入本文中。另外，设计数据可为标准单元库数据、整合布局数据、一或多个层的设计数据、设计数据的衍生物及全部或部分芯片设计数据。此外，本文所描述的“设计”、“设计数据”及“设计信息”指的是由半导体装置设计者在设计过程中产生且因此可在将设计印刷于任何物理样品(例如倍缩光罩及晶片)上之前很好地用于本文所描述的实施例中的信息及数据。
24.如本文所使用的术语的“干扰”(其有时与“干扰缺陷”或“干扰事件”互换使用)通常被定义为用户不关心的缺陷及/或在样品上检测到但并非样品上的实际缺陷的事件。由于样品上的非缺陷噪声源(例如样品上的金属线中的颗粒、来自样品上的底层或材料的信号、线边缘粗糙度(ler)、图案化特征中的相对较小的临界尺寸(cd)变动、厚度变动等)及/或由于检验系统本身或其用于检验的配置中的边缘化，非实际缺陷的干扰可被检测为事件。
25.如本文所使用的术语“所关注的缺陷(doi)”定义为在样品上检测到且为样品上的实际缺陷的缺陷。因此，doi是用户所关注，因为用户通常关心被检验的样品上有多少实际缺陷及实际缺陷的种类。在一些上下文中，术语“doi”用于指的是样品上的所有实际缺陷的子集，其仅包含用户所关心的实际缺陷。例如，任何给定样品上可存在多种类型的doi，且其中的一或多者可比一或多种其它类型的doi更吸引用户。然而，在本文所描述的实施例的上下文中，术语“doi”用于指的是样品上的任何及所有实际缺陷。
26.现转到图式，应注意，图未按比例绘制。特定来说，图的一些元件的比例被明显放大以突显元件的特性。还应注意，图未按相同比例绘制。已使用相同参考数字来指示可类似配置的一个以上图中所展示的元件。除非本文另有说明，否则所描述及展示的任何元件可
包含任何适合市售元件。
27.一般来说，本文所描述的实施例是用于确定样品的信息的系统及方法。更具体来说，本文所描述的实施例经配置用于例如光学缺陷检测的应用的图像的语义分割。
28.在一些实施例中，样品是晶片。晶片可包含半导体技术中已知的任何晶片。尽管本文可相对于晶片或若干晶片描述一些实施例，但实施例不受限于可对其加以使用的样品。例如，本文所描述的实施例可用于例如倍缩光罩、平板、个人计算机(pc)板及其它半导体样品的样品。
29.图1中展示经配置用于确定样品的信息的系统的一个实施例。在一些实施例中，系统包含成像子系统，例如成像子系统100。成像子系统包含及/或耦合到计算机子系统(例如计算机子系统36)及/或一或多个计算机系统102。
30.一般来说，本文所描述的成像子系统包含至少一能量源、检测器及扫描子系统。能量源经配置以产生由成像子系统导引到样品的能量。检测器经配置以从样品检测能量且响应于检测能量而产生输出。扫描子系统经配置以改变能量被导引到其及从其检测能量的样品上的位置。在一个实施例中，如图1中所展示，成像子系统配置为基于光的成像子系统。依此方式，本文所描述的样品图像可由基于光的成像子系统产生。
31.在本文所描述的基于光的成像子系统中，导引到样品的能量包含光，且从样品检测到的能量包含光。例如，在图1所展示的系统的实施例中，成像子系统包含经配置以将光导引到样品14的照明子系统。照明子系统包含至少一个光源。例如，如图1中所展示，照明子系统包含光源16。照明子系统经配置以依一或多个入射角(其可包含一或多个倾斜角及/或一或多个垂直角)将光导引到样品。例如，如图1中所展示，来自光源16的光依倾斜入射角穿过光学元件18及接着透镜20而导引到样品14。倾斜入射角可包含任何适合倾斜入射角，其可取决于(例如)样品的特性及待在样品上执行的过程而变动。
32.照明子系统可经配置以在不同时间依不同入射角将光导引到样品。例如，成像子系统可经配置以更改照明子系统的一或多个元件的一或多个特性，使得光可依不同于图1中所展示的入射角的入射角导引到样品。在一个此实例中，成像子系统可经配置以移动光源16、光学元件18及透镜20，使得光依不同倾斜入射角或垂直(或几乎垂直)入射角导引到样品。
33.在一些例子中，成像子系统可经配置以同时依一个以上入射角将光导引到样品。例如，照明子系统可包含一个以上照明通道，照明通道中的一者可包含光源16、光学元件18及透镜20(如图1中所展示)且照明通道中的另一者(图中未展示)可包含可不同或相同配置的类似元件或可包含至少一光源及可能一或多个其它组件，例如本文将进一步描述的组件。如果在相同于其它光的时间将此光导引到样品，那么依不同入射角导引到样品的光的一或多个特性(例如波长、偏振等等)可不同，使得由依不同入射角照射样品引起的光可在检测器处彼此区别。
34.在另一例子中，照明子系统可仅包含一个光源(例如图1中所展示的光源16)且来自光源的光可由照明子系统的一或多个光学元件(图中未展示)分离成不同光学路径(例如基于波长、偏振等)。接着，不同光学路径中的每一者中的光可导引到样品。多个照明通道可经配置以在相同时间或不同时间(例如当不同照明通道用于依序照射样品时)将光导引到样品。在另一例子中，相同照明通道可经配置以在不同时间将具有不同特性的光导引到样
品。例如，光学元件18可配置为光谱滤波器且光谱滤波器的性质可依各种不同方式改变(例如通过使用一个光谱滤波器换出另一个光谱滤波器)，使得光的不同波长可在不同时间导引到样品。照明子系统可具有用于依序或同时依不同或相同入射角将具有不同或相同特性的光导引到样品的所属领域中已知的任何其它适合配置。
35.光源16可包含宽带等离子体(bbp)光源。依此方式，由光源产生且导引到样品的光可包含宽带光。然而，光源可包含例如经配置以产生呈任何适合波长的光的所属领域中已知的任何适合激光的任何其它适合光源。激光可经配置以产生单色或近单色光。依此方式，激光可为窄频激光。光源还可包含产生呈多个离散波长或波带的光的多色光源。
36.来自光学元件18的光可由透镜20聚焦到样品14上。尽管透镜20在图1中展示为单个折射光学元件，透镜20实际上可包含经组合将来自光学元件的光聚焦到样品的若干折射及/或反射光学元件。图1中所展示及本文所描述的照明子系统可包含任何其它适合光学元件(图中未展示)。此类光学元件的实例包含(但不限于)偏振组件、光谱滤波器、空间滤波器、反射光学元件、变迹器、分光器、光阑及其类似者，其可包含所属领域中已知的任何此类适合光学元件。另外，系统可经配置以基于用于成像的照明的类型来更改照明子系统的元件中的一或多者。
37.成像子系统还可包含扫描子系统，其经配置以改变光被导引到其及从其检测光的样品上的位置且可能引起光在样品上被扫描。例如，成像子系统可包含在成像期间将样品14安置于其上的载台22。扫描子系统可包含任何适合机械及/或机器人组合件(其包含载台22)，其可经配置以移动样品，使得光可导引到样品上的不同位置及从样品上的不同位置检测。另外或替代地，成像子系统可经配置使得成像子系统的一或多个光学元件执行样品的光的某一扫描使得光可导引到样品上的不同位置及从样品上的不同位置检测。在其中光在样品上被扫描的例子中，光可依任何适合方式(例如依蛇状路径或依螺旋路径)在样品上被扫描。
38.成像子系统进一步包含一或多个检测通道。所述检测通道中的至少一者包含检测器，其经配置以由于由成像子系统照射样品而从样品检测光且响应于经检测光而产生输出。例如，图1中所展示的成像子系统包含两个检测通道：检测通道由集光器24、元件26及检测器28形成而另一检测通道由集光器30、元件32及检测器34形成。如图1中所展示，两个检测通道经配置以依不同集光角收集及检测光。在一些例子中，两个检测通道经配置以检测散射光，且检测通道经配置以检测依不同角度从样品散射的光。然而，检测通道中的一或多者可经配置以从样品检测另一类型的光(例如反射光)。
39.如图1中进一步展示，两个检测通道均展示为定位于纸张的平面中且照明子系统还展示为定位于纸张的平面中。因此，在本实施例中，两个检测通道均定位于入射平面中(例如居中于入射平面中)。然而，检测通道中的一或多者可定位于入射平面外。例如，由集光器30、元件32及检测器34形成的检测通道可经配置以收集及检测散射出入射平面的光。因此，此检测通道通常可被称为“侧”通道，且此侧通道可在基本上垂直于入射平面的平面中居中。
40.尽管图1展示包含两个检测通道的成像子系统的实施例，但成像子系统可包含不同数目个检测通道(例如仅一个检测通道或两个或更多个检测通道)。在一个此例子中，由集光器30、元件32及检测器34形成的检测通道可形成如上文所描述的单侧通道，且成像子
系统可包含形成为定位于入射平面的相对侧上的另一侧通道的额外检测通道(图中未展示)。因此，成像子系统可包含具有集光器24、元件26及检测器28且居中于入射平面中且经配置以依处于或接近垂直于样品表面的散射角收集及检测光的检测通道。因此，此检测通道通常可称为“顶部”通道，且成像子系统还可包含如上文所描述配置的两个或更个侧通道。因此，成像子系统可包含至少三个通道(即，一个顶部通道及两个侧通道)，且至少三个通道中的每一者具有其自身的集光器，集光器中的每一者经配置以依不同于其它集光器中的每一者的散射角收集光。
41.如上文进一步描述，包含于成像子系统中的检测通道中的每一者可经配置以检测散射光。因此，图1中所展示的成像子系统可经配置用于样品的暗场(df)成像。然而，成像子系统还可或替代地包含经配置用于样品的亮场(bf)成像的检测通道。换句话说，成像子系统可包含经配置以检测从样品镜面反射的光的至少一个检测通道。因此，本文所描述的成像子系统可经配置仅用于df、仅用于bf，或用于df及bf成像两者。尽管集光器中的每一者在图1中展示为单折射光学元件，但集光器中的每一者可包含一或多个折射光学元件及/或一或多个反射光学元件。
42.一或多个检测通道可包含所属领域中已知的任何适合检测器，例如光电倍增管(pmt)、电荷耦合装置(ccd)及延时积分(tdi)摄影机。检测器还可包含非成像检测器或成像检测器。如果检测器是非成像检测器，那么每一检测器可经配置以检测散射光的某些特性(例如强度)，但无法经配置以检测依据成像平面内的位置而变化的特性。因而，由包含于成像子系统的检测通道中的每一者中的每一检测器产生的输出可为信号或数据，但非为图像信号或图像数据。在此类例子中，计算机子系统(例如计算机子系统36)可经配置以从检测器的非成像输出产生样品的图像。然而，在其它例子中，检测器可配置为经配置以产生成像信号或图像数据的成像检测器。因此，成像子系统可经配置以依诸多方式产生图像。
43.应注意，本文提供图1来大体上说明可包含于本文所描述的系统实施例中的成像子系统的配置。显然，本文所描述的成像子系统配置可经更改以优化在设计商用成像系统时正常执行的成像子系统的性能。另外，可使用既有系统(例如购自kla公司(加州米尓皮塔斯市(milpitas,calif))的29xx/39xx系列的工具)(例如通过将本文所描述的功能新增到既有检验系统)来实施本文所描述的系统。就一些此类系统而言，可提供本文所描述的方法作为系统的选用功能(例如除系统的其它功能之外)。替代地，可“从零开始”设计本文所描述的系统以提供全新系统。
44.计算机子系统36可依任何适合方式(例如经由一或多个传输媒体，其可包含“有线”及/或“无线”传输媒体)耦合到成像子系统的检测器，使得计算机子系统可接收由检测器产生的输出。计算机子系统36可经配置以执行具有或不具有检测器的输出的若干功能，包含本文进一步描述的步骤及功能。因此，本文所描述的步骤可由耦合到成像子系统或其部分的计算机子系统“接通工具”执行。另外，或替代地，计算机系统102可执行本文所描述的步骤中的一或多者。因此，本文所描述的步骤中的一或多者可由不直接耦合到成像子系统的计算机系统“切断工具”执行。计算机子系统36及计算机系统102可如本文所描述进一步配置。
45.计算机子系统36(以及本文所描述的其它计算机子系统)在本文中还可称为计算机系统。本文所描述的计算机子系统或系统中的每一者可呈各种形式，包含个人计算机系
统、图像计算机、主计算机系统、工作站、网络设备、因特网设备或其它装置。一般来说，术语“计算机系统”可经广义定义以涵盖具有执行来自存储器媒体的指令的一或多个处理器的任何装置。计算机子系统或系统还可包含例如平行处理器的所属领域中已知的任何适合处理器。另外，计算机子系统或系统可包含具有高速处理及软件的计算机平台，作为独立或网络工具。
46.如果系统包含一个以上计算机子系统，那么不同计算机子系统可彼此耦合，使得图像、数据、信息、指令等可发送于计算机子系统之间。例如，计算机子系统36可通过任何适合传输媒体(其可包含所属领域中已知的任何适合有线及/或无线媒体)耦合到计算机系统102(如图1中由虚线所展示)。此类计算机子系统中的两者或两者以上还可由共享计算机可读存储媒体(图中未展示)有效耦合。
47.尽管成像子系统在上文中被描述为基于光学或光的成像子系统，但在另一实施例中，成像子系统经配置为基于电子的成像子系统。依此方式，本文所描述的样品图像可由基于电子的成像子系统产生。在电子束成像子系统中，导引到样品的能量包含电子，且从样品检测到的能量包含电子。在图1a中所展示的一个此实施例中，成像子系统包含电子柱122，且系统包含耦合到成像子系统的计算机子系统124。计算机子系统124可如上文所描述配置。另外，此成像子系统可以相同于上文所描述及图1中所展示的方式耦合到另一或多个计算机系统。
48.同样如图1a中所展示，电子柱包含经配置以产生由一或多个元件130聚焦到样品128的电子的电子束源126。电子束源可包含(例如)阴极源或射极尖端且一或多个元件130可包含(例如)枪透镜、阳极、光束限制光阑、关阀、光束电流选择光阑、物镜及扫描子系统，所有所述元件可包含所属领域中已知的任何此类适合元件。
49.从样品返回的电子(例如二次电子)可由一或多个元件132聚焦到检测器134。一或多个元件132可包含(例如)扫描子系统，其可为包含于元件130中的相同扫描子系统。
50.电子柱可包含所属领域中已知的任何其它适合元件。另外，电子柱可如以下中的每一者中所描述般进一步配置：蒋(jiang)等人于2014年4月4日发布的第8,664,594号美国专利、小岛(kojima)等人于2014年4月8日发布的第8,692,204号美国专利、谷本斯(gubbens)等人于2014年4月15日发布的第8,698,093号美国专利及麦克唐纳(macdonald)等人于2014年5月6日发布的第8,716,662号美国专利，所述美国专利以宛如全文阐述引用的方式并入本文中。
51.尽管电子柱在图1a中展示为经配置使得电子依倾斜入射角导引到样品且依另一倾斜角从样品散射，但电子束可依任何适合角度导引到样品及从样品散射。另外，电子束成像子系统可经配置以使用多个模式来产生样品的输出，如本文进一步描述(例如依不同照射角度、集光角等)。电子束成像子系统的多个模式在成像子系统的任何输出产生参数上可不同。
52.计算机子系统124可耦合到检测器134，如上文所描述。检测器可检测从样品的表面返回的电子，借此形成样品的电子束图像(或其它输出)。电子束图像可包含任何适合电子束图像。计算机子系统124可经配置以使用由检测器134产生的输出检测样品上的事件，其可如本文进一步描述执行。计算机子系统124可经配置以执行本文所描述的任何额外步骤。包含图1a中所展示的成像子系统的系统可如本文所描述般进一步配置。
53.应注意，本文提供图1a来大体上说明可包含于本文所描述的实施例中的电子束成像子系统的配置。如同上文所描述的光学成像子系统，本文所描述的电子束成像子系统配置可经更改以优化在设计商用系统时正常执行的成像子系统的性能。另外，可使用既有系统(例如购自kla的工具)(例如通过将本文所描述的功能新增到既有系统)来实施本文所描述的系统。就一些此类系统而言，可提供本文所描述的方法作为系统的选用功能(例如除系统的其它功能之外)。替代地，可“从零开始”设计本文所描述的系统以提供全新系统。
54.尽管成像子系统在上文中描述为光或电子束成像子系统，但成像子系统可为离子束成像子系统。除电子束源可由所属领域中已知的任何适合离子束源替换之外，此成像子系统可如图1a中所展示般配置。另外，成像子系统可包含任何其它适合离子束成像系统，例如包含于市售聚焦离子束(fib)系统、氦离子显微镜(him)系统及二次离子质谱仪(sims)系统中的系统。
55.如上文进一步所述，成像子系统可经配置以具有多种模式。一般来说，“模式”由用于产生样品的输出的成像子系统的参数值定义。因此，不同模式在成像子系统的成像参数中的至少一者的值上可不同(除产生输出的样品上的位置之外)。例如，对于基于光的成像子系统，不同模式可使用不同波长的光。如本文进一步描述(例如通过对于不同模式使用不同光源、不同光谱滤波器等)，模式在导引到样品的光的波长上可不同。在另一实施例中，不同模式可使用不同照明通道。例如，如上所述，成像子系统可包含一个以上照明通道。因此，不同照明通道可用于不同模式。
56.多个模式在照明及/或集光/检测上也可不同。例如，如上文进一步描述，成像子系统可包含多个检测器。因此，检测器中的一者可用于一种模式且检测器中的另一者可用于另一模式。此外，模式可以本文所描述的一种以上方式彼此不同(例如不同模式可具有一或多个不同照明参数及一或多个不同检测参数)。另外，多个模式在视角上可不同，意味着具有不同入射角及集光角中的任一者或两者，其可如上文进一步描述般实现。成像子系统可经配置以在相同扫描或不同扫描(例如取决于使用多种模式同时扫描样品的能力)中使用不同模式来扫描样品。
57.在一些例子中，本文所描述的系统可配置为检验系统。然而，本文所描述的系统可配置为另一类型的半导体相关质量控制类型系统，例如缺陷检视系统及度量系统。例如，本文所描述及图1及1a中所展示的成像子系统的实施例可在一或多个参数中修改以取决于其将被使用的应用而提供不同成像能力。在一个实施例中，成像子系统配置为电子束缺陷检视子系统。例如，如果将图1a中所展示的成像子系统用于缺陷检视或度量而非检验，那么其可经配置以具有更高分辨率。换句话说，图1及1a中所展示的成像子系统的实施例描述用于成像子系统的一些通用及各种配置，所述成像子系统可依所属领域的技术人员显而易见的若干方式定制，以产生具有或多或少适合于不同应用的不同成像能力的成像子系统。
58.如上所述，成像子系统可经配置以将能量(例如光、电子)导引到样品的物理版本及/或扫描样品的物理版本上的能量，借此产生样品的物理版本的实际图像。依此方式，成像子系统可配置为“实际”成像系统而非“虚拟”系统。然而，图1中所展示的存储媒体(图中未展示)及计算机子系统102可配置为“虚拟”系统。特定来说，存储媒体及计算机子系统并非成像子系统100的部分且不具备任何处置样品的物理版本的能力但可配置为执行类似检验功能的虚拟检验员、执行类似度量功能的虚拟度量系统、使用所存储的检测器输出执行
类似缺陷检视等功能的虚拟缺陷检视工具。巴斯卡(bhaskar)等人于2012年2月28日发布的共同让与的第8,126,255号美国专利、达菲(duffy)等人于2015年12月29日发布的第9,222,895号及达菲(duffy)等人于2017年11月14日发布的第9,816,939号中描述配置为“虚拟”系统的系统及方法，所述专利以宛如全文阐述引用的方式并入本文中。本文所描述的实施例可如这些专利中所描述般进一步配置。例如，本文所描述的计算机子系统可如这些专利中所描述般进一步配置。
59.系统包含计算机子系统，其可包括上文所描述的计算机子系统或系统中的任何者的任何配置，及由计算机子系统执行的一或多个组件。例如，如图1中所展示，系统可包含计算机子系统36及由计算机子系统执行的一或多个组件104。一或多个组件可由如本文进一步描述的计算机子系统执行或依所属领域中已知的任何其它适合方式执行。执行一或多个组件的至少部分可包含将一或多个输入(例如图像、数据等)输入到一或多个组件中。计算机子系统可经配置以依任何适合方式将任何图像、数据等输入到一或多个组件中。
60.一或多个组件包含经配置用于响应于在多个像素中的每一者中所表示的内容而将标签指派给图像中的多个像素中的每一者的语义分割模型106(在本文中也称为语义图像分割模型)。图像是由成像子系统产生的样品的图像。图像可包含由本文所描述的成像子系统中的任何者产生的本文所描述的图像中的任何者。语义分割涉及分割及分类两者。语义图像分割的目标是使用所表示内容的对应种类标记图像中的每一像素。
61.在一个实施例中，计算机子系统经配置以使用训练集来训练用于指派的语义分割模型，所述训练集包含由成像子系统产生的一或多个doi的一或多个补片图像及指派给一或多个补片图像中的多个像素中的每一者的标签。例如，如图2的步骤200中所展示，计算机子系统可经配置以收集由成像子系统产生的doi的补片图像，其可如上文所描述般执行。在一个此实例中，doi的补片图像202(即，“候选图像”)可由成像子系统产生且由计算机子系统收集。在此补片图像中，最深灰色形状是形成于样品上的图案化特征且较浅灰色形状是图像中的噪声或干扰信号。虚线内部的图像中的区域(并非原始图像的部分而是为澄清起见添加到此处)对应于在补片图像中检测到的缺陷，其为所述区域上方及下方的图案化特征的缺失片。
62.计算机子系统还可使用缺陷的定限差分图像或罩幕图像进行标注，如步骤206中所展示。定限差分图像或缺陷罩幕可用作为分割图来训练语义分割模型。在一个此实例中，可通过对从补片图像减去参考图像或通过将缺陷罩幕应用于补片图像而产生的差分图像进行定限来为补片图像202产生标注图像208。因此，定限差分图像或罩幕图像将仅展示补片图像中的缺陷。在此实例中，标注图像208中的深灰色形状可为指示哪(些)像素表示缺陷的标注，且缺少任何此标注的剩余像素可借此被指示为无缺陷以便训练。
63.如步骤212中所展示，计算机子系统可使用候选图像及标注图像来训练语义图像分割模型以检测补片图像中的缺陷，此可如本文进一步描述般执行。接着，计算机子系统可使用训练语义图像分割模型对补片图像执行缺陷检测，如步骤214中所展示。换句话说，在使用候选图像及标注图像完成训练之后，计算机子系统可将其它样品图像输入到语义分割模型中，其可将样品图像中的像素标记为有缺陷或无缺陷，借此对补片图像执行缺陷检测。
64.因此，如上文所描述，指派给用于训练的一或多个补片图像中的多个像素中的每一者的标签可含于标注图像中，其中像素(与样品图像中的像素具有1:1的对应)被标记具
有含于样品图像中的内容。另外，如图2中所展示，标注图像可仅含有两种标签，一种(由标注图像中的深灰色方形表示的标签)用于doi且另一种(由标注图像的白色区域表示的标签)用于不包含doi的样品图像的部分。
65.然而，标注图像可比图2中所展示的图像更复杂且可包含两个以上标签，例如用于doi的第一标签、用于样品图像中的其它图案化结构的第二标签，及甚至用于不包含doi或图案化结构的样品图像中的部分的第三标签。此标注图像可类似于图4中所展示且在下文进一步描述的分割标签图。不同标签可含于单个标注图像中，或可为单个样品图像产生一个以上标注图像。
66.此外，尽管使用例如图2中所展示的标注图像(其中不存在原始样品图像)，但在其并非要求的一些方面可为有利的。例如，用于训练的标签可并入、附接到、覆盖于样品图像上等使得训练输出还包含原始样品图像。另外，尽管本文将标签描述为可包含于标注图像、定限差分图像或缺陷罩幕中，但标签本身不必为用于训练的任何种类的图像或示意格式。在一个此实例中，可使用含有像素id及其对应标签的简单数据结构来训练语义分割模型。
67.在另一实施例中，计算机子系统经配置用于使用训练集来训练用于指派的语义分割模型，所述训练集包含由深度学习(dl)模型产生的一或多个doi的一或多个补片图像及指派给一或多个补片图像中的多个像素中的每一者的标签。依此方式，如果由成像子系统产生的doi的补片图像不可用，那么可执行基于dl的方法来产生此类图像。例如，即使根本不存在缺陷实例，计算机子系统也可通过在样品中引入缺陷来修改样品的设计档案、产生对应光学补片图像及其标注图像，且使用其来训练语义分割模型。
68.如图2的步骤204中所展示，计算机子系统可收集具有缺陷实例的dl模型产生的图像。dl模型产生的图像可看起来类似于图2中所展示的补片图像202。收集dl模型产生的图像可包含将修改为包含人工缺陷的样品的设计信息输入到dl模型中，借此产生用于人工缺陷的仿真图像。然而，收集dl模型产生的图像可包含从使用dl模型产生图像的另一方法或系统获取图像。在步骤204中收集的图像可包含具有任何缺陷属性(例如不同位置的相同doi类型、具有不同缺陷属性的相同doi类型等)的任何数目个不同doi(其可为所有相同类型或不同类型)的任何数目个图像。使用dl模型产生的图像来训练语义图像分割模型可为有利的，因为可存在比通过扫描物理样品的doi发现的缺陷及缺陷属性多很多的可能性。如本文进一步描述，此类dl产生的图像也可与成像子系统为物理样品产生的实际样品图像组合用于训练，借此扩展可用于训练的图像及标签的可能性。
69.如步骤210中所展示，计算机子系统还可使用定限差分图像或人工预定义罩幕图像进行标注。可如上文所描述使用dl产生的图像替代样品图像来产生定限差分图像。人工预定义缺陷罩幕图像也可如上文所描述使用dl产生的图像产生或可在无dl产生的图像的情况下仅使用关于在设计档案中产生的人工缺陷的信息产生。定限差分图像或人工预定义罩幕图像可用作为分割图来训练语义分割模型。定限差分图像或人工预定义罩幕图像可看起来类似于图2中所展示的标注图像208。标注图像可如上文所描述般进一步配置。如步骤212中所展示，计算机子系统可使用候选图像及标注图像来训练语义图像分割模型以检测补片图像中的缺陷，其可如本文进一步描述般执行。接着，计算机子系统可使用训练语义图像分割模型对补片图像执行缺陷检测，如步骤214中所展示，其可如本文进一步描述般执行。
70.在一个此实施例中，dl模型包含生成对抗网络(gan)。依此方式，如果由成像子系统产生的缺陷的补片图像中无足够或无图像可用于训练，那么可使用基于gan的方法来产生此类图像。gan通常可定义为一种包含两个彼此对立的网络的深度类神经网络结构。gan及条件gan(cgan)的一般结构及配置的额外描述可在以下找到：由布劳尔(brauer)于2021年9月2日发布的第2021/0272273号美国专利申请案、由布劳尔(brauer)等人于2021年5月5日申请的第17/308,878号美国专利申请案、由古德菲勒(goodfellow)等人于2014年6月10日发布的题为“生成对抗网络(generative adversarial nets)”的arxiv:1406.2661，第9页、由金玛(kingma)等人于2014年10月31日发布的题为“具有深度生成模型的半监督学习(semi-supervised learning with deep generative models)”的nips2014，第1至9页、由米尔扎(mirza)等人于2014年11月6日发布的题为“条件生成对抗网络(conditional generative adversarial nets)”的arxiv:1411.1784，第7页、由马克扎尼(makhzani)等人于2016年5月25日发布的题为“对抗自动编码器(adversarial autoencoders)”，arxiv:1511.05644v2，第16页及由伊索拉(isola)等人于2017年11月22日发布的题为“具有条件对抗网络的图像到图像转译(image-to-image translation with conditional adversarial networks)”的arxiv:1611.07004v2，第17页，所述专利以宛如全文阐述引用的方式并入本文中。本文所描述的实施例可如这些参考中所描述般进一步配置。
71.在另一此实施例中，训练集还包含一或多个doi或由成像子系统产生的一或多个额外doi的一或多个额外补片图像及指派给一或多个额外补片图像中的多个像素中的每一者的额外标签。依此方式，可如上文所描述使用成像子系统产生的候选补片图像或dl产生的doi图像来执行训练。然而，还可使用两种图像执行训练。例如，在一些例子中，可存在一些可用成像子系统doi图像，但不足以用于训练目的。所述成像子系统图像可保留用于训练目的且使用dl或gan产生的缺陷图像进行扩增。在另一实例中，可存在可用于第一doi类型的足够成像子系统图像，但无或不足够用于第二doi类型的成像子系统图像以用于训练目的。在此实例中，成像子系统doi图像可被保留用于训练目的且使用dl或gan产生的用于第二doi类型的doi图像来扩增。因此，如图2中所展示，从成像子系统及dl或gan模型两者产生的候选图像及标注图像可被输入到步骤212且用于训练语义图像分割模型。接着，计算机子系统可使用训练语义图像分割模型对补片图像执行缺陷检测，如步骤214中所展示。
72.尽管图2描述且展示可针对检验应用执行的步骤，但这些相同步骤可针对本文所描述的其它应用(例如度量及缺陷检视)以类似方式执行。在此类例子中，候选图像及标注图像可不同于图2中所展示的图像且可替换为由(例如包含于度量或缺陷检视工具中的)另一成像子系统产生的适合图像。另外，训练语义图像分割模型的输出可不同且可取决于训练及指派给用于训练的图像的标签而变动。例如，替代如步骤214中所展示对补片图像执行缺陷检测，训练语义图像分割模型可经配置以执行度量或用于执行度量的步骤(例如图案化结构识别)或用于执行缺陷重新检测或用于执行缺陷检视的另一步骤(例如确定重新检测的缺陷的属性)。
73.语义分割模型可或可不由计算机子系统及/或由计算机子系统执行的组件中的一者训练。例如，另一方法或系统可训练语义分割模型，其接着可被存储以用作由计算机子系统执行的组件。在任一情况下，训练可包含将训练输入输入到语义分割模型中且更改语义分割模型的一或多个参数直到由语义分割模型产生的输出匹配(或基本上匹配)训练输出。
训练可包含更改语义分割模型的任一或多个可训练参数。经训练的语义分割模型的一或多个参数可包含语义分割模型中具有可训练权重的任何层的一或多个权重。在一个此实例中，权重可包含卷积层而非池化层的权重。
74.在一个实施例中，语义分割模型经配置用于将标签中的第一者指派给其中表示缺陷的多个像素中的一或多者且将标签中的第二者指派给其中未表示缺陷的多个像素中的一或多个其它者，且在无需样品的参考图像的情况下执行指派。因此，本文所描述的实施例可经配置以在无需参考图像的情况下执行缺陷检测。依此方式，本文所描述的实施例可经配置用于单个图像检测(sid)，其中输入到缺陷检测的唯一图像是样品测试图像。
75.在缺陷检测的情况下，用户主要关注什么是缺陷及什么是背景(或并非缺陷)。在一个此实例中，图3展示对应于其上覆盖像素格网的图2中所展示的候选补片图像202的草图300。在此草图中，最深灰色像素指示补片图像中的图案化特征，且最浅灰色像素指示图像中的缺陷。如本文所描述配置的语义图像分割模型可产生doi的图3中所展示的语义标签图302，其中仅表示缺陷的像素被标记为一个1且表示其它一切的像素被标记为一个0。因此，一个标签用于其中表示缺陷的像素，而另一不同标签用于剩余像素。语义图像分割模型还可(但不一定)产生其它一切的语义标签图304，其中表示一切并非缺陷的所有像素被标记为一个2且表示缺陷的像素被标记为一个0。依此方式，标记为一个2的像素表示不同事物(图案化结构及包围图案化结构的未图案化区域)，其相似之处在于其不表示样品上的缺陷。
76.用户有时可关注缺陷是否位于设计多边形上。可使用基于设计的对齐方法产生此信息，但本文所描述的语义分割模型可经配置用于执行此任务。
77.在一个此实施例中，语义分割模型经配置用于将标签中的第一者指派给其中表示缺陷的多个像素中的一或多者，且将标签中的第二者指派给其中表示样品上的一或多个结构的多个像素的一或多个额外像素。因此，图像中表示的不同事物可被指派不同标签。例如，对于对应于其上覆盖像素格网的图2中所展示的候选补片图像202的图3中所展示的草图300，如本文所描述般配置的语义图像分割模型可产生图4中所展示的doi的语义标签图400，其中仅表示缺陷的像素被标记为一个1而表示其它一切的像素被标记为一个0。因此，一个标签用于其中表示缺陷的像素，而另一不同标签用于剩余像素。语义图像分割模型还可产生背景多边形的语义标签图402，其中表示背景多边形的所有像素(形成于相同于缺陷的层上的图案化结构)被标记为一个2且表示其它一切的像素被标记为一个0。
78.在一个此实施例中，语义分割模型经配置用于将标签中的第三者指派给其中表示形成于一或多个结构下的样品上的一或多个额外结构的多个像素中的一或多个另外者。例如，语义图像分割模型可产生预层的语义标签图404，其中表示背景多边形的所有像素(即，既不表示缺陷也不表示被检验的层上的多边形的像素)被标记为一个3且表示其它一切的像素被标记为一个0。依此方式，语义分割模型可为补片图像产生doi及差异背景图案(样品的不同层上的背景图案或样品的当前层上的图案及当前层的未图案化部分)的语义标签图。
79.在进一步实施例中，语义分割模型经配置用于将标签中的第一者指派给其中表示第一类型的doi的一或多个例子的多个像素中的一或多者且将标签中的一或多个其它者指派给其中未表示第一类型的doi的一或多个例子的多个像素中的一或多个其它者。例如，语
义分割仅为各种类指派一个码(例如doi是1)，此对于本文所描述的应用是足够的，即使每个图像存在一个以上doi。依此方式，不同于分别在图3及4中所展示的语义标签图302及400，其中仅存在标记为表示doi的一个像素，语义标签图可具有被标记为表示doi且被指派相同标签的一个以上像素。这些如此标记的像素可取决于图像中的doi例子的位置而在图中彼此相邻或可在图中彼此间隔。此类图可如本文进一步描述般以其它方式产生。
80.在一些实施例中，语义分割模型经配置用于将标签中的第一者指派给其中表示第一doi的多个像素中的一或多者、将标签中的第二者指派给其中表示第二doi的多个像素中的一或多个额外者及将标签中的一或多个其它者指派给其中未表示第一及第二doi的多个像素中的一或多个其它者，且第一及第二doi是不同类型的doi。例如，如果用户期望区分相同或不同类型的不同doi，此将被称为例子分割。在一个此实例中，指派给其中表示第一doi类型的例子的任何像素的标签中的第一者可为1，指派给其中表示第二doi类型的例子的任何像素的标签中的第二者可为2，且指派给其它一切的标签可为0(或不同标签可用于样品的一或多个层上的不同背景多边形)。在此类例子中，可产生一个语义标签图，其仅展示第一doi类型的例子的标签，其中所有其它像素标记为0，可产生另一语义标签图，其仅展示第二doi类型的例子的标签，其中所有其它像素标记为0，等等。如果优于如上文所描述对于相同doi类型的多个例子使用相同标签，此相同类型的标记也可用于相同doi类型的多个例子。
81.指派标签步骤的结果可包含上文所描述及图3及4中所展示的语义标签图中的任一或多者，此可因若干原因而为有用的，但此同样非必要。例如，可在所属领域中已知的任何适合数据结构中表示及存储其被指派给的像素的标签及识别信息且不一定需要产生标签及其被指派给的像素的一些视觉表示。
82.语义图像分割模型的一种可能方法是依循编码器/解码器结构，其经配置用于对输入的空间分辨率进行取样、开发低分辨率特征映像(低分辨率指的是其分辨率低于样品图像)，其经学习以在种类之间进行高效区分，及将特征表示升取样到全分辨率分割图中(全分辨率指的是相同于样品图像的分辨率)。图5中展示此结构的一个实例。尽管本文更详细地描述此所谓的u-net结构，但应注意，所属领域中已知的任何其它适合网络配置均可用于本文所描述的语义分割。
83.如图5中所展示，产生器可包含编码器500及解码器502。编码器500中所展示的框506、508及510中的每一者表示在重复卷积、批量归一化及整流线性单元(relu)启动且在每一区段的结尾应用最大池化之后的最终输出层大小的实例。尽管编码器500在图5中展示为包含3个框，但编码器可包含任何适合数目个框，其可以所属领域中已知的任适合方式确定。另外，框、卷积层、批量归一化层、relu层及池化层中的每一者可具有所属领域中已知的任何适合配置。输入504(其在本文所描述的实施例中是样品图像)可输入到框506中，其输出可输入到框508，等等。编码器可产生特征层512。
84.解码器还可包含对输入到解码器的特征层512执行不同功能的多个框。解码器中的框514、516及518中的每一者表示重复升取样(转置卷积)及relu启动之后的最终输出层大小的实例。尽管解码器502在图5中展示为包含3个框，但解码器可包含任何适合数目个框，其可以所属领域中已知的任何适合方式确定。包含于解码器中的框及升取样及relu层中的每一者可具有所属领域中已知的任何适合配置。由编码器产生的特征层512可输入到
框514，其输出可输入到框516，等等。解码器的输出520可为本文所描述的语义标签图中的任何者。
85.在一些例子中，语义分割模型可包含编码器及解码器中的对应框之间(例如框506与518之间、框508与516之间及框510与514之间)的跳跃连接522。可跳跃连接以在框之间传送已学习的低阶信息。跳跃连接可具有以所属领域中已知的任何适合方式确定的任何适合配置。图5中输入及输出下方的数字分别指示输入及输出的大小。编码器中的框下方的数字指示框的输出的大小，且解码器中的框下方的数字指示框中的每一者的输入的大小。图5中的输入、输出及框下方的所有数字均希望为非限制性实例，其可取决于输入图像的大小及层的配置而变动。
86.在一个实施例中，指派给多个像素中的每一者的标签选自由语义分割模型在语义分割模型的训练期间学习的预定义标签集。语义图像分割是从预定义种类集对图像中的每一像素进行分类的任务。因此，不同于涉及寻找图像之间的任何及所有可能差异且将其识别为候选或潜在缺陷的一些缺陷检测，本文所描述的语义图像分割本质上是在图像中搜寻已学习的缺陷。换句话说，语义图像分割模型并非搜寻样品图像与一些已知良好图像之间的任何差异且接着检验所述差异以确定哪些差异表示缺陷而是搜寻样品图像的一些先前学习的缺陷。
87.依此方式执行缺陷检测可具有多种优点，包含下文所描述的用于重复缺陷检测的优点，且还用于减少干扰检测。例如，当检验图像与已知良好图像之间的任何差异时，许多不一定是缺陷或doi的差异可被检测为潜在缺陷，接着必须对其进行干扰或噪声过滤。在许多例子中(例如当检验系统在其性能限制或接近其性能限制或为了某些种类的检验过程而操作时，干扰或噪声检测的级别实际上可通过使数据处置显得几乎不可能或使数据处置(例如将干扰与缺陷分离)变得非常困难来阻碍检验而禁止检验。相比而言，因为本文所描述的实施例并非搜寻两个图像之间的各个及每个差异且接着处理所述差异以进行缺陷检测，因此本文所描述的实施例可执行一种目标缺陷检测，其中语义分割模型仅搜寻样品图像的特定种类的缺陷且将一或多个预定义标签指派给经由使用指派给预存在缺陷实例的预定义标签执行的训练来学习的缺陷。依此方式，当语义分割模型未经训练来发现干扰时，其将无法在样品图像中发现干扰(或至少发现比大多数检验过程少得多的干扰)。因此，与许多当前使用的检验过程相比，本文所描述的实施例提供显著减少的干扰检测，其允许半导体制造商作出更可靠的过程决策且因此不浪费金钱作出不正确的处理决策。
88.在较低层级，神经元含有图像的相对较小区域的信息，而在较高层级，神经元含有图像的相对较大区域的信息。因此，随着更多层被添加，图像的大小不断减小且通道的数目不断增加。降取样由池化层完成。
89.在一些实施例中，语义分割模型不包含任何全连接层。对于图像分类的情况，来自卷积层的空间张量被映射到固定长度向量。为此，使用全连接层，其破坏所有空间信息。对于图像分割任务，必须保留空间信息，因此不使用全连接层。当网络不包含任何全连接层时，其被称为全卷积网络。在一个此实施例中，计算机子系统经配置用于通过将预存在类神经网络中的全连接层替换为一组卷积层来设定语义分割模型，借此产生语义分割模型。例如，本文所描述的实施例可依循由隆(long)等人于2015年在题为“用于语义分割的全卷积网络(fully convolutional networks for semantic segmentation)”的cvpr2015第3431
到3440页中描述的一般想法，其以宛如全文阐述引用的方式并入本文中，以由卷积层替换类神经网络的全连接层。本文所描述的实施例可如本参考中所描述般进一步配置。
90.与降取样层耦合的卷积层产生含有高阶信息的低分辨率张量。以含有高阶信息的低分辨率空间张量为例，必须产生高分辨率分割输出(高分辨率指的是其具有相同于输入样品图像的分辨率)。为此，添加更多卷积层且与升取样层耦合，其增加空间张量的大小。随着分辨率提高，当返回到低阶信息时，减少通道的数目。此被称为编码器-解码器结构，其中降取样输入的层是编码器的部分且升取样的层是解码器的部分。
91.滤波器升取样相当于在非零滤波器分接头之间插入孔(法语中是“trous”)。此技术在信号处理中具有悠久历史，最初是为在同样称为“algorithme
à
trous”的方案中有效计算非抽取小波变换而开发。因此，术语空洞卷积通常用作为具有升取样滤波器的卷积的简写。先前在深度卷积类神经网络(dcnn)的上下文中已使用此想法的各种风格。在实践中，全分辨率特征图可通过更密集地计算特征图的空洞卷积的组合来恢复，其后接着响应于原始图像大小而对特征执行简单双线性插值。此方案对密集预测任务中使用反卷积层提供一种简单而强大的替代方案。与具有较大滤波器的规则卷积相比，空洞卷积在不增加参数的数目或计算量的情况下允许有效地扩大滤波器的视野。语义分割模型的此实施例可进一步如陈(chen)等人于2016年6月2日的题为“deeplab：使用深度卷积网络、阿特鲁卷积及全连接crf的语义图像分割(deeplab:semantic image segmentation with deep convolutional nets,atrous convolution,and fully connected crfs)”的arxiv:1606.00915v2，14页中所描述般配置，其以宛如全文阐述引用的方式并入本文中。
92.当为了语义分割任务训练模型时，编码器输出含有关于对象及其形状及大小的信息的张量。解码器获取此信息且产生分割。来自网络中的早期层的跳跃连接可用于提供必要细节以重构分割边界的准确形状。
93.除上文所提及的方法之外，可使用额外图框(例如通过使用基于设计的输入通道或设计的呈现版本)来进一步扩增输入通道。还可添加额外输出分支以进一步帮助编码器。
94.计算机子系统经配置用于从指派标签确定样品的信息且无需样品的参考图像。确定的信息及使用指派标签的方式可取决于对样品执行的过程而变动。确定信息步骤可由计算机子系统使用算法来执行，所述算法可为由计算机子系统执行的一或多个组件的部分或可与所述组件分离。
95.在一些实施例中，为样品确定的信息包含样品上的预测缺陷位置。可在检验过程中确定预测缺陷位置，其中成像子系统扫描样品上的一、相对较大区域且接着由语义分割模型检验通过此扫描产生的图像的潜在缺陷。接着，计算机子系统可通过针对由语义分割模型指派给像素中的任何者的任何标签，检验由语义分割模型产生的语义标签图，来确定信息，所述标签指示存在缺陷或相同或不同类型的缺陷。计算机子系统还可确定已被指派指示在像素中表示缺陷的标签的像素的信息。所述信息可使用标签、语义分割图及原始样品图像产生，可能与本文所描述的其它信息(例如样品的设计)组合。信息可包含(例如)检测到的缺陷的类型、检测缺陷相对于样品图像中的一或多者的位置、样品、成像子系统及缺陷的设计，及由语义分割模型或计算机子系统为缺陷产生的任何其它信息。此信息可由如本文进一步描述的计算机子系统输出及存储。
96.在另一实施例中，为样品确定的信息包含样品上的预测重复缺陷位置。依此方式，
本文所描述的实施例可用于印刷检查应用。“印刷检查”在本文中定义为罩幕检验类型，其涉及在晶片上印刷罩幕、检验晶片，及基于晶片检验结果识别罩幕上的缺陷。印刷检查可用于识别用于极紫外线(euv)罩幕监测的倍缩光罩重复缺陷，其可被执行用于常规或规则检查释放到生产的euv罩幕的可能污染。印刷检查可用于单裸片倍缩光罩(sdr)及多裸片倍缩光罩(mdr)两者。对于阵列区域印刷检查，可使用基于单元间比较的阵列中重复缺陷(ria)来发现倍缩光罩重复缺陷。本文所描述的实施例还可用于检测样品上可存在的任何其它种类的重复缺陷。
97.本文所描述的实施例可有利地检测样品上可难以使用其它检验方法及系统检测的重复缺陷，因为本文所描述的实施例不需要使用参考图像进行缺陷检测。特定来说，因为本文所描述的实施例可执行sid，因此用于缺陷检测的图像中的任何缺陷信号将不通过参考图像减法而抵消，可如当缺陷存在于样品上的多个裸片、单元等中的相同位置中时的情况。
98.在额外实施例中，为样品确定的信息包含样品上的一或多个预测缺陷位置的一或多个缺陷属性。例如，本文所描述的实施例可经配置用于基于语义分割结果来确定缺陷属性。缺陷属性可包含任何适合缺陷属性，例如分类、大小、形状等(除已报告的缺陷位置的外)，其可从语义分割结果及/或其与原始样品图像、设计数据等的对准来确定。缺陷属性可由计算机子系统使用所属领域者中已知的任何适合方法或系统来确定。
99.一般来说，确定信息可包含为样品产生一或多个类似检验的结果。因此，基本上，确定信息步骤可具有多个输出通道，各自用于不同类型的信息。接着，可将来自多个通道的输出组合成样品的单个检验结果档案(例如由一些kla检验工具产生的klarf档案)。依此方式，对于样品上的任何一个位置，在检验结果档案中可存在多种类型的信息。
100.依类似方式，过程可为缺陷检视过程。不同于检验过程，缺陷检视过程通常重新访问已检测到缺陷的样品上的离散位置。经配置用于缺陷检视的成像子系统可产生如本文所描述的样品图像，其可输入如本文所描述的语义分割模型。语义分割模型可被训练及经配置用于将标签指派给图像中的多个像素中的每一者，以响应于在多个像素中的每一者中表示的内容(例如缺陷、图案化结构、未图案化区域、缺陷的一或多个属性(例如缺陷形状、尺寸、粗糙度、背景图案信息等)及/或缺陷分类(例如桥接型缺陷、缺失特征缺陷等))。对于缺陷检视应用，计算机子系统还可经配置用于使用用于任何适合缺陷检视工具上的任何适合缺陷检视方法或算法以从语义分割模型所产生的结果确定缺陷或样品的信息。尽管与检验相比，缺陷检视使用情况的各种输入及输出可不同，但相同语义分割模型可用于缺陷检视及检验两者(在应用适当训练之后)。语义分割模型可如上文所描述般以其它方式训练及配置。
101.如上文所描述，在一些实施例中，成像子系统可经配置用于样品的度量。在一个此实施例中，确定信息包含确定输入图像中的样品结构的一或多个特性。例如，本文所描述的语义分割模型可经配置用于将标签指派给样品图像中的像素，接着所述标签可用于确定样品的度量信息。度量信息可包含任何所关注的度量信息，其可取决于样品上的结构而变动。此度量信息的实例包含(但不限于)临界尺寸(cd)，例如线宽及样品结构的其它尺寸。样品图像可包含由任何度量工具产生的任何图像，其可具有例如本文所描述的配置或所属领域中已知的任何其它适合配置。依此方式，本文所描述的实施例可有利地使用由度量工具产
生来预测样品的度量信息的样品图像及包含于输入图像中的任一或多个样品结构。对于度量应用，计算机子系统还可经配置用于使用任何适合度量工具上使用的任何适合度量方法或算法以从语义分割模型所产生的结果确定样品的信息。尽管度量使用情况的各种输入及输出与检验相比可不同，但相同语义分割模型可用于度量及检验两者(在应用适当训练之后)。语义分割模型可如上文所描述般以其它方式训练及配置。
102.计算机子系统还可经配置用于产生包含确定信息的结果，其可包含本文所描述的任何结果或信息。确定信息的结果可由计算机子系统以任何适合方式产生。本文所描述的所有实施例可经配置用于将实施例的一或多个步骤的结果存储于计算机可读存储媒体中。结果可包含本文所描述的任何结果且可以所属领域中已知的任何方式存储。包含确定信息的结果可具有任何适合形式或格式，例如标准文件类型。存储媒体可包含本文所描述的任何存储媒体或所属领域中已知的任何其它适合存储媒体。
103.在已存储结果之后，所述结果可在存储媒体中存取且由本文所描述的任何方法或系统实施例使用，经格式化以向用户显示，由另一软件模块、方法或系统等使用，以对样品或相同类型的另一样品执行一或多个功能。例如，由计算机子系统产生的结果可包含样品上检测到的任何缺陷的信息，例如检测到的缺陷的边界框的位置等、检测分数、关于缺陷分类的信息(例如种类标签或id)、从任何图像确定的任何缺陷属性等、预测样品结构测量、尺寸、形状等，或所属领域中已知的任何此类适合信息。所述信息可由计算机子系统或另一系统或方法用于对样品及/或检测缺陷执行额外功能，例如对缺陷取样以进行缺陷检视或其它分析，确定缺陷的根本原因等。
104.此类功能还包含(但不限于)以回馈或前馈的方式更改过程，例如已或将对样品执行的制造程序或步骤等。例如，计算机子系统可经配置以基于确定信息来确定已对样品执行的过程及/或将对样品执行的过程的一或多个改变。对过程的改变可包含对过程的一或多个参数的任何适合改变。在一个此实例中，计算机子系统优选地确定所述改变使得可减少或防止在执行修订过程的其它样品上的缺陷、可校正或消除对样品执行的另一过程中的样品上的缺陷、可补偿对样品执行的另一过程中的缺陷等。计算机子系统可以所属领域中已知的任适合方式确定此类改变。
105.接着，可将所述改变发送到半导体制造系统(图中未展示)或计算机子系统及半导体制造系统两者均可存取的存储媒体(图中未展示)。半导体制造系统可或可不为本文所描述的系统实施例的部分。例如，本文所描述的成像子系统及/或计算机子系统可(例如)经由一或多个共同元件(例如外壳、电源供应器、样品处置装置或机构等)耦合到半导体制造系统。半导体制造系统可包含所属领域中已知的任何半导体制造系统，例如光刻工具、蚀刻工具、化学机械抛光(cmp)工具、沉积工具及其类似者。
106.除已描述的优点之外，本文所描述的实施例还具有若干优点。例如，即使根本不存在doi实例，本文所描述的实施例可通过在其中引入缺陷来修改设计片段，产生对应光学补片图像，且接着使用所产生的补片图像来训练语义分割模型。在另一实例中，本文所描述的实施例提供不需要参考图像的缺陷检测，其允许此技术用于印刷检查的使用情况及其中难以获取适合参考图像的其它情况。
107.上文所描述的系统中的每一者的实施例中的每一者可一起组合到一个单个实施例中。
108.另一实施例涉及一种计算机实施方法，其用于确定样品的信息。所述方法包含通过将图像输入到包含于由计算机子系统执行的一或多个组件中的语义分割模型中而响应于在多个像素中的每一者中表示的内容来将标签指派给所述图像中的所述多个像素中的每一者。所述图像是由成像子系统产生的样品的图像。所述方法还包含从所述指派标签确定所述样品的信息且无需所述样品的参考图像。所述输入及确定步骤由所述计算机子系统执行。
109.可如本文所进一步描述般执行方法的步骤中的每一者。方法还可包含可由系统、计算机子系统、组件及/或本文所描述的语义分割模型执行的任何其它步骤。计算机子系统可根据本文所描述的实施例中的任何者(例如计算机子系统36)配置。所述一或多个组件及所述语义分割模型还可根据本文所描述的实施例中的任何者配置。方法可由本文所描述的系统实施例中的任何者执行。
110.额外实施例涉及存储可在计算机系统上执行的程序指令的非暂时性计算机可读媒体，程序指令用于执行用于确定样品的信息的计算机实施方法。图6中展示一个此实施例。特定来说，如图6中所展示，非暂时性计算机可读媒体600包含可在计算机系统604上执行的程序指令602。计算机实施方法可包含本文所描述的任何方法的任何步骤。
111.实施方法(例如本文所描述的方法)的程序指令602可存储于计算机可读媒体600上。计算机可读媒体可为存储媒体，例如磁盘或光盘、磁带或所属领域中已知的任何其它适合非暂时性计算机可读媒体。
112.可依各种方式中的任何者来实施程序指令，其尤其包含基于程序的技术、基于组件的技术及/或面向对象技术。例如，可根据期望使用activex控制、c++对象、javabeans、微软基础类别(mfc)、sse(串流simd扩展)或其它技术或方法来实施程序指令。
113.可根据本文所描述的实施例中的任何者来配置计算机系统604。
114.鉴于“具体实施方式”，所属领域的技术人员将明白本发明的各个方面的进一步修改及替代实施例。例如，提供用于确定样品的信息的方法及系统。因此，“具体实施方式”应被解释为仅供说明且用于教示所属领域的技术人员实施本发明的一般方式的目的。应了解，本文所展示及描述的本发明的形式应被视为当前优选实施例。元件及材料可替代本文所说明及描述的元件及材料，部分及过程可颠倒，且可独立利用本发明的特定特征，在受益于本发明的“具体实施方式”的所属领域的技术人员将明白上述所有内容。可在不背离所附权利要求书中所描述的本发明的精神及范围的情况下对本文所描述的元件作出改变。

技术特征：
1.一种经配置以确定样品的信息的系统，其包括：计算机子系统；及一或多个组件，其由所述计算机子系统执行；其中所述一或多个组件包括语义分割模型，其经配置以响应于在图像中的多个像素中的每一者中表示的内容而将标签指派给所述多个像素中的每一者，其中所述图像是由成像子系统产生的样品的图像；且其中所述计算机子系统经配置用于从所述指派标签确定所述样品的信息且无需所述样品的参考图像。2.根据权利要求1所述的系统，其中为所述样品确定的所述信息包括所述样品上的预测缺陷位置。3.根据权利要求1所述的系统，其中为所述样品确定的所述信息包括所述样品上的预测重复缺陷位置。4.根据权利要求1所述的系统，其中所述语义分割模型经进一步配置用于将所述标签中的第一者指派给其中表示缺陷的所述多个像素中的一或多者且将所述标签中的第二者指派给其中未表示所述缺陷的所述多个像素中的一或多个其它者，且其中所述指派是在无需所述样品的参考图像的情况下执行。5.根据权利要求1所述的系统，其中为所述样品确定的所述信息包括所述样品上的一或多个预测缺陷位置的一或多个缺陷属性。6.根据权利要求1所述的系统，其中所述语义分割模型经进一步配置以将所述标签中的第一者指派给其中表示缺陷的所述多个像素中的一或多者且将所述标签中的第二者指派给其中表示所述样品上的一或多个结构的所述多个像素中的一或多个额外者。7.根据权利要求6所述的系统，其中所述语义分割模型经进一步配置以将所述标签中的第三者指派给其中表示形成于所述一或多个结构下的所述样品上的一或多个额外结构的所述多个像素中的一或多个另外者。8.根据权利要求1所述的系统，其中所述语义分割模型经进一步配置以将所述标签中的第一者指派给其中表示第一类型的所关注的缺陷的一或多个例子的所述多个像素中的一或多者且将所述标签中的一或多个其它者指派给其中未表示所述第一类型的所述所关注的缺陷的所述一或多个例子的所述多个像素中的一或多个其它者。9.根据权利要求1所述的系统，其中所述语义分割模型经进一步配置以将所述标签中的第一者指派给其中表示所关注的第一缺陷的所述多个像素中的一或多者、将所述标签中的第二者指派给其中表示所关注的第二缺陷的所述多个像素中的一或多个额外者及将所述标签中的一或多个其它者指派给其中未表示所关注的所述第一及第二缺陷的所述多个像素中的一或多个其它者，且其中所述第一及第二所关注的缺陷是不同类型的所关注的缺陷。10.根据权利要求1所述的系统，其中指派给所述多个像素中的每一者的所述标签选自在所述语义分割模型的训练期间由所述语义分割模型学习的预定义标签集。11.根据权利要求1所述的系统，其中所述语义分割模型不包括任何全连接层。12.根据权利要求1所述的系统，其中所述计算机子系统经进一步配置以使用包括由深度学习模型产生的一或多个所关注的缺陷的一或多个补片图像及指派给所述一或多个补
片图像中的多个像素中的每一者的标签的训练集来训练所述指派的所述语义分割模型。13.根据权利要求12所述的系统，其中所述深度学习模型包括生成对抗网络。14.根据权利要求12所述的系统，其中所述训练集进一步包括所述一或多个所关注的缺陷或由所述成像子系统产生的一或多个额外所关注的缺陷的一或多个额外补片图像及指派给所述一或多个额外补片图像中的多个像素中的每一者的额外标签。15.根据权利要求1所述的系统，其中所述计算机子系统经进一步配置以使用包括由所述成像子系统产生的一或多个所关注的缺陷的一或多个补片图像及指派给所述一或多个补片图像中的多个像素中的每一者的标签的训练集来训练所述指派的所述语义分割模型。16.根据权利要求1所述的系统，其中所述成像子系统是基于光的成像子系统。17.根据权利要求1所述的系统，其中所述成像子系统是基于电子的成像子系统。18.根据权利要求1所述的系统，其中所述样品是晶片。19.一种非暂时性计算机可读媒体，其存储可在计算机系统上执行以执行用于确定样品的信息的计算机实施方法的程序指令，其中所述计算机实施方法包括：通过将图像输入到包含于由所述计算机系统执行的一或多个组件中的语义分割模型中而响应于在所述图像中的多个像素中的每一者中表示的内容来将标签指派给所述多个像素中的每一者，其中所述图像是由成像子系统产生的样品的图像；及从所述指派标签确定所述样品的信息且无需所述样品的参考图像。20.一种用于确定样品的信息的计算机实施方法，其包括：通过将图像输入到包含于由计算机子系统执行的一或多个组件中的语义分割模型中而响应于在所述图像中的多个像素中的每一者中表示的内容来将标签指派给所述多个像素中的每一者，其中所述图像是由成像子系统产生的样品的图像；及从所述指派标签确定所述样品的信息且无需所述样品的参考图像，其中所述输入及确定由所述计算机子系统执行。

技术总结
提供用于确定样品的信息的方法及系统。一种系统包含计算机子系统及由所述计算机子系统执行的一或多个组件。所述一或多个组件包含语义分割模型，其经配置以响应于在多个像素中的每一者中表示的内容而将标签指派给图像中的所述多个像素中的每一者。所述图像是由成像子系统产生的样品的图像。所述计算机子系统经配置用于从所述指派标签确定所述样品的信息且无需所述样品的参考图像。且无需所述样品的参考图像。且无需所述样品的参考图像。


技术研发人员：B
受保护的技术使用者：科磊股份有限公司
技术研发日：2022.04.04
技术公布日：2023/10/15