基于知识蒸馏的LED芯片定位方法及LED芯片定位装置

基于知识蒸馏的led芯片定位方法及led芯片定位装置
技术领域
1.本技术涉及计算机技术领域，尤其涉及基于知识蒸馏的led芯片定位方法及led芯片定位装置。


背景技术：

2.led(light-emitting diode，全称发光二极管)芯片具有能量转换效率高、亮度高、寿命长、体积小、环境友好、颜色多样等优点，广泛应用于通讯、农业、医疗保健、生物、交通、医药等领域。随着制造技术和材料科学的不断发展，led芯片制造工艺日益复杂，芯片需求量大幅提高。随着芯片集成度的不断提高，制造和检测过程中所面临的挑战也越来越大。传统方法严重依赖半自动设备和人工流水线，受人员主观判断与环境影响较大，质量难以把控，整体效率低，人工成本和失误成本高，给企业带来了巨大的经济压力。因此，现阶段的检测方法已很难满足当下led芯片高效率、高精度的制造需求。
3.因此，需要一种无损安全、准确高效的方案，来实现led芯片的定位筛选。


技术实现要素：

4.本技术提供了基于知识蒸馏的led芯片定位方法及led芯片定位装置，以力图解决或者至少缓解上面存在的至少一个问题。
5.根据本技术的一个方面，提供了基于知识蒸馏的led芯片定位方法，包括：将待检测的led芯片图像分割为互相有重叠区域的多个图像区域，并对各图像区域进行放大，对应得到切片图像；将所述待检测的led芯片图像与各切片图像分别输入第一目标检测模型进行处理，对应得到各图像中的led芯片检测结果，所述检测结果包括芯片检测区域及其对应的芯片类型，其中所述第一目标检测模型通过以第二目标检测模型的检测结果为监督训练得到；以及对各图像中的led芯片检测区域进行合并，以确定出所述待检测的led芯片图像的led芯片区域及芯片类型。
6.可选地，在根据本技术的方法中，第一目标检测模型包括第一特征提取网络组件和预测组件，所述第二目标检测模型包括第二特征提取网络组件和预测组件，且所述第一特征提取网络组件的计算量和参数量小于所述第二特征提取网络组件。
7.可选地，在根据本技术的方法中，第一目标检测模型通过如下方式训练得到：对训练样本进行标注，得到标注数据，所述标注数据包括标注芯片区域和标注类型；将训练样本输入第二目标检测模型，经处理后输出第二芯片区域及第二类型；将所述训练样本输入初始的第一目标检测模型，经处理后输出第一芯片区域及第一类型；至少结合所述标注数据、所述第一芯片区域及第一类型、所述第二芯片区域及第二类型，计算总损失函数，并基于总损失函数调整第一目标检测模型的参数，直到训练结束，得到第一目标检测模型。
8.可选地，在根据本技术的方法中，至少结合所述标注数据，所述第一芯片区域及第一类型、所述第二芯片区域及第二类型，计算总损失函数，包括：基于所述第二芯片区域、所述第一芯片区域、标注芯片区域，计算目标损失函数；基于所述第二类型及其对应的第二芯
片区域置信度、所述第一类型、标注类型，计算分类损失函数；基于所述第二芯片区域及其对应的第二芯片区域置信度、所述第一芯片区域、标注芯片区域，计算回归损失函数；结合所述目标损失函数、所述分类损失函数、所述回归损失函数，确定出总损失函数。
9.可选地，在根据本技术的方法中，基于所述第二芯片区域、所述第一芯片区域、标注芯片区域，计算目标损失函数，包括：基于所述第二芯片区域和标注芯片区域，计算第二目标损失；基于所述第一芯片区域和标注芯片区域，计算第一目标损失；利用所述第二目标损失与平衡系数的乘积值、与所述第一目标损失之和，确定出目标损失函数。
10.可选地，在根据本技术的方法中，基于所述第二类型及其对应的第二芯片区域置信度、所述第一类型、标注类型，计算分类损失函数，包括：基于所述第二类型和标注类型，计算第二分类损失；基于所述第一类型和标注类型，计算第一分类损失；利用所述第二分类损失与平衡系数、第二芯片区域置信度的乘积值、与所述第一分类损失之和，确定出分类损失函数。
11.可选地，在根据本技术的方法中，基于所述第二芯片区域及其对应的第二芯片区域置信度、所述第一芯片区域、标注芯片区域，计算回归损失函数，包括：基于所述第二芯片区域和标注芯片区域，计算第二回归损失；基于所述第一芯片区域和标注芯片区域，计算第一回归损失；利用所述第二回归损失与平衡系数、第二芯片区域置信度的乘积值、与所述第一回归损失之和，确定出回归损失函数。
12.可选地，根据本技术的方法还包括：利用增强后芯片数据集，训练第二目标检测模型，其中，增强后芯片数据集通过如下方式生成：获取包含不同类型芯片的led芯片图像，作为原始芯片图像；对所述原始芯片图像进行切片处理，生成增强芯片图像；将所述原始芯片图像和所述增强芯片图像，作为增强后芯片数据集。
13.可选地，在根据本技术的方法中，对原始芯片图像进行切片处理，生成增强芯片图像，包括：根据预设参数，将所述原始芯片图像分割为互相有重叠区域的多个图像区域；分别对各图像区域进行放大，对应得到各增强芯片图像。
14.可选地，在根据本技术的方法中，对各图像中的led芯片检测区域进行合并，以确定出待检测的led芯片图像的led芯片区域及芯片类型，包括：采用非极大值抑制，将各图像中的led芯片检测区域转换到所述待检测的led芯片图像上进行合并，得到led芯片区域及其对应的芯片类型。
15.可选地，根据本技术的方法还包括：基于所述led芯片区域及芯片类型，从待检测的led芯片图像中筛除预定类型的芯片。
16.根据本技术的再一方面，提供了一种led芯片定位装置，包括：图像处理单元，适于将待检测的led芯片图像分割为互相有重叠区域的多个图像区域，并对各图像区域进行放大，对应得到切片图像；检测单元，适于将所述待检测的led芯片图像与各切片图像分别输入第一目标检测模型进行处理，对应得到各图像中的led芯片检测结果，所述检测结果包括芯片检测区域及其对应的芯片类型；芯片定位单元，适于对各图像中的led芯片检测区域进行合并，以确定出所述待检测的led芯片图像的led芯片区域及芯片类型。
17.可选地，根据本技术的装置还包括模型训练单元，适于以第二目标检测模型的检测结果为监督，训练得到所述第一目标检测模型，其中，所述第一目标检测模型包括第一特征提取网络组件和预测组件，所述第二目标检测模型包括第二特征提取网络组件和预测组
件，且所述第一特征提取网络组件的计算量和参数量小于所述第二特征提取网络组件。
18.根据本技术的再一方面，提供了一种计算设备，包括：一个或多个处理器存储器；一个或多个程序，其中所述一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于执行如上任一方法的指令。
19.根据本技术的再一方面，提供了一种存储一个或多个程序的计算机可读存储介质，一个或多个程序包括指令，指令在被计算设备执行时，使得计算设备执行如上所述的任一方法。
20.综上所述，根据本技术的方案，在第二目标检测网络已有的检测精度的基础上，利用第二目标检测模型指导第一目标检测模型训练，以更好地学习复杂的特征和关系，来提升轻量化网络的检测精度，使得根据本技术的led芯片定位方案能够在保证检测精度的情况下，提高led芯片检测和定位的效率，并降低部署时的硬件性能需求。
21.上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。
附图说明
22.为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所申请的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本技术的上述以及其它目的、特征和优势将变得更加明显。遍及本技术，相同的附图标记通常指代相同的部件或元素。
23.图1示出了根据本技术一些实施例的待检测的led芯片晶圆盘及led芯片；
24.图2示出了根据本技术一些实施例的视觉检测系统200的示意图；
25.图3示出了根据本技术一些实施例的led芯片定位装置300的示意图；
26.图4示出了根据本技术一些实施例的计算设备400的示意图；
27.图5示出了根据本技术一些实施例的基于知识蒸馏的led芯片定位方法500的流程示意图；
28.图6示出了根据本技术一些实施例的第一目标检测模型的网络结构示意图；
29.图7示出了根据本技术一些实施例的知识蒸馏模型的示意图；
30.图8示出了根据本技术一些实施例的训练样本的示意图；
31.图9示出了根据本技术一些实施例的增强后芯片数据集的示意图。
具体实施方式
32.下面将参照附图更详细地描述本技术的示例性实施例。虽然附图中显示了本技术的示例性实施例，然而应当理解，可以以各种形式实现本技术而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本技术，并且能够将本技术的范围完整的传达给本领域的技术人员。
33.机器视觉技术的出现为芯片制造与检测行业带来巨大变革。基于机器视觉的led芯片检测，是指利用工业相机、镜头和光源等成像设备实现待检芯片的图像采集，并通过计
算机与相应的图像处理算法对自动化生产线中的芯片进行高速、高精度的检测分析，实现自动化生产线的实时监测和控制。可以大幅提高芯片制造检测的效率和精度，保证产品的质量和生产安全。使用机器视觉代替人工目视进行检测已成为led芯片发展的重要趋势，有助于推动芯片自动化生产达到更加智能化、柔性化、无人化的新高度。
34.本技术对led芯片制造与检测流程中涉及到的部分关键技术，如led芯片定位筛选方法进行了研究与验证。结合目前已有的计算机视觉算法，针对本技术研究内容进行集成、改进与创新，能够满足led芯片检测的实际工业应用需求，有着一定的工程价值。同时本技术的研究成果也能推广至其他类似领域的检测任务中，对其他领域的相关任务也有着一定的参考价值。
35.led芯片的制造过程分为前道工序与后道工序，具体由晶圆处理工序、晶圆针测工序、芯片构装工序及芯片测试工序四个主要部分构成。首先，在晶圆处理工序中将晶圆蚀刻出多个独立的方形区域，并制作出led芯片结构。紧接着，在晶圆针测工序中使用针测设备检测每一块区域的电气特性，并使用激光将晶圆切割成单独的芯片。本技术的检测对象即为经过晶圆处理工序、晶圆针测工序，即将被送往构装工序的晶圆盘。将激光切割后的晶圆置于晶圆盘蓝膜上，使用扩片机拉伸蓝膜形成密集排列的led芯片。如图1示出了根据本技术的待检测的led芯片晶圆盘(左)及其上密集排列的led芯片(如右侧放大所示)。
36.由于晶圆工艺导致边缘区域产生掩膜残缺不全芯片(以下简称空白芯片)，存储运输流程中不可避免地会引入脏污污染，产生脏污芯片。led芯片定位筛选任务是指通过目标检测算法实现多种led芯片的类型识别、筛除其中空白及脏污的缺陷芯片并根据定位结果对原始图像进行裁剪，提取出仅包含单颗芯片的图像。
37.为了实现高效、准确的led芯片定位筛选，需要高质量的芯片图像与合理检测系统的支持。图2示出了根据本技术一些实施例的led芯片视觉检测系统200的示意图。该系统200能够提高led芯片视觉检测系统效率，实现高效率自动化成像与检测。
38.如图2所示，以上下料工位(如
①
所示)、角度修正工位(如
②
所示)、定位筛选工位(如
③
所示)为三大核心工位交替循环检测的方式，构建led芯片的高效视觉检测系统200。通过角度修正与芯片检测并行运算的方式提高系统200的整体效率，具体检测流程如下：
39.(1)由机械臂从上料工位夹持led芯片晶圆盘1送入角度修正工位中，在晶圆中心区域单次采集led芯片图像，通过led芯片角度修正算法得出芯片修正角度，并通过旋转平台旋转晶圆盘的方式进行led芯片角度修正。
40.(2)在led芯片晶圆盘1旋转修正过程中机械臂从检测工位夹持完成芯片定位筛选工序的led芯片晶圆盘2放回下料工位。
41.(3)由机械臂从角度修正工位夹持完成角度修正的led芯片晶圆盘1送入定位筛选工位，全覆盖成像并进行led芯片检测，在定位芯片的同时筛除其中的脏污及空白芯片。
42.(4)在led芯片晶圆盘1进行检测任务的过程中机械臂从上料工位夹持新的led芯片晶圆盘3并重复流程(1)-(4)。
43.根据本技术，在角度修正工位和定位筛选工位上均布置有采集芯片图像的图像采集单元，图像采集单元可以分别由相机、镜头、点光源、背光源等设备组成，以为后续led芯片角度修正及定位筛选任务提供高质量图像。本技术对上述设备的具体型号不做过多限制。
44.本技术主要针对系统200中led芯片的定位筛选过程。根据一些实施方式，可以通过led芯片定位装置来实现led芯片的定位筛选过程。
45.led芯片的定位筛选，需要同时满足芯片分类及定位的检测需求。当芯片类型识别错误时，判定为检测错误，否则对芯片定位进行进一步判定。定位要求需满足定位框能够包含单颗芯片，以便于后续工序根据单颗芯片图像进行进一步检测。
46.图3示出了根据本技术一些实施例的led芯片定位装置300的示意图。该装置300能够执行基于知识蒸馏的led芯片定位方法，以实现led芯片的定位和类别检测。在一些实施例中，该led芯片定位装置300可以部分或全部布置在系统200的定位筛选工位。
47.如图3所示，led芯片定位装置300至少包括：图像处理单元310、检测单元320、芯片定位单元330和模型训练单元340。如前文所述，装置300还包括图像采集单元(未示出)，以对经角度修正后的led芯片晶圆盘进行图像采集，得到待检测的led芯片图像。
48.待检测的led芯片图像中包含了密集排列的多个led芯片。如前文所述，这些芯片中可能包含有空白芯片、脏污芯片等缺陷芯片，需要通过目标检测来识别芯片类型、筛除其中的缺陷芯片并根据定位结果对待检测图像进行裁剪，提取出仅包含单颗芯片的图像。
49.图像处理单元310将待检测的led芯片图像分割为互相有重叠区域的多个图像区域，并对各图像区域进行放大，对应得到切片图像。
50.参考图1，led芯片晶圆盘上的led芯片密集排列、且单个led芯片较小，考虑到小目标在图像中占比较小，而在目标检测网络中，池化层会使目标信息量进一步减少，例如，一个24
×
24像素的目标经过4个池化层后可能只剩下一个像素，维度过低。因此，在本实施例中，先利用图像处理单元310对待检测的led芯片图像进行切片增强处理：先将待检测图像切片成多个图像区域，即，图像区域均为小尺寸图像，再在保持小尺寸图像宽高比的同时，增加小尺寸图像的尺寸(即，放大处理)，得到切片图像。这样，通过对待检测的led芯片图像的切片增强，在增大芯片的覆盖面积的同时扩大小目标芯片的特征区域，减少检测框(芯片定位区域)扰动带来的干扰并缓解卷积过深特征消失。同时，通过切片增强也缓解了目标聚集现象，避免多个目标在深层特征中的特征聚合的问题。
51.检测单元320将待检测的led芯片图像与各切片图像分别输入第一目标检测模型进行处理，对应得到各图像中的led芯片检测结果。根据本技术，检测结果包括芯片检测区域及其对应的芯片类型。在一些实施例中，芯片检测区域为包含单颗led芯片的最小包围框，该包围框通常为矩形框。芯片类型包括：第一类芯片、第二类芯片、第三类芯片和缺陷芯片(例如，空白芯片、脏污芯片等)，其中第一类芯片、第二类芯片、第三类芯片为不同尺寸大小的芯片，分别为大、中、小三类led芯片。
52.第一目标检测模型由模型训练单元340训练生成。通常，为了增强特征提取能力，目标检测模型会采用具有深层网络结构的模块(如，resnet50-vd)作为特征提取网络组件，在提升检测精度的同时也使得网络有着庞大的参数量与计算量，导致其推理速度较慢、对部署内存和算力要求较高。因此，在一些实施例中，选择计算量(floating point operations,flops)和参数量均小于传统模块的轻量化网络，对目标检测模型中的特征提取网络组件进行替换，来实现目标检测模型的轻量化改进。然而随着模型网络结构深度的大幅下降，其检测精度不可避免地会出现一定程度地下降。因此，在根据本技术的实施例中，构建知识蒸馏模型，利用复杂高精度的第二目标检测模型，来指导轻量化的第一目标检
测模型训练，以提升第一目标检测模型的检测精度。换言之，模型训练单元340以第二目标检测模型的检测结果为监督，训练得到第一目标检测模型，并且，第一目标检测模型包括第一特征提取网络组件和预测组件，第二目标检测模型包括第二特征提取组件和预测组件，且第一特征提取网络组件的计算量和参数量小于第二特征提取网络组件。
53.在一个优选的实施例中，第二目标检测模型采用pp-yolo模型。模型训练单元340还可以用来训练第二目标检测模型。第二目标检测模型的第二特征提取网络组件由作为主干特征提取网络的resnet50-vd和进行特征融合的fpn特征金字塔网络组成，将其中的resnet50-vd替换为更加轻量的mobilenetv3，换言之，将mobilenetv3作为主干特征提取网络，并将其中8倍，16倍，32倍下采样的有效特征层输入fpn并保留pp-yolo的检测头(即，预测组件)，即组成了第一目标检测模型的网络结构。
54.关于mobilenetv3，其继承了mobilenetv1和mobilenetv2的优势，并进行了一系列创新性的改进，在imagenet分类任务和coco检测任务上取得了优异的性能。mobilenetv3在保持模型轻量级和高效性的同时，通过使用深度可分离卷积代替传统卷积、引入se注意力机制、具有线性瓶颈的逆残差结构和h-swish激活函数等一系列方式，提高模型的精确率和泛化性能。此处不做过多展开。
55.关于模型训练单元340进行模型训练的具体过程，将在下文中进行详细说明。
56.芯片定位单元330对各图像中的led芯片检测区域进行合并，以最终确定出待检测的led芯片图像的led芯片区域及芯片类型。
57.根据本技术的实施方式，根据芯片类型筛除待检测图像中的缺陷芯片，并根据led芯片区域对待检测图像进行裁剪，提取出仅包含单颗芯片的各图像。
58.关于装置300执行过程中的具体细节，亦可参考下文中关于芯片定位方法500的具体说明。
59.根据本技术的led芯片定位装置300，在第二目标检测网络已有的检测精度的基础上，利用第二目标检测模型指导第一目标检测模型训练，以更好地学习复杂的特征和关系，来提升轻量化网络的检测精度，使得根据本技术的led芯片定位方案能够在保证算法精度的情况下，提高led芯片检测和定位的效率，降低部署时的硬件性能需求。
60.此外，在检测过程中，对待检测的led芯片图像进行了切片增强处理，生成切片图像；之后，利用待检测的led芯片图像本身的检测结果和切片图像的检测结果，合并得到最终的芯片定位结果。进一步提升了对密集小目标芯片的检测精度。
61.根据本技术的led芯片定位方案可以通过一台或多台计算设备实现。图4示出了根据本技术一些实施例的计算设备400的结构框图。需要说明的是，图4所示的计算设备400仅为一个示例，在实践中，用于实施本技术的计算设备可以是任意型号的设备，其硬件配置情况可以与图4所示的计算设备400相同，也可以与图4所示的计算设备400不同。实践中用于实施本技术的计算设备可以对图4所示的计算设备400的硬件组件进行增加或删减，本技术对计算设备的具体硬件配置情况不做限制。
62.如图4所示，在基本配置402中，计算设备400典型地包括系统存储器406和一个或者多个处理器404。存储器总线408可以用于在处理器404和系统存储器406之间的通信。
63.取决于期望的配置，处理器404可以是任何类型的处理器，包括但不限于：微处理器(μp)、微控制器(μc)、数字信息处理器(dsp)或者它们的任何组合。处理器404可以包括诸
如一级高速缓存410和二级高速缓存412之类的一个或者多个级别的高速缓存、处理器核心414和寄存器416。示例的处理器核心414可以包括运算逻辑单元(alu)、浮点数单元(fpu)、数字信号处理(dsp)核心或者它们的任何组合。示例的存储器控制器418可以与处理器404一起使用，或者在一些实现中，存储器控制器418可以是处理器404的一个内部部分。
64.取决于期望的配置，系统存储器406可以是任意类型的存储器，包括但不限于：易失性存储器(诸如ram)、非易失性存储器(诸如rom、闪存等)或者它们的任何组合。计算设备中的物理内存通常指的是易失性存储器ram，磁盘中的数据需要加载至物理内存中才能够被处理器404读取。系统存储器406可以包括操作系统420、一个或者多个应用422以及程序数据424。在一些实施方式中，应用422可以布置为在操作系统上由一个或多个处理器404利用程序数据424执行指令。操作系统420例如可以是linux、windows等，其包括用于处理基本系统服务以及执行依赖于硬件的任务的程序指令。应用422包括用于实现各种用户期望的功能的程序指令，应用422例如可以是浏览器、即时通讯软件、软件开发工具(例如集成开发环境ide、编译器等)等，但不限于此。
65.在计算设备400启动运行时，处理器404会从存储器406中读取操作系统420的程序指令并执行。应用422运行在操作系统420之上，利用操作系统420以及底层硬件提供的接口来实现各种用户期望的功能。当用户启动应用422时，应用422会加载至存储器406中，处理器404从存储器406中读取并执行应用422的程序指令。
66.计算设备400还包括储存设备432，储存设备432包括可移除储存器436(例如cd、dvd、u盘、可移动硬盘等)和不可移除储存器438(例如硬盘驱动器hdd等)，可移除储存器436和不可移除储存器438均与储存接口总线434连接。
67.计算设备400还可以包括储存接口总线434。储存接口总线434实现了从储存设备432(例如，可移除储存器436和不可移除储存器438)经由总线/接口控制器430到基本配置402的通信。操作系统420、应用422以及程序数据424的至少一部分可以存储在可移除储存器436和/或不可移除储存器438上，并且在计算设备400上电或者要执行应用422时，经由储存接口总线434而加载到系统存储器406中，并由一个或者多个处理器404来执行。
68.计算设备400还可以包括有助于从各种接口设备(例如，输出设备442、外设接口444和通信设备446)到基本配置402经由总线/接口控制器430的通信的接口总线440。示例的输出设备442包括图形处理单元448和音频处理单元450。它们可以被配置为有助于经由一个或者多个a/v端口452与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口444可以包括串行接口控制器454和并行接口控制器456，它们可以被配置为有助于经由一个或者多个i/o端口458和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备446可以包括网络控制器460，其可以被布置为便于经由一个或者多个通信端口464与一个或者多个其他计算设备462通过网络通信链路的通信。
69.网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以是这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中以编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(rf)、微波、红
外(ir)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。
70.计算设备400可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。当然，计算设备400也可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、数码照相机、个人数字助理(pda)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。甚至可以被实现为服务器，如文件服务器、数据库服务器、应用程序服务器和web服务器等。本技术的实施例对此均不做限制。
71.在根据本技术的实施例中，计算设备400被配置为执行根据本技术的基于知识蒸馏的led芯片定位方法500。其中，布置在操作系统上的应用422中包含用于执行上述一种或多种方法的多条程序指令，这些程序指令可以指示处理器404执行本技术的上述方法500。
72.图5示出了根据本技术一些实施例的基于知识蒸馏的led芯片定位方法500的流程示意图。需要说明的是，方法500可以通过前述led芯片定位装置300来实现，方法500与装置300的内容互为补充，相关之处，不再赘述。
73.随着深度学习的不断发展，基于深度学习的目标检测模型因其优异的性能已经得到广泛的使用。目标检测模型包括对输入图像进行特征提取的特征提取网络组件和预测图像中目标位置及类型的预测组件。为了增强特征提取能力，目标检测模型会采用具有深层网络结构的模块作为特征提取网络组件，这使得网络有着庞大的参数量与计算量，导致其推理速度较慢、对部署内存和算力要求较高。但是轻量化的特征提取网络组件，其检测精度不可避免地会出现一定程度地下降。基于此，在根据本技术的实施方式中，利用具有深层网络结构的第二目标检测模型和轻量化的第一目标检测模型，搭建知识蒸馏模型，以提升第一目标检测模型的检测精度。
74.因此，在一些实施例中，选择计算量(floating point operations,flops)和参数量均小于传统模块的轻量化网络，对目标检测模型中的特征提取网络组件进行替换，来实现目标检测模型的轻量化改进。然而随着模型网络结构深度的大幅下降，。因此，在根据本技术的实施例中，构建知识蒸馏模型，利用复杂高精度的第二目标检测模型，来指导轻量化的第一目标检测模型训练，以提升第一目标检测模型的检测精度。第二目标检测模型可以选取诸如cascade r-cnn、fcos、pp-yolo等已有的目标检测模型，本技术对此不做过多限制。篇幅所限，此处以第二目标检测模型采用pp-yolo模型结构为例，进行说明。
75.在一些实施例中，第二目标检测模型包括第二特征提取网络组件(如，resnet50-vd+fpn)和预测组件(如，pp-yolo检测头)。如图6示出了根据本技术一些实施例的第一目标检测模型600的网络结构示意图。第一目标检测模型600包括第一特征提取网络组件610和预测组件620，其中，预测组件620与第二目标检测模型中的预测组件一致，第一特征提取网络组件610包含mobilenetv3轻量化网络和fpn。具体地，采用mobilenetv3轻量化网络对第二目标检测模型中的resnet50-vd进行替换，去除resnet50-vd中用于分类的最后四层卷积层和池化层，并将mobilenetv3主干网络中8倍，16倍，32倍下采样的有效特征层输入fpn，其中，bneck模块结构含有多个尺寸和深度的可分离卷积块、批量归一化(bn)层、h-switch激活函数等，可根据任务和网络需求自行调整。可见，第一特征提取网络组件的计算量和参数量均小于第二特征提取网络组件。
76.根据本公开的实施方式，方法500还包括训练生成第一目标检测模型的过程。如前文所述，训练过程基于知识蒸馏模型，图7示出了根据本技术一些实施例的知识蒸馏模型的示意图。如图7，将相对结构复杂且高性能的第二目标检测模型看做教师网络，将轻量化第一目标检测模型作为学生网络。由于教师网络的预测结果中相比真实标签含有更多的隐藏信息，因此将其作为额外知识传递给学生网络。使用教师网络的预测结果作为监督，在学生网络训练的过程中不断优化和调整网络模型参数。以下结合图7，对训练过程进行说明。
77.第一步，对训练样本进行标注，得到标注数据，标注数据包括标注芯片区域和标注类型。
78.基于视觉检测系统200中所搭建的图像采集单元采集led芯片图像，作为训练样本，在一些实施例中，采集了1010张共三类led芯片图像作为训练样本的数据集。如图8示出了训练样本的示意图，其中(a)(b)(c)分别代表了3种芯片类型(以下分别简称为：芯片1、芯片2和芯片3)。应当了解，对芯片类型的检测识别取决于采集训练样本时，芯片所涉及的种类，在本实施例中，针对3类芯片进行了图像采集，但本技术并不限于此。
79.如前文所述，led芯片区域可以通过包括单个led芯片的最小包围框坐标来表示，芯片类型除了图8中所示的3种类型外，还包括缺陷芯片，可以记作：芯片1，芯片2，芯片3，缺陷芯片。如图8所示出的就是标注后的原始芯片图像，通过一个个矩形框标注出单个led芯片，且可以通过矩形框的颜色(或灰度)来区分其对应的芯片类型。
80.第二步，如图7所示，将训练样本输入知识蒸馏模型，具体地，训练样本输入第二目标检测模型，经特征提取和预测处理后输出第二芯片区域及第二类型；训练样本输入初始的第一目标检测模型，经特征提取和预测处理后输出第一芯片区域及第一类型。目标检测模型所输出的芯片区域通常包含芯片(目标)的边界框的坐标及该边界框的置信度，该置信度反映了边界框包含目标的可能性(objectness)以及该边界框的准确性。
81.第三步，至少结合标注数据、第一芯片区域及第一类型、第二芯片区域及第二类型，计算总损失函数，并基于总损失函数调整第一目标检测模型的参数，直到训练结束，得到第一目标检测模型。
82.如图7所示，在真实标签损失(detection loss)的基础上，通过度量教师网络预测信息与学生网络预测信息间的差异，额外引入虚线所示的目标损失(objectness loss)、分类损失(classification loss)和回归损失(regression loss)构成总损失函数。以下具体示出根据本技术一些实施例的总损失函数的计算方式。
83.(1)基于第二芯片区域、第一芯片区域、标注芯片区域，计算目标损失函数。目标损失函数是表征是否包含目标的损失函数，如图7，目标损失函数(objectness loss)通过置信度objectness来度量。
84.在一些实施例中，基于第二芯片区域(中包含的置信度)和标注芯片区域，计算第二目标损失；基于第一芯片区域和标注芯片区域，计算第一目标损失；更具体地，基于第二芯片区域包含的置信度和标注芯片区域的置信度，计算第二目标损失，基于第一芯片区域包含的置信度和标注芯片区域的置信度，计算第一目标损失。之后，利用第二目标损失与平衡系数的乘积值、与第一目标损失之和，确定出目标损失函数。可选地，目标损失函数可以通过如下公式来表示：
[0085][0086]
式中，是第一芯片区域的置信度，是标注芯片区域的置信度，为第二芯片区域的置信度，λd作为平衡系数，用来平衡两部分损失。目标损失函数由未引入知识蒸馏的真实标签损失(即，第一目标损失)与蒸馏损失(即，第二目标损失与平衡系数的乘积值)两部分组成。蒸馏损失和真实标签损失的差别在于输入之一的真实标签的替换为第二芯片区域的置信度，并使用λd平衡两部分损失。
[0087]
(2)基于第二类型及其对应的第二芯片区域置信度、第一类型、标注类型，计算分类损失函数。
[0088]
如图7，分类损失函数(classification loss)通过芯片类型classification来度量。
[0089]
在一些实施例中，基于第二类型和标注类型，计算第二分类损失；基于第一类型和标注类型，计算第一分类损失；利用第二分类损失与平衡系数、第二芯片区域置信度的乘积值、与第一分类损失之和，确定出分类损失函数。具体地，分类损失函数通过如下公式来表示：
[0090][0091]
式中，为第二芯片区域的置信度，λd作为平衡系数，是标注类型，是第一类型，是第二类型。分类损失函数同样由真实标签损失(即，第一分类损失)与蒸馏损失(即，第二分类损失、平衡系数、第二芯片区域置信度三者的乘积)构成，与目标损失函数的最大差异在于蒸馏损失部分多了第二目标检测模型输出的置信度，表示边界框中包含目标的概率，以此保证当边界框框选背景时，第一目标检测模型不会误学习背景信息。
[0092]
(3)基于第二芯片区域及其对应的第二芯片区域置信度、第一芯片区域、标注芯片区域，计算回归损失函数。
[0093]
如图7，回归损失函数(regression loss)通过芯片区域中包含的边界框坐标(regression)来度量。
[0094]
在一些实施例中，基于第二芯片区域和标注芯片区域，计算第二回归损失；基于第一芯片区域和标注芯片区域，计算第一回归损失。换言之，基于第二芯片区域中边界框坐标和标注芯片区域的边界框坐标，计算第二回归损失；基于第一芯片区域边界框坐标和标注芯片区域的边界框坐标，计算第一回归损失。之后，利用第二回归损失与平衡系数、第二芯片区域置信度的乘积值、与第一回归损失之和，确定出回归损失函数。可选地，通过如下公式表示：
[0095][0096]
式中，为第二芯片区域的置信度，λd作为平衡系数，是标注芯片区域的边界框坐标，是第一芯片区域的边界框坐标，是第二芯片区域的边界框坐标。从上式看出，回归损失函数的构建方式与分类损失函数相同。回归损失函数同样由真实标签损失(即，第一回归损失)与蒸馏损失(即，第一回归损失)与蒸馏损失(即，第二回归损失、平衡系数、第二芯片区域置信度三者的乘积)构成。同样地，利用第二目标检测模型输出的第二芯片区域的置信度对蒸馏损失函数做出限定：只有在较高时才对第一目标检测模型的最终损失函数产生贡献。
[0097]
最终，结合目标损失函数、分类损失函数、回归损失函数，确定出总损失函数。在一些实施例中，将三者相加，即可得到总损失函数。可选地，总损失函数l
final
通过如下公式表示：
[0098][0099]
根据本技术，基于总损失函数反向传播训练第一目标检测模型，使第一目标检测模型的输出分布与第二目标检测模型的输出分布尽可能相似，以此提升第一目标检测模型的检测精度。
[0100]
根据本技术的一些实施例，第二目标检测模型选用pp-yolo模型。关于pp-yolo模型的训练过程，此处不做过多展开。考虑到本技术中所采用的的训练样本大多为密集小目标芯片，故在一些实施例中，在训练第二目标检测模型时，对训练样本进行优化处理，生成增强后芯片数据集。利用增强后芯片数据集，来训练第二目标检测模型。
[0101]
具体而言，由于led芯片图像由视觉检测系统200中所搭建的图像采集单元所采集，受成像条件及芯片样本数量的限制，数据集中样本数量较少。这使得必须借助公开数据集中预训练的权重模型，利用仅有数千张数据和较少训练时间对第二目标检测模型进行微调，在快速收敛的同时保持较好的泛化性能。而非从头开始不计成本地构建海量数据并大量耗时进行训练。
[0102]
公共数据集中的数据主要涉及低分辨率图像(640x480)，具有相当大的目标和像素覆盖率(平均覆盖图像高度的60％)。然而，在本技术的led芯片定位中，小目标类型芯片仅占图像尺寸的5％或更少，且呈聚集分布(如图8所示)。由于小目标芯片数据与预训练数据之间存在巨大尺度差异，导致小目标的检测精度明显降低。并且，在输入图像下采样后芯片小尺寸的特性也导致可利用的信息较少，难以提取出有效分辨合格芯片与缺陷芯片的特征。
[0103]
因此，在本技术中，需要对第二目标函数的训练样本进行一些优化。根据本技术的实施方式，增强后芯片数据集通过如下方式生成。
[0104]
首先，获取包含不同类型芯片的led芯片图像，作为原始芯片图像。原始芯片图像可以是前文所述的训练样本，关于原始芯片图像的说明，可以参考前文对训练样本的说明，此处不再赘述。
[0105]
其次，对原始芯片图像进行切片处理，生成增强芯片图像。
[0106]
在一些实施例中，根据预设参数，将原始芯片图像分割为互相有重叠区域的多个图像区域；分别对各图像区域进行放大，对应得到各增强芯片图像。预设参数包括：切片尺寸和重叠率。其中，将各图像区域看作是切片，切片尺寸指图像区域的尺寸，重叠率指两个相邻图像区域之间重叠区域占图像区域的比例。并且，在一些实施例中，预设参数，例如切片尺寸，可以根据预训练的公共数据集中的图像尺寸确定，旨在尽可能减小增强芯片图像与预训练图像间的尺寸差异。此外，对各图像区域进行放大处理时，在保留图像区域原始宽高比的前提下进行调整，以保留图像中芯片的原始尺寸比例。
[0107]
之后，将原始芯片图像和增强芯片图像，作为增强后芯片数据集。图9示出了根据本技术一些实施例的增强后芯片数据集的示意图。
[0108]
如图9所示，预训练图像i1,i2,
…
作为预训练数据集，原始芯片图像作为芯片数据集，根据切片尺寸与重叠率，将原始芯片图像切片为互相有一定重叠的图像区域：。在保留图像长宽比的同时调整图像区域的大小，以产生相对于原始芯片图像具有更大芯片尺寸的增强芯片图像：i1',i'2,...,i'k。将增强芯片图像i1',i'2,...,i'k与原始芯片图像一起，作为增强后芯片数据集。根据本实施方式，通过原始尺度数据与大尺度子图像数据混合的方式，缓解与公共数据集数据(即，预训练数据集)的尺度差异，以提升第二目标检测模型针对小目标芯片的检测性能。
[0109]
根据本技术，对所采集的原始芯片图像进行切片处理，得到增强芯片图像。在led芯片数据集中加入增强芯片图像，作为增强后芯片数据集，用于第二目标检测模型的训练，以此减少与预训练图像间的尺寸差异，能够提升密集小目标芯片的检测精度。
[0110]
之后，在该第二目标检测模型的基础上，基于知识蒸馏模型，训练得到第一目标检测模型，使得第一目标检测模型能够在保持检测精度的前提下，减少计算量和参数量，以提升模型的推理速度、减少内存占用。
[0111]
以下对led芯片的定位过程进行说明。
[0112]
如图5所示，方法500始于510。在510中，将待检测的led芯片图像分割为互相有重叠区域的多个图像区域，并对各图像区域进行放大，对应得到切片图像。
[0113]
如前文所述，对经角度修正后的led芯片晶圆盘进行图像采集，得到待检测的led芯片图像。对待检测的led芯片图像进行切片处理的过程可参考前文中利用原始芯片图像生成增强芯片图像的过程，此处不再赘述。其中预设参数(切片尺寸与重叠率)可以作为超参数进行设置。
[0114]
在520中，将待检测的led芯片图像与各切片图像分别输入第一目标检测模型进行处理，对应得到各图像中的led芯片检测结果。检测结果包括芯片检测区域及其对应的芯片类型。
[0115]
关于第一目标检测模型，可以参考前文相关描述，此处不再赘述。关于芯片检测区域和芯片类型，可参考前文中的标注数据，此处不再赘述。
[0116]
根据本技术的实施例，针对每一个待检测的led芯片图像，经切片处理后衍生出多个子图像，即切片图像，在目标检测时，除了将待检测的led芯片图像输入第一目标检测模型，预测出芯片检测区域及其对应的芯片类型外，还将每个切片图像也分别输入第一目标检测模型，以对应输出芯片检测区域及其对应的芯片类型。通过对待检测图像的切片增强，
在增大芯片的覆盖面积的同时、扩大小目标芯片特征区域，以缓解卷积过深特征消失。同时，切片图像是各图像区域放大后的图像，缓解了目标聚集现象，避免多个目标在深层特征中的特征聚合的问题。
[0117]
在530中，对各图像中的led芯片检测区域进行合并，以确定出待检测的led芯片图像的led芯片区域及芯片类型。
[0118]
在一些实施例中，采用非极大值抑制，将各图像中的led芯片检测区域转换到所述待检测的led芯片图像上进行合并，得到led芯片区域及其对应的芯片类型。应当了解，这里的“各图像”包括待检测的led芯片图像与各切片图像。
[0119]
根据本技术，在得到led芯片区域及芯片类型后，基于定位筛选的需求，还会基于led芯片区域及芯片类型，从待检测的led芯片图像中筛除预定类型的芯片。在一些实施例中，预定类型为缺陷芯片，例如空白芯片、脏污芯片，将这类存在缺陷或不合格的芯片从待检测的led芯片图像中筛除。这样，待检测的led芯片图像中仅保留合格芯片。之后，可以基于其芯片检测区域，从待检测的led芯片图像中裁剪出各合格芯片，以供后续处理。
[0120]
为说明根据本技术的方法500在芯片定位筛选任务下的效果，根据本技术的一些实施例，采用对比实验进行了验证。实验结果如表1所示。除了第一目标检测模型和第二目标检测模型外，实验中还采用了第三目标检测模型及原始的pp-yolo模型。其中，第三目标检测模型是将第二目标检测模型中的resnet50-vd直接替换成mobilenetv3，而不采用知识蒸馏模型进行训练处理。引入的衡量指标包括：衡量检测精度的map(mean average precision，所有类别ap的平均值，ap通过计算pr曲线下的面积来综合评价检测算法)，衡量检测效率的fps(gpu)(在高性能运算设备(v100)上的推理速度)、fps(cpu)(在低浮点算力设备(sd855)上的推理速度)，评价训练完成后的模型占用内存情况的模型体积。
[0121]
表1不同目标检测模型性能对比
[0122][0123]
由表1可知，利用增强后芯片数据集训练生成的第二目标检测模型，弥补了密集小目标检测精度短板，相比于原始的pp-yolo模型，其检测精度有了大幅提升。在此基础上，第一至第三目标检测模型的检测精度均有所改进。其中，第一目标检测模型与未采用知识蒸馏进行检测精度改进的第三目标检测模型相比，map指数提升了0.73％，验证了知识蒸馏策略缓解轻量化改进后检测精度下降的有效性。同时，知识蒸馏策略并没有对模型的网络结构进行改进，故其在gpu上的推理速度、在低浮点算力的cpu上推理速度和模型体积较第三目标检测模型并无明显差别，性能表现均远超原始第二目标检测模型。从原理上分析，第一目标检测模型有效地利用从第二目标检测模型迁移来的知识，在原始训练的基础上更好地学习到了led芯片复杂的特征和关系，因此精度较蒸馏前小幅提升，接近第二目标检测模型的检测精度。
[0124]
综上所述，第一目标检测模型在实现了原始的pp-yolo网络轻量化改进的同时，有效地缓解了轻量化改进后检测精度下降的问题。且较具有高检测精度的第二目标检测模型，其网络推理速度显著提升，占用内存大幅减少。由此可见，基于本技术的led芯片定位方案，在大幅降低模型推理时间和算法运行的硬件要求，同时仍能满足led芯片检测的精度要求，能够很好地实践在led芯片定位筛选任务。
[0125]
这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本技术的方法和设备，或者本技术的方法和设备的某些方面或部分可采取嵌入有形媒介，例如可移动硬盘、u盘、软盘、cd-rom或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本技术的设备。
[0126]
在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本技术的基于知识蒸馏的led芯片定位方案。
[0127]
本技术一并公开了：
[0128]
a7、如a4-6中任一项所述的方法，其中，所述基于所述第二芯片区域及其对应的第二芯片区域置信度、所述第一芯片区域、标注芯片区域，计算回归损失函数，包括：基于所述第二芯片区域和标注芯片区域，计算第二回归损失；基于所述第一芯片区域和标注芯片区域，计算第一回归损失；利用所述第二回归损失与平衡系数、第二芯片区域置信度的乘积值、与所述第一回归损失之和，确定出回归损失函数。a8、如a1-7中任一项所述的方法，还包括：利用增强后芯片数据集，训练第二目标检测模型，其中，增强后芯片数据集通过如下方式生成：获取包含不同类型芯片的led芯片图像，作为原始芯片图像；对所述原始芯片图像进行切片处理，生成增强芯片图像；将所述原始芯片图像和所述增强芯片图像，作为增强后芯片数据集。a9、如a8所述的方法，其中，所述对原始芯片图像进行切片处理，生成增强芯片图像，包括：根据预设参数，将所述原始芯片图像分割为互相有重叠区域的多个图像区域；分别对各图像区域进行放大，对应得到各增强芯片图像。a10、如a1-9中任一项所述的方法，其中，所述对各图像中的led芯片检测区域进行合并，以确定出待检测的led芯片图像的led芯片区域及芯片类型，包括：采用非极大值抑制，将各图像中的led芯片检测区域转换到所述待检测的led芯片图像上进行合并，得到led芯片区域及其对应的芯片类型。a11、如a1-10中任一项所述的方法，还包括：基于所述led芯片区域及芯片类型，从待检测的led芯片图像中筛除预定类型的芯片。
[0129]
以示例而非限制的方式，可读介质包括可读存储介质和通信介质。可读存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。
[0130]
在此处所提供的说明书中，算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本技术的示例一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本技术也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本技术的内容，并且上面对特定语言所做的描述是为
了披露本技术的优选实施方式。
[0131]
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本技术的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0132]
类似地，应当理解，为了精简本技术并帮助理解各个申请方面中的一个或多个，在上面对本技术的示例性实施例的描述中，本技术的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该申请的方法解释成反映如下意图：即所要求保护的本技术要求比在每个权利要求中所明确记载的特征更多特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本技术的单独实施例。
[0133]
本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。
[0134]
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0135]
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本技术的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0136]
此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该公开的目的的元素所执行的功能。
[0137]
如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。此外，数量词“多个”表示“两个”和/或“两个以上”。
[0138]
尽管根据有限数量的实施例描述了本技术，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本技术的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本技术的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本
技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本技术的范围，对本技术所做的公开是说明性的，而非限制性的，本技术的范围由所附权利要求书限定。

技术特征：
1.基于知识蒸馏的led芯片定位方法，包括：将待检测的led芯片图像分割为互相有重叠区域的多个图像区域，并对各图像区域进行放大，对应得到切片图像；将所述待检测的led芯片图像与各切片图像分别输入第一目标检测模型进行处理，对应得到各图像中的led芯片检测结果，所述检测结果包括芯片检测区域及其对应的芯片类型，其中所述第一目标检测模型通过以第二目标检测模型的检测结果为监督训练得到；以及对各图像中的led芯片检测区域进行合并，以确定出所述待检测的led芯片图像的led芯片区域及芯片类型。2.如权利要求1所述的方法，其中，所述第一目标检测模型包括第一特征提取网络组件和预测组件，所述第二目标检测模型包括第二特征提取网络组件和预测组件，且所述第一特征提取网络组件的计算量和参数量小于所述第二特征提取网络组件。3.如权利要求2所述的方法，其中，所述第一目标检测模型通过如下方式训练得到：对训练样本进行标注，得到标注数据，所述标注数据包括标注芯片区域和标注类型；将训练样本输入第二目标检测模型，经处理后输出第二芯片区域及第二类型；将所述训练样本输入初始的第一目标检测模型，经处理后输出第一芯片区域及第一类型；至少结合所述标注数据、所述第一芯片区域及第一类型、所述第二芯片区域及第二类型，计算总损失函数，并基于总损失函数调整第一目标检测模型的参数，直到训练结束，得到第一目标检测模型。4.如权利要求3所述的方法，其中，至少结合所述标注数据，所述第一芯片区域及第一类型、所述第二芯片区域及第二类型，计算总损失函数，包括：基于所述第二芯片区域、所述第一芯片区域、标注芯片区域，计算目标损失函数；基于所述第二类型及其对应的第二芯片区域置信度、所述第一类型、标注类型，计算分类损失函数；基于所述第二芯片区域及其对应的第二芯片区域置信度、所述第一芯片区域、标注芯片区域，计算回归损失函数；结合所述目标损失函数、所述分类损失函数、所述回归损失函数，确定出总损失函数。5.如权利要求4所述的方法，其中，所述基于所述第二芯片区域、所述第一芯片区域、标注芯片区域，计算目标损失函数，包括：基于所述第二芯片区域和标注芯片区域，计算第二目标损失；基于所述第一芯片区域和标注芯片区域，计算第一目标损失；利用所述第二目标损失与平衡系数的乘积值、与所述第一目标损失之和，确定出目标损失函数。6.如权利要求4或5所述的方法，其中，所述基于所述第二类型及其对应的第二芯片区域置信度、所述第一类型、标注类型，计算分类损失函数，包括：基于所述第二类型和标注类型，计算第二分类损失；基于所述第一类型和标注类型，计算第一分类损失；
利用所述第二分类损失与平衡系数、第二芯片区域置信度的乘积值、与所述第一分类损失之和，确定出分类损失函数。7.一种led芯片定位装置，包括：图像处理单元，适于将待检测的led芯片图像分割为互相有重叠区域的多个图像区域，并对各图像区域进行放大，对应得到切片图像；检测单元，适于将所述待检测的led芯片图像与各切片图像分别输入第一目标检测模型进行处理，对应得到各图像中的led芯片检测结果，所述检测结果包括芯片检测区域及其对应的芯片类型；芯片定位单元，适于对各图像中的led芯片检测区域进行合并，以确定出所述待检测的led芯片图像的led芯片区域及芯片类型。8.如权利要求7所述的装置，还包括：模型训练单元，适于以第二目标检测模型的检测结果为监督，训练得到所述第一目标检测模型，其中，所述第一目标检测模型包括第一特征提取网络组件和预测组件，所述第二目标检测模型包括第二特征提取网络组件和预测组件，且所述第一特征提取网络组件的计算量和参数量小于所述第二特征提取网络组件。9.一种计算设备，包括：一个或多个处理器；存储器；一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行如权利要求1-6中任一项所述方法的指令。10.一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令在被计算设备执行时，使得所述计算设备执行如权利要求1-6中任一项所述的方法。

技术总结
本申请公开了基于知识蒸馏的LED芯片定位方法及LED芯片定位装置。其中基于知识蒸馏的LED芯片定位方法包括：将待检测的LED芯片图像分割为互相有重叠区域的多个图像区域，并对各图像区域进行放大，对应得到切片图像；将待检测的LED芯片图像与各切片图像分别输入第一目标检测模型进行处理，对应得到各图像中的LED芯片检测结果，所述检测结果包括芯片检测区域及其对应的芯片类型，其中第一目标检测模型通过以第二目标检测模型的检测结果为监督训练得到；以及对各图像中的LED芯片检测区域进行合并，以确定出待检测的LED芯片图像的LED芯片区域及芯片类型。根据本申请，能够在保证检测精度的情况下，提高LED芯片检测和定位的效率，并降低部署时的硬件性能需求。并降低部署时的硬件性能需求。并降低部署时的硬件性能需求。


技术研发人员：刘坚 刘晓博 张航 路恩会 索鑫宇 陈宁
受保护的技术使用者：湖南大学
技术研发日：2023.07.05
技术公布日：2023/10/5