一种芯片焊脚焊接质量检测方法及系统

1.本技术适用于芯片焊接技术领域，尤其涉及一种芯片焊脚焊接质量检测方法及系统。


背景技术：

2.目前，芯片支撑着很多计算场景的使用，芯片焊脚的焊接成为保证芯片使用寿命的主要技术，焊接的缺陷会导致芯片是用过不理想或者使用寿命降低，因此，提高芯片管脚的焊接检测准确度成为重中之重。随着人工智能技术的快速发展，使用智能图像处理的方法对芯片焊接质量检测已逐步替代人工检测方式，从而大幅度提升了所生产芯片的质量检测效率，并极大缩减了人力资源成本，产品质量检测可以包括芯片焊脚质量检测，例如，焊脚偏移、焊点过大或者过小。
3.图像处理方法通常是采用模板匹配的方式进行产品质量检测，也即每个型号的产品都需要预先准备对应的模板图像，准备工作较为繁琐，在缺乏模板图像时，图像处理方式的检测准确率将会极大下降，也即图像处理方法的泛化性较差。而人工智能模型通常采用深度学习模型，以实现产品缺陷的图像分割或者缺陷分类，但是，深度学习模型若想要实现较高的准确率，需要针对于所应用产品，由于模型难以直接迁移使用，要基于本地数据进行再次训练，因此，需要准备大量的有标签样本进行模型训练，并且标签越为精细越好，这就导致标注成本过大。因此，如何在图像处理中以较小的准备成本来准确地实现芯片焊接质量检测成为了亟待解决的问题。


技术实现要素：

4.有鉴于此，本技术实施例提供了一种芯片焊脚焊接质量检测方法及系统，以解决如何在图像处理中以较小的准备成本来准确地实现芯片焊接质量检测的问题。
5.第一方面，本技术实施例提供一种芯片焊脚焊接质量检测方法，所述芯片焊脚焊接质量检测方法包括：
6.获取对已焊接的芯片的焊接面采集的待检测图像，对所述待检测图像进行像素点分类，确定属于焊脚类的预测像素点；
7.提取所有预测像素点的像素值，计算所有预测像素点的像素值的像素均值，根据范围调节参数和所述像素均值，得到像素均值范围；
8.使用所述像素均值范围对所述待检测图像中所有的像素点进行筛选，得到目标像素点，将所有的目标像素点进行连通域聚类，得到n个连通域聚类，n为大于零的整数；
9.检测每个连通域聚类中像素点的数量分布，若检测到任一连通域聚类中像素点的数量不满足第一预设条件，和/或任两个连通域聚类中像素点的分布不满足第二预设条件，则确定对应的连通域聚类存在焊接异常。
10.第二方面，本技术实施例提供一种芯片焊脚焊接质量检测系统，所述芯片焊脚焊接质量检测系统包括：
11.图像分类模块，用于获取对已焊接的芯片的焊接面采集的待检测图像，对所述待检测图像进行像素点分类，确定属于焊脚类的预测像素点；
12.像素值分析模块，用于提取所有预测像素点的像素值，计算所有预测像素点的像素值的像素均值，根据范围调节参数和所述像素均值，得到像素均值范围；
13.目标域确定模块，用于使用所述像素均值范围对所述待检测图像中所有的像素点进行筛选，得到目标像素点，将所有的目标像素点进行连通域聚类，得到n个连通域聚类，n为大于零的整数；
14.异常检测模块，用于检测每个连通域聚类中像素点的数量分布，若检测到任一连通域聚类中像素点的数量不满足第一预设条件，和/或任两个连通域聚类中像素点的分布不满足第二预设条件，则确定对应的连通域聚类存在焊接异常。
15.另外，本技术实施例提供一种计算机设备，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的芯片焊脚焊接质量检测方法。除此之外，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的芯片焊脚焊接质量检测方法。
16.本技术实施例与现有技术相比存在的有益效果是：本技术获取对已焊接的芯片的焊接面采集的待检测图像，对待检测图像进行像素点分类，确定属于焊脚类的预测像素点，提取所有预测像素点的像素值，计算所有预测像素点的像素值的像素均值，根据范围调节参数和像素均值，得到像素均值范围，使用像素均值范围对待检测图像中所有的像素点进行筛选，得到目标像素点，将所有的目标像素点进行连通域聚类，得到n个连通域聚类，检测每个连通域聚类中像素点的数量分布，若检测到任一连通域聚类中像素点的数量不满足第一预设条件，和/或任两个连通域聚类中像素点的分布不满足第二预设条件，则确定对应的连通域聚类存在焊接异常，上述过程中仅需要通过人工智能对图像进行像素点的简单分类即可，无需参与异常的检测，基于焊脚类的像素点，通过自动化对比分析即可实现焊接异常的检测，能够准确地实现依据数量分布等特征对焊脚形状、位置等异常焊接的检测。
附图说明
17.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
18.图1是本技术实施例一提供的一种芯片焊脚焊接质量检测方法的流程示意图；
19.图2是本技术实施例一提供的芯片焊脚焊接后焊接面的采集图；
20.图3是本技术实施例二提供的一种芯片焊脚焊接质量检测方法的流程示意图；
21.图4是本技术实施例三提供的一种芯片焊脚焊接质量检测系统的结构示意图；
22.图5是本技术实施例四提供的一种计算机设备的结构示意图。
具体实施方式
23.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具
体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
24.应当理解，当在本技术说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
25.还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
26.如在本技术说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0027]
另外，在本技术说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0028]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0029]
本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
[0030]
应理解，以下实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0031]
为了说明本技术的技术方案，下面通过具体实施例来进行说明。
[0032]
参见图1，是本技术实施例一提供的一种芯片焊脚焊接质量检测方法的流程示意图，该方法应用于一计算机设备，该计算机设备可以连接相应的图像采集设备以采集一芯片的焊接面的图像，或者连接相应的数据库，以获取数据库中存储的一芯片的焊接面图像。如图1所示，该芯片焊脚焊接质量检测方法可以包括以下步骤：
[0033]
步骤s101，获取对已焊接的芯片的焊接面采集的待检测图像，对待检测图像进行像素点分类，确定属于焊脚类的预测像素点。
[0034]
本技术中，芯片的焊脚在焊接后，从对应的焊接面进行图像采集，也即是采集焊接面上的图像，得到待检测图像。如图2所示，为本技术实施例一提供的芯片焊脚焊接后焊接面的采集图，从图2中可知，每个黑色的圆形即代表了一个焊点，也可以从中看出被灰色圆圈圈住的黑色圆形的面积相较于其他黑色圆形的面积较小，在一定情况下，可以认为该圈住的黑色圆形对应的焊点为焊接异常的。
[0035]
对检测图像进行像素点分类是将表征焊脚的像素点从图像中识别出来，也即是规
定像素点只有焊脚类和其他类，从中提取出焊脚类的像素点为预测像素点。如图2所示，提取出颜色为黑色的像素点作为焊脚类的预测像素点即可。
[0036]
上述像素点分类可以采用训练好的图像分割模型进行分类，也可以采用阈值发进行分类。
[0037]
可选的是，对待检测图像进行像素点分类，确定属于焊脚类的预测像素点，包括：
[0038]
对待检测图像进行灰度处理，得到对应的灰度图像；
[0039]
使用训练好的图像分割模型对灰度图像中每个像素点进行类别分割，得到对应像素点的类别，确定类别为焊脚类的像素点为预测像素点。
[0040]
其中，该训练好的图像分割模型本质上是一种语义分割模型，该语义分割模型的输入为待检测图像进行灰度后的灰度图，语义分割模型的输出为语义分割图，在语义分割图中，每个像素点的像素值是根据其所属像素点类别确定的，在本实施例中，语义分割图包含0和1两种像素值，像素值为1的像素点表示属于焊脚类别的像素点，像素值为0的像素点表示不属于焊脚类别的像素点。
[0041]
在一实施方式中，语义分割模型的架构为编码器-解码器架构，输出的语义分割图和待检测图像的尺寸一致。
[0042]
其中，由于焊脚像素点的灰度值与元器件差异较大，较易分辨，也即语义分割的准确率较高，并且上述步骤仅用于提取出预测像素点，不要求对焊脚区域进行精细化划分，因此，可以直接使用训练好的语义分割模型，不采用本地数据集进行再次微调，以减少标注成本。
[0043]
步骤s102，提取所有预测像素点的像素值，计算所有预测像素点的像素值的像素均值，根据范围调节参数和像素均值，得到像素均值范围。
[0044]
本技术中，针对所有提取出的预测相似点，大概率是表征焊脚类的像素点，由于所有的预测像素点的像素值具备相近的特性，因此，取所有的预测像素点的像素值的平均值(即像素均值)作为重复筛选焊脚类的像素点的依据，根据一范围调节参数和像素点均值构建一像素均值范围，用于确定该像素均值范围内的所有像素点，并执行后续的处理。
[0045]
可选的是，根据范围调节参数和像素均值，得到像素均值范围，包括：
[0046]
计算像素均值与所有的预测像素点的像素值的最大值之间的第一差值，以及计算像素均值与所有的预测像素点的像素值的最小值之间的第二差值；
[0047]
将第一差值和第二差值中的最大值作为初始的范围调节参数，对初始的范围调节参数进行优化，得到优化的范围调节参数，以像素均值加减优化的范围调节参数形成的范围为像素均值范围。
[0048]
其中，根据语义分割图中表征焊脚类的预测像素点的位置，提取在待检测图像中对应位置的像素灰度值，计算所有像素灰度值的均值，得到灰度均值，自适应系数的初始值可以根据像素灰度值的最值确定，提取像素灰度值的最大值和最小值，计算最大值和灰度均值的差值绝对值，得到第一差值，计算最小值和灰度均值的差值绝对值，得到第二差值，以第一差值和第二差值中的较大值作为初始值，设灰度均值为μ，自适应系数为α，则灰度范围为[μ-α,μ+α]，将待检测图像中灰度值属于该灰度范围的像素点提取出来，得到若干个初始焊脚像素点。
[0049]
可选的是，对初始的范围调节参数进行优化，得到优化的范围调节参数，包括：
[0050]
以像素均值加减初始的范围调节参数形成的范围为初始的像素均值范围，使用初始的像素均值范围对待检测图像中所有的像素点进行筛选，得到初始像素点；
[0051]
对所有的初始像素点进行聚类，得到初始聚类结果，统计初始聚类结果中每个聚类集合所包括的像素点的数量，计算所有聚类集合的像素点的数量的第一方差，以第一方差最小为目标优化初始的范围调节参数，得到优化的范围调节参数。
[0052]
其中，针对初始的范围调节参数可以进行优化，目的是使得筛选出的像素点在进行聚类时，能够尽量使得每个聚类结果中像素点的数量是一致的，此实施方式有助于提高范围调节参数的准确性
[0053]
可选的是，对所有的初始像素点进行聚类，得到初始聚类结果，包括：
[0054]
基于初始聚类参数对所有的初始像素点进行聚类，得到至少一组聚类集合；
[0055]
计算每组聚类集合中像素点的数量的第二方差，以第二方差最小为目标优化初始聚类参数，得到优化的初始聚类参数；
[0056]
以优化的初始聚类参数对所有的初始像素点进行聚类，得到初始聚类结果。
[0057]
其中，对所有初始像素点采用dbscan聚类方法进行聚类，dbscan聚类方法是依据聚类参数进行聚类的过程。由于焊脚尺寸通常是固定的，即使考虑到像素点被误认为焊脚像素点的情况，各个焊脚区域的尺寸仍然是近似的，通过调节聚类参数使得聚类得到的各个聚类集合中的像素点数量的方差最小，并且单个聚类集合中的像素点数量应当在满足预设条件的情况下尽可能小，例如预设条件可以是单个聚类集合中的像素点数量大于预设数量阈值，预设数量阈值可以取10，该设置为了避免两个及以上的焊脚被聚类至同一聚类集合中。
[0058]
可选的是，基于初始聚类参数对所有的初始像素点进行聚类，得到至少一组聚类集合，包括：
[0059]
基于初始聚类参数对所有的初始像素点进行m次聚类，得到m次聚类对应的聚类集合，m为大于1的整数；
[0060]
检测m次聚类对应的聚类集合是否一致，若不一致，则调整初始聚类参数，得到调整后的初始聚类参数；
[0061]
将调整后的初始聚类参数作为初始聚类参数，返回执行基于初始聚类参数对所有的初始像素点进行m次聚类，得到m次聚类对应的聚类集合的步骤，直至m次聚类对应的聚类集合一致；
[0062]
相应地，以第二方差最小为目标优化初始聚类参数，得到优化的初始聚类参数，包括：
[0063]
若第二方差不为最小，则返回执行调整初始聚类参数，得到调整后的初始聚类参数的步骤，直至第二方差为最小，得到对应的初始聚类参数为优化的初始聚类参数。
[0064]
其中，考虑到同一焊脚可能被聚类为多个聚类集合，因此，采用多次聚类的方式进行此类情况的判定，也即，在每次聚类参数调节后，均进行多次聚类，例如可以是三次，若多次聚类结果一致，则说明不存在同一焊脚被聚类为多个聚类集合的情况，若多次聚类结果不一致，则说明存在同一焊脚被聚类为多个聚类集合的情况，需要对聚类参数进行调整。
[0065]
例如，单个焊脚覆盖的像素点为20个，互相位置均较为接近，由于聚类令每个聚类集合中的像素点尽可能少，被划分为了两个10像素点的聚类集合，在多次聚类时，由于像素
点位置均较为接近，划分结果会出现变动，从而确定属于存在同一焊脚被聚类为多个聚类集合的情况。
[0066]
步骤s103，使用像素均值范围对待检测图像中所有的像素点进行筛选，得到目标像素点，将所有的目标像素点进行连通域聚类，得到n个连通域聚类。
[0067]
本技术中，使用范围筛选得到的目标像素点进行连通域的聚类分析，从而确定连通的像素点，连通的像素点聚为一个连通域聚类，一个连通域聚类对应的一个焊脚，n为大于零的整数。
[0068]
可选的是，将所有的目标像素点进行连通域聚类，得到n个连通域聚类，包括：
[0069]
针对任一目标像素点，以目标像素点为原点，对原点的八邻域进行搜索，检测对应邻域的搜索结果是否为一目标像素点；
[0070]
若检测到对应邻域的搜索结果不为一目标像素点，则终止向对应邻域的搜索，若检测到对应邻域的搜索结果为一目标像素点，则以目标像素点作为原点，返回执行对原点的八邻域进行搜索的步骤，直至所有的目标像素点遍历完毕，确定一组连接的目标像素点为一连通域聚类，得到n个连通域聚类。
[0071]
其中，连通域分析的过程为，针对任一个的目标像素点，初始化其连通域仅包含其自身，按照八邻域进行搜索，若八邻域内存在其他的目标像素点，将其他的目标像素点加入该目标像素点的连通域，对该连通域中的每个目标像素点执行按照八邻域进行搜索，若八邻域内存在其他的目标像素点，将其他的目标像素点加入该目标像素点的连通域的步骤，重复迭代，直至连通域中每个焊脚像素点的八邻域内均没有其他的目标像素点。
[0072]
步骤s104，检测每个连通域聚类中像素点的数量分布，若检测到任一连通域聚类中像素点的数量不满足第一预设条件，和/或任两个连通域聚类中像素点的分布不满足第二预设条件，则确定对应的连通域聚类存在焊接异常。
[0073]
本技术中，任一连通域聚类均包含相应数量的像素点的像素点分布情况，对于数量而言，一般情况下，所有连通域聚类中像素点的数量应该为相同或者相近，如果差别较大，则说明焊脚的焊接有问题。如图2所示，被圆圈包围的焊点的大小就明显小于周围的，可说明焊接存在异常。
[0074]
对于分布而言，一般情况下，连通域聚类应当是均匀分布的，例如，每个焊脚之间间隔宽度、焊脚之间的相对位置等均为固定，若存在焊脚之间存在偏移问题，则可说明焊接存在异常。
[0075]
可选的是，检测每个连通域聚类中像素点的数量分布，若检测到任一连通域聚类中像素点的数量不满足第一预设条件，和/或任两个连通域聚类中像素点的分布不满足第二预设条件，则确定对应的连通域聚类存在焊接异常，包括：
[0076]
检测每个连通域聚类中像素点的数量分布，根据所有连通域聚类中像素点的数量，确定表征连通域聚类中像素点的数量的均值和标准差；
[0077]
根据均值和标准差，确定数量阈值范围，以数量阈值范围为第一预设条件，若检测到任一连通域聚类中像素点的数量不属于目标阈值范围，则确定对应的连通域聚类存在焊接异常。
[0078]
其中，对每个连通域进行像素点数量统计，理论上各连通域的像素点数量应当是相同的，但由于连通域包含了像素点，焊点的缺焊和多焊会导致连通域的像素点数量不同，
甚至于出现单个连通域中包含两个焊脚和一个焊点的情况等，此时，均可以采用异常值检测方法进行检测，计算连通域的像素点数量均值μ及标准差σ，构建高斯分布，将高斯分布中小于μ+3σ区域的数量对应的连通域认为是缺焊焊脚，将大于μ+3σ区域的数量对应的连通域认为是多焊焊脚。
[0079]
在一实施方式中，可以利用芯片焊脚对侧对称分布的特性，得到同一芯片两侧的芯片焊脚集合，根据类间对比的方式，核验上述检测结果。
[0080]
本技术实施例获取对已焊接的芯片的焊接面采集的待检测图像，对待检测图像进行像素点分类，确定属于焊脚类的预测像素点，提取所有预测像素点的像素值，计算所有预测像素点的像素值的像素均值，根据范围调节参数和像素均值，得到像素均值范围，使用像素均值范围对待检测图像中所有的像素点进行筛选，得到目标像素点，将所有的目标像素点进行连通域聚类，得到n个连通域聚类，检测每个连通域聚类中像素点的数量分布，若检测到任一连通域聚类中像素点的数量不满足第一预设条件，和/或任两个连通域聚类中像素点的分布不满足第二预设条件，则确定对应的连通域聚类存在焊接异常，上述过程中仅需要通过人工智能对图像进行像素点的简单分类即可，无需参与异常的检测，基于焊脚类的像素点，通过自动化对比分析即可实现焊接异常的检测，能够准确地实现依据数量分布等特征对焊脚形状、位置等异常焊接的检测。
[0081]
参见图3，是本技术实施例二提供的一种芯片焊脚焊接质量检测方法的流程示意图。如图3所示，该芯片焊脚焊接质量检测方法可以包括以下步骤：
[0082]
步骤s301，获取对已焊接的芯片的焊接面采集的待检测图像，对待检测图像进行像素点分类，确定属于焊脚类的预测像素点。
[0083]
步骤s302，提取所有预测像素点的像素值，计算所有预测像素点的像素值的像素均值，根据范围调节参数和像素均值，得到像素均值范围。
[0084]
步骤s303，使用像素均值范围对待检测图像中所有的像素点进行筛选，得到目标像素点，将所有的目标像素点进行连通域聚类，得到n个连通域聚类。
[0085]
其中，上述步骤s301至步骤s303的内容与步骤s101至步骤s103的内容相同，具体可以参考上述步骤s101至步骤s103，在此不再赘述。
[0086]
步骤s304，检测每个连通域聚类中像素点的数量分布，根据所有连通域聚类中像素点的分布，确定每个连通域聚类的中心像素点每个中心像素点的近邻中心像素点。
[0087]
本技术中，记录每个连通域聚类中每个像素点的位置，从而计算出表征每个连通域聚类的中心的中心像素点，根据位置关系确定中心像素点的近邻中心像素点，也即是一中心像素点的连通域聚类的近邻的连通域聚类对应的中心像素点。
[0088]
其中，按照中心像素点之间的距离，确定与所针对连通域聚类最近的k个邻近连通域聚类，k可以为5，采用二分匹配对一邻近连通域和所针对连通域中的像素点进行匹配，得到多组像素点对，每组像素点对计算组内像素点之间的距离，以各组像素点对对应的距离方差作为约束，进行上述二分匹配，得到匹配结果。
[0089]
步骤s305，针对任一中心像素点的任一近邻中心像素点，确定中心像素点与近邻中心像素点之间的平移关系。
[0090]
本技术中，根据中心像素点之间的位置关系即可确定平移关系，即对应的平移方式。例如，像素点(3,5)至像素点(4,6)，为向右上方平移2个像素点。
[0091]
其中，如果存在多个近邻，则可以通过投票的方式，确定匹配结果内所有像素点对之间最多的平移方式为目标平移方式，将所针对连通域按照目标平移方式整体平移后，与对应邻近连通域作差，得到差值图像，将差值图像取绝对值后相加，相加结果若小于预设值，预设值可以为10，则认为存在平移关联，搜索出与针对连通域存在平移关联的k个邻近连通域，可理解的是，先按照中心点距离得到k个邻近连通域，若任一个不满足平移关联，将其剔除，按照中心点距离再加入一个，直至得到存在平移关联的k个邻近连通域。
[0092]
步骤s306，根据平移关系将对应的两个连通域聚类中所有像素点进行对齐平移，计算对齐平移后两个连通域聚类中所有像素点的交并比，以预设的交并比阈值为第二预设条件。
[0093]
本技术中，使用平移关系将两个连通域聚类中的其中一个连通域聚类进行平移，即将该连通域聚类中的所有像素点进行平移，实现两个连通域聚类在图像中的位置对齐，之后，计算两个连通域聚类的相交的像素点数量和相并的所有像素点数量，将两者之比作为交并比，交并比越高，表明两个连通域聚类的形状、面积等越相似，也就表明两者中出现焊接异常的概率较小，如果是将所有的连通域聚类均经过上述的比较，即可确定存在焊接异常的连通域聚类。
[0094]
具体的是，k个邻近连通域和所针对连通域互相存在平移关联，作为参考连通域组成集合，选择出集合内平移距离最近的两个连通域聚类作为参考连通域，将其平移距离设置为d，其他任两组参考连通域之间的平移距离均对d取模，若超过预设比例的取模结果大于预设值，选择出平移距离次近的两个参考连通域，以其平移距离更新d，直至超过预设比例的取模结果小于或者等于预设值，预设值可以设置为2，在超过预设比例的取模结果小于或者等于预设值时，确定d为参考值，以计算出当前参考值的两个参考连通域中的任一个作为基础连通域，采用参考值的倍数进行平移。
[0095]
步骤s307，若检测到任两个连通域聚类中所有像素点的交并比小于交并比阈值，则确定对应的连通域聚类存在焊接异常。
[0096]
本技术中，交并比阈值可以是0.8，交并比越是靠近1，则可以说明两者的相似度越高，交并比越是靠近0，则说明两者的相似度越低，也就是存在异常的概率越高。
[0097]
本技术实施例通过分析连通域聚类的平移关系来分别两组连通域聚类是否焊接异常，采用较为简单的比较连通域聚类的形状和面积的方式，在保证准确率的同时提高检测的效率。
[0098]
对应于上文实施例的芯片焊脚焊接质量检测方法，图4示出了本技术实施例三提供的芯片焊脚焊接质量检测系统的结构框图，为了便于说明，仅示出了与本技术实施例相关的部分。
[0099]
参见图4，该芯片焊脚焊接质量检测系统包括：
[0100]
图像分类模块41，用于获取对已焊接的芯片的焊接面采集的待检测图像，对待检测图像进行像素点分类，确定属于焊脚类的预测像素点；
[0101]
像素值分析模块42，用于提取所有预测像素点的像素值，计算所有预测像素点的像素值的像素均值，根据范围调节参数和像素均值，得到像素均值范围；
[0102]
目标域确定模块43，用于使用像素均值范围对待检测图像中所有的像素点进行筛选，得到目标像素点，将所有的目标像素点进行连通域聚类，得到n个连通域聚类，n为大于
零的整数；
[0103]
异常检测模块44，用于检测每个连通域聚类中像素点的数量分布，若检测到任一连通域聚类中像素点的数量不满足第一预设条件，和/或任两个连通域聚类中像素点的分布不满足第二预设条件，则确定对应的连通域聚类存在焊接异常。
[0104]
可选的是，图像分类模块41，包括：
[0105]
灰度处理单元，用于对待检测图像进行灰度处理，得到对应的灰度图像；
[0106]
图像分类单元，用于使用训练好的图像分割模型对灰度图像中每个像素点进行类别分割，得到对应像素点的类别，确定类别为焊脚类的像素点为预测像素点。
[0107]
可选的是，像素值分析模块42，包括：
[0108]
差值计算单元，用于计算像素均值与所有的预测像素点的像素值的最大值之间的第一差值，以及计算像素均值与所有的预测像素点的像素值的最小值之间的第二差值；
[0109]
均值范围确定单元，用于将第一差值和第二差值中的最大值作为初始的范围调节参数，对初始的范围调节参数进行优化，得到优化的范围调节参数，以像素均值加减优化的范围调节参数形成的范围为像素均值范围。
[0110]
可选的是，均值范围确定单元，包括：
[0111]
像素点筛选子单元，用于以像素均值加减初始的范围调节参数形成的范围为初始的像素均值范围，使用初始的像素均值范围对待检测图像中所有的像素点进行筛选，得到初始像素点；
[0112]
优化参数子单元，用于对所有的初始像素点进行聚类，得到初始聚类结果，统计初始聚类结果中每个聚类集合所包括的像素点的数量，计算所有聚类集合的像素点的数量的第一方差，以第一方差最小为目标优化初始的范围调节参数，得到优化的范围调节参数。
[0113]
可选的是，优化参数子单元，包括：
[0114]
子聚类子单元，用于基于初始聚类参数对所有的初始像素点进行聚类，得到至少一组聚类集合；
[0115]
优化子单元，用于计算每组聚类集合中像素点的数量的第二方差，以第二方差最小为目标优化初始聚类参数，得到优化的初始聚类参数；
[0116]
初始聚类子单元，用于以优化的初始聚类参数对所有的初始像素点进行聚类，得到初始聚类结果。
[0117]
可选的是，子聚类子单元具体用于：
[0118]
基于初始聚类参数对所有的初始像素点进行m次聚类，得到m次聚类对应的聚类集合，m为大于1的整数；
[0119]
检测m次聚类对应的聚类集合是否一致，若不一致，则调整初始聚类参数，得到调整后的初始聚类参数；
[0120]
将调整后的初始聚类参数作为初始聚类参数，返回执行基于初始聚类参数对所有的初始像素点进行m次聚类，得到m次聚类对应的聚类集合的步骤，直至m次聚类对应的聚类集合一致；
[0121]
相应地，优化子单元具体用于：
[0122]
若第二方差不为最小，则返回执行调整初始聚类参数，得到调整后的初始聚类参数的步骤，直至第二方差为最小，得到对应的初始聚类参数为优化的初始聚类参数。
[0123]
可选的是，目标域确定模块43，包括：
[0124]
目标搜索单元，用于针对任一目标像素点，以目标像素点为原点，对原点的八邻域进行搜索，检测对应邻域的搜索结果是否为一目标像素点；
[0125]
连通域确定单元，用于若检测到对应邻域的搜索结果不为一目标像素点，则终止向对应邻域的搜索，若检测到对应邻域的搜索结果为一目标像素点，则以目标像素点作为原点，返回执行对原点的八邻域进行搜索的步骤，直至所有的目标像素点遍历完毕，确定一组连接的目标像素点为一连通域聚类，得到n个连通域聚类。
[0126]
可选的是，异常检测模块44，包括：
[0127]
数量检测单元，用于检测每个连通域聚类中像素点的数量分布，根据所有连通域聚类中像素点的数量，确定表征连通域聚类中像素点的数量的均值和标准差；
[0128]
第一异常判定单元，用于根据均值和标准差，确定数量阈值范围，以数量阈值范围为第一预设条件，若检测到任一连通域聚类中像素点的数量不属于目标阈值范围，则确定对应的连通域聚类存在焊接异常。
[0129]
可选的是，异常检测模块44，包括：
[0130]
分布检测单元，用于检测每个连通域聚类中像素点的数量分布，根据所有连通域聚类中像素点的分布，确定每个连通域聚类的中心像素点每个中心像素点的近邻中心像素点；
[0131]
平移关系分析单元，用于针对任一中心像素点的任一近邻中心像素点，确定中心像素点与近邻中心像素点之间的平移关系；
[0132]
交并比计算单元，用于根据平移关系将对应的两个连通域聚类中所有像素点进行对齐平移，计算对齐平移后两个连通域聚类中所有像素点的交并比，以预设的交并比阈值为第二预设条件；
[0133]
第二异常判定单元，用于若检测到任两个连通域聚类中所有像素点的交并比小于交并比阈值，则确定对应的连通域聚类存在焊接异常。
[0134]
需要说明的是，上述模块之间的信息交互、执行过程等内容，由于与本技术方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0135]
图5为本技术实施例四提供的一种计算机设备的结构示意图。如图5所示，该实施例的计算机设备包括：至少一个处理器(图5中仅示出一个)、存储器以及存储在存储器中并可在至少一个处理器上运行的计算机程序，处理器执行计算机程序时实现上述任意各个芯片焊脚焊接质量检测方法实施例中的步骤。
[0136]
该计算机设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图5仅仅是计算机设备的举例，并不构成对计算机设备的限定，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括网络接口、显示屏和输入装置等。
[0137]
所称处理器可以是cpu，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器
或者该处理器也可以是任何常规的处理器等。
[0138]
存储器包括可读存储介质、内存储器等，其中，内存储器可以是计算机设备的内存，内存储器为可读存储介质中的操作系统和计算机可读指令的运行提供环境。可读存储介质可以是计算机设备的硬盘，在另一些实施例中也可以是计算机设备的外部存储设备，例如，计算机设备上配备的插接式硬盘、智能存储卡(smart media card，smc)、安全数字(secure digital，sd)卡、闪存卡(flash card)等。进一步地，存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序(bootloader)、数据以及其他程序等，该其他程序如计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
[0139]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、计算机存储器、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
[0140]
本技术实现上述实施例方法中的全部或部分流程，也可以通过一种计算机程序产品来完成，当计算机程序产品在计算机设备上运行时，使得计算机设备执行时实现可实现上述方法实施例中的步骤。
[0141]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0142]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0143]
在本技术所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅仅是示意性的，例
如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0144]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0145]
以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。

技术特征：
1.一种芯片焊脚焊接质量检测方法，其特征在于，所述芯片焊脚焊接质量检测方法包括：获取对已焊接的芯片的焊接面采集的待检测图像，对所述待检测图像进行像素点分类，确定属于焊脚类的预测像素点；提取所有预测像素点的像素值，计算所有预测像素点的像素值的像素均值，根据范围调节参数和所述像素均值，得到像素均值范围；使用所述像素均值范围对所述待检测图像中所有的像素点进行筛选，得到目标像素点，将所有的目标像素点进行连通域聚类，得到n个连通域聚类，n为大于零的整数；检测每个连通域聚类中像素点的数量分布，若检测到任一连通域聚类中像素点的数量不满足第一预设条件，和/或任两个连通域聚类中像素点的分布不满足第二预设条件，则确定对应的连通域聚类存在焊接异常。2.根据权利要求1所述的芯片焊脚焊接质量检测方法，其特征在于，对所述待检测图像进行像素点分类，确定属于焊脚类的预测像素点，包括：对所述待检测图像进行灰度处理，得到对应的灰度图像；使用训练好的图像分割模型对所述灰度图像中每个像素点进行类别分割，得到对应像素点的类别，确定类别为焊脚类的像素点为预测像素点。3.根据权利要求1所述的芯片焊脚焊接质量检测方法，其特征在于，根据范围调节参数和所述像素均值，得到像素均值范围，包括：计算所述像素均值与所有的预测像素点的像素值的最大值之间的第一差值，以及计算所述像素均值与所有的预测像素点的像素值的最小值之间的第二差值；将所述第一差值和所述第二差值中的最大值作为初始的范围调节参数，对所述初始的范围调节参数进行优化，得到优化的范围调节参数，以所述像素均值加减所述优化的范围调节参数形成的范围为像素均值范围。4.根据权利要求3所述的芯片焊脚焊接质量检测方法，其特征在于，对所述初始的范围调节参数进行优化，得到优化的范围调节参数，包括：以所述像素均值加减所述初始的范围调节参数形成的范围为初始的像素均值范围，使用所述初始的像素均值范围对所述待检测图像中所有的像素点进行筛选，得到初始像素点；对所有的初始像素点进行聚类，得到初始聚类结果，统计所述初始聚类结果中每个聚类集合所包括的像素点的数量，计算所有聚类集合的像素点的数量的第一方差，以所述第一方差最小为目标优化所述初始的范围调节参数，得到优化的范围调节参数。5.根据权利要求4所述的芯片焊脚焊接质量检测方法，其特征在于，对所有的初始像素点进行聚类，得到初始聚类结果，包括：基于初始聚类参数对所有的初始像素点进行聚类，得到至少一组聚类集合；计算每组聚类集合中像素点的数量的第二方差，以所述第二方差最小为目标优化所述初始聚类参数，得到优化的初始聚类参数；以所述优化的初始聚类参数对所有的初始像素点进行聚类，得到初始聚类结果。6.根据权利要求5所述的芯片焊脚焊接质量检测方法，其特征在于，基于初始聚类参数对所有的初始像素点进行聚类，得到至少一组聚类集合，包括：
基于初始聚类参数对所有的初始像素点进行m次聚类，得到m次聚类对应的聚类集合，m为大于1的整数；检测m次聚类对应的聚类集合是否一致，若不一致，则调整所述初始聚类参数，得到调整后的初始聚类参数；将所述调整后的初始聚类参数作为初始聚类参数，返回执行基于初始聚类参数对所有的初始像素点进行m次聚类，得到m次聚类对应的聚类集合的步骤，直至m次聚类对应的聚类集合一致；相应地，以所述第二方差最小为目标优化所述初始聚类参数，得到优化的初始聚类参数，包括：若所述第二方差不为最小，则返回执行调整所述初始聚类参数，得到调整后的初始聚类参数的步骤，直至所述第二方差为最小，得到对应的初始聚类参数为优化的初始聚类参数。7.根据权利要求1所述的芯片焊脚焊接质量检测方法，其特征在于，将所有的目标像素点进行连通域聚类，得到n个连通域聚类，包括：针对任一目标像素点，以所述目标像素点为原点，对所述原点的八邻域进行搜索，检测对应邻域的搜索结果是否为一目标像素点；若检测到对应邻域的搜索结果不为一目标像素点，则终止向对应邻域的搜索，若检测到对应邻域的搜索结果为一目标像素点，则以所述目标像素点作为所述原点，返回执行对所述原点的八邻域进行搜索的步骤，直至所有的目标像素点遍历完毕，确定一组连接的目标像素点为一连通域聚类，得到n个连通域聚类。8.根据权利要求1至7任一项所述的芯片焊脚焊接质量检测方法，其特征在于，检测每个连通域聚类中像素点的数量分布，若检测到任一连通域聚类中像素点的数量不满足第一预设条件，和/或任两个连通域聚类中像素点的分布不满足第二预设条件，则确定对应的连通域聚类存在焊接异常，包括：检测每个连通域聚类中像素点的数量分布，根据所有连通域聚类中像素点的数量，确定表征连通域聚类中像素点的数量的均值和标准差；根据所述均值和所述标准差，确定数量阈值范围，以所述数量阈值范围为第一预设条件，若检测到任一连通域聚类中像素点的数量不属于所述目标阈值范围，则确定对应的连通域聚类存在焊接异常。9.根据权利要求1至7任一项所述的芯片焊脚焊接质量检测方法，其特征在于，检测每个连通域聚类中像素点的数量分布，若检测到任一连通域聚类中像素点的数量不满足第一预设条件，和/或任两个连通域聚类中像素点的分布不满足第二预设条件，则确定对应的连通域聚类存在焊接异常，包括：检测每个连通域聚类中像素点的数量分布，根据所有连通域聚类中像素点的分布，确定每个连通域聚类的中心像素点以及每个中心像素点的近邻中心像素点；针对任一中心像素点的任一近邻中心像素点，确定所述中心像素点与所述近邻中心像素点之间的平移关系；根据所述平移关系将对应的两个连通域聚类中所有像素点进行对齐平移，计算对齐平移后两个连通域聚类中所有像素点的交并比，以预设的交并比阈值为第二预设条件；
若检测到任两个连通域聚类中所有像素点的交并比小于所述交并比阈值，则确定对应的连通域聚类存在焊接异常。10.一种芯片焊脚焊接质量检测系统，其特征在于，所述芯片焊脚焊接质量检测系统包括：图像分类模块，用于获取对已焊接的芯片的焊接面采集的待检测图像，对所述待检测图像进行像素点分类，确定属于焊脚类的预测像素点；像素值分析模块，用于提取所有预测像素点的像素值，计算所有预测像素点的像素值的像素均值，根据范围调节参数和所述像素均值，得到像素均值范围；目标域确定模块，用于使用所述像素均值范围对所述待检测图像中所有的像素点进行筛选，得到目标像素点，将所有的目标像素点进行连通域聚类，得到n个连通域聚类，n为大于零的整数；异常检测模块，用于检测每个连通域聚类中像素点的数量分布，若检测到任一连通域聚类中像素点的数量不满足第一预设条件，和/或任两个连通域聚类中像素点的分布不满足第二预设条件，则确定对应的连通域聚类存在焊接异常。

技术总结
本申请适用于芯片焊接技术领域，尤其涉及一种芯片焊脚焊接质量检测方法及系统。该方法获取对待检测图像进行像素点分类，确定属于焊脚类的预测像素点，提取所有预测像素点的像素值，计算所有预测像素点的像素值的像素均值，根据范围调节参数和像素均值，得到像素均值范围，使用像素均值范围筛选待检测图像得到目标像素点，将所有的目标像素点进行连通域聚类，得到N个连通域聚类，检测每个连通域聚类中像素点的数量分布，根据每个连通域聚类的数量分布，确定对应的连通域聚类存在焊接异常，上述过程仅通过人工智能对图像进行像素点的简单分类，无需参与异常的检测，基于焊脚类的像素点的分析即可实现对焊脚形状、位置等异常焊接的检测。的检测。的检测。


技术研发人员：王丹阳 卢亚鹏 丁文波 任志强 孟搏锋 詹书豪 蔡婷婷 王梓言 周叶豪
受保护的技术使用者：河南城建学院
技术研发日：2023.06.21
技术公布日：2023/9/22