钣金件人工智能生产系统及其方法与流程

1.本技术涉及智能生产领域，且更为具体的涉及一种钣金件人工智能生产系统及其方法。


背景技术：

2.钣金件是一种通过钣金加工技术加工成的零部件。它是由薄型板材材料制成的，通常用于制造各种机械设备、电子产品、汽车、航空航天器等。钣金件的加工工艺通常包括切割、折弯、冲压、焊接等步骤，可以制造出各种形状和尺寸的零部件，具有轻量化、强度高、成本低等优点。钣金件在现代工业中被广泛应用，是工业生产中不可缺少的一部分。检测钣金件的表面平整度是非常重要的，因为表面平整度是钣金件的外观质量的重要指标之一。如果钣金件的表面不平整，可能会影响其装配和使用效果，甚至会导致钣金件的失效。此外，表面平整度还可以反映出钣金件的制造工艺水平和生产设备的精度，因此，通过检测表面平整度可以及时发现制造工艺的问题，以便及时进行调整和改进，提高钣金件的质量和生产效率。
3.因此，期待一种钣金件人工智能生产方案。


技术实现要素：

4.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种钣金件人工智能生产系统及其方法，其采用基于机器视觉的人工智能检测技术，通过对钣金件的检测图像进行图像畸变校正后提取出其在大尺寸的块空间的方向梯度直方图，并以这两者在高维空间中的深浅融合特征分布信息来综合判断所述钣金件的表面平整度是否满足预定要求。这样，能够准确地对于钣金件的表面平整度进行智能检测。
5.根据本技术的一个方面，提供了一种钣金件人工智能生产系统，其包括：
6.图像采集模块，用于获取钣金件的检测图像；
7.畸变校正模块，用于将所述检测图像通过基于自动编解码器的图像畸变矫正器以得到校正后检测图像；
8.纹理特征图提取模块，用于提取所述校正后检测图像的方向梯度直方图；
9.多通道聚合模块，用于将所述方向梯度直方图和所述校正后检测图像沿着通道维度进行聚合以得到多通道输入图像；
10.图像特征提取模块，用于将所述多通道输入图像通过包含深浅特征融合模块的卷积神经网络模型以得到分类特征图；以及
11.平整度判定结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示钣金件的表面平整度是否满足预定要求。
12.在上述的钣金件人工智能生产系统中，所述畸变校正模块，包括：
13.图像编码单元，用于将所述检测图像输入所述图像畸变矫正器的编码器，其中，所述编码器使用卷积层对所述检测图像进行显式空间编码以得到图像特征；以及
14.特征解码单元，用于将所述图像特征输入所述图像畸变矫正器的解码器，其中，所述解码器使用反卷积层对所述图像特征进行反卷积处理以得到所述校正后检测图像。
15.在上述的钣金件人工智能生产系统中，所述纹理特征图提取模块，用于：
16.对所述校正后检测图像进行均匀划分以得到多个细胞空间；
17.计算所述多个细胞空间中各个细胞空间内各像素点的梯度，并根据梯度分布生成多个细胞方向梯度直方图。
18.在上述的钣金件人工智能生产系统中，所述图像特征提取模块，用于：
19.使用所述卷积神经网络模型的各层在层的正向传递中分别对输入数据进行卷积处理、池化处理和非线性激活处理以由所述卷积神经网络模型的各层分别输出特征图。
20.在上述的钣金件人工智能生产系统中，所述图像特征提取单元，进一步用于：
21.从所述卷积神经网络模型的第m层得到浅层特征图，其中，所述m大于等于4且小于等于6；
22.从所述卷积神经网络模型的第n层得到深层特征图，其中，n/m大于等于5且小于等于10；以及
23.使用所述卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到分类特征图。
24.在上述的钣金件人工智能生产系统中，所述平整度判定结果生成模块，包括：
25.展开单元，用于将分类特征图中各个分类特征矩阵按照行向量或者列向量展开为一维特征向量后进行级联以得到分类特征向量；
26.全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及
27.分类结果生成单元，用于将所述编码分类特征向量输入所述分类器的softmax分类函数以得到所述分类结果。
28.在上述的钣金件人工智能生产系统中，还包括：用于所述基于自动编解码器的图像畸变矫正器、所述深浅特征融合模块的卷积神经网络模型和所述分类器进行训练的训练模块；
29.其中，所述训练模块，包括：
30.训练图像采集单元，用于获取钣金件的训练检测图像；
31.训练畸变校正单元，用于将所述训练检测图像通过所述基于自动编解码器的图像畸变矫正器以得到训练校正后检测图像；
32.训练纹理特征图提取单元，用于提取所述训练校正后检测图像的训练方向梯度直方图；
33.训练多通道聚合单元，用于将所述训练方向梯度直方图和所述训练校正后检测图像沿着通道维度进行聚合以得到训练多通道输入图像；
34.训练图像特征提取单元，用于将所述训练多通道输入图像通过所述包含深浅特征融合模块的卷积神经网络模型以得到训练浅层特征图和训练深层特征图，并融合所述训练浅层特征图和所述训练深层特征图以得到训练分类特征图；
35.分类损失函数计算单元，用于将所述训练分类特征图通过所述分类器以得到分类损失函数值；
36.损失概率化鲁棒性值计算单元，用于计算所述训练浅层特征图和所述训练深层特征图之间的损失概率化鲁棒性值；
37.模型训练单元，用于以所述分类损失函数值和所述损失概率化鲁棒性值的加权和作为损失函数值对所述基于自动编解码器的图像畸变矫正器、所述深浅特征融合模块的卷积神经网络模型和所述分类器进行训练。
38.在上述的钣金件人工智能生产系统中，所述损失概率化鲁棒性值计算单元，包括：
39.线性变换子单元，用于对所述训练浅层特征图进行线性变换以得到变换后浅层特征图，所述变换后浅层特征图的特征尺度与所述训练深层特征图的特征尺度相一致；
40.损失概率化鲁棒性值计算子单元，用于以如下损失概率化鲁棒性值计算公式来计算所述变换后浅层特征图和所述训练深层特征图的损失概率化鲁棒性值；
41.其中，所述损失概率化鲁棒性值计算公式为：
[0042][0043]
其中，f
1i
表示所述变换后浅层特征图的各个位置的特征值，f
2i
表示所述训练深层特征图的各个位置的特征值，n表示特征图的特征值总数，max表示最大值函数，loss表示所述损失概率化鲁棒性值。
[0044]
根据本技术的另一方面，还提供了一种钣金件人工智能生产方法，其包括：
[0045]
获取钣金件的检测图像；
[0046]
将所述检测图像通过基于自动编解码器的图像畸变矫正器以得到校正后检测图像；
[0047]
提取所述校正后检测图像的方向梯度直方图；
[0048]
将所述方向梯度直方图和所述校正后检测图像沿着通道维度进行聚合以得到多通道输入图像；
[0049]
将所述多通道输入图像通过包含深浅特征融合模块的卷积神经网络模型以得到分类特征图；以及
[0050]
将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示钣金件的表面平整度是否满足预定要求。
[0051]
与现有技术相比，本技术提供的钣金件人工智能生产系统及其方法，其采用基于机器视觉的人工智能检测技术，通过对钣金件的检测图像进行图像畸变校正后提取出其在大尺寸的块空间的方向梯度直方图，并以这两者在高维空间中的深浅融合特征分布信息来综合判断所述钣金件的表面平整度是否满足预定要求。这样，能够准确地对于钣金件的表面平整度进行智能检测。
附图说明
[0052]
通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，
相同的参考标号通常代表相同部件或步骤。
[0053]
图1图示了根据本技术实施例的钣金件人工智能生产系统的框图。
[0054]
图2图示了根据本技术实施例的钣金件人工智能生产系统的系统架构图。
[0055]
图3图示了根据本技术实施例的钣金件人工智能生产系统中平整度判定结果生成模块的框图。
[0056]
图4图示了根据本技术实施例的钣金件人工智能生产系统中训练模块的框图。
[0057]
图5图示了根据本技术实施例的钣金件人工智能生产方法的流程图。
[0058]
图6图示了根据本技术实施例的电子设备的框图。
具体实施方式
[0059]
下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
[0060]
申请概述
[0061]
如上述背景技术所言，钣金件是一种通过钣金加工技术加工成的零部件。它是由薄型板材材料制成的，通常用于制造各种机械设备、电子产品、汽车、航空航天器等。钣金件的加工工艺通常包括切割、折弯、冲压、焊接等步骤，可以制造出各种形状和尺寸的零部件，具有轻量化、强度高、成本低等优点。钣金件在现代工业中被广泛应用，是工业生产中不可缺少的一部分。检测钣金件的表面平整度是非常重要的，因为表面平整度是钣金件的外观质量的重要指标之一。如果钣金件的表面不平整，可能会影响其装配和使用效果，甚至会导致钣金件的失效。此外，表面平整度还可以反映出钣金件的制造工艺水平和生产设备的精度，因此，通过检测表面平整度可以及时发现制造工艺的问题，以便及时进行调整和改进，提高钣金件的质量和生产效率。因此，期望一种优化的钣金件人工智能生产方法。
[0062]
具体地，在本技术的技术方案中，期望在钣金件人工智能生产系统中配置钣金件基板的安装平整度检测，以在检测到平整度不满足要求时，生成提示信息，以此来提高钣金件生产的精度和质量。
[0063]
目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
[0064]
近年来，深度学习以及神经网络的发展为钣金件表面的平整度检测提供了新的解决思路和方案。
[0065]
相应地，考虑到在实际进行钣金件表面的平整度检测时，可以通过对于采集钣金件的检测图像的分析来进行，但是，由于所述检测图像中存在着较多的信息量，而钣金件表面的平整度为小尺度信息，因此难以对于钣金件的平整度信息进行捕捉。并且，在采集的过程中还可能会发生图像畸变，进而导致图像呈现弯曲，但实际上钣金件基板并没有弯曲，这会对于钣金件表面的平整度检测判断带来影响。基于此，在本技术的技术方案中，采用基于机器视觉的人工智能检测技术，以通过对于钣金件的检测图像进行图像畸变校正后提取出其在大尺寸的块空间的方向梯度直方图，并以这两者在高维空间中的深浅融合特征分布信息来综合进行所述钣金件的表面平整度是否满足预定要求的检测判断。这样，能够准确地
对于钣金件的表面平整度进行智能检测，以在检测到平整度不满足要求时，生成提示信息，进而在提高切割的精度和质量的同时避免材料浪费。
[0066]
具体地，在本技术的技术方案中，首先，通过摄像头获取钣金件的检测图像。接着，考虑到在对于所述钣金件的检测图像进行采集的过程中可能会因成像系统以及外部因素而产生图像畸变，进而导致图像呈现出弯曲现象，但是在实际过程中所述钣金件基板并没有弯曲，这会对于钣金件的表面平整度检测带来影响。因此，为了能够提高检测的精准度，需要在特征提取前进行图像的畸变校正。也就是，具体地，将所述检测图像通过基于自动编解码器的图像畸变矫正器以得到校正后检测图像。特别地，这里，所述基于自动编解码器的图像畸变矫正器包括编码器和解码器，所述编码器使用卷积层对所述检测图像进行显式空间编码以得到图像特征，且所述解码器使用反卷积层对所述图像特征进行反卷积处理以得到所述校正后检测图像。
[0067]
然后，考虑到如果钣金件基板存在弯曲，则其在图像纹理端会有呈现，因此，首先以所述校正后检测图像的方向梯度直方图来替代原始rgb图像作为输入数据，以进一步提取出所述检测图像中关于所述钣金件基板的纹理特征信息。这里，所述方向梯度直方图是一种用于描述图像局部纹理特征的方法，该算法图像将图像等划分为小尺寸的细胞空间，计算细胞内各像素点的梯度，并根据梯度分布生成细胞(hog(histogram of oriented gradient,hog)，然后，在较大尺寸的块空间内统计各细胞hog分布，生成块空间hog，描述局部纹理信息。因此，使用所述方向梯度直方图替代原始rgb图像作为输入数据，可以使得特征提取器能够更为有效且容易地提取到所述方向梯度直方图中的与所述校正后检测图像中关于钣金件基板的纹理信息相关的特征，而对于所述钣金件的表面平整度缺陷往往体现在纹理信息层面。
[0068]
进一步地，就可以使用在图像的隐含特征提取方面具有优异表现的卷积神经网络模型来对于所述方向梯度直方图进行特征挖掘。特别地，考虑到由于如果钣金件基板存在着弯曲现象，那么其在图像的纹理端会有所呈现，也就是说，所述钣金件表面的平整度特征信息在其浅层纹理特征中会有着特殊的表现形式。而卷积神经网络在编码时，随着其深度的加深，浅层特征会变得模糊甚至被噪声所淹没。因此，在特征提取时不仅需要关注于图像中的深层隐藏特征信息，更需要聚焦于其浅层纹理特征信息。同时，为了能够提高对于所述钣金件表面的平整度检测的精准度，进一步将所述方向梯度直方图和所述校正后检测图像沿着通道维度进行聚合，以整合钣金件的rgb图像和方向梯度直方图，从而得到多通道输入图像，并以所述多通道输入图像来进行深浅特征的提取融合，进而来进行平整度检测。
[0069]
也就是，具体地，将所述多通道输入图像通过包含深浅特征融合模块的卷积神经网络模型中进行特征挖掘以得到分类特征图。应可以理解，相较于标准卷积神经网络模型，根据本技术的所述卷积神经网络模型能够保留所述多通道输入图像中关于所述钣金件表面平整度的浅层纹理特征和深层特征，以不仅使得特征信息更为丰富，且不同深度的特征能得以保留，进而提高对于所述钣金件的表面平整度是否满足预定要求的检测精准度。
[0070]
接着，进一步再将所述分类特征图通过分类器以得到用于表示钣金件的表面平整度是否满足预定要求的分类结果。并且在响应于所述分类结果为钣金件的表面平整度不满足预定要求时，生成重安装提示。这样，能够准确地对于钣金件的表面平整度进行智能检测，以在检测到平整度不满足要求时，生成提示信息，进而在提高切割的精度和质量的同时
避免材料浪费。
[0071]
特别地，在本技术的技术方案中，考虑到所述分类特征图是通过所述浅层特征图和所述深层特征图进行级联得到的，而所述浅层特征图和所述深层特征图是从所述卷积神经网络模型的不同层提取到的，因此，所述浅层特征图和所述深层特征图的特征深度不同，进而导致，两者在高维特征空间中的相似性和边界鲁棒性较差，会影响融合后的分类特征图进行分类判断的准确性，如果在训练阶段的时候就能够衡量两者在嵌入空间中的相似性。通过计算这个值，可以量化所述浅层特征图和所述深层特征图之间的差异程度。通过最小化这个值，可以使得两个特征图在特征提取过程中更好地融合和对齐，从而提高特征维度的确定性和边界鲁棒性。
[0072]
在本技术的技术方案中，除了分类损失函数值之外，在本技术的技术方案中，在利用梯度下降的反向传播算法来训练深度神经网络模型的过程中，除了计算所述训练分类特征图的分类损失函数值之外，还计算所述训练浅层特征图和所述训练深层特征图之间的损失概率化鲁棒性值。具体地，计算所述训练浅层特征图和所述训练深层特征图之间的损失概率化鲁棒性值的过程，包括：基于线性变换来调整所述训练浅层特征图和所述训练深层特征图之间的特征尺度关系以使得所述训练浅层特征图和所述训练深层特征图具有相同的特征尺度；计算所述训练浅层特征图和所述训练深层特征图中各组对应位置的特征值之间的差值的绝对值以得到绝对值特征图；对所述绝对值特征图中所有位置的特征值进行统计分析以得到分布差异度量值；以及，将所述分布差异度量值除以所述绝对值特征图中的最大特征值以得到损失概率化鲁棒性值。
[0073]
继而，以所述分类损失函数值和所述损失概率化鲁棒性值的加权和作为损失函数值来训练深度神经网络模型和分类器，以不仅使得所述分类特征图的特征流形能够适配于真实的类概率分布，且能够使得在所述浅层特征图和所述深层特征图的特征提取的过程中，所述浅层特征图和所述深层特征图的特征流形分布层面能够尽可能地对齐以提高所述浅层特征图和所述深层特征图的特征融合的确定性和边界鲁棒性。具体地，通过计算所述浅层特征图和所述深层特征图之间的损失概率化鲁棒性值，可使得所述深层特征图的数据点在嵌入空间中的距离能够尽可能地反应原始空间中的相似性，即所述浅层特征图的高维特征空间中的相似性，通过这样的方式，可使得所述浅层特征图和所述深层特征图在高维特征空间中的特征流形分布得以双向奔赴式趋合以提高所述浅层特征图和所述深层特征图在特征提取过程中的特征维度对齐度。
[0074]
在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
[0075]
示例性系统
[0076]
图1图示了根据本技术实施例的钣金件人工智能生产系统的框图。如图1所示，根据本技术实施例的钣金件人工智能生产系统100，包括：图像采集模块110，用于获取钣金件的检测图像；畸变校正模块120，用于将所述检测图像通过基于自动编解码器的图像畸变矫正器以得到校正后检测图像；纹理特征图提取模块130，用于提取所述校正后检测图像的方向梯度直方图；多通道聚合模块140，用于将所述方向梯度直方图和所述校正后检测图像沿着通道维度进行聚合以得到多通道输入图像；图像特征提取模块150，用于将所述多通道输入图像通过包含深浅特征融合模块的卷积神经网络模型以得到分类特征图；以及整度判定
结果生成模块160，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示钣金件的表面平整度是否满足预定要求。
[0077]
图2图示了根据本技术实施例的钣金件人工智能生产系统的系统架构图。如图3所示，在该系统架构中，首先，获取钣金件的检测图像。然后，将所述检测图像通过基于自动编解码器的图像畸变矫正器以得到校正后检测图像。接着，提取所述校正后检测图像的方向梯度直方图。然后，将所述方向梯度直方图和所述校正后检测图像沿着通道维度进行聚合以得到多通道输入图像。接着，将所述多通道输入图像通过包含深浅特征融合模块的卷积神经网络模型以得到分类特征图。最后，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示钣金件的表面平整度是否满足预定要求。
[0078]
在上述的钣金件人工智能生产系统100中，图像采集模块110，用于获取钣金件的检测图像。如上述背景技术所言，钣金件是一种通过钣金加工技术加工成的零部件。它是由薄型板材材料制成的，通常用于制造各种机械设备、电子产品、汽车、航空航天器等。钣金件的加工工艺通常包括切割、折弯、冲压、焊接等步骤，可以制造出各种形状和尺寸的零部件，具有轻量化、强度高、成本低等优点。钣金件在现代工业中被广泛应用，是工业生产中不可缺少的一部分。检测钣金件的表面平整度是非常重要的，因为表面平整度是钣金件的外观质量的重要指标之一。如果钣金件的表面不平整，可能会影响其装配和使用效果，甚至会导致钣金件的失效。此外，表面平整度还可以反映出钣金件的制造工艺水平和生产设备的精度，因此，通过检测表面平整度可以及时发现制造工艺的问题，以便及时进行调整和改进，提高钣金件的质量和生产效率。因此，期望一种优化的钣金件人工智能生产方法。
[0079]
具体地，在本技术的技术方案中，期望在钣金件人工智能生产系统中配置钣金件基板的安装平整度检测，以在检测到平整度不满足要求时，生成提示信息，以此来提高钣金件生产的精度和质量。
[0080]
目前，深度学习以及神经网络已经广泛应用于计算机视觉、自然语言处理、语音信号处理等领域。此外，深度学习以及神经网络在图像分类、物体检测、语义分割、文本翻译等领域，也展现出了接近甚至超越人类的水平。
[0081]
近年来，深度学习以及神经网络的发展为钣金件表面的平整度检测提供了新的解决思路和方案。
[0082]
相应地，考虑到在实际进行钣金件表面的平整度检测时，可以通过对于采集钣金件的检测图像的分析来进行，但是，由于所述检测图像中存在着较多的信息量，而钣金件表面的平整度为小尺度信息，因此难以对于钣金件的平整度信息进行捕捉。并且，在采集的过程中还可能会发生图像畸变，进而导致图像呈现弯曲，但实际上钣金件基板并没有弯曲，这会对于钣金件表面的平整度检测判断带来影响。基于此，在本技术的技术方案中，采用基于机器视觉的人工智能检测技术，以通过对于钣金件的检测图像进行图像畸变校正后提取出其在大尺寸的块空间的方向梯度直方图，并以这两者在高维空间中的深浅融合特征分布信息来综合进行所述钣金件的表面平整度是否满足预定要求的检测判断。这样，能够准确地对于钣金件的表面平整度进行智能检测，以在检测到平整度不满足要求时，生成提示信息，进而在提高切割的精度和质量的同时避免材料浪费。具体地，在本技术的技术方案中，首先，通过摄像头获取钣金件的检测图像。
[0083]
在上述的钣金件人工智能生产系统100中，畸变校正模块120，用于将所述检测图
像通过基于自动编解码器的图像畸变矫正器以得到校正后检测图像。考虑到在对于所述钣金件的检测图像进行采集的过程中可能会因成像系统以及外部因素而产生图像畸变，进而导致图像呈现出弯曲现象，但是在实际过程中所述钣金件基板并没有弯曲，这会对于钣金件的表面平整度检测带来影响。因此，为了能够提高检测的精准度，需要在特征提取前进行图像的畸变校正。也就是，具体地，将所述检测图像通过基于自动编解码器的图像畸变矫正器以得到校正后检测图像。特别地，这里，所述基于自动编解码器的图像畸变矫正器包括编码器和解码器，所述编码器使用卷积层对所述检测图像进行显式空间编码以得到图像特征，且所述解码器使用反卷积层对所述图像特征进行反卷积处理以得到所述校正后检测图像。
[0084]
具体地，在本技术实施例中，所述畸变校正模块120，包括：图像编码单元，用于将所述检测图像输入所述图像畸变矫正器的编码器，其中，所述编码器使用卷积层对所述检测图像进行显式空间编码以得到图像特征；以及特征解码单元，用于将所述图像特征输入所述图像畸变矫正器的解码器，其中，所述解码器使用反卷积层对所述图像特征进行反卷积处理以得到所述校正后检测图像。
[0085]
在上述的钣金件人工智能生产系统100中，纹理特征图提取模块130，用于提取所述校正后检测图像的方向梯度直方图。考虑到如果钣金件基板存在弯曲，则其在图像纹理端会有呈现，因此，首先以所述校正后检测图像的方向梯度直方图来替代原始rgb图像作为输入数据，以进一步提取出所述检测图像中关于所述钣金件基板的纹理特征信息。这里，所述方向梯度直方图是一种用于描述图像局部纹理特征的方法，该算法图像将图像等划分为小尺寸的细胞空间，计算细胞内各像素点的梯度，并根据梯度分布生成细胞(hog(histogram of oriented gradient,hog)，然后，在较大尺寸的块空间内统计各细胞hog分布，生成块空间hog，描述局部纹理信息。因此，使用所述方向梯度直方图替代原始rgb图像作为输入数据，可以使得特征提取器能够更为有效且容易地提取到所述方向梯度直方图中的与所述校正后检测图像中关于钣金件基板的纹理信息相关的特征，而对于所述钣金件的表面平整度缺陷往往体现在纹理信息层面。
[0086]
具体地，在本技术实施例中，所述纹理特征图提取模块130，用于：对所述校正后检测图像进行均匀划分以得到多个细胞空间；计算所述多个细胞空间中各个细胞空间内各像素点的梯度，并根据梯度分布生成多个细胞方向梯度直方图；以及基于所述多个细胞方向梯度直方图，生成所述方向梯度直方图。
[0087]
在上述的钣金件人工智能生产系统100中，多通道聚合模块140，用于将所述方向梯度直方图和所述校正后检测图像沿着通道维度进行聚合以得到多通道输入图像。考虑到由于如果钣金件基板存在着弯曲现象，那么其在图像的纹理端会有所呈现，也就是说，所述钣金件表面的平整度特征信息在其浅层纹理特征中会有着特殊的表现形式。而卷积神经网络在编码时，随着其深度的加深，浅层特征会变得模糊甚至被噪声所淹没。因此，在特征提取时不仅需要关注于图像中的深层隐藏特征信息，更需要聚焦于其浅层纹理特征信息。同时，为了能够提高对于所述钣金件表面的平整度检测的精准度，进一步将所述方向梯度直方图和所述校正后检测图像沿着通道维度进行聚合，以整合钣金件的rgb图像和方向梯度直方图，从而得到多通道输入图像。
[0088]
在上述的钣金件人工智能生产系统100中，图像特征提取模块150，用于将所述多
通道输入图像通过包含深浅特征融合模块的卷积神经网络模型以得到分类特征图。
[0089]
具体地，在本技术实施例中，所述图像特征提取模块150，用于：使用所述卷积神经网络模型的各层在层的正向传递中分别对输入数据进行卷积处理、池化处理和非线性激活处理以由所述卷积神经网络模型的各层分别输出特征图。将所述多通道输入图像通过包含深浅特征融合模块的卷积神经网络模型中进行特征挖掘以得到分类特征图。应可以理解，相较于标准卷积神经网络模型，根据本技术的所述卷积神经网络模型能够保留所述多通道输入图像中关于所述钣金件表面平整度的浅层纹理特征和深层特征，以不仅使得特征信息更为丰富，且不同深度的特征能得以保留，进而提高对于所述钣金件的表面平整度是否满足预定要求的检测精准度。
[0090]
具体地，在本技术实施例中，所述图像特征提取模块150，进一步用于：从所述卷积神经网络模型的第m层得到浅层特征图，其中，所述m大于等于4且小于等于6；从所述卷积神经网络模型的第n层得到深层特征图，其中，n/m大于等于5且小于等于10；以及使用所述卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到分类特征图。
[0091]
在上述的钣金件人工智能生产系统100中，平整度判定结果生成模块160，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示钣金件的表面平整度是否满足预定要求。进一步再将所述分类特征图通过分类器以得到用于表示钣金件的表面平整度是否满足预定要求的分类结果。并且在响应于所述分类结果为钣金件的表面平整度不满足预定要求时，生成重安装提示。这样，能够准确地对于钣金件的表面平整度进行智能检测，以在检测到平整度不满足要求时，生成提示信息，进而在提高切割的精度和质量的同时避免材料浪费。
[0092]
图3图示了根据本技术实施例的钣金件人工智能生产系统中平整度判定结果生成模块的框图。如图3所示，所述平整度判定结果生成模块160，包括：展开单元161，用于将分类特征图中各个分类特征矩阵按照行向量或者列向量展开为一维特征向量后进行级联以得到分类特征向量；全连接编码单元162，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及分类结果生成单元163，用于将所述编码分类特征向量输入所述分类器的softmax分类函数以得到所述分类结果。
[0093]
在上述的钣金件人工智能生产系统100中，还包括：用于所述基于自动编解码器的图像畸变矫正器、所述深浅特征融合模块的卷积神经网络模型和所述分类器进行训练的训练模块200。特别地，在本技术的技术方案中，考虑到所述分类特征图是通过所述浅层特征图和所述深层特征图进行级联得到的，而所述浅层特征图和所述深层特征图是从所述卷积神经网络模型的不同层提取到的，因此，所述浅层特征图和所述深层特征图的特征深度不同，进而导致，两者在高维特征空间中的相似性和边界鲁棒性较差，会影响融合后的分类特征图进行分类判断的准确性，如果在训练阶段的时候就能够衡量两者在嵌入空间中的相似性。通过计算这个值，可以量化所述浅层特征图和所述深层特征图之间的差异程度。通过最小化这个值，可以使得两个特征图在特征提取过程中更好地融合和对齐，从而提高特征维度的确定性和边界鲁棒性。
[0094]
在本技术的技术方案中，除了分类损失函数值之外，在本技术的技术方案中，在利用梯度下降的反向传播算法来训练深度神经网络模型的过程中，除了计算所述训练分类特
征图的分类损失函数值之外，还计算所述训练浅层特征图和所述训练深层特征图之间的损失概率化鲁棒性值。具体地，计算所述训练浅层特征图和所述训练深层特征图之间的损失概率化鲁棒性值的过程，包括：基于线性变换来调整所述训练浅层特征图和所述训练深层特征图之间的特征尺度关系以使得所述训练浅层特征图和所述训练深层特征图具有相同的特征尺度；计算所述训练浅层特征图和所述训练深层特征图中各组对应位置的特征值之间的差值的绝对值以得到绝对值特征图；对所述绝对值特征图中所有位置的特征值进行统计分析以得到分布差异度量值；以及，将所述分布差异度量值除以所述绝对值特征图中的最大特征值以得到损失概率化鲁棒性值。
[0095]
继而，以所述分类损失函数值和所述损失概率化鲁棒性值的加权和作为损失函数值来训练深度神经网络模型和分类器，以不仅使得所述分类特征图的特征流形能够适配于真实的类概率分布，且能够使得在所述浅层特征图和所述深层特征图的特征提取的过程中，所述浅层特征图和所述深层特征图的特征流形分布层面能够尽可能地对齐以提高所述浅层特征图和所述深层特征图的特征融合的确定性和边界鲁棒性。具体地，通过计算所述浅层特征图和所述深层特征图之间的损失概率化鲁棒性值，可使得所述深层特征图的数据点在嵌入空间中的距离能够尽可能地反应原始空间中的相似性，即所述浅层特征图的高维特征空间中的相似性，通过这样的方式，可使得所述浅层特征图和所述深层特征图在高维特征空间中的特征流形分布得以双向奔赴式趋合以提高所述浅层特征图和所述深层特征图在特征提取过程中的特征维度对齐度。
[0096]
图4图示了根据本技术实施例的钣金件人工智能生产系统中训练模块的框图。如图4所示，所述训练模块200，包括：训练图像采集单元210，用于获取钣金件的训练检测图像；训练畸变校正单元220，用于将所述训练检测图像通过所述基于自动编解码器的图像畸变矫正器以得到训练校正后检测图像；训练纹理特征图提取单元230，用于提取所述训练校正后检测图像的训练方向梯度直方图；训练多通道聚合单元240，用于将所述训练方向梯度直方图和所述训练校正后检测图像沿着通道维度进行聚合以得到训练多通道输入图像；训练图像特征提取单元250，用于将所述训练多通道输入图像通过所述包含深浅特征融合模块的卷积神经网络模型以得到训练浅层特征图和训练深层特征图，并融合所述训练浅层特征图和所述训练深层特征图以得到训练分类特征图；分类损失函数计算单元260，用于将所述训练分类特征图通过所述分类器以得到分类损失函数值；损失概率化鲁棒性值计算单元270，用于计算所述训练浅层特征图和所述训练深层特征图之间的损失概率化鲁棒性值；模型训练单元280，用于以所述分类损失函数值和所述损失概率化鲁棒性值的加权和作为损失函数值对所述基于自动编解码器的图像畸变矫正器、所述深浅特征融合模块的卷积神经网络模型和所述分类器进行训练。
[0097]
具体地，在本技术实施例中，所述损失概率化鲁棒性值计算单元270，包括：线性变换子单元，用于对所述训练浅层特征图进行线性变换以得到变换后浅层特征图，所述变换后浅层特征图的特征尺度与所述训练深层特征图的特征尺度相一致；损失概率化鲁棒性值计算子单元，用于以如下损失概率化鲁棒性值计算公式来计算所述变换后浅层特征图和所述训练深层特征图的损失概率化鲁棒性值；其中，所述损失概率化鲁棒性值计算公式为：
[0098][0099]
其中，f
1i
表示所述变换后浅层特征图的各个位置的特征值，f
2i
表示所述训练深层特征图的各个位置的特征值，n表示特征图的特征值总数，max表示最大值函数，loss表示所述损失概率化鲁棒性值。
[0100]
示例性方法
[0101]
图5图示了根据本技术实施例的钣金件人工智能生产方法的流程图。如图5所示，根据本技术实施例的所述钣金件人工智能生产方法，包括步骤：s110，获取钣金件的检测图像；s120，将所述检测图像通过基于自动编解码器的图像畸变矫正器以得到校正后检测图像；s130，提取所述校正后检测图像的方向梯度直方图；s140，将所述方向梯度直方图和所述校正后检测图像沿着通道维度进行聚合以得到多通道输入图像；s150，将所述多通道输入图像通过包含深浅特征融合模块的卷积神经网络模型以得到分类特征图；以及s160，将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示钣金件的表面平整度是否满足预定要求。
[0102]
这里，本领域技术人员可以理解，上述钣金件人工智能生产方法中的各个步骤的具体操作已经在上面参考图1到图4的钣金件人工智能生产系统的描述中得到了详细介绍，并因此，将省略其重复描述。
[0103]
如上所述，根据本技术实施例的钣金件人工智能生产系统100可以实现在各种终端设备中，例如钣金件人工智能生产服务器等。在一个示例中，根据本技术实施例的钣金件人工智能生产系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该钣金件人工智能生产系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该钣金件人工智能生产系统100同样可以是该终端设备的众多硬件模块之一。
[0104]
替换地，在另一示例中，该钣金件人工智能生产系统100与该终端设备也可以是分立的设备，并且该钣金件人工智能生产系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息
[0105]
示例性电子设备
[0106]
下面，参考图6来描述根据本技术实施例的电子设备。图6为根据本技术实施例的电子设备的框图。如图6所示，电子设备10包括一个或多个处理器11和存储器12。
[0107]
处理器11可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
[0108]
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本技术的各个实施例的钣金件人工智能生产方法中的功能以及/或者其他期望的功能。在所述
计算机可读存储介质中还可以存储钣金件检测图像等各种内容。
[0109]
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
[0110]
该输入装置13可以包括例如键盘、鼠标等等。
[0111]
该输出装置14可以向外部输出各种信息，包括钣金件的表面平整度是否满足预定要求等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
[0112]
当然，为了简化，图6中仅示出了该电子设备10中与本技术有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
[0113]
示例性计算机程序产品和计算机可读存储介质
[0114]
除了上述方法和设备以外，本技术的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的钣金件人工智能生产方法中的功能中的步骤。
[0115]
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本技术实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
[0116]
此外，本技术的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本技术各种实施例的钣金件人工智能生产方法中的功能中的步骤。
[0117]
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0118]
以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
[0119]
本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使
用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0120]
还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
[0121]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0122]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

技术特征：
1.一种钣金件人工智能生产系统，其特征在于，包括：图像采集模块，用于获取钣金件的检测图像；畸变校正模块，用于将所述检测图像通过基于自动编解码器的图像畸变矫正器以得到校正后检测图像；纹理特征图提取模块，用于提取所述校正后检测图像的方向梯度直方图；多通道聚合模块，用于将所述方向梯度直方图和所述校正后检测图像沿着通道维度进行聚合以得到多通道输入图像；图像特征提取模块，用于将所述多通道输入图像通过包含深浅特征融合模块的卷积神经网络模型以得到分类特征图；以及平整度判定结果生成模块，用于将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示钣金件的表面平整度是否满足预定要求。2.根据权利要求1所述的钣金件人工智能生产系统，其特征在于，所述畸变校正模块，包括：图像编码单元，用于将所述检测图像输入所述图像畸变矫正器的编码器，其中，所述编码器使用卷积层对所述检测图像进行显式空间编码以得到图像特征；以及特征解码单元，用于将所述图像特征输入所述图像畸变矫正器的解码器，其中，所述解码器使用反卷积层对所述图像特征进行反卷积处理以得到所述校正后检测图像。3.根据权利要求2所述的钣金件人工智能生产系统，其特征在于，所述纹理特征图提取模块，用于：对所述校正后检测图像进行均匀划分以得到多个细胞空间；计算所述多个细胞空间中各个细胞空间内各像素点的梯度，并根据梯度分布生成多个细胞方向梯度直方图；以及基于所述多个细胞方向梯度直方图，生成所述方向梯度直方图。4.根据权利要求3所述的钣金件人工智能生产系统，其特征在于，所述图像特征提取模块，用于：使用所述卷积神经网络模型的各层在层的正向传递中分别对输入数据进行卷积处理、池化处理和非线性激活处理以由所述卷积神经网络模型的各层分别输出特征图。5.根据权利要求4所述的钣金件人工智能生产系统，其特征在于，所述图像特征提取模块，进一步用于：从所述卷积神经网络模型的第m层得到浅层特征图，其中，所述m大于等于4且小于等于6；从所述卷积神经网络模型的第n层得到深层特征图，其中，n/m大于等于5且小于等于10；以及使用所述卷积神经网络模型的深浅特征融合模块来融合所述浅层特征图和所述深层特征图以得到分类特征图。6.根据权利要求5所述的钣金件人工智能生产系统，其特征在于，所述平整度判定结果生成模块，包括：展开单元，用于将分类特征图中各个分类特征矩阵按照行向量或者列向量展开为一维特征向量后进行级联以得到分类特征向量；
全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及分类结果生成单元，用于将所述编码分类特征向量输入所述分类器的softmax分类函数以得到所述分类结果。7.根据权利要求6所述的钣金件人工智能生产系统，其特征在于，还包括：用于所述基于自动编解码器的图像畸变矫正器、所述深浅特征融合模块的卷积神经网络模型和所述分类器进行训练的训练模块；其中，所述训练模块，包括：训练图像采集单元，用于获取钣金件的训练检测图像；训练畸变校正单元，用于将所述训练检测图像通过所述基于自动编解码器的图像畸变矫正器以得到训练校正后检测图像；训练纹理特征图提取单元，用于提取所述训练校正后检测图像的训练方向梯度直方图；训练多通道聚合单元，用于将所述训练方向梯度直方图和所述训练校正后检测图像沿着通道维度进行聚合以得到训练多通道输入图像；训练图像特征提取单元，用于将所述训练多通道输入图像通过所述包含深浅特征融合模块的卷积神经网络模型以得到训练浅层特征图和训练深层特征图，并融合所述训练浅层特征图和所述训练深层特征图以得到训练分类特征图；分类损失函数计算单元，用于将所述训练分类特征图通过所述分类器以得到分类损失函数值；损失概率化鲁棒性值计算单元，用于计算所述训练浅层特征图和所述训练深层特征图之间的损失概率化鲁棒性值；模型训练单元，用于以所述分类损失函数值和所述损失概率化鲁棒性值的加权和作为损失函数值对所述基于自动编解码器的图像畸变矫正器、所述深浅特征融合模块的卷积神经网络模型和所述分类器进行训练。8.根据权利要求7所述的钣金件人工智能生产系统，其特征在于，所述损失概率化鲁棒性值计算单元，包括：线性变换子单元，用于对所述训练浅层特征图进行线性变换以得到变换后浅层特征图，所述变换后浅层特征图的特征尺度与所述训练深层特征图的特征尺度相一致；损失概率化鲁棒性值计算子单元，用于以如下损失概率化鲁棒性值计算公式来计算所述变换后浅层特征图和所述训练深层特征图的损失概率化鲁棒性值；其中，所述损失概率化鲁棒性值计算公式为：其中，f
1i
表示所述变换后浅层特征图的各个位置的特征值，f
2i
表示所述训练深层特征图的各个位置的特征值，n表示特征图的特征值总数，max表示最大值函数，loss表示所述损失概率化鲁棒性值。
9.一种钣金件人工智能生产方法，包括：获取钣金件的检测图像；将所述检测图像通过基于自动编解码器的图像畸变矫正器以得到校正后检测图像；提取所述校正后检测图像的方向梯度直方图；将所述方向梯度直方图和所述校正后检测图像沿着通道维度进行聚合以得到多通道输入图像；将所述多通道输入图像通过包含深浅特征融合模块的卷积神经网络模型以得到分类特征图；以及将所述分类特征图通过分类器以得到分类结果，所述分类结果用于表示钣金件的表面平整度是否满足预定要求。10.根据权利要求9所述的钣金件人工智能生产方法，其特征在于，将所述检测图像通过基于自动编解码器的图像畸变矫正器以得到校正后检测图像，包括：将所述检测图像输入所述图像畸变矫正器的编码器，其中，所述编码器使用卷积层对所述检测图像进行显式空间编码以得到图像特征；以及将所述图像特征输入所述图像畸变矫正器的解码器，其中，所述解码器使用反卷积层对所述图像特征进行反卷积处理以得到所述校正后检测图像。

技术总结
本申请涉及智能生产领域，其具体公开了一种钣金件人工智能生产系统及其方法，其采用基于机器视觉的人工智能检测技术，通过对钣金件的检测图像进行图像畸变校正后提取出其在大尺寸的块空间的方向梯度直方图，并以这两者在高维空间中的深浅融合特征分布信息来综合判断所述钣金件的表面平整度是否满足预定要求。这样，能够准确地对于钣金件的表面平整度进行智能检测。智能检测。智能检测。


技术研发人员：侯恩荣 孙俊云
受保护的技术使用者：滁州海斯机械设备股份有限公司
技术研发日：2023.06.30
技术公布日：2023/10/5