基于深度学习的石子粒径分类方法、系统及存储介质

1.本发明涉及人工智能领域，尤其涉及一种基于深度学习的石子粒径分类方法、系统及存储介质。


背景技术：

2.在建筑工地实际场景中，为保证施工质量，需对石子的粒径大小有明确的要求。石子通过卡车运输进入工地时应按照不同粒径等级分开堆放。在后续使用时，按照特定比例对三个粒径等级的石子进行混合，以便达到实际应用时工地要求的密实度，称其为级配石子。传统的石子粒径检测方法一般是通过人工抽样，对于少量样本该方法确实具有较好的准确性。但在大规模复杂的石子运输场景下，人工抽样的方法局限性大，易受到工人疲劳、天气情况及夜晚视线欠佳的影响，会对结果造成较大的误差。显然，人工抽样的方法已经无法满足当今建筑工地的实际需求。
3.近年来，随着计算机视觉、深度学习等技术不断完善和发展，其应用领域也不断扩大。目前，主流的目标分类技术在其他领域中已经广泛应用，但在复杂环境下的石子粒径分类任务中尚为欠缺。主要是由于在这些场景下的石子种类繁多、受距离因素影响较大、受光线和天气等因素干扰。目前，一些研究机构和企业正在探索利用数字图像处理技术和机器视觉技术来检测石子骨料。例如，李旭等人利用图像处理技术提取混凝土粗骨料的长宽比系数，实现了对混凝土粗骨料的检测。刘春等人则运用形态学处理的方法对石子颗粒与孔隙进行分割，提取出石子颗粒的轮廓信息后，再进一步计算其大小等特征。但是单纯的数字图像处理方法对光照环境有着严苛的要求，并不适用于处理复杂环境下的石子粒径分类任务。
4.cnn因其具有良好的鲁棒性，广泛应用于目标分类领域。朱大庆、曹国等人在2020年提出一种基于两阶段深度学习的砂石图像粒径检测方法。这种算法能够有效地将紧密粘附的砂石目标进行分割，并提高了砂石目标粒径大小计算的精度。但是该算法的精度受到石子颗粒粒径大小以及施工环境的影响，而且在实际工地场景中无需准确算出石子粒径的具体数值，只需判别石子粒径的等级即可，这可以极大减少硬件资源和时间的消耗。鄢然等人在2021年将cnn模型应用于砂石骨料分类任务中取得了99％以上的分类准确率。
5.目前最新的研究是鄢然等人在2021年将cnn模型应用于砂石骨料分类任务中取得了99％以上的分类准确率。该方法虽然解决了表面湿润因素对分类结果的影响，但并未考虑实际应用场景中石子种类、石子堆高度落差信息以及光照信息对最后分类结果造成的影响。因此，目前依然存在的问题概括如下：
6.(1)由于在拍摄图像过程中，卡车车厢中不同位置的石子与相机镜头的距离是不相同的，存在高度落差，因此相同粒径的石子在最后图像中所占的像素存在较大的偏差。此外，由于所需细筛的石子粒径分布是较为接近的。若不考虑石子堆高度落差因素带来的影响，会使石子粒径最后分类的结果产生误判，使三个等级的石子摆放混乱，最终造成不可逆的经济损失。
7.(2)由于不同碎石厂家运输的石子颜色以及边缘形状存有较大的区别，而且工地现场的天气状况、光照情况都有较大的差异，导致通用图像分类模型在此场景下的准确性较差。


技术实现要素：

8.1、本发明的目的
9.本发明为了能够解决现有的计算机视觉、深度学习的石子分类算法的准确度较差的问题，解决复杂工地场景中石子种类繁多、石子堆高度落差不同、光照天气有差别等因素对最后石子粒径分类结果产生的误差，从而提出了一种基于深度学习的石子粒径分类方法、系统及存储介质。
10.2、本发明所采用的技术方案
11.本发明公开了一种基于深度学习的石子粒径分类方法，具体为：
12.获取拍摄实际工地环境中的石子堆和获取石子堆高度信息；
13.利用n*n宫格图像拼接结合激光三角法去除石子堆不同区域存在高度落差干扰；
14.利用傅里叶变换把n*n宫格石子图像转换到频率域；
15.使用通过高通滤波器后的石子三维频谱图作为分类模型数据集；
16.改进resnet34模型，优化残差结构即将两个卷积核优化为三个卷积核、增加空洞卷积、为每个通道增加eca模块调整权重，将通过高通滤波器后的石子三维频谱图数据集放入改进后的resnet34模型中训练，最终对于石子粒径分类。
17.具体地，所述的优化残差结构，将原本用于特征变换的两个卷积核大小为3*3的卷积层优化为一个降低通道数的1*1的卷积层、一个特征变换的3*3的卷积层和另一个恢复通道数的1*1的卷积层串联，所述的空洞卷积：采用空洞率为2的空洞卷积。
18.具体地，所述的获取拍摄模拟环境中的石子堆和获取石子堆高度信息，石子堆以速度v从工业相机下方经过，打开激光器并控制工业相机在短曝光时间和正常曝光时间情况下对石子堆连续拍取n*n个位置，共2n*n张石子图像。
19.具体地，所述的去除石子堆不同区域存在高度落差干扰，先从短曝光时间图像中获取激光光斑中心位置o，再在对应的正常曝光时间图像中利用激光三角法计算出该激光光斑中心位置的高度信息。
20.更进一步，将激光器的位置记为a，工业相机的位置记为b，相机成像平面中的中心点记为c，相机成像平面中的激光光斑中心的像记为d，因此根据正入射的激光三角法可以得到以下关系：
[0021][0022]
由式(1)可推出激光点距离相机与激光器平面的距离oa为：
[0023][0024]
其中ab代表相机与激光器的水平距离，bc代表相机的焦距，cd代表成像平面中激光光斑成像点与图像像素中心的距离，可以通过激光光斑成像点与图像像素中心的像素差值乘以像元尺寸计算得到。在这一步骤中可以计算得到n*n个激光光斑位置的高度信息。
[0025]
更进一步，截取区域石子图像放大插值后再合并成n*n宫格图像，在正常曝光时间的石子图像中截取以激光光斑位置为中心的m*m像素方形区域，将n*n个高度下的m*m像像素的图像合成为一张(n*m)*(n*m)像素的九宫格图像。
[0026]
更进一步，在进行图像合并之前，需要对不同高度下的m*m像像素的石子图像进行放大插值，利用获取到的高度信息与基准高度的比例进行缩放，计算出放大后的图像像素，并使用双线性插值的方法将m*m像素的图像进行放大，之后再截取出其中m*m像素的图像，以用于图像合并。
[0027]
更进一步，将n*n宫格石子图像的空间域信息通过离散傅里叶变换转化为频率域信息，得到n*n宫格石子图像的三维频谱图，进行更全面的分析和处理。
[0028]
更进一步，采用高通滤波器对n*n宫格石子图像的三维频谱图进行滤波，工地中的石子粒径最大为d，利用正入射激光三角法的变式(3)计算得到一块粒径为d的石子在图像中所占的像素k；
[0029][0030]
其中f代表相机焦距，h代表石子距离工业相机和激光器平面的距离oa的值，size代表像元尺寸，带入数据可得到一块粒径为d的石子在图像中所占的像素k，带入傅里叶变换公式可以计算出截止频率f，因此可以认为在u，v≤f的区间范围内是对分类有干扰的信号，因此将理想高通滤波器的截止频率设置为f。再将所有n*n宫格石子图像的三维频谱图通过此理想高通滤波器后的频谱图作为分类模型的数据集。
[0031]
将改进resnet34模型，优化残差结构即将两个卷积核优化为三个卷积核、增加空洞卷积、为每个通道增加eca模块调整权重，将通过高通滤波器后的石子三维频谱图数据集放入改进后的resnet34模型中训练，最终实现对目标石子粒径的分类。
[0032]
本发明还提出了一种基于深度学习的石子粒径分类系统，其特征在于：采用工业相机和激光器扫描静止或移动的待细分的石堆，所述的方法进行分类识别。
[0033]
本发明提出了一种计算机可读存储介质，其上存储有计算机程序，所述的计算机程序被处理器执行时实现如所述的方法步骤。
[0034]
3、本发明所采用的有益效果
[0035]
(1)通过本发明的方法，在石子堆高度落差不同、光照天气等因素有差异情况下的石子粒径分类任务中表现出出色性能，在测试集上的准确率为99.8％，损失函数值为0.012。
[0036]
(2)适用于多种花色的石子分类，将不同种类花色的石子图像放入基于石子堆高度信息的频率域分类算法中进行分类预测，判别结果均正确，具有良好的鲁棒性。
附图说明
[0037]
图1为基于深度学习的石子粒径分类算法流程图；
[0038]
图2为装置方法示意图；
[0039]
图3为n*n个区域石子图像采集方式和根据高度信息缩放后截取再拼接的示意图；
[0040]
图4为正常曝光与短曝光时间图像例，(a)正常曝光时间图像，(b)短曝光时间图像；
[0041]
图5为截取m*m像素石子图像示意图；
[0042]
图6为不同光照环境以及石子表面湿润与否的情况下石子n*n宫格图像示例；
[0043]
图7为不同粒径等级石子n*n宫格图像；
[0044]
图8为不同粒径等级石子对应的三维频谱图；
[0045]
图9为大石子三维频谱图通过理想高通滤波器前后频谱对比图；
[0046]
图10为改进后的resnet34网络结构图；
[0047]
图11为通过理想高通滤波器后的石子三维频谱图数据集在resnet34网络模型中的训练结果；
[0048]
图12为不同粒径等级的多种花色的石子图像；
[0049]
图13为不同粒径等级及不同花色的石子图像分类结果；
[0050]
1.激光器，2.工业相机，3.激光路径，4.相机主光轴，5.激光指示光斑，6.石子堆，7.卡车。
具体实施方式
[0051]
下面结合本发明实例中的附图，对本发明实例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
[0052]
图1为本发明中石子粒径分类方法的流程示意图，下面将结合附图对本发明实例作进一步地详细描述。
[0053]
1.获取石子图像：
[0054]
如图2所示，当装载石子的卡车7以速度v从工业相机2下方经过，打开激光器1并控制工业相机2在短曝光时间和正常曝光时间情况下对石子堆6连续拍取n*n个位置(如图3-a所示)，共2n*n张石子图像，截取n*n个m*m像素区域12；根据该区域高度与基准高度的比例进行缩放13，从缩放后的图像cn中截取出其中的m*m像素的图像。
[0055]
具体图像示例如图4所示。图4(a)短曝光时间图像中所示o
′
点为激光指示光斑5在工业相机2中的成像。
[0056]
2.利用激光三角法获取石子图像激光光斑处的高度信息：
[0057]
为了解决卡车车厢中石子堆高度落差h对最后粒径分类结果造成的干扰，首先要获取上述拍摄的石子图像区域的高度信息。先从短曝光时间图像中获取激光光斑中心位置o，再在对应的正常曝光时间图像中利用激光三角法计算出该激光光斑中心位置的高度信息。将激光器的位置记为a，工业相机的位置记为b，相机成像平面中的中心点记为c，相机成像平面中的激光光斑中心的像记为d，因此根据正入射的激光三角法可以得到以下关系：
[0058][0059]
由式(1)可推出激光点距离相机与激光器平面的距离oa为：
[0060][0061]
其中ab代表相机与激光器的水平距离，bc代表相机的焦距，cd代表成像平面中激
光光斑成像点与图像像素中心的距离，可以通过激光光斑成像点与图像像素中心的像素差值乘以像元尺寸计算得到。在这一步骤中可以计算得到n*n个激光光斑位置的高度信息。
[0062]
3.截取区域石子图像缩放后再合并成n*n宫格图像
[0063]
在正常曝光时间的石子图像中截取以激光光斑位置为中心的m*m像素方形区域，具体如图5所示。
[0064]
为了能够在后续的训练过程中通过一张图像反映出不同位置区域石子的粒径信息，本发明采用了图像合并的方法，将n*n个高度下的m*m像像素的图像合成为一张(n*m)*(n*m)像素的n宫格图像如图3-c所示。在进行图像合并之前，需要对不同高度下的m*m像像素的石子图像进行缩放，本发明以计算出放大后的图像像素，并使用双线性插值的方法将m*m像素的图像进行放大，之后再截取出其中m*m像素的图像，以用于图像合并。
[0065]
为了避免光照天气等因素对结果造成的影响，本发明在不同光照环境以及石子表面湿润与否的情况下获取了多组图像如图6所示，同样按照上述方法计算其高度信息后再缩放合并成n*n宫格图像。
[0066]
将以上所有合并后的(n*m)*(n*m)像像素的图像，按照粒径等级分别对其命名为big、medium和small，并将60％的图像设置为训练集train，40％的图像设置为测试集val，最终得到考虑高度信息以及光照天气因素的石子图像的数据集，图7是不同粒径等级石子n*n宫格图像的展示。
[0067]
4.将n*n宫格石子图像从空间域转化为频率域中的三维频谱图
[0068]
本发明考虑将n*n宫格石子图像的空间域信息通过离散傅里叶变换转化为频率域信息，从而对图像进行更全面的分析和处理。三维频谱图原来的形状，可以从频域中反应更多关于石子粒径的信息。
[0069]
5.将石子三维频谱图通过高通滤波器
[0070]
本发明采用高通滤波器对第4步中的三维频谱图进行滤波。本发明考虑一定的误差认为工地中的石子粒径最大为d。利用正入射激光三角法的变式(3)计算得到一块粒径为d的石子在图像中所占的像素k。
[0071][0072]
其中f代表相机焦距，h代表石子距离工业相机和激光器平面的距离oa的值，size代表像元尺寸，带入数据可得到一块粒径为d的石子在图像中所占的像素k，带入傅里叶变换公式可以计算出截止频率f，因此可以认为在u，v≤f的区间范围内是对分类有干扰的信号，因此将理想高通滤波器的截止频率设置为f。以大石子为例，经过上述高通滤波器前后的石子频谱如图9示，从图可知，经过截止频率为f的理想高通滤波器得到的三维频谱图可以展示更多的细节，且不存在频谱压缩和失真的问题。因此将石子n*n宫格图像数据集经过上述操作后得到石子三维频谱图按照粒径等级分别命名为big、medium和small，并将60％的图像设置为训练集train，40％的图像设置为测试集val，得到通过高通滤波器后的石子三维频谱图数据集。
[0073]
6.对resnet34模型进行改进
[0074]
将resnet34的模型进行改进，从优化残差结构、加入空洞卷积、引入eca模块这三方面出发，用于增加模型的分类准确率并减少运算参数量，改进后的resnet34模型结构如
图8所示。
[0075]
(1)优化残差结构：将原本用于特征变换的两个卷积核大小为3*3的卷积层优化为一个1*1的卷积层、一个3*3的卷积层和另一个1*1的卷积层串联。第一个1*1的卷积层用于将输入特征图的通道数降低，以此来减少网络的参数数量和计算量。之后的3*3的卷积层实现特征变换，并通过非线性激活函数对特征进行映射。最后的1*1的卷积层用于将特征图的通道数恢复到原始的维度。
[0076]
(2)加入空洞卷积：一般来说，也可以通过增加卷积层数和减少下采样步幅的方式来扩大感受野，但这样会导致计算量增加和特征图分辨率降低，而空洞卷积可以在不增加计算量的情况下获得更大的感受野。空洞卷积的实现方法是在普通卷积的卷积核中添加一定数量的空洞，通常用零来填充空洞。假设卷积核大小为k
×
k，空洞率为r，则在卷积核中间填充r-1个零，即原来的卷积核变成了(k+(k-1)
×
(r-1))
×
(k+(k-1)
×
(r-1))的大小，本发明采用空洞率为2的空洞卷积。
[0077]
(3)引入eca模块：eca即高效通道注意力模块，它能够自适应地调整卷积特征图中每个通道的权重，使得网络更加关注重要的通道信息，从而提高检测的准确性。主要包括利强化通道特征、抑制冗余特征、提高特征表达能力这三个方面。用全局平均池化来压缩每个通道的特征值，从而得到通道特征的重要性，然后将其输入到sigmoid函数中得到0到1之间的通道注意力系数。这种机制可以强化每个通道的特征，从而使网络更加关注重要的通道信息。eca模块能够抑制冗余特征，即那些对分类或检测结果没有贡献的特征。因为在全局平均池化的过程中，冗余特征对应的通道的特征值会被压缩到较小的数值，从而对应的通道权重较低，这样就可以抑制冗余特征的影响。eca模块可以提高特征图的表达能力，从而更好地捕获图像中的关键信息。在卷积神经网络中，特征图对分类或检测结果的影响非常关键，eca模块可以提高特征图的表达能力，从而更好地捕获关键信息，提高检测的准确性。
[0078]
7.将通过高通滤波器后的石子三维频谱图数据集放入改进后的resnet34模型中训练：
[0079]
将通过高通滤波器后的石子三维频谱图数据集放入改进后的resnet34网络中进行训练，最终得到基于深度学习的石子粒径分类算法，可以有效检测分类出不同光照、天气等情况下的石子粒径。
[0080]
实施例：
[0081]
其中卡车运输石子时的高度落差h为0.95，n为3，m为200，石子粒径最大为d为6cm，相机焦距bc的值f为12mm，像元尺寸size为2.4μm。相机与激光器的水平距离ab为90mm。
[0082]
①
获取石子图像：
[0083]
本发明硬件部分选用了海康威视mv-ce060-10um工业相机、海康威视mvl-hf1228m-6mpe相机镜头、深圳市红外线激光科技有限公司的650nm，30mw红光点状激光器。
[0084]
根据广州市建筑废弃物运输车辆标志与监控终端、车厢规格与密闭标准，可知在实际工地场景中卡车运输石子时的高度落差h最大应该在0.95米左右，本课题对实验室模拟环境中的石子场景做了以下布置，将三个粒径等级依次放上倾斜面，其中石子最低点和最高点的高度落差控制为0.95米。以一定的速率推动石子堆，并打开了激光器开关，本发明后续利用九宫格图像进行分析，在mvs客户端中重复多次控制曝光时间，用海康工业相机拍摄并存储了从最底端至最顶端的十八幅图像。
[0085]
②
利用激光三角法获取不同石子区域的高度信息
[0086]
由短曝光时间图像获取到激光中心点的像素坐标，再在正常曝光时间图像中通过激光三角法计算出九个激光光斑位置的高度信息，并将结果汇总如下表所示，单位为mm：
[0087]
表1不同粒径等级石子九个点的高度信息汇总表
[0088] a1a2a3a4a5a6a7a8a9小石子184519362047214522042310250726092795中石子186820202155224223262476253626482818大石子186720332100232024172500260227012817
[0089]
③
缩放后，合成n*n宫格石子图像
[0090]
针对上述场景，本发明通过计算在200*200区域内像素范围内的区域，其高度信息认为是一致的。截取出以激光点为中心200*200的区域，并将同一高度的石子图像也截取到该高度下的石子图像文件夹中。
[0091]
经过上述步骤，本发明已经获取了不同粒径等级的石子在不同高度下的200*200像素图像。为了能够在后续的训练过程中通过一张图像反映出不同位置区域石子的信息，本发明采用了图像合并的方法，将九个高度下的200*200像素的图像合成为一张600*600像素的九宫格图像。在进行图像合并之前，需要对不同高度下的200*200像素的石子图像进行缩放，并以距离激光器与工业相机平面1845mm的平面为基准。通过计算高度信息比例，本发明以计算出放大后的图像像素，并使用双线性插值的方法将200*200像素的图像进行放大，之后再截取出其中200*200像素的图像，以用于图像合并。
[0092]
为了避免光照天气等因素对结果造成的影响，本发明在不同光照环境以及石子表面湿润与否的情况下获取了多组图像，同样按照上述方法计算其高度信息后再缩放合并成九宫格图像。将以上所有合并后的600*600像素的图像，按照粒径等级分别对其命名为big、medium和small，并将60％的图像设置为训练集train，40％的图像设置为测试集val，最终得到考虑高度信息以及光照天气因素的石子图像的数据集.
[0093]
④
将九宫格石子图像从空间域转化为频率域中的三维频谱图
[0094]
将图像的空间域信息通过二维离散傅里叶变换转化为频率域信息，从而对九宫格石子图像进行下一步处理。。
[0095]
⑤
将石子三维频谱图通过高通滤波器
[0096]
本发明采用高通滤波器对三维频谱图进行滤波。分类任务中石子粒径最大是4cm，考虑一定的误差认为工地中的石子粒径d不能超过6cm。带入数据可得到一块粒径为6cm的石子在图像中所占的像素m约为100，即t，z＝50。可以认为在u，v≤50的区间范围内是对分类有干扰的信号，因此本发明将理想高通滤波器的截止频率设置为50。因此，本发明将石子九宫格图像数据集经过上述操作后得到石子三维频谱图按照粒径等级分别命名为big、medium和small，并将60％的图像设置为训练集train，40％的图像设置为测试集val，得到通过高通滤波器后的石子三维频谱图数据集。
[0097]
⑥
将通过高通滤波器后的石子三维频谱图数据集放入改进后的resnet34模型中训练
[0098]
改进后的resnet34网络结构如图10所示，将通过高通滤波器后的石子三维频谱图数据集放入其中进行训练，选择了adam优化器作为优化器，并将初始学习率设置为0.0001。
批量大小设置为16，将迭代次数设置为50次。并实时监测训练和测试过程中的各项指标，包括准确率和损失函数等，最后将其以曲线图的形式输出。
[0099]
图11给出了该数据集在改进后的resnet34网络模型训练时，每个epoch结束后的当前训练集上的损失函数值和准确率以及测试集上的损失函数值和准确率。
[0100]
由图11可得通过高通滤波器后的石子三维频谱图数据集在改进后的resnet34网络模型中训练轮数大概到14轮左右达到了最优结果，最终在训练集上的准确率为99.9％，损失函数值为0.010，在测试集上的准确率为99.8％，损失函数值为0.012。
[0101]
⑦
基于深度学习的石子粒径分类算法结果分析
[0102]
由上述实验结果可知，本发明提出的基于深度学习石子粒径分类算法在石子堆高度落差不同、光照天气等因素有差异情况下的石子粒径分类任务中表现出出色性能。
[0103]
为了测试该算法的鲁棒性，购买了不同粒径等级多种花色的石子，如图12所示。
[0104]
在未经过训练石子花色因素的情况下，将多种花色的石子图像丢入基于石子堆高度信息的频率域分类算法中进行分类预测，预测结果如图13所示。
[0105]
由图11可以看出该算法对不同花色的石子判别均正确，说明了本发明提出的基于深度学习的石子粒径分类算法具有良好的鲁棒性，且该算法可以解决实际工地中石子堆高度落差、光照条件、天气等因素带来的问题。
[0106]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

技术特征：
1.一种基于深度学习的石子粒径分类方法，其特征在于：获取拍摄实际工地环境中的石子堆和获取石子堆高度信息；利用n*n宫格图像拼接结合激光三角法去除石子堆不同区域存在高度落差干扰；利用傅里叶变换把n*n宫格石子图像转换到频率域；使用的通过高通滤波器后的石子三维频谱图作为分类模型数据集；改进resnet34模型，优化残差结构即将两个卷积核优化为三个卷积核、增加空洞卷积、为每个通道增加eca模块调整权重，将通过高通滤波器后的石子三维频谱图数据集放入改进后的resnet34模型中训练，最终实现对目标石子粒径的分类。2.根据权利要求1所述的基于深度学习的石子粒径分类方法，其特征在于：所述的优化残差结构，将原本用于特征变换的两个卷积核大小为3*3的卷积层优化为一个降低通道数的1*1的卷积层、一个特征变换的3*3的卷积层和另一个恢复通道数的1*1的卷积层串联，所述的空洞卷积：采用空洞率为2的空洞卷积。3.根据权利要求1所述的基于深度学习的石子粒径分类方法，其特征在于：所述的获取拍摄实际工地环境中的石子堆和获取石子堆高度信息，石子堆以速度v从工业相机下方经过，打开激光器并控制工业相机对石子堆连续拍取n*n个位置，每个位置分别用短曝光时间和正常曝光时间拍摄两张图像，共计2n*n张石子图像。4.根据权利要求1所述的基于深度学习的石子粒径分类方法，其特征在于：所述的去除石子堆不同区域存在高度落差干扰，先从每个位置的短曝光时间图像中获取激光光斑中心位置o，再利用激光三角法计算出该激光光斑中心位置的高度信息，并以此作为对应的正常曝光时间图像中心区域的位置高度信息。5.根据权利要求4所述的基于深度学习的石子粒径分类方法，其特征在于：将激光器的位置记为a，工业相机的位置记为b，相机成像平面中的中心点记为c，相机成像平面中的激光光斑中心的像记为d，因此根据正入射的激光三角法可以得到以下关系：由式(1)可推出激光点距离相机与激光器平面的距离oa为：其中ab代表相机与激光器的水平距离，bc代表相机的焦距，cd代表成像平面中激光光斑成像点与图像像素中心的距离，可以通过激光光斑成像点与图像像素中心的像素差值乘以像元尺寸计算得到；在这一步骤中可以计算得到n*n个激光光斑位置的高度信息。6.根据权利要求5所述的基于深度学习的石子粒径分类方法，其特征在于：截取区域石子图像放大后再合并成n*n宫格图像，在正常曝光时间的石子图像中截取以激光光斑位置为中心的m*m像素方形区域，将n*n个高度下的m*m像像素的图像合成为一张(n*m)*(n*m)像素的n宫格石子图像。7.根据权利要求6所述的基于深度学习的石子粒径分类方法，其特征在于：在进行图像合并之前，需要对不同高度下的m*m像像素的石子图像根据获取到的高度信息与基准高度的比例进行缩放，以计算出放大后的图像像素，并使用双线性插值的方法将m*m像素的图像进行放大，之后再截取出其中m*m像素的图像，以用于图像合并。
8.根据权利要求7所述的基于深度学习的石子粒径分类方法，其特征在于：将n*n宫格石子图像的空间域信息通过离散傅里叶变换转化为频率域信息，得到n*n宫格石子图像的三维频谱图，进行更全面的分析和处理。9.根据权利要求8所述的基于深度学习的石子粒径分类方法，其特征在于：所述采用高通滤波器对n*n宫格石子图像的三维频谱图进行滤波，工地中的石子粒径最大为d，利用正入射激光三角法的变式(3)计算得到一块粒径为d的石子在图像中所占的像素k；其中f代表相机焦距，h代表石子距离工业相机和激光器平面的距离oa的值，size代表像元尺寸，带入数据可得到一块粒径为d的石子在图像中所占的像素k，带入傅里叶变换公式可以计算出截止频率f，因此可以认为在u，v≤f的区间范围内是对分类有干扰的信号，因此将理想高通滤波器的截止频率设置为f。再将所有n*n宫格石子图像的三维频谱图通过此理想高通滤波器后的频谱图作为分类模型的数据集。10.根据权利要求9所述的基于深度学习的石子粒径分类方法，其特征在于：将改进resnet34模型，优化残差结构即将两个卷积核优化为三个卷积核、增加空洞卷积、为每个通道增加eca模块调整权重，将通过高通滤波器后的石子三维频谱图数据集放入改进后的resnet34模型中训练，最终实现对目标石子粒径的分类。11.一种基于深度学习的石子粒径分类系统，其特征在于：采用工业相机和激光器扫描静止或移动的待细分的石堆，采用如权利要求1-10任一所述的方法进行分类识别。12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述的计算机程序被处理器执行时实现如权利要求1-10任一所述的方法步骤。

技术总结
本发明公开了一种基于深度学习的石子粒径分类方法、系统及存储介质。获取拍摄模拟环境中的石子堆和获取石子堆高度信息；利用N*N宫格图像拼接结合激光三角法去除石子堆不同区域存在高度落差的干扰；利用傅里叶变换把N宫格石子图像转换到频率域；使用通过高通滤波器后的石子三维频谱图作为分类模型数据集；改进ResNet34模型，优化残差结构、加入空洞卷积、引入ECA模块，将通过高通滤波器后的石子三维频谱图数据集放入改进后的ResNet34模型中训练，最终用于石子粒径等级分类。本发明在石子堆高度落差不同、光照天气等因素有差异情况下的石子粒径分类任务中分类准确，适用于多种花色石子，判别均正确，具有良好的鲁棒性。具有良好的鲁棒性。具有良好的鲁棒性。


技术研发人员：张渊 蓝舸程 段宏超 王军
受保护的技术使用者：华南师范大学
技术研发日：2023.05.23
技术公布日：2023/8/1