一种板栗切割方法和系统与流程

1.本发明涉及板栗切割技术领域，具体涉及一种板栗切割方法和系统。


背景技术：

2.传统上，板栗的切口都需要手工完成，这不仅耗费时间和人力，而且易造成切口不均匀、碎裂等问题，降低了板栗的市场价值。传统的板栗开口机的设计大多是基于板栗的外形等特征设计特殊的机械结构，将板栗固定在卡槽中，以固定方式切割。这种方式智能化程度较低，且不能智能判断深度信息，造成板栗切口的长度和深度无法得到保证。目前，板栗自动切口技术已经发展到了一定程度，但是仍存在着一些问题。以下将分别从技术难度、成本、适用范围和安全性等方面进行详细描述。
3.首先，技术难度是板栗自动切口技术面临的主要问题之一。因为板栗的外形复杂，形状和大小不规则，这可能会导致切割不准确。因此需要确保设备能够适应各种大小和形状的板栗。同时确保切口的深度和宽度一致，以确保板栗不会被切断或切割得太浅。还需要确保切口的质量良好，以避免板栗受损或变质。此外，如何针对不同硬度的板栗进行切割，是技术难度的一个重要方面。
4.其次，系统的切割速度和效率也是比较关键的一个问题，需要确保系统能够快速地完成切割过程，以提高生产效率并减少成本。还需要确保系统的切割速度和效率，以及切口的一致性和质量保持平衡。
5.最后，安全性也是板栗自动切口技术面临的问题之一。自动切口过程中，如果机器出现故障或误切，可能会导致操作人员受伤或其他损失。因此，如何确保自动切口过程的安全性，对于该技术的实际应用至关重要。
6.综上所述，虽然板栗自动切口技术已经发展了许多年，并且已经有了一些可行的实现方案，但是仍然面临着许多问题。这些问题需要技术研究人员和企业共同努力去解决，以推动该技术的进一步发展和应用。此外，在板栗切割整个流程的自动化、在保证板栗切口一致性的同时提高切割速度、效率以及精准度等多方面仍存在很大改进空间。
7.因此，有必要提供一种板栗切割方法，能够解决上述问题。


技术实现要素：

8.本发明意在提供一种板栗切割方法，以解决现有技术中无法保证板栗切口的一致性，在执行板栗激光切口时，因输出不带角度的目标框会导致切口过深或过浅，甚至是因切割位置不精确损坏板栗仁的问题，以及如何实现板栗切割整个流程的自动化、如何在保证板栗切口一致性的同时提高切割速度、效率以及精准度等的技术问题，本发明要解决的技术问题通过以下技术方案来实现。
9.本发明第一方面提出一种板栗切割方法，包括：在多条输送轨道上自动调整各板栗的姿态，并将姿态调整后的各板栗自动输送到可移动载料台上的载置板；在各载置板沿可移动载料台移动且移动到工作区域时，采集位于所述可移动载料台的当前载置板上板栗
的板栗图像以用作待处理板栗图像；采用预建立的板栗位置检测模型，自动识别所述待处理板栗图像中各板栗的位置信息、旋转角度和类别信息；根据所识别的各板栗的位置信息、旋转角度和类别信息，确定所述当前载置板上所有板栗的切割路径，并生成用于执行切割操作的控制信号；根据所生成的控制信号，控制激光切割头切割所述当前载置板上的各板栗。
10.根据可选的实施方式，所述根据所识别的各板栗的位置信息、旋转角度和类别信息，确定所述当前载置板上所有板栗的切割路径，包括：
11.确定当前载置板上所有板栗的第一切割点和第二切割点的坐标信息，并根据距离原点最近的板栗确定初始切割点，每完成一次切割，重新确定一次初始切割点；
12.使用以下表达式，计算当前所确定的初始切割点与所有待切割板栗的第一切割点之间的距离以进行排序查找与所述初始切割点最近的待切割板栗作为下一待切割板栗：
[0013][0014]
其中，d是指当前所确定的初始切割点与所有待切割板栗的第一切割点之间的距离；(x0，y0)是指当前所确定的初始切割点的x轴和y轴的坐标参数；(xn，yn)是指所有待切割板栗在板栗图像中x轴和y轴的坐标参数，n为正整数，n表示第n个待切割板栗的x轴坐标参数xn；
[0015]
每执行一次切割操作，重新计算排序一次，以查找与所述初始切割点最近的待切割板栗作为下一待切割板栗，直到所述当前载置板上的所有板栗完成切割操作。
[0016]
本发明第二方面提供一种板栗切割系统，其用于执行本发明第一方面所述的板栗切割方法，所述板栗切割系统包括：上料装置，包括多条输送轨道，并用于自动将板栗输送到可移动载料台上的载置板，在每一条输送轨道的特定位置处设置有整形轮，所述整形轮用于自动调整各板栗的姿态；采集设备，在各载置板沿可移动载料台移动且移动到工作区域时，采集位于所述可移动载料台的当前载置板上板栗的板栗图像以用作待处理板栗图像；自动识别模块，采用预建立的板栗位置检测模型，自动识别所述待处理板栗图像中各板栗的位置信息、旋转角度和类别信息；确定处理模块，根据所识别的各板栗的位置信息、旋转角度和类别信息，确定所述当前载置板上所有板栗的切割路径，并生成用于执行切割操作的控制信号；控制装置，根据所生成的控制信号，控制激光切割头切割所述当前载置板上的各板栗。
[0017]
本发明实施例包括以下优点：
[0018]
与现有技术相比，本发明通过在多条输送轨道上自动调整各板栗的姿态，并将姿态调整后的各板栗自动输送到可移动载料台上的载置板，能够实现板栗上料过程的自动化，并能够节省人力成本；通过在各载置板沿可移动载料台移动且移动到工作区域时，自动采集位于所述可移动载料台的当前载置板上板栗的板栗图像以用作待处理板栗图像，并采用预建立的板栗位置检测模型，自动识别所述待处理板栗图像中各板栗的位置信息、旋转角度和类别信息，能够精确确定待处理板栗图像中各板栗的位置信息、旋转角度和类别信息，能够大幅度提高模型的检测精度，并能够实现板栗检测识别的自动化；通过准确地获取各板栗相对于水平方向的角度信息，解决了传统切割方法中的切割缝跑偏和切割深度不足、甚至是因切割位置不精确损坏板栗仁等问题，能够在保证板栗切口的一致性的同时提高切割速度、切割效率、切割精确性以及切割质量，并能够实现板栗切割整个流程的自动
化。
[0019]
此外，本发明采用旋转框检测技术可以提高切割设备的工作效率和准确性，从而降低生产成本，提高生产效益；减少切割过程中的误差和浪费，有助于提高资源利用率，实现可持续发展。此外，本发明的方法应用广泛，基于旋转框的板栗位置识别技术，能够推广到其他类似的农产品处理和切割任务中，例如对于果实、蔬菜等具有特定形状和角度的物体，也能够提供更精确的识别和切割方案。此外，旋转框检测技术在面向旋转目标的自动化处理和机器视觉领域具有广泛的应用前景。在工业、农业、交通等领域都可以发挥巨大的作用，提高自动化和智能化水平。
附图说明
[0020]
图1是本发明的板栗切割方法的一示例的流程图；
[0021]
图2是应用本发明的板栗切割方法的一应用场景的一示例的示意图；
[0022]
图3是图2的板栗切割系统中上料装置的输送轨道所配设的整形轮的一角度的局部结构示意图；
[0023]
图4是应用本发明的板栗切割方法所采集的板栗图像的一示例的结构示意图；
[0024]
图5是使用标注软件对所采集的板栗图像进行旋转检测框标注、类别标注的一示例的结构示意图；
[0025]
图6是示出了本发明的板栗位置检测模型的网络结构示意图；
[0026]
图7是图6的网络结构中一模块的结构示意图；
[0027]
图8是图6的网络结构中另一模块的结构示意图；
[0028]
图9是图6的网络结构中又一模块的结构示意图；
[0029]
图10是图6的网络结构中再一模块的结构示意图；
[0030]
图11是图6的网络结构中再一模块的结构示意图；
[0031]
图12是本发明的指定视觉检测系统的一示例的示意图；
[0032]
图13是本发明的板栗切割系统的一示例的结构示意图；
[0033]
图14是图13的板栗切割系统去除了外罩的一角度的局部结构示意图；
[0034]
图15是图13的板栗切割系统去除了外罩的另一角度的局部结构示意图。
具体实施方式
[0035]
需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。在本发明中，以附图中物体的上表面为上表面，以附图中物体的下表面为下表面。仅为了更清楚的说明检测切割过程，不能理解成对本发明的限制。下面将参考附图并结合实施例来详细说明本发明。
[0036]
参照图1至图12，本发明第一方面提供一种板栗切割方法。
[0037]
图1是本发明的板栗切割方法的一示例的流程示意图。图2是应用本发明的板栗切割方法的一应用场景的一示例的示意图。
[0038]
在图2的应用场景中，包括上料装置100、位于上料装置100一侧的可移动载台200、位于可移动载台200上方的相机500和激光切割头310、以及位于可移动载台200的一侧的控制装置400，其中，上料装置100包括多个输送轨道110，输送轨道110用于自动将板栗输送到
可移动载料台200上的载置板，并进一步沿着传送方向移动并移动到激光切割头310的工作区域s，以使激光切割头310在工作区域s对载置板上的板栗执行切割操作，在完成切割操作之后，将板栗输送到下料斗。此外，上料装置100还包括料斗120、与料斗120倾斜设置的上料传送带140。在该应用场景中还设置有与激光切割头310配合使用的多个激光管600。下面将结合图2的应用场景具体说明本发明的板栗切割方法。
[0039]
首先，在步骤s101中，在多条输送轨道上自动调整各板栗的姿态，并将姿态调整后的各板栗自动输送到可移动载料台上的载置板。
[0040]
参照图2，在上料操作启动的同时，也即开始可移动载料台200上输送载置板的输送操作。
[0041]
采用整形轮111对每一条输送轨道110上的板栗进行姿态调整，使得各板栗呈指定姿态，所述指定姿态调为板栗的曲面朝上。更具体地，所述板栗的表面一侧为曲面，另一侧为平面。每一条输送轨道110上均配设有整形轮111。所述整形轮111设置在输送轨道110的开孔处(具体为在输送轨道的底部开设有开孔)，且与输送轨道110无接触，在本示例中，各输送轨道的指定位置的底部开设有两排开孔，并对应设置两层整形轮，具体为第一层整形轮以及比第一层整形轮靠近可移动载台200的第二层整形轮。具体地，整形轮111设置在各开孔内且与输送轨道110无接触，所述整形轮111的上端面与输送轨道110的上端面大致齐平，具体可参见图3。
[0042]
进一步地，第一层整形轮和第二层整形轮均配备有整形轮电机112。所述整形轮电机112用于带动整形轮111转动以对输送轨道110上的板栗进行姿态调整，使得各板栗呈指定姿态。
[0043]
在一实施方式中，例如，输送轨道110的长度为80cm，第一层整形轮与第二层整形轮之间的间隔为约10厘米，第一层整形轮的位置为输送轨道110的2/3分界点的位置或1/3分界点的位置。
[0044]
例如通过电机带动上料装置100沿可滑动轨道130移动，将上料装置100的输送轨道110向可移动载料台200移动，并将载置于输送轨道110上的、且经姿态调整后的板栗输送到震动槽道160，再转移到可移动载料台200的载置板，以进一步向工作区域s输送。
[0045]
需要说明的是，上述仅作为可选示例进行说明，不能理解成对本发明的限制。
[0046]
接下来，在步骤s102中，在各载置板沿可移动载料台移动且移动到工作区域时，采集位于所述可移动载料台的当前载置板上板栗的板栗图像以用作待处理板栗图像。
[0047]
具体地，在载置有板栗的各载置板沿可移动载料台200的输送方向移动且移动到激光切割头310的工作区域时，利用相机500采集位于所述可移动载料台200的当前载置板上板栗的板栗图像以用作待处理板栗图像。所述相机500例如通过相机固定座510固定，具体可参见图2。
[0048]
接着，根据待处理板栗图像，确定当前载置板上各板栗的位置信息。
[0049]
需要说明的是，上述仅作为可选示例进行说明，不能理解成对本发明的限制。
[0050]
接下来，在步骤s103中，采用预建立的板栗位置检测模型，自动识别所述待处理板栗图像中各板栗的位置信息、旋转角度和类别信息。
[0051]
基于yolov5算法，预建立板栗位置检测模型。
[0052]
需要说明的是，对标准的yolov5目标检测算法进行改进，使其更适用于本发明板
栗检测切割场景的需求。标准的yolov5目标检测算法基于图像特征分析，输出的是识别目标的不带角度的最小外接矩形框和目标类别信息。然而，在执行板栗激光切口时，输出不带角度的目标框可能导致切口过深或过浅等问题。鉴于此，本发明对yolov5目标检测算法进行了改进，使其能够输出带有角度的各板栗的最小外接矩形框信息、类别信息以及旋转角度。
[0053]
所述预建立板栗位置检测模型包括建立训练数据集，并使用训练数据集训练板栗位置检测模型，其中，所述训练数据集包括标注有旋转检测框、类别标签的板栗图像。下面将结合图4和图5具体说明训练数据集的建立过程。
[0054]
图4是应用本发明的板栗切割方法所采集的板栗图像的一示例的结构示意图。图5是使用标注软件对所采集的板栗图像进行旋转检测框标注、类别标注的一示例的结构示意图
[0055]
参照图4和图5，采集板栗图像，使用标注软件对所采集的板栗图像进行旋转检测框标注、类别标注，建立训练数据集。
[0056]
具体地，使用工业相机采集包含多个板栗的板栗图像(即板栗图像样本)，并对板栗图像中的各板栗进行标注。
[0057]
优选地，使用具有500万像素分辨率、焦距为8mm的镜头的相机采集大量板栗图像，其中包括人工随机摆放板栗的板栗图像(例如图4所示的板栗图像)，得到可满足模型训练所需的板栗图像样本数量，最终共计采集500张图像样本作为数据集。
[0058]
接着，通过对所采集的板栗图像样本(下文中，有时也简称为板栗图像)中各板栗进行旋转检测框标注，确定各板栗图像样本中每一个板栗的旋转检测框(具体为最小外接矩形位置信息)，并确定每一个板栗的长度方向的轴线相对于各板栗图像的水平方向的旋转角度。
[0059]
对于板栗图像样本的标注，对所采集的板栗图像样本进行标注，例如使用labelimg软件进行标注。相较于传统的矩形目标检测框标注，本发明提出了对板栗图像中每个板栗实施旋转检测框的标注，以便能够更精确获取每个板栗的最小外接矩形信息，例如使用(c
x
,cy,w,h,θ)表示每个板栗的最小外接矩形信息。最小外接矩形信息包括中心坐标(c
x
,cy)(例如图5中，使用白色矩形表示各板栗的中心的位置)、最小外接矩形框(例如图5所示的包围各板栗的黑色矩形框)的宽度w、高度h(也称为长度)，以及每个板栗的长度方向上的轴线相对于板栗图像的水平方向的偏转角度(即旋转角度θ)，具体参见图5。
[0060]
需要说明的是，在本示例中，每个板栗的最小外接矩形信息使用(c
x
,cy,w,h,θ)表示，但是不限于此，在其他示例中，还可以使用每个板栗的最小外接矩形的四个顶点、中心点以及每个板栗的长度方向上的轴线相对于板栗图像的水平方向的偏转角度来表示。上述仅作为可选示例进行说明，不能理解成对本发明的限制。
[0061]
接着，使用标注好各板栗的最小外接矩形和类别标签的板栗图像样本建立训练数据集，以用于后续模型训练。
[0062]
优选地，在对板栗图像样本进行标注之前，还包括对板栗图像进行数据增强操作，包括随机旋转、缩放等，以便增加模型训练过程中对旋转目标(板栗图像，即板栗图像样本)的泛化能力。
[0063]
图6是示出了本发明的板栗位置检测模型的网络结构示意图。图7是图6的网络结
构中一模块的结构示意图。图8是图6的网络结构中另一模块的结构示意图。图9是图6的网络结构中又一模块的结构示意图。图10是图6的网络结构中再一模块的结构示意图。图11是图6的网络结构中再一模块的结构示意图。
[0064]
如图6所示，基于旋转框的yolov5算法建立骨干网络和检测头网络两个子网络，使用训练数据集训练板栗位置检测模型的各子网络。其中，所述骨干网络用于对输入的各板栗图像样本进行第一次特征提取，得到不同尺度的特征图；所述检测头网络则是对所述骨干网络输出的多尺度特征图进行信息融合，进一步提取隐含的特征信息，并将骨干网络输出的多尺度特征图通过卷积变换操作以直接输出各板栗图像样本中各板栗的位置信息(具体为最小外接矩形框信息)、类别信息以及旋转角度。换言之，所建立的板栗位置检测模型由两个子网络组成，分别为骨干网络和检测头网络。这两个子网络共同实现了对板栗图像的特征提取、信息融合以及位置信息(各板栗的最小外接矩形框信息)、类别信息和旋转角度信息的输出，进而实现了对待处理板栗图像中各板栗位置的快速识别和定位。
[0065]
具体地，所述骨干网络作为算法的基础部分，负责对输入的板栗图像(即板栗图像样本)进行深度特征提取。通过多层卷积、池化等操作，所述骨干网络能够生成多个尺度的特征图，从而为检测头网络提供丰富的特征信息。检测头网络对骨干网络输出的多尺度特征图进行信息融合，进一步提取隐含的特征信息，并将骨干网络输出的多尺度特征图通过卷积变换操作直接输出板栗图像中的各板栗位置信息(具体为最小外接矩形框信息)、类别信息以及旋转角度。其中，所述多尺度特征图是指骨干网络中的多个层级的大小不同的特征图。
[0066]
接下来，对板栗位置检测模型的网络组成分模块进行详细说明。
[0067]
从图7中可知，所述板栗位置检测模型包括三个cbs模块(具体为第一cbs模块、第二cbs模块和第三cbs模块)，其中，三种颜色代表三个cbs模块的卷积核(kernel)和步长(stride)不同。例如第一个cbs模块是一个1
×
1的卷积，stride步长为1；第二cbs模块是一个3x3的卷积，stride步长为1；第三cbs模块是一个3
×
3的卷积，stride(步长为2)。1
×
1的卷积主要用来改变通道数；3
×
3的卷积，步长为1，主要用来进行板栗图像特征信息(例如板栗相关的抽象特征信息)的提取；3
×
3的卷积，步长为2，主要用来下采样。
[0068]
具体地，如图8所示，所述板栗位置检测模型还包括两个mp模块(具体为第一mp模块和第二mp模块)，不同颜色代表两个mp模块输入、输出的通道数不同，第一mp模块的输入通道数为c，输出通道数变为2c；第二mp模块的输入、输出通道数不变。mp模块有两个分支，作用是进行下采样。第一条分支先经过一个maxpool最大池化。最大值化的作用是下采样，然后再经过一个1
×
1的卷积进行通道数的改变。第二条分支先经过一个1
×
1的卷积，做通道数的调整，然后再经过一个3
×
3卷积核、步长为2的卷积块，该卷积块用于下采样。最后把第一个分支和第二分支的结果(具体为板栗图像中表征板栗抽象特征的第一抽象数据组和第二抽象数据组)加在一起，得到了最终下采样的结果(拼接融合后的抽象数据组或抽象数据矩阵)。
[0069]
如图9所示，所述板栗位置检测模型还包括lan模块，elan模块有两条分支，第一条分支是经过一个1
×
1的卷积做通道数的变化。第二条分支首先经过一个1x1的卷积模块，做通道数的变化。然后，再经过四个3
×
3的卷积模块，做特征提取(具体为从板栗图像中提取的表征板栗抽象特征的第一抽象数据组、第二抽象数据组等多种抽象数据组，其中每一个
抽象数据组表征一个抽象特征)。如图9示，最后把四个特征叠加在一起得到最后的特征提取结果。例如，经过不同的操作将得到不同的抽象数据组进行相加操作或者加权相加操作，得到另一抽象数据组或抽象数据矩阵。
[0070]
此外，如图10所示，所述板栗位置检测模型还包括elan-h模块。elan-h模块和elan模块非常相似，不同之处在于，在第二条分支处选取的输出数量不同。elan模块选取了三个输出进行最后的相加。elan-h模块选取了五个输出进行相加。其次，elan-h的输入、输出通道数与elan模块不同。换言之，本发明的板栗位置检测模型的输出可以是三个输出值的叠加，也可以是五个输出值的叠加。
[0071]
此外，如图11所示，所述板栗位置检测模型还包括spp模块，spp模块的作用是增加信息提取区域即增大感受野，使其在不同的分辨率特征图(例如为特征图，或者其他网络或模块所输出的特征图)上提取信息，通过最大池化来获得不同感受野。在第一条分支中，经过maxpool的四条分支，对应的池化kernel分别是5，7，9，1。四个不同尺度的最大池化有四种感受野，用来区别于大目标和小目标。sppcspc模块，首先将特征分为两部分，其中，一个部分进行常规的处理，另一个部分进行spp结构的处理，最后把这两个部分合并在一起，这样就能够减少一半的计算量，使得速度变得快，精度反而会提升。
[0072]
需要说明的是，对于上述spp模块可以是个独立的模块，也可以嵌入到网络的不同层。上述仅作为可选示例进行说明，不能理解成对本发明的限制。此外，本发明的板栗位置检测模型是具有通用性的，通常目标差距较大，才会定义大中小目标，比如一张图像上的人和蚂蚁。但是板栗大小都差别不大，但为了更精确切割各种大小的板栗，例如使用板栗的面积来定义板栗的大小类别。
[0073]
需要说明的是，上述仅作为可选示例进行说明，不能理解成对本发明的限制。
[0074]
对于训练好的板栗位置检测模型的应用，具体将待处理板栗图像输入训练好的板栗位置检测模型，自动识别出所述待处理板栗图像中各板栗的最小外接矩形位置信息、各板栗的长度方向上的轴线相对于待处理板栗图像的水平方向的旋转角度以及各板栗的尺寸信息。
[0075]
具体地，各板栗的最小外接矩形位置信息包括以下至少两项信息：四个顶点的坐标信息、中心点坐标信息、矩形长度和宽度信息。各板栗的长度方向上的轴线相对于待处理板栗图像的水平方向的旋转角度旋转角度在0度～180度。类别信息包括板栗尺寸大小的分类或板栗重量大小的分类。
[0076]
为了实现对各板栗位置的高效识别和定位，本发明对yolov5算法的损失函数进行了优化。优化后的损失函数能够更精确地度量旋转框检测板栗图像过程中的误差，从而提高板栗位置检测的准确性和鲁棒性。
[0077]
在一优选实施方式中，通过对所述板栗位置检测模型的损失函数进行改进计算来优化所述板栗位置检测模型。
[0078]
对于模型参数的优化，采用以下表达式(1)计算各板栗图像样本的分类损失值和置信度损失值：
[0079][0080]
其中，n表示板栗图像样本的数量，i表示第i个板栗图像样本中的板栗样本；y表示
板栗图像样本中各板栗位置的实际类别标签或实际置信度；yi表示板栗图像样本中第i个板栗的板栗位置的实际置信度；表示使用所述板栗位置检测模型对板栗图像样本中各板栗进行计算所得到的类别置信度预测值；表示使用所述板栗位置检测模型对板栗图像样本中第i个板栗进行计算所得到的类别预测值或置信度预测值。
[0081]
使用以下表达式(2)计算各板栗图像样本的位置损失值：
[0082][0083]
其中，giou表示各板栗图像样本的位置损失值；ac表示各板栗图像样本的预测框和真实框的最小闭包区域面积ac，即同时包含了预测框和真实框的最小框的面积；iou表示各板栗图像样本的预测框和真实框的交并比，使用该交并比表征各板栗图像样本的预测框和真实框之间的重合度，其中，i表示各板栗图像样本的预测框和真实框的交集，u表示各板栗图像样本的预测框和真实框的并集。
[0084]
通过对板栗位置检测模型的网络结构进行优化来优化模型参数，并通过对板栗位置检测模型的损失函数进行优化来优化模型参数，能够在优化模型参数的同时，进一步优化板栗位置检测模型进而提高板栗位置检测的准确性和鲁棒性。
[0085]
在另一示例中，基于区域的卷积神经网络(r-cnn)系列算法建立板栗位置检测模型，具体包括以下步骤：1)在区域建议网络(rpn)阶段，通过调整滑动窗口的形状和尺寸来适应具有不同角度和形状的目标；2)在池化层中，利用旋转roi池化操作来适应旋转目标，从而保留旋转目标的特征信息；3)在输出层中，增加旋转角度预测项，以及相应的损失函数，从而引导模型学习旋转角度的预测。
[0086]
在又一示例中，基于回归的yolo、ssd等单阶段检测算法建立板栗位置检测模型，具体包括以下步骤：1)在预设锚框时，考虑不同的旋转角度，从而提供更多样化的尺寸和形状的候选框；2)在输出层中，增加旋转角度预测项，以及相应的损失函数，从而引导模型学习旋转角度的预测；3)对生成的旋转检测框进行解码和后处理，包括非极大值抑制(nms)算法的调整，使其能够处理带有角度的旋转检测框。在改进过程中，会增加模型的计算复杂度和训练难度。此外，在模型训练过程中，采用学习率调整策略、权重衰减等优化技巧，以提高模型收敛速度和预测性能。
[0087]
在一具体实施方式中，板栗位置检测模型在刚开始训练时，板栗位置检测模型的权重参数随机初始化。如果此时板栗位置检测模型的学习率较大，则可能带来模型训练不稳定。例如，采用warmup训练预热策略，使板栗位置检测模型开始训练前的几个epoch学习率较小，板栗位置检测模型在较小的学习率下，损失函数loss慢慢趋于稳定，待板栗位置检测模型的损失函数loss相对稳定后，再选择预先设置的学习率进行训练，使得板栗位置检测模型收敛速度更快，模型的训练效果更佳。
[0088]
在另一具体实施方式中，在板栗位置检测模型进行模型训练时，学习率可以直接控制模型参数更新的幅度。在模型训练初期往往选择较大的学习率，使得模型快速收敛，而在模型训练后期，通过选择较小的学习率，使得模型在一定参数空间内寻找全局最优解。例如，使用余弦退火学习率算法，通过余弦函数来控制学习率，手动设置一个余弦周期内的训练epoch次数，并在每个余弦周期最大值时重新设置学习率。余弦退火学习率在一个余弦周期内，以初始学习率为最大学习率，在一个余弦周期内先下降后上升。在模型训练时梯度下
降算法可能陷入局部最小值，此时通过提高学习率，来“跳出”局部最小值，以便模型找到全局最优解。由此，能够优化模型参数，提高模型预测精度。
[0089]
在又一具体实施方式中，板栗位置检测模型的参数以及中间结果大部分为单精度浮点型(即float32)存储和计算。当板栗位置检测模型比较大时，通过降低板栗位置检测模型的参数精度，来降低显卡的显存，加快板栗位置检测模型的模型训练速度。例如使用自动混合精度训练，具体通过深度学习框架pytorch提供的函数接口调用，在板栗位置检测模型进行模型训练时自动调整张量的数据类型，能够优化模型参数，提高模型预测精度。
[0090]
在又一具体实施方式中，在板栗位置检测模型进行模型训练时，输入的板栗图像样本的分辨率大小对板栗位置检测模型的模型性能影响较大。其中，板栗图像样本的图像分辨率越高，说明图像所包含的细节信息越丰富，但是这也会增大模型训练时间和模型推理时间。而板栗图像样本的图像分辨率越小，则板栗位置检测模型的模型训练时间越短且推理速度越快，但是于最小目标而言，板栗图像样本的图像丢失的信息较多，会造成小目标的检测准确度较低。基于此，采用多尺度训练策略，设置不同的输入图像分辨率(即输入不同图像分辨率的板栗图像样本)，在一个训练周期内，随机选取一种图像分辨率大小并送入板栗位置检测模型的网络结构中进行模型训练，所述多尺度训练策略放大了小目标的尺度，同时增加了多尺度目标的多样性，能够有效提升板栗位置检测模型的准确率。
[0091]
接着，根据所识别出的待处理板栗图像中各板栗的位置信息中最小外接矩形位置信息、各板栗的长度方向上的轴线相对于待处理板栗图像的水平方向的旋转角度以及各板栗的尺寸信息，计算各板栗的最小外接矩形的中心点坐标(c
x
,cy)、宽度w和高度h，以确定各板栗的切割路径，所述切割路径包括各板栗的第一切割定位点、第二切割定位点、切割弧线及切割弧线长度。
[0092]
需要说明的是，上述仅作为可选示例进行说明，不能理解成对本发明的限制。
[0093]
接下来，在步骤s104中，根据所识别的各板栗的位置信息、旋转角度和类别信息，确定所述当前载置板上所有板栗的切割路径，并生成用于执行切割操作的控制信号。
[0094]
具体计算各板栗的最小外接矩形的四个顶点，确定最小外接矩形的两条短边，以确定所述两条短边的两个中点来用作各板栗的第一切割定位点、第二切割定位点，将第一切割定位点和第二切割定位点连接来形成切割弧线。
[0095]
具体地，通过以下表达式计算得到各板栗的最小外接矩形的四个顶点(例如顶点1、顶点2、顶点3和顶点4)。其中，顶点1使用以下表达式表示：(c
x-w/2*cos(θ)-h/2*sin(θ)，c
y-w/2*sin(θ)+h/2*cos(θ))。顶点2使用以下表达式表示：(c
x
+w/2*cos(θ)-h/2*sin(θ)，cy+w/2*sin(θ)+h/2*cos(θ))。顶点3：(c
x
+w/2*cos(θ)+h/2*sin(θ)，cy+w/2*sin(θ)-h/2*cos(θ))。顶点4使用以下表达式表示：(c
x-w/2*cos(θ)+h/2*sin(θ)，c
y-w/2*sin(θ)-h/2*cos(θ))。
[0096]
接下来，确定两条短边。如果w《h，那么短边就是连接顶点1和顶点2，以及顶点3和顶点4。否则，短边就是连接顶点2和顶点3，以及顶点4和顶点1。
[0097]
然后，计算第一短边(短边1)和第二短边(短边2)两个短边的中点。通过以下表达式计算。
[0098]
第一短边的第一中点：((顶点1的x坐标+顶点2的x坐标)/2，(顶点1的y坐标+顶点2的y坐标)/2)。
[0099]
第二短边的第二中点：((顶点3的x坐标+顶点4的x坐标)/2，(顶点3的y坐标+顶点4的y坐标)/2)。
[0100]
具体将第一中点(短边1的中点)和第二中点(短边2的中点)用作第一切割定位点和第二切割定位点。具体将所确定的各板栗的第一切割定位点(短边1的中点)和第二切割定位点(短边2的中点)直接连接形成切割弧线。
[0101]
接着，根据确定的各板栗的第一切割定位点、第二切割定位点、切割弧线及切割弧线长度，生成用于控制x轴电机、y轴电机和z轴电机移动以带动激光切割机的激光切割头对各板栗(单个板栗)进行切割。例如根据各板栗(待切割板栗)的第一切割定位点和第二切割定位点生成用于控制x轴电机、y轴电机和z轴电机的第一控制信号、第二控制信号和第三控制信号。所述第一控制信号、第二控制信号和第三控制信号例如为脉冲信号。
[0102]
需要说明的是，上述仅作为可选示例进行说明，不能理解成对本发明的限制。
[0103]
接下来，在步骤s105中，根据所生成的控制信号，控制激光切割头切割所述当前载置板上的各板栗。
[0104]
例如，在每次执行切割操作时，根据所生成的第一控制信号、第二控制信号，控制激光切割头切割每一个待切割板栗(例如当前载置板上的各板栗)。
[0105]
在将待切割板栗通过上料装置传输到可移动载料台的载置板上，并在可移动载料平台上移动以完成布料时，控制装置向x轴电机、y轴电机和z轴电机发送第一控制信号、第二控制信号和第三控制信号，x轴电机、y轴电机和z轴电机带动激光切割头沿x轴滑轨、y轴滑轨和z轴滑轨移动到指定位置后，向控制装置返回例如已到达指定位置的响应信号。接着，控制装置向激光管发开始切割信号，激光管内的光经第一反射镜片折射，经第二反射镜片折射，并经第三反射镜片折射，最后反射聚焦于聚集镜筒中，从激光切割头发出光斑以进行切割操作。
[0106]
需要说明的是，第一反射镜片和激光管整体固定在装置框架上，第二反射镜片固定于x轴滑轨的一端，可随x轴滑轨在y方向上滑动。第三反射镜片安装在x轴滑轨上，即可随x轴滑轨在y轴方向上滑动，也可以在x轴滑轨上来回移动。三个反射镜的中心线在同一个xy平面上，从而保证从串联激光管出来的光经过三次90角的折射，准确反射到聚集镜筒中，进而能够执行更精确的切割操作。
[0107]
对于所有待切割板栗的切割操作过程，确定当前载置板上所有板栗的第一切割点(切割开始点)和第二切割点(切割结束点)的坐标信息，并根据距离原点(例如电机的中心点)最近的板栗确定初始切割点，每完成一次切割，重新确定一次初始切割点。
[0108]
需要说明的是，在本示例中，所述第一切割定位点即为第一切割点，第二切割定位点即为第二切割点。
[0109]
使用以下表达式，计算当前所确定的初始切割点与所有待切割板栗的第一切割点之间的距离以进行排序查找与所述初始切割点最近的待切割板栗作为下一待切割板栗：
[0110][0111]
其中，d是指当前所确定的初始切割点与所有待切割板栗的第一切割点之间的距离；(x0，y0)是指当前所确定的初始切割点的x轴和y轴的坐标参数；(xn，yn)是指所有待切割板栗在板栗图像中x轴和y轴的坐标参数，n为正整数，n表示第n个待切割板栗的x轴坐标参数xn。在本示例中，所述初始切割点为第一待切割板栗的第二切割点(切割结束点)。
[0112]
每执行一次切割操作，重新计算排序一次，以查找与所述初始切割点最近的待切割板栗作为下一待切割板栗，直到所述当前载置板上的所有板栗完成切割操作。
[0113]
在一实施方式中，根据各板栗的第一切割定位点、第二切割定位点确定所有板栗的第一切割点和第二切割点。根据所有板栗的第一切割点和第二切割点的坐标信息，并根据初始切割点的坐标信息，进行排序。例如自定义是由远至近或由近至远进行排序，默认从距离原点(例如电机的中心点)最近的初始切割点(第一待切割板栗的第二切割点)开始，并根据初始切割点的坐标信息(x，y)控制电机沿x轴和y轴进行切割，当切割完第一待切割板栗(即第一单个栗子)的第二切割点之后(代表该单个板栗已经切割完)，则会继续下一个板栗的切割(即下一次切割操作)，执行完一次切割操作，则进行一次排序查找。具体为，执行完一次切割操作，重新确定一次初始切割点(上一次切割操作中已完成切割操作的板栗的第二切割点)。计算所有待切割板栗与当前所确定的初始切割点之间的距离以进行排序查找来确定下一待切割板栗。以此类推直到切割完当前载置板上的所有板栗。
[0114]
在一可选实施方式中，根据所形成的切割弧线、预设切割形状以及切割深度，使用激光切割机的激光切割头进行板栗切割。
[0115]
具体地，所述切割形状例如为直线、s状曲线等。切割深度例如为固定深度，也可根据板栗的大小尺寸进行适应性调整等。
[0116]
需要说明的是，上述仅作为可选示例进行说明，不能理解成对本发明的限制。
[0117]
在一优选实施方式中，配置指定视觉检测系统，所述指定视觉检测系统包括拍摄板栗的背景为银色蜂窝状结构的金属板，采用特定数量的白光条形成的光源(例如多个条形光源)作为光源为拍摄板栗提供亮度环境，以及布设相机、板栗和光源的相对位置关系，具体可参见图12。
[0118]
在所述指定视觉检测系统下，拍摄板栗以得到待处理板栗图像，并使用所得到的待处理板栗图像进行各板栗位置的确定以及各板栗的切割线、切割长度、切割深度和切割形状的确定。
[0119]
在一具体实施方式中，所述指定视觉检测系统包含光源、镜头及相机。
[0120]
对于光源部分，通过以八个白光条形光源组成的照明方案，例如由白色led光源组成的照明系统，相较于传统照明方式，能够产生更大的亮度，从而在提升目标物体的检测和识别效率上发挥关键作用。同时，白色led光源表现出优良的色温稳定性，即便在电源电压出现波动的情况下，也能保持一致的光照质量。
[0121]
对于镜头部分，根据板栗的具体尺寸，选择最适宜的镜头焦距、光圈大小以及镜头分辨率。在对焦距和光圈大小进行精准调整后，能够确保光线以充足的数量穿过镜头，并保持适当的景深。经过一系列实验验证后，确定选择一款具有500万像素分辨率、焦距为8mm的镜头。
[0122]
对于相机部分，选用了例如具有500万像素分辨率的镜头的相机。在选型过程中，主要考虑帧率和动态范围两个主要因素。该相机的帧率约为30fps，能够足够满足对于无高速检测需求的条件。由此能够形成明亮且稳定的光环境，动态范围的要求相对降低。例如选定一款500万像素rgb彩色相机。
[0123]
通过布设相机、板栗和光源的相对位置关系，能够在检测精度和性能上实现显著的提升。
[0124]
需要说明的是，上述仅作为可选示例进行说明，不能理解成对本发明的限制。
[0125]
与现有技术相比，本发明通过在多条输送轨道上自动调整各板栗的姿态，并将姿态调整后的各板栗自动输送到可移动载料台上的载置板，能够实现板栗上料过程的自动化，并能够节省人力成本；通过在各载置板沿可移动载料台移动且移动到工作区域时，自动采集位于所述可移动载料台的当前载置板上板栗的板栗图像以用作待处理板栗图像，并采用预建立的板栗位置检测模型，自动识别所述待处理板栗图像中各板栗的位置信息、旋转角度和类别信息，能够精确确定待处理板栗图像中各板栗的位置信息、旋转角度和类别信息，能够大幅度提高模型的检测精度，并能够实现板栗检测识别的自动化；通过准确地获取各板栗相对于水平方向的角度信息，解决了传统切割方法中的切割缝跑偏和切割深度不足、甚至是因切割位置不精确损坏板栗仁等问题，能够在保证板栗切口的一致性的同时提高切割速度、切割效率、切割精确性以及切割质量，并能够实现板栗切割整个流程的自动化。
[0126]
此外，本发明采用旋转框检测技术可以提高切割设备的工作效率和准确性，从而降低生产成本，提高生产效益；减少切割过程中的误差和浪费，有助于提高资源利用率，实现可持续发展。此外，本发明的方法应用广泛，基于旋转框的板栗位置识别技术，能够推广到其他类似的农产品处理和切割任务中，例如对于果实、蔬菜等具有特定形状和角度的物体，也能够提供更精确的识别和切割方案。此外，旋转框检测技术在面向旋转目标的自动化处理和机器视觉领域具有广泛的应用前景。在工业、农业、交通等领域都可以发挥巨大的作用，提高自动化和智能化水平。
[0127]
下述为本发明系统实施例，本发明第一方面的方法特别适用于本发明的板栗切割系统。对于本发明系统实施例中未披露的细节，请参照本发明方法实施例。
[0128]
参照图2、图3、图13至图15，本发明的板栗切割系统，其用于执行本发明第一方面所述的板栗切割方法，所述板栗切割系统包括上料装置100、采集设备、自动识别模块以及控制装置。所述采集设备为相机500，相机500通过相机固定座510固定。所述控制装置400包括显示器410。
[0129]
具体地，板栗切割系统包括上料装置100、位于上料装置100一侧的可移动载台200、位于可移动载台200上方的相机500和激光切割头310、以及位于可移动载台200的一侧的控制装置400，其中，上料装置100包括多个输送轨道110，输送轨道110用于自动将板栗输送到可移动载料台200上的载置板，并进一步沿着传送方向移动并移动到激光切割头310的工作区域，以使激光切割头310在工作区域对载置板上的板栗执行切割操作，在完成切割操作之后，将板栗输送到下料斗。
[0130]
此外，上料装置100还包括料斗120、与料斗120倾斜设置的上料传送带140。
[0131]
优选地，还设置有与激光切割头310配合使用的多个激光管600，所述多个激光管600串联连接。所述激光管600用于发出光斑以用于进行激光切割。
[0132]
参照图2和图13，上料装置100包括多条输送轨道110，并用于自动将板栗输送到可移动载料台200上的载置板，每一条输送轨道110上均配设有整形轮111。
[0133]
具体地，采用整形轮111对每一条输送轨道110上的板栗进行姿态调整，使得各板栗呈指定姿态，所述指定姿态调为板栗的曲面朝上。更具体地，所述板栗的表面一侧为曲面，另一侧为平面。所述整形轮111设置在输送轨道110的开孔处(具体为在输送轨道的底部
开设有开孔)，且与输送轨道110无接触，在本示例中，各输送轨道的指定位置的底部开设有两排开孔，并对应设置两层整形轮，具体为第一层整形轮以及比第一层整形轮靠近可移动载台200的第二层整形轮。具体地，整形轮111设置在各开孔内且与输送轨道110无接触，所述整形轮111的上端面与输送轨道110的上端面大致齐平，具体可参见图2和图3。
[0134]
在一实施方式中，例如，输送轨道110的长度为80cm，第一层整形轮与第二层整形轮之间的间隔为约10厘米，第一层整形轮的位置为输送轨道110的2/3分界点的位置或1/3分界点的位置。
[0135]
在上料操作启动的同时，也即开始可移动载料台200上输送载置板的输送操作。在各载置板沿可移动载料台200移动且移动到工作区域s时，采集位于所述可移动载料台200的当前载置板上板栗的板栗图像以用作待处理板栗图像。例如通过电机带动上料装置100沿可滑动轨道130移动，将上料装置100的输送轨道110向可移动载料台200移动，并将载置于输送轨道110上的、且经姿态调整后的板栗输送到震动槽道160，再转移到可移动载料台200的载置板，以进一步向激光切割头310的工作区域s输送。在载置有板栗的各载置板沿可移动载料台200的输送方向移动且移动到激光切割头310的工作区域时，利用相机500采集位于所述可移动载料台200的当前载置板上板栗的板栗图像以用作待处理板栗图像。所述相机500例如通过相机固定座510固定，具体可参见图2。
[0136]
板栗切割系统的自动识别模块采用预建立的板栗位置检测模型，自动识别所述待处理板栗图像中各板栗的位置信息、旋转角度和类别信息。
[0137]
在可选实施方式中，板栗切割系统还包括模型建立模块。所述模型建立模块基于yolov5算法，预建立板栗位置检测模型。
[0138]
为了实现对各板栗位置的高效识别和定位，本发明对yolov5算法的损失函数进行了优化。具体通过对所述板栗位置检测模型的损失函数进行改进计算来优化所述板栗位置检测模型。优化后的损失函数能够更精确地度量旋转框检测板栗图像过程中的误差，从而提高板栗位置检测的准确性和鲁棒性。
[0139]
对于模型参数的优化，与上述方法实施例的对于模型参数的优化大致相同，因此，省略了对相同部分的说明。
[0140]
根据所识别出的待处理板栗图像中各板栗的位置信息中最小外接矩形位置信息、各板栗的长度方向上的轴线相对于待处理板栗图像的水平方向的旋转角度以及各板栗的尺寸信息，计算各板栗的最小外接矩形的中心点坐标(c
x
,cy)、宽度w和高度h，以确定各板栗的切割路径，所述切割路径包括各板栗的第一切割定位点、第二切割定位点、切割弧线及切割弧线长度。接着，确定处理模块根据所识别的各板栗的位置信息、旋转角度和类别信息，确定所述当前载置板上所有板栗的切割路径，并生成用于执行切割操作的控制信号。
[0141]
控制装置400根据所生成的控制信号(具体为第一控制信号、第二控制信号和第三控制信号)，控制激光切割头切割所述当前载置板上的各板栗。
[0142]
具体地，所述控制装置400用于根据第一控制信号、第二控制信号和第三控制信息分别控制x轴电机910、y轴电机(未图示)和z轴电机930沿图13所示的x轴、y轴、z轴移动以带动激光切割机的激光切割头310沿图13所示的x轴、y轴、z轴移动以对各板栗进行切割。例如x轴电机910、y轴电机和z轴电机930例如为伺服电机。所述第一控制信号、第二控制信号和第三控制信号例如为脉冲信号。在每次执行切割操作时，根据所生成的第一控制信号、第二
控制信号，控制激光切割头切割每一个待切割板栗(例如当前载置板上的各板栗)。
[0143]
在将待切割板栗通过上料装置传输到可移动载料台的载置板上，并在可移动载料平台上移动以完成布料时，控制装置向x轴电机、y轴电机和z轴电机发送第一控制信号、第二控制信号和第三控制信号，x轴电机、y轴电机和z轴电机带动激光切割头沿x轴滑轨、y轴滑轨和z轴滑轨移动到指定位置后，向控制装置返回例如已到达指定位置的响应信号。接着，控制装置向激光管发开始切割信号，激光管内的光经第一反射镜片折射，经第二反射镜片折射，并经第三反射镜片折射，最后反射聚焦于聚集镜筒中，从激光切割头发出光斑以进行切割操作。
[0144]
需要说明的是，第一反射镜片和激光管整体固定在装置框架上，第二反射镜片固定于x轴滑轨的一端，可随x轴滑轨在y方向上滑动。第三反射镜片安装在x轴滑轨上，即可随x轴滑轨在y轴方向上滑动，也可以在x轴滑轨上来回移动。三个反射镜的中心线在同一个xy平面上，从而保证从串联激光管出来的光经过三次90角的折射，准确反射到聚集镜筒中，进而能够执行更精确的切割操作。
[0145]
对于所有待切割板栗的切割操作过程，确定当前载置板上所有板栗的第一切割点(切割开始点)和第二切割点(切割结束点)的坐标信息，并根据距离原点(例如电机的中心点)最近的板栗确定初始切割点，每完成一次切割，重新确定一次初始切割点。在本示例中，所述第一切割定位点即为第一切割点，第二切割定位点即为第二切割点。
[0146]
使用以下表达式，计算当前所确定的初始切割点与所有待切割板栗的第一切割点之间的距离以进行排序查找与所述初始切割点最近的待切割板栗作为下一待切割板栗：
[0147][0148]
其中，d是指当前所确定的初始切割点与所有待切割板栗的第一切割点之间的距离；(x0，y0)是指当前所确定的初始切割点的x轴和y轴的坐标参数；(xn，yn)是指所有待切割板栗在板栗图像中x轴和y轴的坐标参数，n为正整数，n表示第n个待切割板栗。在本示例中，所述初始切割点为第一待切割板栗的第二切割点(切割结束点)。
[0149]
每执行一次切割操作，重新计算排序一次，以查找与所述初始切割点最近的待切割板栗作为下一待切割板栗，直到所述当前载置板上的所有板栗完成切割操作。例如，根据各板栗的第一切割定位点、第二切割定位点确定所有板栗的第一切割点和第二切割点。根据所有板栗的第一切割点和第二切割点的坐标信息，并根据初始切割点的坐标信息，进行排序。例如自定义是由远至近或由近至远进行排序，默认从距离原点(例如电机的中心点)最近的初始切割点(第一待切割板栗的第二切割点)开始，并根据初始切割点的坐标信息(x，y)控制电机沿x轴和y轴进行切割，当切完第一待切割板栗(即第一单个栗子)的第二切割点之后(代表该单个板栗已经切割完)，则会继续下一个板栗的切割(即下一次切割操作)，执行完一次切割操作，则进行一次排序查找。具体为，执行完一次切割操作，重新确定一次初始切割点(上一次切割操作中已完成切割操作的板栗的第二切割点)。计算所有待切割板栗与当前所确定的初始切割点之间的距离以进行排序查找来确定下一待切割板栗。以此类推直到切割完当前载置板上的所有板栗。
[0150]
在一可选实施方式中，根据所形成的切割弧线、预设切割形状以及切割深度，使用激光切割机的激光切割头进行板栗切割。所述切割形状例如为直线、s状曲线等。切割深度例如为固定深度，也可根据板栗的大小尺寸进行适应性调整等。
[0151]
如图15所示，所述板栗切割系统还包括多个补光灯管810，所述多个补光灯管810用于辅助相机500采集板栗图像以获得更清晰的板栗图像。
[0152]
在对当前载置板上的各板栗切割完成后，将完成切割操作的板栗输送到下料斗800，具体参见图13和图14。
[0153]
需要说明的是，本发明第一方面的板栗切割方法的内容与本发明第二方面的板栗切割方法的内容大致相同，因此省略了相同部分的说明。此外，附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。
[0154]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种板栗切割方法，其特征在于，包括：在多条输送轨道上自动调整各板栗的姿态，并将姿态调整后的各板栗自动输送到可移动载料台上的载置板；在各载置板沿可移动载料台移动且移动到工作区域时，采集位于所述可移动载料台的当前载置板上板栗的板栗图像以用作待处理板栗图像；采用预建立的板栗位置检测模型，自动识别所述待处理板栗图像中各板栗的位置信息、旋转角度和类别信息；根据所识别的各板栗的位置信息、旋转角度和类别信息，确定所述当前载置板上所有板栗的切割路径，并生成用于执行切割操作的控制信号；根据所生成的控制信号，控制激光切割头切割所述当前载置板上的各板栗。2.根据权利要求1所述的板栗切割方法，其特征在于，所述根据所识别的各板栗的位置信息、旋转角度和类别信息，确定所述当前载置板上所有板栗的切割路径，包括：确定当前载置板上所有板栗的第一切割点和第二切割点的坐标信息，并根据距离原点最近的板栗确定初始切割点，每完成一次切割，重新确定一次初始切割点；使用以下表达式，计算当前所确定的初始切割点与所有待切割板栗的第一切割点之间的距离以进行排序查找与所述初始切割点最近的待切割板栗作为下一待切割板栗：其中，d是指当前所确定的初始切割点与所有待切割板栗的第一切割点之间的距离；(x0，y0)是指当前所确定的初始切割点的x轴和y轴的坐标参数；(x
n
，y
n
)是指所有待切割板栗在板栗图像中x轴和y轴的坐标参数，n为正整数，n表示第n个待切割板栗的x轴坐标参数x
n
；每执行一次切割操作，重新计算排序一次，以查找与所述初始切割点最近的待切割板栗作为下一待切割板栗，直到所述当前载置板上的所有板栗完成切割操作。3.根据权利要求1所述的板栗切割方法，其特征在于，采用整形轮对每一条输送轨道上的板栗进行姿态调整，使得各板栗呈指定姿态，所述指定姿态调为板栗的曲面朝上；每一条输送轨道上均配设有整形轮。4.根据权利要求1所述的板栗切割方法，其特征在于，所述采用预建立的板栗位置检测模型，自动识别所述待处理板栗图像中各板栗的位置信息、旋转角度和类别信息，包括：基于yolov5算法，预建立板栗位置检测模型，使用训练数据集训练板栗位置检测模型，其中，所述训练数据集包括标注有旋转检测框、类别标签的板栗图像；通过对所述板栗位置检测模型的损失函数进行改进计算来优化所述板栗位置检测模型；将待处理板栗图像输入训练好的板栗位置检测模型，自动识别出所述待处理板栗图像中各板栗的最小外接矩形位置信息、各板栗的长度方向上的轴线相对于待处理板栗图像的水平方向的旋转角度以及各板栗的尺寸信息，其中，各板栗的最小外接矩形位置信息包括以下至少两项信息：四个顶点的坐标信息、中心点坐标信息、矩形长度和宽度信息；各板栗的长度方向上的轴线相对于待处理板栗图像的水平方向的旋转角度旋转角度
在0度～180度；类别信息包括板栗尺寸大小的分类或板栗重量大小的分类。5.根据权利要求4所述的板栗切割方法，其特征在于，采用以下表达式(1)计算各板栗图像样本的分类损失值和置信度损失值：其中，n表示板栗图像样本的数量；i表示第i个板栗图像样本中的板栗样本；y表示板栗图像样本中各板栗位置的实际置信度；y
i
表示板栗图像样本中第i个板栗的板栗位置的实际置信度；表示使用所述板栗位置检测模型对板栗图像样本中各板栗进行计算所得到的类别置信度预测值；表示使用所述板栗位置检测模型对板栗图像样本中第i个板栗进行计算所得到的类别预测值或置信度预测值；使用以下表达式(2)计算各板栗图像样本的位置损失值：其中，giou表示各板栗图像样本的位置损失值；a
c
表示各板栗图像样本的预测框和真实框的最小闭包区域面积a
c
，即同时包含了预测框和真实框的最小框的面积；iou表示各板栗图像样本的预测框和真实框的交并比，使用该交并比表征各板栗图像样本的预测框和真实框之间的重合度，其中，i表示各板栗图像样本的预测框和真实框的交集，u表示各板栗图像样本的预测框和真实框的并集。6.根据权利要求4所述的板栗切割方法，其特征在于，根据所识别出的待处理板栗图像中各板栗的位置信息中最小外接矩形位置信息、各板栗的长度方向上的轴线相对于待处理板栗图像的水平方向的旋转角度以及各板栗的尺寸信息，计算各板栗的最小外接矩形的中心点坐标(c
x
,c
y
)、宽度w和高度h，以确定各板栗的切割路径，所述切割路径包括各板栗的第一切割定位点、第二切割定位点、切割弧线及切割弧线长度。7.根据权利要求6所述的板栗切割方法，其特征在于，进一步包括：计算各板栗的最小外接矩形的四个顶点，确定最小外接矩形的两条短边，以确定所述两条短边的两个中点来用作各板栗的第一切割定位点、第二切割定位点，将第一切割定位点和第二切割定位点连接来形成切割弧线；根据确定的各板栗的第一切割定位点、第二切割定位点、切割弧线及切割弧线长度，生成用于控制x轴电机、y轴电机和z轴电机移动以带动激光切割机的激光切割头对各板栗进行切割。8.一种板栗切割系统，其用于执行权利要求1至权利要求7中任一项所述的板栗切割方法，其特征在于，所述板栗切割系统包括：上料装置，包括多条输送轨道，并用于自动将板栗输送到可移动载料台上的载置板，在每一条输送轨道的特定位置处设置有整形轮，所述整形轮用于自动调整各板栗的姿态；采集设备，在各载置板沿可移动载料台移动且移动到工作区域时，采集位于所述可移动载料台的当前载置板上板栗的板栗图像以用作待处理板栗图像；自动识别模块，采用预建立的板栗位置检测模型，自动识别所述待处理板栗图像中各
板栗的位置信息、旋转角度和类别信息；确定处理模块，根据所识别的各板栗的位置信息、旋转角度和类别信息，确定所述当前载置板上所有板栗的切割路径，并生成用于执行切割操作的控制信号；控制装置，根据所生成的控制信号，控制激光切割头切割所述当前载置板上的各板栗。9.根据权利要求8所述的板栗切割系统，其特征在于，所述控制装置用于根据控制信号控制x轴电机、y轴电机和z轴电机移动以带动激光切割机的激光切割头对各板栗进行切割。10.根据权利要求8所述的板栗切割系统，其特征在于，还包括模型建立模块，所述模型建立模块基于yolov5算法，预建立板栗位置检测模型，使用训练数据集训练板栗位置检测模型，其中，所述训练数据集包括标注有旋转检测框、类别标签的板栗图像；通过对所述板栗位置检测模型的损失函数进行改进计算来优化所述板栗位置检测模型；将待处理板栗图像输入训练好的板栗位置检测模型，自动识别出所述待处理板栗图像中各板栗的最小外接矩形位置信息、各板栗的长度方向上的轴线相对于待处理板栗图像的水平方向的旋转角度以及各板栗的尺寸信息，其中，各板栗的最小外接矩形位置信息包括以下至少两项信息：四个顶点的坐标信息、中心点坐标信息、矩形长度和宽度信息；各板栗的长度方向上的轴线相对于待处理板栗图像的水平方向的旋转角度旋转角度在0度～180度；类别信息包括板栗尺寸大小的分类或板栗重量大小的分类。

技术总结
本发明属于板栗切割技术领域，提供一种板栗切割方法和系统，该方法包括：在多条输送轨道上自动调整各板栗的姿态，并将姿态调整后的各板栗自动输送到可移动载料台上的载置板；在各载置板沿可移动载料台移动且移动到工作区域时，采集位于所述可移动载料台的当前载置板上板栗的板栗图像以用作待处理板栗图像；采用预建立的板栗位置检测模型，自动识别所述待处理板栗图像中各板栗的位置信息、旋转角度和类别信息；根据所识别的各板栗的位置信息、旋转角度和类别信息，确定所述当前载置板上所有板栗的切割路径，并生成用于执行切割操作的控制信号；根据所生成的控制信号，控制激光切割头切割所述当前载置板上的各板栗。本发明在确保板栗切口的深度和宽度一致性的同时实现了自动上料、自动识别板栗位置、高效精确切割过程。高效精确切割过程。高效精确切割过程。


技术研发人员：王新浩 王亚波
受保护的技术使用者：三维天工（北京）科技有限公司
技术研发日：2023.07.14
技术公布日：2023/10/20