一种无人机航拍视角下基于改进YOLOv8的青皮核桃目标检测方法

一种无人机航拍视角下基于改进yolov8的青皮核桃目标检测方法
技术领域
1.本发明涉及一种无人机航拍视角下基于改进yolov8的青皮核桃目标检测方法，属于目标检测技术领域。


背景技术：

2.当前核桃的测产与采摘通常是以人工的形式，由于核桃成熟周期大多为一年，若将核桃采摘后再进行产量的测量，将会对许多规划的制定以及政策的落实造成一定的滞后性，这将对核桃产业的经济规模发展造成一定的阻碍，而如何提前准确地预测出核桃地产量，将对核桃产业的发展起着十分重要的作用。随着高新技术的发展，以人工智能为核心的视觉技术已开始显现出高效的优势，诸如生产环节的核桃产量智能统计、病虫药害的智能识别、监测以及收购环节的核桃果核智能分级等，人工智能的引入极大降低人工成本和工作时间，提高工作的效率和准确性，提升核桃生产全过程的智能化、数字化和网络化决策水平。对果树的果实产量测定不仅可以辅助果农掌握果实的生长情况、估算其产地整体的产值，还为种植的改进实验提供宝贵的定量依据。当前，在核桃果实产量测量方面并没有十分有效的方法，绝大多数都是依靠传统人工目测的方法进行计量，这种方法不仅对测产人员的经验和体力有较高要求，而且核桃在果树上时存在遮蔽、颜色对比度低等因素，将会导致测产人员容易在核桃计量中存在漏检、复检、误检等情况。此外，如若选用在采摘后进行统一称重的方法，不仅增加劳动成本和工作时间，而且可操作性差，难以实现对单株核桃树的有效测产，无法对核桃增产实验提供精确有效的数据支撑。
3.近年来，现有技术中将mobil net-v3骨干网络用于替换yolo v3算法中的原始骨干网络，提升了模型检测能力并实现了轻量化。实验表明，基于改进yolo v3的青皮核桃检测平均精度均值为94.52％，但是由于其数据集采集工具为手持设备，无法应对复杂的环境和大范围检测，故存在一定的局限性。


技术实现要素：

4.本发明要解决的技术问题是提供一种无人机航拍视角下基于改进yolov8的青皮核桃目标检测方法，用已解决传统目标识别方法对近背景颜色的目标检测效果较差以及因核桃产业分布范围广且地形复杂，导致的人工测产方法所造成的劳动力成本过大的问题。
5.本发明的技术方案是：一种无人机航拍视角下基于改进yolov8的青皮核桃目标检测方法，具体步骤为：
6.step1：采集目标图像样本数据，构建样本数据集。
7.step2：对所述样本数据集进行标准化处理，得到待识别数据集。
8.step3：对目标检测算法yolov8进行改进，在目标检测算法yolov8的主干网络中引入ca注意力机制(coordinate attention)，获得改进的目标检测算法yolov8。
9.step4：对改进的目标检测算法yolov8进行评估。
10.step5：利用评估后的改进的目标检测算法yolov8对待识别数据集中的图像信息进行识别，获得识别结果。
11.所述step1具体为：通过无人机的形式采集图像作为目标识别数据，分别以各种航拍角度和高度采集生成目标识别数据集。
12.所述step2具体为：
13.step2.1：对无人机采集的图像原始数据进行裁剪分割处理，使其分割为640*640分辨率。
14.step2.2：对分割后数据使用labelimg标注软件，按照voc2007标准对数据进行标注，并以xml文件形式保存，其中xml文件包含了目标图像的目标框坐标与类别信息。
15.step2.3：对标注后数据进行数据清洗，再对数据进行hsv色调增强，图像平移，旋转，裁剪，缩放，水平翻转，mosaic数据增强。
16.所述采集目标图像样本数据具体包括：通过无人机的形式采集图像数据，采集高度距离为离地30米，离树顶在15-25米之间，拍摄角度为垂直向下90度，包含日照不均匀、树叶遮挡等各种情况。
17.所述step3具体为：
18.step3.1：首先将输入特征图分别对h和w方向进行全局平均池化，h代表高度，w代表宽度，分别获得在h和w方向上的特征图，具体公式如下：
[0019][0020][0021]
式中，xc(h，i)与xc(w，j)为分别对h和w方向进行池化操作，h
num
和w
num
分别代表其方向所占像素的总个数；
[0022]
step3.2：将已经获取全局感受野信息的h和w两个方向的特征图拼接在一起，之后将它们送入卷积核为1的卷积模块中使得其维度降低，随后进行批量归一化处理后得到f1再送入sigmoid激活函数获得特征图f，如公式如下所示：
[0023]
f＝δ(f1([zh，zw]))
[0024]
式中，f1为批量归一化函数，δ为sigmoid函数，zh和zw为step3.1输出结果。
[0025]
step3.3：将上述特征图f按照原来的h和w的值进行卷积核为1
×
1的卷积分别得到特征图fh和fw，再使用sigmoid激活函数后分别得到fh和fw特征图在h和w上的权重gw和gh，公式如下所示：
[0026]gh
＝σ(fh(fh))
[0027]gw
＝σ(fw(fw))
[0028]
式中，fh和fw为1
×
1的卷积卷积操作，σ为sigmoid函数，fh和fw为step3.2的输出结果。
[0029]
step3.4：经过上述步骤后将会得到输入特征图分别在h和w的权重特征向量和原始输入向量xc(i，j)通过与权重特征向量和乘法加权计算，获得在h和w方向上带有注意力权重的向量yc(i，j)，公式如下所示：
[0030][0031]
式中，xc(i，j)为原始输入向量，和为权重特征向量，yc(i，j)为最后输出的带有注意力权重的向量。
[0032]
所述step4中，对改进的目标检测算法yolov8进行评估的评价指标包括：召回率recall，简称r值。精度precision，简称p值。平均精度ap以及对所有类别的ap值求均值后的平均精度map。具体公式包括如下：
[0033][0034][0035][0036]
式中，tp表示检测正例，即被算法正确检测出的目标数量，fp表示检测伪例，即被算法错误检测出的目标数量，fn表示误例，即被算法错误漏检的目标数量，averageprecision(c)为单个类别c的平均精度，num(cls)表示数据集所有类别的数量。
[0037]
所述step5具体为：将测试集样本输入改进后的目标检测算法yolov8，通过目标锚框对目标图像进行检测，获得带有标签的目标框，并自动统计目标框数量进行输出，从而获得识别结果。
[0038]
本发明的有益效果是：
[0039]
1、无人机的应用有效解决了核桃产业分布范围广且地形复杂的问题，并有效解决人工测产方法所造成的劳动力成本过大的问题；
[0040]
2、基于最先进的yolov8目标检测算法，有着检测准确率高，检测速度快的优点；
[0041]
3、注意力机制的嵌入使得本发明模型较原始yolov8模型拥有更高的检测准确率。
附图说明
[0042]
为了更清楚地说明本发明实施例及其设计方案，下面将对本实施例所需的附图作简单地介绍。下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0043]
图1是本发明核桃采集图像裁剪与标注示意图；
[0044]
图2是本发明核桃采集图像数据集增强示意图；
[0045]
图3是本发明yolov8网络结构图；
[0046]
图4是本发明yolov8引入ca注意力模块网络结构图；
[0047]
图5是本发明实施例的训练过程中损失函数变化图；
[0048]
图6是本发明实施例的训练过程中评价指标变化图；
具体实施方式
[0049]
下面结合附图和具体实施方式，对本发明作进一步说明。
[0050]
实施例1：一种无人机航拍视角下基于改进yolov8的青皮核桃目标检测方法，本实
施例以云南省大理市漾濞县白章村核桃生产基地中的青皮核桃果实为检测对象，包括以下步骤：
[0051]
step1：采集目标图像样本数据，构建样本数据集；
[0052]
采集工具为采用大疆无人机m300rtk搭载p1相机进行拍摄，其分辨率为5472*3268，保存格式为jpg图像格式，采集时间段为2022年7月份，包含多种气象情况，采集时，无人机高度距离为离地30米，离树顶在15-25米之间(由于山坡有高度差)，拍摄角度为垂直向下90度，包含日照不均匀、树叶遮挡等各种情况。
[0053]
step2：对样本数据进行筛选和整合，获得样本数据集；
[0054]
降低数据的图像尺寸可以减轻目标检测任务在训练中所占的显存，从而提升训练速度以及检测性能，为了确保得到优良的数据集，本发明首先对于采集的数据进行裁剪、标注与清洗，获得样本数据集。清洗后一共还有1456张核桃数据集图像，共标注6497个核桃目标。对部分核桃原始图像处理、标注结果具体如图1所示。
[0055]
step3：对样本数据集进行数据增强处理，得到待识别数据，具体为：
[0056]
对数据集中图像数据进行hsv色调增强，图像平移，旋转，裁剪，缩放，水平翻转，mosaic数据增强，具体实例如图2所示。
[0057]
step4：对目标检测算法yolov8进行改进，获得改进的目标检测算法yolov8；
[0058]
首先对yolov8算法原理进行下面的介绍：
[0059]
yolov8目标检测算法是在yolov5的基础上提出的，该算法保留了yolo系列算法性能实时性的特点，其检测速度是一般传统目标检测算法如：faster-rcnn、ssd等算法的两倍以上，在公开数据集的检测中，yolov8甚至达到了媲美以上算法的准确率。yolov8沿用了yolov5同样的算法框架，其由降采样的backbone、上采样的neck、以及检测头三部分组成，主要的改进为neck部分去掉了两个conv层，以及在head模块中，将yolov5的耦合头改成了使用解耦头。而其中提升的关键则在于将贯穿backbone和neck模块中的c3模块替换成了c2f模块，olov8模型结构图如图3示。
[0060]
通道注意力会给模型带来比较显著的性能提升，但是通道注意力通常会忽略数据在空间分布上非常重要的位置信息。但是本发明所引用的coordinate attention注意力机制，不同于通道注意力将输入通过二维全局池化转化为单个特征向量，coordinate attention将通道注意力分解为两个沿着不同方向聚合特征的一维特征编码过程。
[0061]
这样的好处是可以沿着一个空间方向捕获长程依赖，沿着另一个空间方向保留精确的位置信息。然后，将生成的特征图分别编码，形成一对方向感知和位置敏感的特征图，它们可以互补地通过输入特征图来增强模型精准捕捉目标特征的相关性能。
[0062]
本发明在对yolov8框架进行深入研究后发现，相较于其他位置，在yolo v8的backbone模块与neck模块之间的sppf后面添加ca注意力机制对模型算法的准确性有较明显的提高，本发明所添加的ca注意力机制在yolov8框架中具体位置如图4示。ca注意力具体机制如下：
[0063]
ca注意力机制模块主要为了让深度网络学习特征的表达能力，它可以对深度网络中的任意中间特征张量xc(i，j)进行转化后输出相同尺寸的张量yc(i，j)，其具体步骤为：
[0064]
首先将输入特征图对h和w方向，h代表高度，w代表宽度，分别获得在h和w方向上的特征图，具体公式如下：
[0065][0066][0067]
式中，xc(h，i)与xc(w，j)为分别对h和w方向进行池化操作，h
num
和w
num
分别代表其方向所占像素的总个数。
[0068]
step3.2：将已经获取全局感受野信息的h和w两个方向的特征图拼接在一起，之后将它们送入卷积核为1的卷积模块中使得其维度降低，随后进行批量归一化处理后得到f1再送入sigmoid激活函数获得特征图f，如公式如下所示：
[0069]
f＝δ(f1([zh，zw]))
[0070]
式中，f1为批量归一化函数，δ为sigmoid函数，zh和zw为step3.1输出结果。
[0071]
step3.3：将上述特征图f按照原来的h和w的值进行卷积核为1
×
1的卷积分别得到特征图fh和fw，再使用sigmoid激活函数后分别得到fh和fw特征图在h和w上的权重gw和gh，公式如下所示：
[0072]gh
＝σ(fh(fh))
[0073]gw
＝σ(fw(fw))
[0074]
式中，fh和fw为1
×
1的卷积卷积操作，σ为sigmoid函数，fh和fw为step3.2输出结果。
[0075]
经过上述计算后将会得到输入特征图分别在h和w的权重特征向量和原始输入向量xc(i，j)通过与权重特征向量和乘法加权计算，获得在h和w方向上带有注意力权重的向量yc(i，j)，公式如下所示：
[0076][0077]
式中，xc(i，j)为原始输入向量，和为权重特征向量，yc(i，j)为最后输出的带有注意力权重的向量。
[0078]
实验与结果分析：
[0079]
实验环境使用了nvidia quadro rtx 6000，显存为24gb的gddr6，接口类型为pci express 4.016x，核心频率为基础频率：1320mhz，cuda核心为4608个，显存位宽为384bit。系统使用了centos linux release 7.9.2009，虚拟环境使用anaconda 3，ide环境使用了pycharm community，开源框架使用了pytorch。
[0080]
训练参数为：初始学习率为0.01，周期学习率为0.01，批数量为32，训练循环次数为300。其中，数据增强比例参数为：hsv_h:0.015、hsv_s:0.7、hsv_v:0.4、平移增强:0.1、缩放增强:0.5、水平翻转:0.5、mosaic:1.0。
[0081]
为了验证传统数据增强和mosaic对于yolo v8模型以及改进后的yolo v8-ca模型的效果，本发明做了一系列的消融实验，具体消融实验结果如表1所示。
[0082][0083]
表1：数据增强消融实验
[0084]
从表1中可以看出，无论是yolo v8还是本发明提出的yolo v8-ca在经过对数据集的增强后，recall值都有了明显的提升，这表明传统图像增强算法和mosaic增强算法能有效提高算法对于小批量数据集的检测性能，尤其是yolo v8模型添加ca注意力机制后，更多的参数量对于数据集增强更为敏感。
[0085]
为了证明本发明提出的yolo v8-ca模型的有效性，在实验配置与参数相同的情况下，本发明使用了目前较为流行的目标检测算法分别对实验数据集进行检测，表2为检测结果：
[0086][0087]
可以看出，添加ca注意机制后的yolo v8-ca模型的map值均大于其他几个模型，较yolo v5模型提高了0.51％，r值与最好的faster-rcnn相比仅低了0.07％，但是其在检测速度上较faster-rcnn提升了约79.3倍。实验结果表明，改进后的新模型yolo v8-ca较原始yolo v8模型在map值上提高了0.4％，在recall值上提高了1.9％；同时，yolo v8-ca较目前流行的目标检测算法yolo v5在map值上提高了5.1％，在recall值上提高了8.9％。所以本实验改进后的模型yolo v8-ca对于青皮核桃果实的精度有一定提升，为核桃果实目标检测提供了可行的技术方案。
[0088]
本发明训练yolo v8-ca模型耗时为6.609h，得到的权重文件大小为14.8mb，随着迭代次数增加，训练过程中，训练集和测试集参数变化如图5示，评价指标变化如图6所示
[0089]
以上结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

技术特征：
1.一种无人机航拍视角下基于改进yolov8的青皮核桃目标检测方法，其特征在于：step1：采集目标图像样本数据，构建样本数据集；step2：对所述样本数据集进行标准化处理，得到待识别数据集；step3：对目标检测算法yolov8进行改进，在目标检测算法yolov8的主干网络中引入ca注意力机制，获得改进的目标检测算法yolov8；step4：对改进的目标检测算法yolov8进行评估；step5：利用评估后的改进的目标检测算法yolov8对待识别数据集中的图像信息进行识别，获得识别结果。2.根据权利要求1所述的无人机航拍视角下基于改进yolov8的青皮核桃目标检测方法，其特征在于，所述step1具体为：通过无人机的形式采集图像作为目标识别数据，分别以各种航拍角度和高度采集生成目标识别数据集。3.根据权利要求1所述的无人机航拍视角下基于改进yolov8的青皮核桃目标检测方法，其特征在于，所述step2具体为：step2.1：对无人机采集的图像原始数据进行裁剪分割处理，使其分割为640*640分辨率；step2.2：对分割后数据使用labelimg标注软件，按照voc2007标准对数据进行标注，并以xml文件形式保存，其中xml文件包含了目标图像的目标框坐标与类别信息；step2.3：对标注后数据进行数据清洗，再对数据进行hsv色调增强，图像平移，旋转，裁剪，缩放，水平翻转，mosaic数据增强。4.根据权利要求1所述的无人机航拍视角下基于改进yolov8的青皮核桃目标检测方法，其特征在于，所述step3具体为：step3.1：首先将输入特征图分别对h和w方向进行全局平均池化，h代表高度，w代表宽度，分别获得在h和w方向上的特征图，具体公式如下：度，分别获得在h和w方向上的特征图，具体公式如下：式中，x
c
(h，i)与x
c
(w，j)为分别对h和w方向进行池化操作，h
num
和w
num
分别代表其方向所占像素的总个数；step3.2：将已经获取全局感受野信息的h和w两个方向的特征图拼接在一起，之后将它们送入卷积核为1的卷积模块中使得其维度降低，随后进行批量归一化处理后得到f1再送入sigmoid激活函数获得特征图f，如公式如下所示：f＝δ(f1([z
h
，z
w
]))式中，f1为批量归一化函数，δ为sigmoid函数，z
h
和z
w
为step3.1输出结果；step3.3：将上述特征图f按照原来的h和w的值进行卷积核为1
×
1的卷积分别得到特征图f
h
和f
w
，再使用sigmoid激活函数后分别得到f
h
和f
w
特征图在h和w上的权重g
w
和g
h
，公式如下所示：g
h
＝σ(f
h
(f
h
))
g
w
＝σ(f
w
(f
w
))式中，f
h
和f
w
为1
×
1的卷积卷积操作，σ为sigmoid函数，f
h
和f
w
为step3.2的输出结果；step3.4：经过上述步骤后将会得到输入特征图分别在h和w的权重特征向量和原始输入向量x
c
(i，j)通过与权重特征向量和乘法加权计算，获得在h和w方向上带有注意力权重的向量y
c
(i，j)，公式如下所示：式中，x
c
(i，j)为原始输入向量，和为权重特征向量，y
c
(i，j)为最后输出的带有注意力权重的向量。5.根据权利要求1所述的无人机航拍视角下基于改进yolov8的青皮核桃目标检测方法，其特征在于，所述step4中，对改进的目标检测算法yolov8进行评估的评价指标包括：召回率recall，简称r值；精度precision，简称p值；平均精度ap以及对所有类别的ap值求均值后的平均精度map；具体公式包括如下：后的平均精度map；具体公式包括如下：后的平均精度map；具体公式包括如下：式中，tp表示检测正例，即被算法正确检测出的目标数量，fp表示检测伪例，即被算法错误检测出的目标数量，fn表示误例，即被算法错误漏检的目标数量，averageprecision(c)为单个类别c的平均精度，num(cls)表示数据集所有类别的数量。6.根据权利要求1所述的无人机航拍视角下基于改进yolov8的青皮核桃目标检测方法，其特征在于，所述step5具体为：将测试集样本输入改进后的目标检测算法yolov8，通过目标锚框对目标图像进行检测，获得带有标签的目标框，并自动统计目标框数量进行输出，从而获得识别结果。

技术总结
本发明涉及一种无人机航拍视角下基于改进YOLOv8的青皮核桃目标检测方法，属于目标检测技术领域。本发明首先采集目标图像样本数据，构建样本数据集，接着对样本数据集进行标准化处理，得到待识别数据集，然后对目标检测算法YOLOv8进行改进，获得改进的目标检测算法YOLOv8，具体为在目标检测算法YOLOv8的主干网络中引入CA注意力机制(CoordinateAttention)，最后利用改进的目标检测算法YOLOv8对待识别数据集中的图像信息进行识别，获得识别结果。本发明采用改进的目标检测算法YOLOv8提升了一般情况下的青皮核桃果实的目标检测性能。桃果实的目标检测性能。


技术研发人员：云利军 钟天泽 杨璇玺 陈载清 王挥华
受保护的技术使用者：云南师范大学
技术研发日：2023.06.15
技术公布日：2023/10/5