一种YOLO-TGB车辆检测系统及方法与流程

一种yolo-tgb车辆检测系统及方法
技术领域
1.本发明属于车辆智能检测技术领域，具体涉及一种yolo-tgb车辆检测系统及方法。


背景技术：

2.当前，机动车已经成为人们出行必备的交通工具，车辆数量的迅速增加带来了交通拥堵、疲劳驾驶、交通事故等诸多问题，严重影响了运输效率和人民生命财产安全。随着新一代智慧公路的快速发展，自动驾驶结合智能网联车路协同已经成为解决上述问题的重要途径，而精准的车辆检测则是实现自动驾驶和智能网联车路协同的前提。从管理角度出发，基于车辆检测技术的跟踪系统能够提供可靠的车辆信息，包括具体类别、准确位置和行驶轨迹等，有助于车流状况分析、交通规划优化及未来车辆轨迹预测，提高车辆信息资源的利用率和管理人员工作效率，保障道路交通安全和人民生命财产安全；从驾驶员角度出发，基于车辆检测技术的车载终端可以通过摄像头和雷达实时监测车辆周围情况及道路交通态势，为驾驶员提供更合理的行驶建议，从而避免交通违法行为发生并降低交通事故概率。由于车辆检测需要在不同的场景环境中进行，例如，城市道路、高速公路、山区道路等，这些场景中的光照、背景、天气、道路标识等因素都会对车辆检测精度产生影响。同时，在实际场景中，同一检测区域往往同时存在多个相互重叠的车辆影像，容易造成车辆误检和漏检，如何在复杂交通场景下实现高精度和高速度的车辆检测具有重要的现实意义和实用价值，也是目前车辆检测研究与探索的重点和难点。
3.近年来，基于深度学习的车辆检测方法在检测精度和效率方面均取得了较大的进展。2015年，joseph等人提出一种具有较高实时性且检测精度良好的目标检测网络yolo(you only look once)，其基本思想是取消滑动窗口，将原始图像直接划分成网格，通过卷积生成特征图，使用原始图像相对应的特征元素来预测网格这些中心点的目标，并对物体位置进行直接预测和分类。为进一步提升yolo的检测性能，研究人员对其不断优化，相继提出了yolov2、yolov3、yolov4、yolov5等。目前，yolo系列网络已广泛应用于各种目标检测。2019年，du等人提出一种基于yolov3的车辆和信号灯实时检测方法，该方法能够很好地满足实时性要求，但针对交通小目标的检测精度并不理想。2020年，zhang等人对yolov3进行改进，使其具有更深层次的特征提取网络和四种不同尺度的检测层，可在兼顾检测速度的同时显著提升召回率和检测精度，但检测结果易受复杂环境影响。同年，wang等人改进了yolov3网络结构中的特征提取部分用以提取更深层次特征，改进损失函数用以提高小型车辆区域检测能力，改进多尺度检测方式用以增强小型车辆区域目标检测速度，该方法具有较好的实时性和准确性，在处理复杂环境时也具有较强的鲁棒性，然而其特征融合模块采用特征金字塔网络，检测效果易受到单侧信息流的影响。mohamed等人将resnet50和vgg16作为yolov4的分类骨干模块，同时引入panet，降低了单侧信息流对特征融合模块的影响，可以获得更好的分类精度。2021年，yao等人将yolov3与机器视觉相结合，大大提升了车辆检测的平均精度，却也延长了网络训练周期。shi等人提出一种改进的yolov3车辆检测方
法，能在较少的训练周期内显著提高检测精度，在复杂环境下具有较好的鲁棒性，但检测速度无法满足实时性要求。yang等人提出一种可部署在嵌入式平台的yolov4实时车辆检测方法，但视频流中的车辆检测效率仍然不高。hu等人提出了一种基于yolov4的改进方法，可在不损失检测精度的前提下获得相对较高的检测速度，但仍然无法满足视频流车辆目标检测的实时性要求。2022年，amrouche等人采用轻量化的yolov4-tiny进一步提升了检测速度，但牺牲了部分小目标检测的精度；目前针对车辆在真实场景下如何进一步提升车辆检测效率和精度仍然是未来车辆检测研究的重要方向。
4.在检测小型车辆时，受环境复杂、分辨率较低、上下文信息有限等因素影响，其特征难以识别，容易导致漏检或误检的情况发生。


技术实现要素：

5.本发明的目的在于提供一种yolo-tgb车辆检测系统及方法，以克服当前车辆检测网络无法在获得较好目标车辆检测精度的同时兼顾检测效率的问题。
6.一种yolo-tgb车辆检测系统，包括主干网络、颈部模块和头部模块；
7.主干网络包括ghostnet层和transformer层，transformer层设置于ghostnet层末端；ghostnet层用于对输入图像进行特征图提取，将提取的特征图输入至transformer层中，transformer层将提取到的特征图像素展开成一维信息序列，添加位置编码信息后转化为向量信息表示传输至颈部模块；
8.颈部模块包括空间金字塔池化层和添加了深度可分离卷积dsconv的改进型双向加权特征金字塔网络bifpn；采用空间金字塔池化层对获取的向量信息表示进行池化处理，再经过改进型双向加权特征金字塔网络bifpn进行特征融合得到了融合后的特征图像；
9.头部模块采用k-means++聚类方法根据融合后的特征图像进行分析聚类，得到车辆分类结果。
10.优选的，ghostnet层包括cbl层和g-bneck层，cbl层包括conv层、bn层和leaky relu层，conv层为卷积层，对输入图像采用多个不同的卷积核进行卷积处理，得到不同的响应特征图；bn层为批归一化层，bn层作为神经网络的一层，放在激活函数之前卷积层之后，bn层对获取的不同的响应特征图进行归一化处理；leaky relu层采用激活函数为卷积神经网络增加网络非线性因素。
11.优选的，g-bneck层包括ghostunit层，其中ghostunit层中包括两个ghost module，第一个ghost module用于增加通道数，指定输出和输入通道数之间的比例为扩张比；第二个ghost module减少通道数以匹配shortcut分支的通道。
12.优选的，输入大小为608
×
608的图像经cbl层后得到大小为304
×
304的特征图，特征图随后进入第一个g-bneck1，扩张通道数；之后进入第一个g-bneck2，特征图大小从304
×
304变为152
×
152，再进入第二个g-bneck2，特征图大小由152
×
152变为76
×
76，进入g-bneck4进行下采样特征图变为38
×
38，经过g-bneck2扩张通道数后，进入g-benck5特征图输出大小为19
×
19，之后进入transforemr层。
13.优选的，transformer层将征图像素展开成一维并添加位置编码信息后输入到编码器，将输入编码器的序列中信息转化为向量表示。
14.优选的，改进型双向加权特征金字塔网络bifpn对提取到大小为19
×
19的特征图
进行上采样，得到38
×
38的特征图与ghostnet层中对应38
×
38特征图进行concat操作融合同尺度特征，再将融合后的特征图上采样得到76
×
76特征图与ghostnet层得到的76
×
76特征图再次进行同尺度特征融合；同样对融合后的76
×
76特征图进行两次下采样分别得到大小为38
×
38、19
×
19的特征图，将得到大小为38
×
38、19
×
19的特征图与经过上采样融合后的对应尺度的特征再次进行concat融合；将经过多次特征融合得到的76
×
76、38
×
38、19
×
19特征图，输入到对应尺度的头部模块，采用k-means++聚类方法根据融合后的特征图像进行分析聚类输出分类结果。
15.一种yolo-tgb车辆检测方法，包括以下步骤；
16.s1，对输入图像进行特征图提取，将提取的特征图像素展开成一维信息序列，添加位置编码信息后转化为向量信息；
17.s2，对获取的向量信息表示进行池化处理，再对池化处理后的特征图像进行特征融合得到了融合后的特征图像；
18.s3，采用k-means++聚类方法根据融合后的特征图像进行分析聚类，得到车辆分类结果。
19.优选的，ghostnet层包括cbl层和g-bneck层，cbl层包括conv层、bn层和leaky relu层，conv层为卷积层，对输入图像采用多个不同的卷积核进行卷积处理，得到不同的响应特征图；bn层为批归一化层，bn层作为神经网络的一层，放在激活函数之前卷积层之后，bn层对获取的不同的响应特征图进行归一化处理；leaky relu层采用激活函数为卷积神经网络增加网络非线性因素。
20.优选的，g-bneck层包括ghostunit层，其中ghostunit层中包括两个ghost module，第一个ghost module用于增加通道数，指定输出和输入通道数之间的比例为扩张比；第二个ghost module减少通道数以匹配shortcut分支的通道。
21.优选的，transformer层将征图像素展开成一维并添加位置编码信息后输入到编码器，将输入编码器的序列中信息转化为向量表示。
22.与现有技术相比，本发明具有以下有益的技术效果：
23.本发明一种yolo-tgb车辆检测系统，基于轻量网络ghostnet与注意力机制模块transformer的组，在减少主干网络冗余的同时，使得网络更加专注于车辆特征信息，从而维持较好的检测精度；采用添加了深度可分离卷积的改进型双向加权特征金字塔网络bifpn，在尽可能融合更多特征的同时减少参数规模；采用k-means++聚类算法根据车辆检测目标的尺度进行聚类分析，从而得到更精准的先验框，进一步提升检测性能；基于ua-detrac车辆数据集，验证了yolo-tgb网络的有效性，实验结果表明，与其他诸多目标检测网络相比，轻量化的yolo-tgb网络能够在维持相对较好实时性的同时获得更高的车辆检测精度。
附图说明
24.图1为本发明实施例中一种yolo-tgb车辆检测系统网络结构示意图。
25.图2为本发明实施例中bifpn层结构示意图。
具体实施方式
26.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
27.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
28.本发明提供一种yolo-tgb车辆检测系统，包括主干网络、颈部模块和头部模块；
29.主干网络包括ghostnet层和transformer层，transformer层设置于ghostnet层末端；ghostnet层用于对输入图像进行特征图提取，将提取的特征图输入至transformer层中，transformer层将提取到的特征图像素展开成一维信息序列，添加位置编码信息后转化为向量信息表示传输至颈部模块；
30.颈部模块包括空间金字塔池化层(spatial pyramid pooling，spp)和添加了深度可分离卷积dsconv的改进型双向加权特征金字塔网络bifpn；采用空间金字塔池化层对获取的向量信息表示进行池化处理，再经过改进型双向加权特征金字塔网络bifpn进行特征融合得到了融合后的特征图像；
31.头部模块采用k-means++聚类方法根据融合后的特征图像进行分析聚类，得到车辆分类结果，从而得到更精准的先验框，进一步提升检测性能。
32.ghostnet层包括cbl层和g-bneck层，cbl层包括conv层、bn层和leaky relu层，conv层为卷积层，对输入图像采用多个不同的卷积核进行卷积处理，得到不同的响应特征图；bn层为批归一化层，bn层作为神经网络的一层，放在激活函数之前卷积层之后，bn层对获取的不同的响应特征图进行归一化处理；leaky relu层采用激活函数为卷积神经网络增加网络非线性因素。
33.在一个g-bneck层包括ghostunit层，其中ghostunit层中包括两个ghost module，第一个ghost module用于增加通道数，指定输出和输入通道数之间的比例为扩张比；第二个ghost module减少通道数以匹配shortcut分支的通道；当步长为2时，在两个ghost module中间加入一个步长为2的深度卷积层。
34.具体的，如图1所示，输入大小为608
×
608的图像经cbl层后得到大小为304
×
304的特征图，特征图随后进入第一个g-bneck1，扩张通道数；之后进入第一个g-bneck2，特征图大小从304
×
304变为152
×
152，再进入第二个g-bneck2，特征图大小由152
×
152变为76
×
76，进入g-bneck4进行下采样特征图变为38
×
38，经过g-bneck2扩张通道数后，进入g-benck5特征图输出大小为19
×
19，之后进入transforemr层。
35.transformer层是基于encoder-decoder框架的模型；每个编码模块和解码模块分
别由6个相同的编码器和解码器组成。编码器采用深度神经网络，在每一层中，编码器将输入序列通过一系列的变换，转换为一个更高层次的特征向量；编码器包括：multi-head attention，feed forward和add&norm。multi-head attention是编码器的核心部分，通过对输入序列中的每个元素进行自注意力计算，生成一个与输入序列相关的表示向量。multi-head attention由多个self-attention组成，每个self-attention计算一个注意力分布，用于将输入序列的不同位置对齐。feed forward是对multi-head attention的输出进行进一步处理，将表示向量进行非线性变换，得到一个更加丰富的特征表示。add&norm是一个残差连接和归一化模块，将multi-head attention和feed forward的输出相加，得到一个更加稳定和准确的表示向量。解码器是transformer层中的重要组件，负责将编码器生成的高维度表示向量转换为目标序列，实现序列的生成和预测。与编码器不同，解码器需要在生成目标序列时，考虑当前已经生成的部分序列，因此需要增加一个masked multi-head attention结构，将当前已生成的序列位置信息进行屏蔽掩盖，以避免信息泄露和过拟合问题。
36.transformer层将征图像素展开成一维并添加位置编码信息后输入到编码器，将输入编码器的序列中信息转化为向量表示，并且在此过程中使用multi-head attention让模型同时关注不同的子空间，更好地处理多个输入之间的关系。然后相加及归一化后输入前馈神经网络，经前馈神经网络计算后输入至下一个编码器，最后一个编码器的输出作为解码器的输入进入解码器中解码，共经过6个decoder后，再经linear、softmax输出结果。经过transformer层的特征图，避免特征提取时丢失一些重要的上下文信息，获取更多的全局信息。
37.特征融合采用改进型双向加权特征金字塔网络bifpn，如图2所示，对主干网络提取到大小为19
×
19的特征图进行上采样，得到38
×
38的特征图与ghostnet层中对应38
×
38特征图进行concat操作融合同尺度特征，再将融合后的特征图上采样得到76
×
76特征图与ghostnet层得到的76
×
76特征图再次进行同尺度特征融合；接着，同样对融合后的76
×
76特征图进行两次下采样分别得到大小为38
×
38、19
×
19的特征图，将得到大小为38
×
38、19
×
19的特征图与经过上采样融合后的对应尺度的特征再次进行concat融合；将经过多次特征融合得到的76
×
76、38
×
38、19
×
19特征图，输入到对应尺度的头部模块，采用k-means++聚类方法根据融合后的特征图像进行分析聚类输出分类结果。
38.本技术ghostnet结合了线性运算和普通卷积，由已生成的普通卷积特征图进行线性变换得到相似特征图，从而产生高维卷积效果，减少了模型参数和计算量。结合了卷积运算和线性运算的模块称为ghost模块，用ghost模块升级普通卷积的理论参数压缩比大约等于理论加速比，线性操作每个通道的计算成本远小于普通的卷积。ghost瓶颈层(g-bneck layer)被设计用来存储ghost模块。
39.采用transformer层直接对变长序列进行建模，可以直接捕捉序列中的依赖性和位置信息，进行并行计算，加快了计算速度；具有更好的可扩展性，能够通过堆叠多个transformer层来增加模型深度。transformer对图像中的物体干扰和区域大小变化具有更强的鲁棒性，通过在主干网络中增加transformer模块可在特征提取和融合过程中获得更多层次的特征和上下文信息，减少车辆检测因复杂天气和相互遮挡等情况导致的错检、漏检。
40.transformer层设置于ghostnet层末端；如果在主干网络的其他阶段添加transformer，由于网络还比较浅，添加transformer模块会触发边界回归，从而丢失一些有助于判断的上下文信息。添加transformer后，transformer会将经过、提取到的特征图像素展开成一维信息序列，添加位置编码信息后输入到编码器，再将输入信息转化为向量信息表示，在此过程中使用多头注意力机制(multi-head attention)让模型同时关注不同的子空间，更好地处理多个输入之间的关系。
41.采用改进型双向加权特征金字塔网络bifpn，能够同时传输高级特征的语义信息和传输低级特征的位置信息，输入点和输出点位于同一层时的额外路径，用于融合更多的特征。bifpn采用了更高效的特征融合方式和可堆叠的结构设计，有效地解决了特征融合过程中的信息丢失和特征重复等问题。bifpn通过对具有不同分辨率的输入特征添加额外权重来了解每个特征的重要性，从而更好地收集不同的尺度特征；另一方面，bifpn采用了快速归一化的融合方法，提高了计算速度。
42.采用k-means++聚类方法根据融合后的特征图像进行分析聚类，即从样本集合中随机选择一个特定的点，成为首个聚类中心。对于每个点，都要计算它们与已有聚类中心之间的距离，可以使用欧式距离等方法来确定最近的聚类中心。反复这种过程，直到找到k个聚类中心。通过这种方式选择初始聚类中心，可以使得初始点的分布更加均匀，避免了由于初始点位置不好导致的聚类结果不佳问题，从而提高了聚类效果。
43.实验验证和对比实验结果分析
44.采用ua-detrac车辆检测数据集进行实验训练和验证。ua-detrac是现实世界中适用于多目标车辆检测和车辆跟踪的典型数据集。在ua-detrac数据集中，拍摄到的实时车辆图像。在ua-detrac数据集有超过14万帧的图像，包含8250辆被人工标注的车辆图像，其中，训练集约82085张图像，测试集约56167张图像。数据集涉及多云、夜间、晴天和雨天等复杂天气，包含4类车辆，分别为轿车、公共汽车、厢式货车和其他车辆类型。由于ua-detrac数据量较大，从26550幅图像中随机抽取80％作为训练集，20％作为验证集，共计8500辆标记车辆，此外还从数据集中选取了12550张图像作为测试集。
45.实验环境部署如表1所示。
46.表1实验环境部署
[0047][0048]
消融实验结果及分析
[0049]
注意力机制选择
[0050]
将se注意力机制、cbam注意力机制分别添加到yolov4网络中，同时采用本技术主干网络，实验结果如表2所示。
[0051]
表2注意力机制消融实验
[0052][0053]
从表2中可以看出本技术ghostnet层和transformer层平均检测精度相对其他两种网络分别提高了1.5％，0.6％。
[0054]
轻量网络选择：
[0055]
采用mobilenetv3、shufflenetv2分别替换yolov4网络中的主干网络cspdarknet53，同时采用本技术ghostnet层，实验结果如表3所示。
[0056]
表3轻量化网络实时性消融实验
[0057][0058]
实验结果表明，相比于mobilenetv3和shufflenetv2，采用轻量化网络ghostnet减少了网络中更多的参数，fps分别提升0.6帧/s和1.8帧/s，获得具有更优异的性能。
[0059]
检测精度验证：
[0060]
为了验证改进后的yolo-tgb在检测精度方面的有效性，采用改进模块叠加的方式进行消融实验，实验所用的网络分类如下：
[0061]
网络1：原始yolov4网络。
[0062]
网络2：yolov4+transformer，在yolov4网络中添加transformer注意力机制模块。
[0063]
网络3：yolov4+bifpn，在yolov4网络中添加bifpn特征融合网络替代原始panet网络。
[0064]
网络4：yolov4+transformer+bifpn，在yolov4中添加transformer注意力机制模块和bifpn特征融合网络。
[0065]
网络5(yolo-tb)：yolov4+transformer+bifpn+k-means++，在yolov4中添加transformer注意力机制模块，采用bifpn特征融合网络和k-means++聚类方法，将该网络命名为yolo-tb。
[0066]
使用ua-detrac车辆检测数据集，并设置了一些关键的训练参数来获得更好的效果。为了更好的训练模型，将batch size调整为8，将图像大小设置为608
×
608，将整个数据集的训练次数调整为300，将初始学习率设置为0.001。整个训练过程中，采用两个阶段训练策略。首先，冻结了原始网络的前50层并进行训练，以获得模型的初始权重；在此基础上，解冻整个网络，并将batch size调整为4，以完成第二阶段的训练。通过这些实验参数和训练策略的设置，可以更好地训练模型，提高模型在车辆检测任务中的准确率。为了保证对权值的记录，同时不影响训练速度，每10次epoch保存一次权值。
[0067]
消融实验结果如表4所示，结合目标检测网络的性能评价指标对比网络1到网络5中性能进行分析。
[0068]
表4ua-detrac数据集下网络消融实验
[0069][0070]
对比网络1和网络2，网络2中加入了transformer注意力机制的改进后的网络相比
网络1中原始yolov4网络，平均检测精度提升了1.9％，模型增大了13.2mb，f1值提升了3％，实验表明增加了transformer检测精度得到了显著提高。
[0071]
对比网络1和网络3，网络3中使用bifpn网络进行特征融合网相比原始yolov4网络，平均精度提高了1.0％，模型减小了74mb，f1值提升了2％，证明了bifpn对网络模型体积的优化以及能够提升检测精度。
[0072]
对比网络3和网络4，网络4结合了transformer注意力机制模块和bifpn特征融合网络，相比网络3，平均检测精度提高了2.1％，f1值提升了3％，证明结合transformer和bifpn的网络拥有更优异的检测性能。
[0073]
对比网络4和网络5，网络5(yolo-tb)为提出的基于transformer注意力机制模块和bifpn特征融合网络添加k-means++聚类方法，平均检测精度提高了0.6％，f1值提升了3％。
[0074]
对比网络1(原始yolov4)和提出的改进网络5(yolo-tb)，平均检测精度提高了3.7％，网络模型体积减小了64.2mb，f1值提升了8％。实验结果证明，基于transformer注意力机制和bifpn特征融合网络添加k-means++聚类的网络5相比未改进的yolov4网络检测性能有了极大提升。
[0075]
yolo-tgb车辆检测系统相比未改进的yolov4网络检测性能有了极大提升。
[0076]
检测效率验证
[0077]
为了验证改进后的yolo-tgb在检测效率方面的有效性，采用改进模块叠加的方式进行消融实验，原始的yolov4为了平衡精度与实时性，有着复杂的网络结构，因此网络参数较大，检测速度相对较慢。实验结果，验证了实时车辆检测算法yolo-tgb的有效性。
[0078]
实验所用的网络分类如下：
[0079]
网络1：yolov4网络。
[0080]
网络2：yolo-tgb，使用轻量级网络ghostnet，结合transformer注意力模块，使用bifpn网络并添加深度可分离卷积，采用k-means++聚类算法。
[0081]
将以上不同算法在相同ua-detrac车辆检测数据集进行实验，实验结果如表5所示。
[0082]
表5网络实时性消融实验
[0083][0084]
根据表5可知，原始的yolov4为了平衡精度与实时性，有着复杂的网络结构，因此网络参数较大，检测速度相对较慢。网络2参数量减少了53120017，fps提升了19帧/s，说明使用ghostnet网络能够显著减少特征图参数冗余。为轻量化网络的同时保证检测精度，添加transformer注意力机制模块和bifpn网络。提升了检测精度却也增加了参数量。因此，使用深度可分离卷积代替，从而显著提升了检测速度。相比于现有网络，网络2参数量明显减少，检测速度显著提高。实验结果，验证了实时车辆检测算法yolo-tgb的有效性。
[0085]
对比实验结果及分析
[0086]
在ua-detrac车辆检测数据集上对比yolov3，yolov4-tiny，yolov4，yolov5，
mobilenet-yolov4和本技术的yolo-tb，结合目标检测性能评价指标进行实验分析。实验结果如表6所示：
[0087]
表6不同目标检测算法对比实验结果
[0088][0089]
本技术yolo-tb网络检测性能优于其他算法。yolov4网络相比yolov3网络，yolov4网络是在yolov3网络上进行改进的，因此yolov4整体检测性能都优于yolov3。yolov4-tiny网络是yolov4的轻量化网络，相比yolov4网络在检测精度上有所降低但是在检测速度上大大提升。mobilenet-yolov4网络同样也是基于yolov4的轻量化网络，相比yolov4检测精度略有下降，但是模型体积减小近3倍，相比于yolo-tiny检测精度更高，因此mobilenet-yolov4能够保证相对较高的检测精度同时又有较高的检测速度。yolov5网络相比yolov4网络在精度上略有提升，但是增大了模型体积，因此性能上还有很大提升空间。为此提出改进后yolo-tgb网络，其准确率远高于其他网络，相比yolov3网络平均精度提升了6.9％，相比yolov4网络平均检测精度提升了3.7％，模型体积减少了22.4％，相比yolov5网络平均检测精度提升了2.8％，模型体积减少了24.6％。
[0090]
通过消融实验结果已经验证了yolo-tgb轻量级网络有着良好的实时性，但是伴随网络结构简化而来的可能就是检测精度的降低。
[0091]
通过消融实验结果已经验证了yolo-tgb轻量级网络有着良好的实时性，但是伴随网络结构简化而来的可能就是检测精度的降低。为了验证yolo-tgb网络是否能在保证精度的前提下极大提升网络实时性，进行对比实验分析，结果如表7所示：
[0092]
表7轻量化网络对比实验结果
[0093][0094]
由上表可知，yolo-tb网络在精度上远高于yolov4网络；轻量化网络yolov4-tiny，对比yolo-tb网络和yolov4网络，检测精度明显下降但是检测速度分别提升41.9和39，证明了轻量化网络对网络实时性的提升，但是yolov4-tiny损失的精度过多，没有实现检测精度
与实时性的平衡。yolo+shufflenetv2网络和yolo+mobilenetv3对比yolov4-tiny，虽然检测速度有所下降但是检测精度明显提高，yolo+mobilenetv3在保证相对较高的检测速度条件下检测精度更高，达到了高检测精度和高检测速度的平衡，相比yolov4-tiny算法和yolo+shufflenetv2算法，yolo+mobilenetv3整体检测性能更加优异。yolo+mobilenetv3对比yolov4网络在精度上略有下降，但是在检测速度上有了显著提升，证明使用mobilenetv3轻量化网络作为网络主干的有效性，同时也证明了轻量化网络对算法实时性性能的极大影响。yolo-tgb为提出的轻量化网络，yolo-tgb对比同样为轻量级网络的yolo+mobilenetv3不仅仅在检测精度上有显著提升，在检测速度上更是有着极大优势，证明了它能够更好兼顾检测精度和检测速度。yolo-tgb和yolov4网络对比，可以发现yolo-tgb在检测精度上提升了0.1％，并且fps由39.7帧/s上涨到了58.7帧/s，可以看出yolo-tgb的检测速度远远超出yolov4网络，在保证精度的前提下提升了网络的实时性。

技术特征：
1.一种yolo-tgb车辆检测系统，其特征在于，包括主干网络、颈部模块和头部模块；主干网络包括ghostnet层和transformer层，transformer层设置于ghostnet层末端；ghostnet层用于对输入图像进行特征图提取，将提取的特征图输入至transformer层中，transformer层将提取到的特征图像素展开成一维信息序列，添加位置编码信息后转化为向量信息表示传输至颈部模块；颈部模块包括空间金字塔池化层和添加了深度可分离卷积dsconv的改进型双向加权特征金字塔网络bifpn；采用空间金字塔池化层对获取的向量信息表示进行池化处理，再经过改进型双向加权特征金字塔网络bifpn进行特征融合得到了融合后的特征图像；头部模块采用k-means++聚类方法根据融合后的特征图像进行分析聚类，得到车辆分类结果。2.根据权利要求1所述的一种yolo-tgb车辆检测系统，其特征在于，ghostnet层包括cbl层和g-bneck层，cbl层包括conv层、bn层和leaky relu层，conv层为卷积层，对输入图像采用多个不同的卷积核进行卷积处理，得到不同的响应特征图；bn层为批归一化层，bn层作为神经网络的一层，放在激活函数之前卷积层之后，bn层对获取的不同的响应特征图进行归一化处理；leaky relu层采用激活函数为卷积神经网络增加网络非线性因素。3.根据权利要求1所述的一种yolo-tgb车辆检测系统，其特征在于，g-bneck层包括ghostunit层，其中ghostunit层中包括两个ghost module，第一个ghost module用于增加通道数，指定输出和输入通道数之间的比例为扩张比；第二个ghost module减少通道数以匹配shortcut分支的通道。4.根据权利要求2所述的一种yolo-tgb车辆检测系统，其特征在于，输入大小为608
×
608的图像经cbl层后得到大小为304
×
304的特征图，特征图随后进入第一个g-bneck1，扩张通道数；之后进入第一个g-bneck2，特征图大小从304
×
304变为152
×
152，再进入第二个g-bneck2，特征图大小由152
×
152变为76
×
76，进入g-bneck4进行下采样特征图变为38
×
38，经过g-bneck2扩张通道数后，进入g-benck5特征图输出大小为19
×
19，之后进入transforemr层。5.根据权利要求4所述的一种yolo-tgb车辆检测系统，其特征在于，transformer层将征图像素展开成一维并添加位置编码信息后输入到编码器，将输入编码器的序列中信息转化为向量表示。6.根据权利要求4所述的一种yolo-tgb车辆检测系统，其特征在于，改进型双向加权特征金字塔网络bifpn对提取到大小为19
×
19的特征图进行上采样，得到38
×
38的特征图与ghostnet层中对应38
×
38特征图进行concat操作融合同尺度特征，再将融合后的特征图上采样得到76
×
76特征图与ghostnet层得到的76
×
76特征图再次进行同尺度特征融合；同样对融合后的76
×
76特征图进行两次下采样分别得到大小为38
×
38、19
×
19的特征图，将得到大小为38
×
38、19
×
19的特征图与经过上采样融合后的对应尺度的特征再次进行concat融合；将经过多次特征融合得到的76
×
76、38
×
38、19
×
19特征图，输入到对应尺度的头部模块，采用k-means++聚类方法根据融合后的特征图像进行分析聚类输出分类结果。7.一种yolo-tgb车辆检测方法，其特征在于，包括以下步骤；s1，对输入图像进行特征图提取，将提取的特征图像素展开成一维信息序列，添加位置编码信息后转化为向量信息；
s2，对获取的向量信息表示进行池化处理，再对池化处理后的特征图像进行特征融合得到了融合后的特征图像；s3，采用k-means++聚类方法根据融合后的特征图像进行分析聚类，得到车辆分类结果。8.根据权利要求7所述的一种yolo-tgb车辆检测方法，其特征在于，ghostnet层包括cbl层和g-bneck层，cbl层包括conv层、bn层和leaky relu层，conv层为卷积层，对输入图像采用多个不同的卷积核进行卷积处理，得到不同的响应特征图；bn层为批归一化层，bn层作为神经网络的一层，放在激活函数之前卷积层之后，bn层对获取的不同的响应特征图进行归一化处理；leaky relu层采用激活函数为卷积神经网络增加网络非线性因素。9.根据权利要求7所述的一种yolo-tgb车辆检测方法，其特征在于，g-bneck层包括ghostunit层，其中ghostunit层中包括两个ghost module，第一个ghost module用于增加通道数，指定输出和输入通道数之间的比例为扩张比；第二个ghost module减少通道数以匹配shortcut分支的通道。10.根据权利要求7所述的一种yolo-tgb车辆检测方法，其特征在于，transformer层将征图像素展开成一维并添加位置编码信息后输入到编码器，将输入编码器的序列中信息转化为向量表示。

技术总结
本发明公开了一种YOLO-TGB车辆检测系统及方法，基于轻量网络GhostNet与注意力机制模块Transformer的组合，在减少主干网络冗余的同时，使得网络更加专注于车辆特征信息，从而维持较好的检测精度；采用添加了深度可分离卷积的改进型双向加权特征金字塔网络BiFPN，在尽可能融合更多特征的同时减少参数规模；采用K-Means++聚类算法根据车辆检测目标的尺度进行聚类分析，从而得到更精准的先验框，进一步提升检测性能；基于UA-DETRAC车辆数据集，验证了YOLO-TGB网络的有效性，实验结果表明，与其他诸多目标检测网络相比，轻量化的YOLO-TGB网络能够在维持相对较好实时性的同时获得更高的车辆检测精度。的车辆检测精度。的车辆检测精度。


技术研发人员：么新鹏 荣文 李一鸣 孙庆 张涵 陈婷 高涛
受保护的技术使用者：山东高速集团有限公司
技术研发日：2023.05.11
技术公布日：2023/8/1