一种新型目标检测对抗攻击方法

1.本发明属于网络安全入侵检测评估技术领域，具体涉及一种新型目标检测对抗攻击方法。


背景技术：

2.由于单阶段(one-stage)的目标检测网络you only look once(yolo)的速度之快和其使用的特殊方法，作为应用最广泛的目标检测算法之一，被广泛应用于人们生活的方方面面，例如无人驾驶、文本检测等领域。
3.目前，国内外已经有许多学者针对yolo系列的健壮性进行了不同方面的研究：lu等人提出了patch-noobj framework，以此框架训练出的patch(对抗补丁)可实现对yolov3检测目标的攻击；中国人民解放军军事科学院国防科技创新研究院提出了一种针对车辆目标检测模型的对抗补丁攻击方法(专利号cn114168940a)；中国空间技术研究院提出了一种合理性对抗补丁生成方法(专利号cn114241255a)。
4.yolov5模型为yolo系列较新的产出物，被认为是当前最强的实时对象检测模型之一。目前国内外对yolo目标检测系统的对抗研究大都局限yolov2、yolov3版本算法。yolov5相对于之前的yolo系列算法，采用了mosaic数据增强的方式、在backbone中增加fcos的方法、在neck中部分采用csp结构、以及改进了loss函数的计算等，使得之前研究得出的方法对yolov5的攻击效果不佳。本发明提出一种新的对抗方法，来实现对基于yolov5目标检测系统的攻击。


技术实现要素：

5.为解决现有技术存在的上述技术问题，本发明提供一种新型目标检测对抗攻击方法，能有效的实现对于基于yolov5行人目标检测的对抗攻击，在数字世界与物理世界都可大大的降低yolov5行人检测的识别成功率，且优化后的patch局部扰动效果明显，可用于多种情况。本发明在patch受到一定的干扰后(如清晰度变低，亮度变暗等情况)，依然能发挥作用。
6.本发明采用的是技术方案是：
7.一种新型目标检测对抗攻击方法，其特征在于，包括如下步骤：
8.s1、准备数据集和初始补丁，通过数据集中的标签将初始补丁渲染到图像中，得到被攻击的数据集；
9.s2、将被攻击的数据集作为目标检测器的输入，并获得人员类别的损失分数；
10.s3、更新对抗补丁以最小化总损失分数，优化过程通过反向传播作为闭环执行，得到最终可以实现基于yolovv5行人目标检测的对抗攻击。
11.进一步的，s1、准备数据集和初始补丁，通过数据集中的标签将初始补丁渲染到图像中，得到被攻击的数据集，具体包括：
12.s11、在数据集的标签中获取物体的置信框区域信息，包括5个参数[class,xt,yt,
wt,ht]；其中class代表groundtruthbox物体的类别，xt和yt表示置信框左上角的坐标，wt和ht表示置信框的宽与高；
[0013]
s12、根据上述5个参数和准备好的初始patch，将初始patch的大小设置为1/2*wt
×
1/2*wt或1/2*ht
×
1/2*ht(取其中的较小值)。
[0014]
进一步的，s2、将被攻击的数据集作为目标检测器的输入，并获得人员类别的损失分数，具体包括：
[0015]
为了使补丁在图像中看起来更平滑，更容易通过打印获得，l
nps
如公式(1)所示：
[0016][0017]
其中，l
nps
代表非打印性分数，在一定程度上代表了补丁被普通打印机打印的难易程度；p
patch
是色块p中的一个像素，而c
print
是一组可打印颜色c中的一种颜色，降低它可以确保色块可以在没有太大失真的情况下打印；
[0018]
损失分数代表了补丁中相邻像素之间色差的大小，即图像的平滑度，它影响优化器优化补丁的难度以及补丁的自然程度；图像的总变化l
tv
如公式(2)所示：
[0019][0020]
其中，索引i和j指的是补丁p的像素p
i,j
坐标。相邻像素的颜色越接近，那么这个损失分数就会越低，反之损失分数会越高。
[0021]
进一步的，s3、更新对抗补丁以最小化总损失分数，优化过程通过反向传播作为闭环执行，得到最终可以实现基于yolovv5行人目标检测的对抗攻击，具体包括：
[0022]
s31、将对抗补丁贴在图片中需要攻击的目标的中心，得到被攻击的图片；
[0023]
s32、将被攻击后的图片数据集输入到yolov5目标检测器中进行检测，并得到检测中分数；
[0024]
s33、得到需要优化的总目标损失函数，如公式(3)所示：
[0025]
l
sum
＝l
conf
+α
×
l
tv
+β
×
l
nps
ꢀꢀꢀ
(3)
[0026]
在总目标损失函数l
sum
中，l
conf
在目标检测中起着决定性的作用，它代表了某个类别在检测中得到的分数；如公式(4)所示：
[0027]
l
conf
＝a
×
loss
obj
+b
×
loss
rect
+c
×
loss
clc
ꢀꢀ
(4)
[0028]
其中，l
conf
分数越高，证明这里有目标的概率就越高；优化l
conf
使其可以通过达到某个阈值来欺骗目标检测器；针对l
conf
的计算提出了相应的优化策略，在训练过程中根据每批图像的置信度设置不同的损失权重；
[0029]
对于物体置信度损失大0.5的轮次，分配较大的权重以使其置信度下降更快，而对于目标置信度小于0.5的轮次，赋予较小的权重；改进的l
conf
设计如下式(5)和(6)所示：
[0030]
[0031][0032]
其中，i为一个周期中批次的索引，为第i批次的l
conf-i
分数，conf为当前批次中的loss
obj
；[γ1,γ2,γ3,γ4]是该方法中不同conf情况下的权重组合；
[0033]
s34、优化过程通过反向传播作为闭环执行，在每一轮中根据目标损失迭代更新攻击patch；
[0034]
s35、以此不断更新patch，直到拥有较好的攻击效果。
[0035]
本发明针对以往的攻击方法无法对yolov5目标检测系统进行攻击，设计出一种更加契合yolov5模型的对抗样本损失函数来实现攻击的优化以达到攻击效果。
[0036]
与现有技术相比，本发明的有益效果体现在：
[0037]
1、本发明能有效的实现对于基于yolov5行人目标检测的对抗攻击，在数字世界与物理世界都可大大的降低yolov5行人检测的识别成功率；且优化后的patch局部扰动效果明显，可用于多种情况；在patch受到一定的干扰后(如清晰度变低，亮度变暗等情况)，依然能发挥作用。
[0038]
2、本发明在对于目标检测系统的设计算法的鲁棒性提供帮助，在yolo系列的进一步更新上能更好指导抗攻击的目标检测方法，使得目标检测系统更加强壮，不易被攻击；另一方面，在某些特殊的情况下如军事领域内，抵御无人机目标检测的识别提供了新的解决方案。
附图说明
[0039]
图1是本发明方法流程示意图。
具体实施方式
[0040]
以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
[0041]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0042]
下面将参考附图并结合示例性实施例来详细说明本发明。
[0043]
参考图1，本发明的一种新型目标检测对抗攻击方法，包括如下步骤：
[0044]
s1、准备数据集和初始补丁，通过数据集中的标签将初始补丁渲染到图像中，得到被攻击的数据集；
[0045]
s2、将被攻击的数据集作为目标检测器的输入，并获得人员类别的损失分数；
[0046]
s3、更新对抗补丁以最小化总损失分数，优化过程通过反向传播作为闭环执行，得到最终可以实现基于yolovv5行人目标检测的对抗攻击。
[0047]
在一种实施例中，s1、准备数据集和初始补丁，通过数据集中的标签将初始补丁渲染到图像中，得到被攻击的数据集，具体包括：
[0048]
s11、在数据集的标签中获取物体的置信框区域信息，包括5个参数[class,xt,yt,wt,ht]；其中class代表ground truth box物体的类别，xt和yt表示置信框左上角的坐标，wt和ht表示置信框的宽与高；
[0049]
s12、根据上述5个参数和准备好的初始patch，将初始patch的大小设置为1/2*wt
×
1/2*wt或1/2*ht
×
1/2*ht(取其中的较小值)。
[0050]
在一种实施例中，s2、将被攻击的数据集作为目标检测器的输入，并获得人员类别的损失分数，具体包括：
[0051]
为了使补丁在图像中看起来更平滑，更容易通过打印获得，l
nps
如公式(1)所示：
[0052][0053]
其中，l
nps
代表非打印性分数，在一定程度上代表了补丁被普通打印机打印的难易程度；p
patch
是色块p中的一个像素，而c
print
是一组可打印颜色c中的一种颜色，降低它可以确保色块可以在没有太大失真的情况下打印；
[0054]
损失分数代表了补丁中相邻像素之间色差的大小，即图像的平滑度，它影响优化器优化补丁的难度以及补丁的自然程度；图像的总变化l
tv
如公式(2)所示：
[0055][0056]
其中，索引i和j指的是补丁p的像素p
i,j
坐标。相邻像素的颜色越接近，那么这个损失分数就会越低，反之损失分数会越高。
[0057]
在一种实施例中，s3、更新对抗补丁以最小化总损失分数，优化过程通过反向传播作为闭环执行，得到最终可以实现基于yolovv5行人目标检测的对抗攻击，具体包括：
[0058]
s31、将对抗补丁贴在图片中需要攻击的目标的中心，得到被攻击的图片；
[0059]
s32、将被攻击后的图片数据集输入到yolov5目标检测器中进行检测，并得到检测中分数；
[0060]
s33、得到需要优化的总目标损失函数，如公式(3)所示：
[0061]
l
sum
＝l
conf
+α
×
l
tv
+β
×
l
nps
ꢀꢀꢀ
(3)
[0062]
在总目标损失函数l
sum
中，l
conf
在目标检测中起着决定性的作用，它代表了某个类别在检测中得到的分数；如公式(4)所示：
[0063]
l
conf
＝a
×
loss
obj
+b
×
loss
rect
+c
×
loss
clc
ꢀꢀ
(4)
[0064]
其中，l
conf
分数越高，证明这里有目标的概率就越高；优化l
conf
使其可以通过达到某个阈值来欺骗目标检测器；针对l
conf
的计算提出了相应的优化策略，在训练过程中根据每批图像的置信度设置不同的损失权重；
[0065]
对于物体置信度损失大0.5的轮次，分配较大的权重以使其置信度下降更快，而对于目标置信度小于0.5的轮次，赋予较小的权重；改进的l
conf
设计如下式(5)和(6)所示：
[0066]
[0067][0068]
其中，i为一个周期中批次的索引，为第i批次的l
conf-i
分数，conf为当前批次中的loss
obj
；[γ1,γ2,γ3,γ4]是该方法中不同conf情况下的权重组合；
[0069]
s34、优化过程通过反向传播作为闭环执行，在每一轮中根据目标损失迭代更新攻击patch；
[0070]
s35、以此不断更新patch，直到拥有较好的攻击效果。
[0071]
本发明实施例在对于目标检测系统的设计算法的鲁棒性提供帮助，在yolo系列的进一步更新上能更好指导抗攻击的目标检测方法，使得目标检测系统更加强壮，不易被攻击；另一方面，在某些特殊的情况下如军事领域内，抵御无人机目标检测的识别提供了新的解决方案。
[0072]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种新型目标检测对抗攻击方法，其特征在于，包括如下步骤：s1、准备数据集和初始补丁，通过数据集中的标签将初始补丁渲染到图像中，得到被攻击的数据集；s2、将被攻击的数据集作为目标检测器的输入，并获得人员类别的损失分数；s3、更新对抗补丁以最小化总损失分数，优化过程通过反向传播作为闭环执行，得到最终可以实现基于yolovv5行人目标检测的对抗攻击。2.如权利要求1所述的一种新型目标检测对抗攻击方法，其特征在于，s1、准备数据集和初始补丁，通过数据集中的标签将初始补丁渲染到图像中，得到被攻击的数据集，具体包括：s11、在数据集的标签中获取物体的置信框区域信息，包括5个参数[class,xt,yt,wt,ht]；其中class代表groundtruthbox物体的类别，xt和yt表示置信框左上角的坐标，wt和ht表示置信框的宽与高；s12、根据上述5个参数和准备好的初始patch，将初始patch的大小设置为1/2*wt
×
1/2*wt或1/2*ht
×
1/2*ht，取其中的较小值。3.如权利要求1所述的一种新型目标检测对抗攻击方法，其特征在于，s2、将被攻击的数据集作为目标检测器的输入，并获得人员类别的损失分数，具体包括：为了使补丁在图像中看起来更平滑，更容易通过打印获得，l
nps
如公式(1)所示：其中，l
nps
代表非打印性分数，在一定程度上代表了补丁被普通打印机打印的难易程度；p
patch
是色块p中的一个像素，而c
print
是一组可打印颜色c中的一种颜色，降低它可以确保色块可以在没有太大失真的情况下打印；损失分数代表了补丁中相邻像素之间色差的大小，即图像的平滑度，它影响优化器优化补丁的难度以及补丁的自然程度；图像的总变化l
tv
如公式(2)所示：其中，索引i和j指的是补丁p的像素p
i,j
坐标。相邻像素的颜色越接近，那么这个损失分数就会越低，反之损失分数会越高。4.如权利要求1所述的一种新型目标检测对抗攻击方法，其特征在于，s3、更新对抗补丁以最小化总损失分数，优化过程通过反向传播作为闭环执行，得到最终可以实现基于yolovv5行人目标检测的对抗攻击，具体包括：s31、将对抗补丁贴在图片中需要攻击的目标的中心，得到被攻击的图片；s32、将被攻击后的图片数据集输入到yolov5目标检测器中进行检测，并得到检测中分数；s33、得到需要优化的总目标损失函数，如公式(3)所示：l
sum
＝l
conf
+α
×
l
tv
+β
×
l
nps
ꢀꢀꢀꢀ
(3)在总目标损失函数l
sum
中，l
conf
在目标检测中起着决定性的作用，它代表了某个类别在检测中得到的分数；如公式(4)所示：
l
conf
＝a
×
loss
obj
+b
×
loss
rect
+c
×
loss
clc
ꢀꢀꢀꢀ
(4)其中，l
conf
分数越高，证明这里有目标的概率就越高；优化l
conf
使其可以通过达到某个阈值来欺骗目标检测器；针对l
conf
的计算提出了相应的优化策略，在训练过程中根据每批图像的置信度设置不同的损失权重；对于物体置信度损失大0.5的轮次，分配较大的权重以使其置信度下降更快，而对于目标置信度小于0.5的轮次，赋予较小的权重；改进的l
conf
设计如下式(5)和(6)所示：设计如下式(5)和(6)所示：其中，i为一个周期中批次的索引，为第i批次的l
conf-i
分数，conf为当前批次中的loss
obj
；[γ1,γ2,γ3,γ4]是该方法中不同conf情况下的权重组合；s34、优化过程通过反向传播作为闭环执行，在每一轮中根据目标损失迭代更新攻击patch；s35、以此不断更新patch，直到拥有较好的攻击效果。

技术总结
本发明公开了一种新型目标检测对抗攻击方法，包括如下步骤：S1、准备数据集和初始补丁，通过数据集中的标签将初始补丁渲染到图像中，得到被攻击的数据集；S2、将被攻击的数据集作为目标检测器的输入，并获得人员类别的损失分数；S3、更新对抗补丁以最小化总损失分数，优化过程通过反向传播作为闭环执行，得到最终可以实现基于YOLOVv5行人目标检测的对抗攻击。本发明针对以往的攻击方法无法对YOLOv5目标检测系统进行攻击，设计出一种更加契合YOLOv5模型的对抗样本损失函数来实现攻击的优化以达到攻击效果。达到攻击效果。达到攻击效果。


技术研发人员：张健毅 李秀滢 官榕林 赵张驰 王硕
受保护的技术使用者：北京电子科技学院
技术研发日：2023.04.07
技术公布日：2023/9/20