CVPR 2023 | 一块隔热片即可实现红外场景下的物理攻击，北航提出针对红外行人检测器的漏洞挖掘技术

机器之心编辑部

来自北航人工智能研究院的韦星星副教授团队设计出一种隐蔽性更强、物理实施更简单、速度更快的 “对抗红外补丁”，可用于针对红外模态的物理鲁棒性评估研究。

在计算机视觉领域，基于 DNN 的红外与可见光目标检测系统在诸多安全保障任务中得到广泛应用，而 DNN 易受对抗样本攻击的特性，天然给这些检测系统埋下了安全隐患，检测器的对抗鲁棒性也因此受到了学术界与工业界的共同关注，相关研究的发展势头强劲。

已有不少研究者针对可见光模态提出了物理鲁棒性评估技术，它们被设计在常见的物品上，有着精心设计的纹理图案，比如对抗贴纸、眼镜、衬衫和帽子等。但是，这些基于纹理的扰动对于红外模态是不起作用的。而对于同样主流的红外检测器，其虽具有同等的评估必要性，有效的物理鲁棒性评估技术却屈指可数，并且现有方法在从数字世界向真实世界进行转换实现时，具有较高的实现难度。

在最近的一篇论文中，来自北航人工智能研究院的研究者们针对红外模态展开了物理鲁棒性评估技术的研究，设计出了一种隐蔽性更强、物理实施更简单、速度更快的 “对抗红外补丁”。他们提出了一种新颖的损失函数，使其能够利用统一梯度，同时优化对抗补丁的位置与形状，并使补丁的热幅射分布更加统一。在物理实施方面，其利用气凝胶这种隔热材料实现补丁相应的热分布，只需通过剪裁粘贴便完成了对抗样本的建构。研究论文已经被 CVPR 2023 接收。

论文地址：https://arxiv.org/abs/2303.13868

实验证明，该方法在不同距离、角度、姿势和场景下都具有很好的表现。值得注意的是，在与 SOTA 方法取得同等优异表现时，该方法从数字优化到物理实施整个过程不超过半小时，是 SOTA 方法花费时间的 5%。此外，该方法在小车上也能取得不错的效果，具有良好的泛化性。

方法概览

该研究主要基于行人检测任务进行方法建构，将最高得分检测框作为检测到的行人，当对抗样本的检测得分低于阈值时，代表其攻击成功。区别于常见的扰动攻击，该研究基于一个区域性的补丁构建对抗样本。其生成定义如下：

其中，由补丁的物理材料在红外模态下的像素值决定，在数字环境下很难对进行操作。于是该研究将先验性的定为 0（即黑色），转而对 M 进行优化，通过学习补丁的形状与位置改善攻击性能与物理可实施性。

技术实现上，该研究采用白盒方法，设计损失函数，进行基于动量的梯度优化。其中，为了提高对抗补丁的物理可实施性，求解的掩码 M 应该具有以下性质：

（1）M 中的像素点应该聚集在一起，在合理位置形成一个具有对抗攻击性的形状。

（2）M 中的像素值应尽可能趋于 1 或 0。

关于损失函数，攻击 loss 是以最小化所有边界框内的最大置信度得分为目标，使目标成功 “隐身”。这种隐身攻击损失的定义如下：

但是，只基于攻击 loss 优化会导致 M 中的像素取到 [0,1] 中的连续值，且高值的像素点离散分布在不同的位置，无法满足上述目标。因此，他们提出全新的聚集正则项和二值化正则项加入到损失函数中，在保证有效攻击的基础上保证形状紧凑以及像素值非 0 及 1。

聚集正则项的提出主要针对下面两个问题：

（1）如何有效得到聚集的形状；

（2）对于形状和位置两种完全不同的变量，如何通过统一的梯度完成二者的共同优化。

想要获得聚集的图像块，M 中取值为 1 的像素应该被聚类。为了度量像素的这种聚集性，他们提出了局部聚集系数，能够量化一个像素点的邻居是多么接近一个 “团”。其主要通过单个像素点的八个邻居像素及联通边计算得出。

考虑到 M 实际取值为 [0,1] 区间，他们在原本的设计上增加衰减因子，形成了 soft 版本的计算公式。最终，聚集正则项结合该量化聚集度与掩码 M 的值进行设计，显然其中的运算都是可微分的，使得其可以通过统一梯度同时完成形状与位置的优化：

二值化正则项的提出则是为了优化 M 中的像素值，具体定义如下：

其中，L_MSE 部分起到二值正则化的主要作用，让 M 的值具有非零即一的可操作性，而引入 M 的 L_1 范数是为了让补丁面积在优化过程中尽可能小。

结合上述三种具有不同优化功能的 loss，最终的损失函数为：

在这种损失函数的指导下，其最终得到的对抗补丁是一个面积适中的补丁图案，其聚集性，以及 Mask 非零即一的特性使得物理实施的难度大幅度下降。在最终物理实现时，只需要在材料上剪裁出一块优化得到的补丁，并贴在攻击目标身体上的指定位置，即可进行鲁棒性评估。

实验结果

在实验部分，实验一到三是数字世界下的实验，实验四到六是物理世界下的实验。

实验一：与两种 SOTA 方法进行了效果对比，结果显示，该方法对应的 AP 值从 100 % 下降到 12.05 %，超过了 SOTA 方法。

实验二：对 patch 的形状位置进行了消融实验对比，证实了二者同时优化的有效性。

实验三：对损失函数的效果进行了对比验证，结果显示，尽管完整 loss 与部分功能 loss 缺失条件下得到的 ASR 相比略低，但其显著的聚集性带来的价值更有意义。

实验四：对不同距离、角度、姿势和场景进行了方法验证，总体取得了较好效果。

实验五：在小车上进行了拓展实验，并设定了不同距离和角度，攻击成功率总体位于 90% 以上。

实验六：采用三种典型的防御手段来评估该攻击方法的鲁棒性，结果显示，在三种防御方法下，对抗攻击性能下降幅度均在可接受范围内，证明鲁棒性较好。

结语

该研究提出了可学习形状和位置的、物理操作性强的对抗红外补丁，可以通过巧妙的 loss 设计，实现对多变量同时的梯度优化。物理实现采用气凝胶隔热材料构建红外贴片。该方法优化速度快，贴片制作简单，从数字世界优化到物理世界构建对抗样本仅需 0.5 小时。实验效果相当甚至优于红外模态 SOTA 攻击方法，行人和车辆检测实验体现了方法的有效性和泛化性。