现有的计算机视觉系统在设计之初普遍未考虑相关的安全威胁，使得其判断结果容易被恶意攻击者影响，导致AI系统判断失准。对抗样本的出现导致AI的安全问题备受关注，而对抗图块作为目前最主流的物理对抗攻击方式，成为了攻击和防御聚焦的热点。形状和纹理是影响图像识别的两个重要因素，现阶段的对抗图块更多地考虑如何生成更加鲁棒的对抗扰动，而忽视了图块本身的形状，即图块的形状是固定的，例如圆形或者正方形。

为了探究形状对对抗图块的影响，复旦大学在读博士、腾讯优图实习生兆宇等人提出了一种可微计算的图块表示 (DPR)，利用三角形的几何结构来判定像素点在形状轮廓的内或外，从而仅依靠梯度便生成可微且可形变的二进制掩码。为了同时优化对抗图块的形状和纹理，他们还提出了一种可形变对抗图块 (DAPatch)，利用形变来提高攻击性能。

实验证明，一个具有特定形状的对抗图块具有更强的攻击性。在ILSVRC2012和GTSRB上的实验说明了在数字域上，DAPatch具有目前最先进的白盒攻击性；而物理实验说明，DAPatch可以实现更强的物理攻击。本工作也是首次从对抗样本的角度来研究形状对神经网络鲁棒性的重要性，这有助于理解和探索现有计算机视觉系统漏洞的本质。

在对抗图块防御上，由于经验图块防御被自适应攻击所攻破，因此研究热点转向了可信图块防御。可信图块防御能够基于理论分析，保证模型在任意对抗图块攻击下的鲁棒性。但是现有的可信图块防御难以扩展到大数据集上，而且在大数据集上的正常准确率较低，且和可信准确率的差距较大，这限制了该类防御的应用。目前，ViT在很多视觉任务上证明了其具有巨大的潜力，而传统的Derandomize smoothing(DS)方法能够支持任意网络架构。然而直接将DS中的CNN用ViT取代仍会遇到较低准确率和较慢推理速度的问题。

为了解决较低准确率的问题，兆宇等人提出了一个渐进式平滑图像建模任务。通过逐步重建，基分类器可以在保留全局语义信息的同时明确地捕获图像的局部上下文，从而提高正常和可信准确率。为了提高推理速度，他们设计了孤立自注意力单元，通过滑动窗口将输入图像划分为不同条带，分别计算每个条带单元中的自注意力，为多个条带的并行计算提供了可行性。

实验表明，该方法能在CIFAR-10和ImageNet上高效推理，并获得了目前最先进的正常和可信准确率。此外，在ImageNet上，2%图块攻击实现了目前最先进的可信准确率(41.70%)。同时，其78.58%的正常准确率超过了正常训练的ResNet-101(78.18%），从而证明了该方法能够在保证模型鲁棒性的前提下具有较高的精度。

7月18日晚7点，「AI新青年讲座」第138讲，邀请到复旦大学在读博士、腾讯优图实习生兆宇参与，主讲《图像分类上的对抗图块攻击和防御》。