序列检测器仿真（三维对抗样本生成方法）

机器之心发布，作者：Dawei Yang，Chaowei Xiao，Bo Li，Jia Deng，Mingyan Liu，机器之心编辑部。

由于投影操作的复杂性以及人类对三维物体的感知偏向，生成三维空间的对抗样本是很困难的。在这篇论文中，研究者提出了一种基于物理模型的可导渲染器的三维对抗样本生成方法 MeshAdv。MeshAdv 不仅成功欺骗了分类器和目标检测器，还可以通过提出的流程达到很强的迁移性。

论文：REALISTIC ADVERSARIAL EXAMPLES IN 3D MESHES

论文地址：https://arxiv.org/pdf/1810.05206.pdf

我们已知深度神经网络容易受到对抗样本的攻击从而给出错误的预测结果。目前绝大部分的对抗样本都是在二维图像空间中直接对像素进行修改。但是在现实场景中直接操纵图片像素并不容易。由于越来越多的训练数据通过渲染三维物体生成，研究对抗式的三维样本变得更加重要。本文提供了一种新的方法 MeshAdv：通过操纵三维物体（用网格表示）生成对抗式三维网格，使得最终三维渲染器生成该网格的的二维图片可以成功攻击一个深度神经网格的模型（分类器或者目标检测器），并且验证了该三维网格的对抗性可以成功转移到不同的渲染器上。

相比于传统的基于二维图片的对抗样本，MeshAdv 的好处是，用对抗式三维网格生成的样本更加合理并且更容易去攻击现有的图片输入的机器学习模型，并且能够使用低成本的简单的渲染器来生成对抗式三维网格，并且转移到高成本的更加复杂的渲染器上。

首先作者们定义了自己的目标：已知一个训练好的二维图片作为输入的机器学习模型 g。通过渲染一个三维物体网格 S，得到一张输入图片 I。作者们希望通过修改这个三维网格 S（网格顶点或者表面颜色），来使得模型 g 在渲染的图片 I 上预测出错误的结果。

这并不是一个简单的问题：

1. 从三维世界到二维世界的复杂性：把二维图片看作是三维世界投影的结果，而不是直接将二维图片看作 h x w 个像素。这会导致图像空间大大减少，因为很多二维图片是无法通过构建三维世界生成的。三维空间中的光照、物体形状和物体表面颜色相互作用生成最终图片，这种作用可能会影响到对抗样本的生成，比如几乎不可能只改变图片中的一个像素而保持其它像素不变。这种相互作用，或者叫渲染，通常情况下是不可导的，除非做出对物体表面反射模型和光照模型等等的假设。

2. 三维空间本身的复杂性：三维空间中的约束与二维空间很不同，合理的三维形状/颜色并不直接体现在二维图片上；人对二维图片中物体的感知基于对于三维物体的理解，而对三维物体进行修改会直接影响该物体的三维特性，但在二维空间直接操纵像素值却基本不会，所以生成应用在三维物体上无法察觉的扰动是一件很难的事情。

对于以上难点，这篇论文的研究者们提出 MeshAdv 方法来解决。

首先，研究者使用一个基于物理模型的可导渲染器来将三维物体渲染成二维图片；然后分别尝试生成对于三维网格的顶点和各个三角形的颜色的扰动，来使得一个分类器将渲染的图片分类成研究者指定的错误的类别，如图 1 所示。

图 1：MeshAdv 的过程图示。

结果表明对于不同类别的原始三维网格，在各种光照和角度下都能成功，并且达到接近 100% 的成功率，如图 2 所示。研究者将扰动后的对抗式三维网格放到 Amazon Mechanical Turk 上让人们对其进行分类，99.29 -1.96% 的分类准确率表明这种对抗式三维网格的扰动对于人类感知影响是很小的。

图 2：通过不同类型的扰动（网格形状，或者网格表面颜色），根据不同的目标类别生成的对抗式三维网格。

然后，研究者用同样的方法尝试去攻击一个物体检测器。他们合成了一个有桌子、椅子的场景并且将一个兔子网格 (Stanford Bunny) 放在桌子上，通过扰动使得检测器对桌子、椅子的检测都失效，如图 4 所示。他们再将一张室外的真实照片作为输入，通过估计光照来将兔子网格「真实地」放到场景中然后再对其进行扰动，并且成功地移除了对于原始真实照片中的「自行车」和「狗」的检测，如图 5 所示。

图 4：合成场景中的对抗式三维网格（Stanford Bunny）导致物体检测器失效

图 5：将对抗式三维网格（Stanford Bunny）渲染到真实照片中导致物体检测器失效

最后，作者研究了对抗式三维网格的转移能力，因为他们用了一个可导的渲染器，该渲染器做出了很多假设，包括三维物体表面为简单的 Lambertian 模型、方向光源、无阴影、无表面间的遮挡与交互反射。研究者想知道如果使用一个高级的渲染器，比如 Mitsuba，该对抗式三维网格是否仍然能够使得分类器或者物体检测器失效。

作者研究了两种条件下的转移能力：已知渲染参数和未知渲染参数。对于已知渲染参数，直接使用 Mitsuba 替换掉可导渲染器，使用完全相同的渲染参数，并在渲染出来的图片上做有目标攻击和无目标攻击的评估。结果表示出无目标攻击成功相对较高，有目标攻击成功率相对较低。对于未知渲染参数的场景，使用可导渲染器去估计渲染参数，并且使用估计的参数和可导渲染器来生成对抗式三维网格。生成后，将该网格再重新放回 Mitsuba，再评估 Mitsuba 生成的图片是否也可以让机器学习模型预测失败。结果表明这种对抗式三维网格能够转移到不同的渲染器上。这使得我们可以用低成本的渲染器来生成对抗式三维网格来污染高成本的渲染引擎生成的图片。

图 6：在未知渲染参数下估计参数并且将对抗性转移到 Mitsuba 渲染的图片中并且导致分类器分类错误

图 7. 在未知渲染参数下估计参数并且将对抗性迁移到 Mitsuba 渲染的图片中并且导致检测失败（最左椅子）

图 3：将顶点的扰动流可视化。

表 1：在原始数据（p）上对不同模型的准确率，以及 meshAdv 生成的对抗样本的攻击成功率。

表 2：通过迁移 3D 对抗样本（通过攻击一个可微渲染器 NMR 生成）到 Mitsuba 渲染器的无目标攻击成功率。

,