全球首例，Adversarial T-shirt让你在AI目标检测系统中隐身
最后更新：2020-07-07 10:27:12 手机定位技术交流文章
基于人工智能的目标检测系统生成的对抗样本可以使佩戴者对相机“不可见”。
由美国东北大学林雪研究小组、麻省理工学院国际商用机器公司沃森人工智能实验室和麻省理工学院共同开发的这款基于对抗样本设计的t恤(对抗性t恤)，使人们对深层神经网络的实际安全意义有了更深入的探讨。目前，这篇文章已被列入ECCV 2020年会议的焦点文件。
纸质链接:https://arxiv.org/pdf/1910.11099.pdf
在当今日益流行的人脸识别和目标检测中，如果有一件衣服能让你在人工智能检测系统中“消失”，请不要惊讶。
熟悉对抗性机器学习的朋友可能不会感到陌生。早在2013年，克里斯蒂安·塞格迪(Christian Szegedy)等人就在《神经网络的耐人寻味的性质》一文中首次提出了对立示例的概念。以下将大熊猫变成长臂猿的例子也出现在许多深度学习课程中。
显然，人眼不能感知对抗样本的存在，但是对于基于深度学习的人工智能系统来说，这些微小的干扰是致命的。
随着研究者对神经网络的研究，对神经网络的攻击越来越强，但大部分研究仍停留在数字领域。2017年，陆家俊等人还认为，在现实世界中，自主车辆的目标检测不需要担心对抗性样本。
他们已经通过大量的实验证明，简单地打印在数字世界中产生的对抗样本，然后用相机捕捉它们不会影响人工智能检测系统。这也证明在现实世界中很难生成对抗样本，主要原因如下:
像素变化太细微，打印机无法显示:众所周知的计数器样本通常对图像修改的范围有一定的限制，例如限制修改像素的数量或整体像素修改大小。然而，打印过程通常不能响应非常小的像素值的变化，这使得针对打印机丢失的样本的许多有用信息。
用相机捕捉会再次改变对抗样本:这也很容易理解，因为相机自身的成像原理和目标捕捉能力的限制，相机不能完美地将数字领域的打印结果再次还原到数字领域。
环境和目标本身已经改变:这是至关重要的。在生成阶段，对策样本可能只考虑非常有限的环境和目标的多样性，因此样本在现实中的作用将大大降低。
近年来，马哈茂德·谢里夫等人(《犯罪的附属品:对最先进的人脸识别的真实和秘密攻击》。)，在现实世界中第一次可以通过精心设计的眼镜架对佩戴者做出错误的判断。但是这项研究对佩戴者的角度和与相机的距离有严格的要求。然后凯文·艾克霍尔特和其他人(对深度学习视觉分类的强大物理世界攻击)攻击了停止标志。通过将生成的对抗样本粘贴在停止标志上，停止标志可以被目标检测或分类系统识别为限速为80的标志！这也使得社会和媒体对神经网络的安全性进行了大讨论。
然而，这些研究还没有触及柔性物体对抗样本的产生。可以很容易地想象，框架或停止标志是典型的刚性物体，不容易变形和类别本身不是很容易改变。然而，由于t恤的不同，人体的姿势和动作会影响其形状，这给人体类攻击目标检测系统带来了很大的麻烦。
最近的一些工作，例如，Simen Thys等人(污染自动监视摄像机:攻击人检测的对手补丁)，可以通过在纸板上打印对策样本并将其挂在人面前来成功地攻击特定环境中的目标检测器，但是T恤衫上的图案不是自然的，并且对策样本和移动目标的变形没有被研究。
由麻省理工学院-国际商用机器公司沃森人工智能实验室和美国东北大学的麻省理工学院联合开发的对抗式t恤试图解决上述问题，并在对抗YOLOV2和更快的R-CNN(两种流行的目标检测系统)方面取得了良好的效果。在YOLOV2中，当实验者穿着这件敌对的t恤时，通过收集多个场景和姿势的视频，攻击成功率可以达到57%。相比之下，YOLOV2在不穿敌对t恤的情况下探测人类目标的成功率为97%。
设计原理
受许多现有成功攻击算法的启发，研究人员使用一种称为EOT(期望转换)的算法，通过模拟和期望来适应现实。这些变换通常包括缩放、旋转、模糊、光变化和随机噪声。通过使用EOT，我们可以为刚性对象生成反样本。
然而，当研究人员仅使用EOT并将获得的对抗样本打印在t恤上时，攻击成功率只能达到19%。造成这种情况的主要原因在上面的文章中已经提到，人的姿势会使对抗样本产生皱纹，而这种皱纹是现有的EOT所不能模拟的。然而，样本本身非常脆弱，一旦某些信息丢失，整个样本往往会失去其有效性。
基于上述观察，研究人员使用一种叫做薄板样条(TPS)的变化来模拟衣服的褶皱规律。这种变化需要记录一些锚点数据来适应变化。于是研究人员在t恤上印了一个棋盘图案来记录棋盘上每个方块角的坐标信息，如下图所示:
这些锚点的坐标可以通过特定的算法自动获得，无需人工标记。这种人工构造的热防护系统变化被添加到传统的热防护技术算法中。这使得生成的计数器样本具有抵抗折叠干扰的能力。
此外，研究人员还使用色谱图来模拟光线和照相机引起的潜在变化，如下图所示:(a)数字场色谱图；打印机打印在t恤上的图片只能由相机拍摄；通过绘制A-B图来学习颜色变换
基于所学习的颜色变化系统，所生成的对抗样本可以尽可能接近现实。最后，该方法的总体框架如下:
通过增强的EOT和颜色转换系统，最小化YOLOV2的检测置信度，最终得到一个对抗样本。
此外，研究人员还首次尝试了整体攻击。两个目标探测系统，YOLOV2和更快的R-CNN，同时受到一个反样品的攻击。结果表明，与传统的加权平均攻击者不同，采用鲁棒优化技术可以提高两个目标检测系统的平均攻击成功率。
实验结果
首先，研究人员在数字领域做了基本的对比实验，结果表明，与非刚性变化——仿射变换相比，TPS的变化可以将YOLOV2的攻击成功率从48%提高到74%，将fast R-CNN的攻击成功率从34%提高到61%。这证明了向灵活对象添加TPS更改的必要性。
之后，研究人员将这些对抗样品印在白色t恤上，让穿着者在不同的场合以不同的姿势移动，并录制视频。最后，将采集到的所有视频发送到目标检测系统进行检测，并统计攻击成功率。
如下图所示:
最后，在现实世界中，该方法使用TPS生成的样本对YOLOV2的攻击成功率为57%，而仅使用仿射变换的攻击成功率为37%。
此外，研究人员还做了一项非常详细的消融研究:研究不同的场景、距离、角度和佩戴者姿势。
结果表明，该方法对距离和角度变化敏感，对不同佩戴者和背景环境的变化差异不大。
关于人工智能安全性的更多讨论
事实上，对抗样本的产生与深层神经网络的训练有着相同的根源。从大量样本中学习得到的深层神经网络几乎不可避免地存在大量对立样本。就像无数从事对抗性机器学习的研究人员一样，我们充分意识到神经网络的脆弱性和易受攻击性。然而，这并不妨碍我们对深度学习的进一步研究和思考，因为这种特殊而奇妙的现象来自神经网络本身，其形成的原因尚未明确。如何建立一个更加健壮的神经网络也是该领域的一个开放课题。
本研究的目的是通过指出神经网络的这一特性及其可能造成的潜在社会危害，让更多的人意识到神经网络的安全问题。最终目标是帮助人工智能领域建立一个更强大的神经网络，使它可以不那么敏感的对抗样本。
第一作者简介
许:美国东北大学欧洲经济工程系大三博士。他的主要研究领域是高级机器学习。他的研究内容已在许多机器学习和计算机视觉会议上发表，如神经科、ICML、ICCV、ECCV、CVPR和ICLR。
本文由 在线网速测试 整理编辑，转载请注明出处。
