AI无间道!清华团队推出AI安全平台,欺骗顶尖人脸算法后又修复漏洞
最后更新：2020-04-09 11:58:08 手机定位技术交流文章
云自寺量子比特编辑|公开数字QbitAI
随着人工智能技术的发展，人工智能正在许多场景中逐渐取代或配合各种人类劳动。它们可以变成人类的眼睛、耳朵、手臂甚至大脑。其中，机器视觉作为人工智能时代的基础技术，其背后的人工智能算法一直是各种技术巨头和初创公司追求的热点。然而，在这些主流应用场景的背后，由技术缺陷导致的算法安全风险往往是隐藏的。
例如，在一些训练数据无法涵盖的极端情况下，自动驾驶汽车可能会做出奇怪的决定，给乘客带来安全风险。从2016年至今，特斯拉、优步等企业的辅助驾驶和自动驾驶系统也发生了类似的致命事故。此外，这种极端情况也可能是恶意制造的，并被用来发起“反样本攻击”。去年7月，百度和其他研究机构使用3D打印让自动驾驶能够“忽略”障碍物，从而造成碰撞风险，也威胁到驾驶安全。
攻击成功的原因是机器视觉和人类视觉有很大的不同。因此，将小扰动变化(即有意扰动的“反采样”)添加到输入信息(如图像和对象)中会导致较大的算法误差。此外，随着人工智能的进一步发展，当算法模型应用于金融决策和医疗诊断等更关键的核心场景时，这种人工智能“漏洞”的威胁将越来越突出。
近年来，包括清华大学人工智能研究所所长张博院士、微软前执行副总裁沈向洋等。，都倡导发展安全、可靠、可信的人工智能和负责任的人工智能，其中人工智能的安全应用是关键方向。
然而，人工智能安全作为一个新的领域，虽然反样本等攻击方法变得越来越复杂，随着开源社区和工具包的出现，先进的攻击方法也在快速增长，但是相关防御方法的推广和推广却难以跟上。在人工智能算法的开发和应用过程中，样本等算法漏洞检测存在很高的技术壁垒。目前，市场上缺乏自动检测工具，大多数企业和组织不具备这方面的专业技能，无法正确应对不断增加的恶意攻击。
首先，从安全评估到防御升级，真实安全使人工智能更加安全和可控
为了解决上述痛点，清华大学人工智能研究所孵化企业瑞来智慧(Realiai Wizard)近日正式推出了第一个用于极端对抗环境下人工智能算法安全检测和增强的工具平台——真正安全的人工智能安全平台。
据了解，该平台内置了领先的人工智能防攻击和防御算法，提供了从安全评估到防御加固的整体解决方案。目前，它可以用于发现常见人工智能算法(包括人脸比较)可能出错的极端情况，还可以防止潜在的反攻击。
RealAI表示，就像在网络安全时代一样，网络攻击的大规模渗透催生了杀毒软件，发现了潜在的计算机病毒威胁，并提供了一键系统优化、垃圾清除和漏洞修复等功能。RealSafe研发团队希望通过RealSafe平台创建人工智能时代的“杀毒软件”，为人工智能系统防火墙的建设提供支持，帮助企业有效应对人工智能时代算法漏洞滋生的“新病毒”。
RealSafe平台目前支持两个主要功能模块:模型安全评估和防御解决方案。
其中，模型安全评估主要为用户提供人工智能模型安全评估服务。用户只需访问所需评估模型的SDK或API接口，选择平台内置或自行上传的数据集，平台就会对基于各种算法的样本产生模拟攻击，综合不同算法攻击下模型效果的变化、迭代次数和干扰量，给出模型安全得分和详细的评估报告(如下图所示)。目前，支持黑盒查询攻击和黑盒迁移攻击。
防御解决方案是为用户提供模型安全升级服务。目前，RealSafe平台支持五种通用的抗噪声防御方法，可以实现对输入数据的自动去噪处理，破坏攻击者恶意添加的抗噪声。根据上面提到的模型安全性评估结果，用户可以自己选择合适的防御方案，通过一次点击就可以提高模型的安全性。此外，根据实际测量，通过使用RealSafe平台的防御方案，某些第三方人脸比对应用编程接口的安全性可以提高40%以上。
随着模型攻击方法的复杂扩展，RealSafe平台继续提供广泛和深入的人工智能防御方法，以帮助用户获得实时和自动的漏洞检测和修复能力。
第二，“反样本”已成为“人工智能病毒”，国外主流人脸识别算法已被“攻破”
站在人脸识别终端前，通过人脸识别摄像头完成身份验证。类似的人脸识别身份认证已经被应用到生活场景中，如刷脸付款、酒店入住登记、考试身份验证和人与人之间的卡比较。
考虑到公众可能对对抗样本的概念模糊，RealSafe平台选择最熟悉的人脸比较场景(人脸比较广泛用于上述身份认证场景)来提供在线体验。此外，为了深入研究“对抗样本”对人脸比对系统识别效果的影响，RealAI团队基于此功能对国外主流人工智能平台的演示服务进行了测试。
选择一组不同的人脸图像(如下图所示)，通过RealSafe平台为其中一幅图像生成一个对抗样本，但不影响视觉判断，并将添加前后的“对抗样本”输入到第三方人脸比对平台，以检查相似度。
最终的结果显示，在添加“噪音”之前，Azure和AWS决定这两幅图片不属于同一个人。然而，在添加了“噪音”之后，上述两个平台的演示服务给出了错误的结果。据信，这两张图片属于同一个人，甚至在添加“噪音”前后，Azure平台演示服务的相似度也改变了70%以上。
为了探索结果的普遍性，RealAI团队还选择了三个国内主流的人脸比较平台进行测试。结果还表明，加入干扰后，原来确定为“不同人脸”的图片都被误认为是“同一张人脸”，相似度前后的变化范围可达20%以上。然而，通过RealSafe防火墙的“去噪”过滤后，与平台相比，这些人脸识别的“错误”得到不同程度的纠正，识别效果稳步提高。
RealAI团队已经向上述企业反馈了这种潜在的风险和相关的防御方法，以帮助降低风险。
实际测量证明，“反样本”会极大地干扰人脸比对系统的识别结果。据介绍，市场上的许多中小企业在地面应用人脸识别时，大多会选择使用上面测试过的这些互联网公司开发的SDK或API接口进行人脸比较。如果他们的人脸比较技术有明显的安全漏洞，这意味着在更广泛的应用场景中会有安全风险。
除了人脸比例之外，反样本攻击还可能出现在目标检测的应用场景中，这可能危及工业、安全等领域的安全风险检测。例如，电网输电塔监控系统需要对输电塔内外进行全天候实时监控，以防止吊车、塔吊和烟火对输电线路的破坏，而基于目标检测的人工智能算法则在实时监控系统的后面提供保护。
然而，RealAI研究小组发现，只要目标检测算法在一定程度上受到RealSafe的攻击，监控系统就会失效，这将使其无法识别非常明显的烟火情况。如果类似的情况发生，可能会带来不可估量的损失。
事实上，由于基本人工智能算法的技术缺陷，上面提到的这些人工智能安全风险通常是隐藏的。然而，一旦全身都参与进来，这些“不可预见”的风险漏洞最有可能成为被攻破的薄弱环节。由RealSafe平台同时推出的防御解决方案可以有效地增强人工智能算法在各个应用领域的安全性。
三、“零编码”+“可量化”，两个优势有效应对算法的威胁
据报道，RealAI的算法模型安全检测平台除了帮助企业有效应对算法威胁外，还有以下两个优势:
组件化和零编码的在线评估:与需要部署和编写自己的代码的开源工具如ART和蛮牛相比，RealSafe平台采用了组件化和零编码的功能设置，从而消除了重复构建轮子的能量和时间消耗。用户只需提供相应的数据即可在线完成评估，大大降低了算法评估的技术难度，学习成本低，无需专业的算法能力即可手动操作。例如，在上述针对微软、亚马逊等第三方平台的测试中，整个过程是按照步骤的提示完成的，几分钟后就可以看到评估结果。可视化和可量化的评估结果:为了帮助用户提高模型安全性的概念，RealSafe平台使用可量化的形式来显示安全性评估结果。根据模型对样本攻击的性能，分数越高，模型的安全性越高。此外，RealSafe平台提供安全变化显示，防御处理后安全得分和模型效果的变化一目了然。四、登陆安全外围产品，为更多场景保驾护航
事实上，反样本原本是机器学习模型中一个有趣的现象，但经过不断的升级和进化，“反样本”已经演变成一种新的攻击方式，并从数字世界传播到物理世界:在路面上粘贴反样本标签，以模仿合并条，误导自驾车进入倒车车道，在胸部粘贴反样本标签，使其在监控设备下变得隐形...
因此，除了引入数字世界算法模型的安全评估平台外，RealAI团队还与清华大学人工智能研究所联手，围绕多年来领先世界的研究成果，推出了一系列人工智能攻防安全产品，旨在满足更多场景的人工智能安全需求。
例如，在攻击技术方面，RealAI团队实现了世界上第一次尝试通过“反样本”技术来解锁商用手机的刷，从而允许手机将戴着“特殊眼镜”的黑客误认为是手机所有者。
德尔塔图:用人工智能对抗样本技术破解商用手机人脸解锁的世界唯一案例
通过在目标人的衣服上放置特殊图案，人工智能监控不能检测到人，从而实现“隐身”，通过在车辆上绘制特殊图案，避免了车辆的人工智能检测。
德尔塔图:通过人工智能面对样本模式避免人工智能车辆检测
在发现上述新漏洞的同时，RealAI还引入了相应的防御技术来支持主流人工智能算法中安全漏洞的检测，并提供人工智能安全防火墙来有效拦截对人工智能模型的攻击。
人工智能的浪潮滚滚而来，安全风险将变得越来越多样化。尤其是近年来，不成熟的人工智能技术引发的侵权风险也时有发生。可以说，算法漏洞已经逐渐成为继网络安全和数据安全之后的又一个安全问题。
幸运的是，以RealAI为代表的这些顶级人工智能团队已经开始了他们在人工智能安全领域的旅程，并开始帮助行业降低用标准化产品应对安全风险的门槛和成本。RealSafe人工智能安全平台的推出对RealAI来说是一小步，但对整个行业来说，这将是朝着人工智能行业健康可控发展迈出的一大步。
-完毕-
量子比特qbitai，署名横幅作者
跟踪人工智能技术和产品的新发展
本文由 在线网速测试 整理编辑，转载请注明出处。
