人脸识别再曝安全漏洞:清华创业团队推全球首个AI模型''杀毒软件''
最后更新：2020-04-10 13:05:28 手机定位技术交流文章
机器心脏报告
参与:泽南
莱利·斯马特刚刚发布的第一个人工智能安全平台发现了迄今为止最“重要”的人脸识别安全漏洞。
4月7日，清华大学的RealAI (Riley Intelligence)发布了RealSafe人工智能安全平台，以下测试结果令人惊讶:微软和亚马逊云服务的人脸比对演示平台通过该平台进行了测试，结果显示基于RealSafe平台产生的反样本“噪音”会极大干扰两个主流人脸比对平台的识别结果。目前，许多相对先进和广泛使用的人脸识别技术都容易被破解。RealAI研究小组选择了一组不同的面部图像，并通过RealSafe平台为其中一幅图像生成了一个对抗样本，但并不影响视觉判断。添加“对抗样本”前后，分别输入微软和亚马逊人脸比较平台。最终结果显示，在添加“噪音”干扰之前，两幅图像之间的相似度较低，微软和亚马逊平台认定它们“不同”。然而，加入干扰后，几个系统被误认为“相同”，甚至微软平台前后的相似性变化高达70%。
RealSafe人工智能安全平台检测人脸识别系统中的“漏洞”，是全球首个算法模型本身的安全检测平台，内置领先的攻击和防御算法模型，旨在为企业用户提供从算法评估到防御升级的整体解决方案。人脸比对系统的攻击测试是一种在线体验，由RealSafe人工智能安全平台提供，供用户攻击和防御样本。具体效果是什么，你可以看这个演示视频:
通过RealAI提供的测试工具，只需上传一张图片作为例子，各大工厂的人脸识别系统会错误地将人识别为指定的人，而干扰图片是针对原始图片生成的。
捕捉所有的人脸识别平台真的能像视频中那样吗？在正式发布之前，我们有机会测试RealSafe系统，并有机会开始。首先是将原始图像与两个人的照片进行比较。人工智能可以识别不同的人:
点击“生成对抗样本”按钮，经过10秒钟的处理时间后，模型会为我们生成一张基于光盘照片的“梅西”对抗样本照片:
对人类来说，经过处理的图片(右上方)不会让我们误认为图片中的人，除了脸部有一些不清楚的干扰。但是对于当前的人脸识别算法，情况就不同了:
在面对其他公司的相似性比较模型时，艾把c .罗的照片误认为是梅西:“同一个人的可能性极高。”我们尝试上传梅西的不同照片，相似度应该在95%左右。然而，如果使用C·罗的未加工照片或贝尔的照片，相似度仅为75%，这表明“同一个人的可能性很低”“反样本”变成了“人工智能病毒”。我们测试了国内几家技术巨头的人脸识别模型，反样本的“伪装”效果明显。莱利的聪明研究人员告诉我们，这种对抗样本还会在亚马逊和微软等人脸识别平台服务中造成严重的识别错误。如今，当人脸解锁手机和支付系统如此普遍时，反样本方法的进步让我们担心财产和隐私的安全。在一些需要人脸认证的场景中，如金融远程开户、人脸访问控制、酒店入住管理等场景，蓄意攻击很可能会取代身份，造成财产、隐私等损失。即使在应用活体检测的场景中，也可能受到反采样装置的攻击。事实上，去年，RealAI戴上了一副带有反样品图案的眼镜，突破了一些具有活体检测功能的主流品牌手机。
RealAI表示，这是世界上唯一一个通过人工智能反样本技术破解商业手机人脸解锁的案例。看来破解人工智能带来的隐患离我们不远了。为了避免可能的损失，我们应该更加注意保护个人信息。例如，在一些刷脸付款的情况下，在脸被验证为人之后，需要进一步的信息例如手机号码用于二次验证。在深度学习模型通常脆弱且易受攻击的时候，普通消费者不能仅仅依赖人工智能技术，还需要保持足够的警惕来保护个人信息，否则身份盗窃等问题仍可能发生。赖利·智辉说，经过不断的升级和演变，今天的反样品攻击已经不仅仅局限于数字世界，对物理世界的攻击也已经开始出现:在路面粘贴反样品贴纸，模仿合并条，误导自动驾驶汽车转入倒车车道，戴上反样品眼镜破解手机的面部解锁，在胸部贴上反样品贴纸，实现隐形...
通过人工智能对策样本模式避免人工智能车辆检测。对抗样本会导致人工智能系统遭到攻击和恶意入侵，导致结果不符合预期甚至有害。对于人脸识别和自动驾驶等特定领域，可能会造成不可挽回的人员和财产损失。对抗样本已经成为人工智能系统可能面临的一种新型“病毒”。目前，以“反样本”为代表的算法安全性仍然是一个新的领域。对于如何评估算法模型的安全性，业界还没有一个明确的定义，反样本等攻击方法也越来越复杂。有了开源社区和工具包的支持，高级和复杂的攻击方法正在快速增长，但很难跟上相关防御方法的升级。另一方面，反样本等算法漏洞的检测存在很高的技术壁垒。目前，市场上缺乏自动化检测工具，大多数企业和组织不具备这方面的专业技能，无法正确应对不断增加的恶意攻击。在潜在层面上，随着人工智能的大规模应用，算法安全漏洞带来的安全威胁将不断升级。为人工智能时代创造“杀毒软件”。当然，RealSafe也可以帮助人们修复这些漏洞。正如在网络安全时代一样，网络攻击的大规模渗透催生了杀毒软件，发现了潜在的计算机病毒威胁，并提供了一键系统优化、垃圾清理和漏洞修复等功能。RealAI团队希望通过RealSafe平台构建人工智能时代的“反病毒软件”，为构建人工智能系统防火墙提供支持。除了反样本技术，今天发布的RealSafe平台还支持另外两个功能模块:模型安全评估和防御解决方案。
模型安全评估主要为用户提供人工智能模型安全评估服务。用户只需访问所需评估模型的软件开发工具包或应用编程接口，选择平台内置或自行上传的数据集，平台就会对基于各种算法的样本产生模拟攻击，并综合不同算法攻击下模型效果的变化、迭代次数和干扰量，给出模型安全评分和详细的评估报告。目前，RealSafe已经支持黑盒查询攻击和黑盒迁移攻击。
防御解决方案是为用户提供模型安全升级服务。RealSafe平台支持五种通用的抗噪声防御方法，可以实现对输入数据的自动去噪处理，破坏攻击者恶意添加的抗噪声。根据上述模型安全性评估结果，用户可以自己选择合适的防御方案，从而达到一键增强模型安全性的目的。莱利·智慧表示，随着模型攻击方法的复杂性不断扩大，RealSafe平台将继续提供更丰富的人工智能防御方法，帮助用户获得实时和自动化的漏洞检测和修复能力。“零代码”+“可量化”:莱利智慧成立于2018年7月，旨在有效应对算法的威胁，是清华大学人工智能研究所孵化出来的一家科技公司。它由清华大学人工智能研究所所长张博和田甜任首席执行官的朱军教授领导。RealAI在人工智能安全方面具有国际领先的技术优势。该团队率先提出了许多攻击和防御算法。相关的研究成果被图灵奖获得者广泛引用作为代表性方法，并被主流开源软件蛮箱、克莱夫汉斯等作为标准攻击和防御算法。在人工智能领域的国际比赛中，由实莱团队和清华组成的团队多次在斯坦福、腾讯安全等世界顶尖大学和研究机构获得世界冠军。RealAI表示，此次推出的算法模型安全检测平台除了帮助企业有效应对算法威胁外，还有以下两个优势:
基于组件的零编码在线评估:与需要部署和编写自己代码的开源工具(如ART和蛮牛)相比，RealSafe平台使用基于组件的零编码功能设置，消除了重复构建车轮的能耗和时间消耗。用户只需提供相应的数据就可以在线完成评估，大大降低了算法评估的技术难度，学习成本低，并且可以手动操作，无需专业的算法能力。可视化和可量化的评估结果:为了帮助用户提高模型安全性的概念，RealSafe平台使用可量化的形式来显示安全性评估结果。根据模型对样本攻击的性能，分数越高，模型的安全性越高。此外，RealSafe平台提供安全变化显示，防御处理后安全得分和模型效果的变化一目了然。考虑到目前人脸识别技术应用最为广泛，实莱推出的实莱安全人工智能安全平台主要支持人脸比较场景的模型安全评估和检测。未来，RealSafe平台将继续针对目标检测、图像分类等应用场景陆续迭代推出模型安全检测，旨在通过安全可控的人工智能为更多场景保驾护航。今年3月，RealAI收到天使+轮融资，两轮融资总额达到1亿元。对于这家公司来说，如何探索技术商业化之路已经成为了一项挑战。该公司表示，将致力于构建一个安全可控的第三代人工智能，并实施健壮、可扩展、可靠和可移植的人工智能解决方案。RealAI表示，这次推出的安全平台对研究人员和研究人员来说只是一小步。公司希望通过安全可控的人工智能使能行业，为金融部门提供更可靠的大数据风控、反欺诈、营销等解决方案，为工业部门的生产运营和维护提供智能决策和智能设备解决方案，为公共安全治理领域提供公共数据安全和网络内容安全等解决方案。在此之前，在金融领域，该公司已经推出了开箱即用的建模平台RealBox。它嵌入了RealAI开发的贝叶斯深度学习算法。通过贝叶斯算法，该工具实现了现实世界中不确定性的描述和可描述变量之间的关系，解决了当前人工智能中普遍存在的难以解释的痛点。
本文由 在线网速测试 整理编辑，转载请注明出处。
