【AI换脸】为什么AI换脸剧的效果还这么渣？
最后更新：2020-04-15 12:28:22 手机定位技术交流文章
这张照片是由人工智能变脸技术合成的
"科技改变追星生活."
最近，在B站出现了几段路汉艾变脸的视频，因为变脸后的面部轮廓和表情都很自然，而鹿晗本人也值得一提，很多网友自称是鹿晗的艾迷。
这些视频中的大部分是由UPmaster制作和上传的，大约需要4分钟。
与此同时，人工智能的变脸也在几天前被推到古装网络剧《3000只乌鸦被杀》的热门搜索中，该剧迎来了大结局。剧中变脸的角色“青青”就没那么幸运了。不仅没有人工智能粉，而且从节目一开始，网民们就因为“糟糕的技术”而“蜂拥”到车祸现场。诸如“为了5美分而变脸”、“画面有点怪异”和“一个人毁了整出戏”等评论充斥着接二连三的微博评论。
《三千只乌鸦》中的人工智能变脸效应
变脸的原因是在剧中扮演“青青”的刘璐因在公共场所闹事而被拘留。现在代替刘璐扮演青青的演员是张鼎鼎。然而，效果并不令人满意。换脸后的人物面部特征明显大于普通人，面部表情僵硬，面部边缘模糊扭曲。
“可以理解的是，电影方面想挽回‘坏艺术家’造成的损失，但处理方法太差。如果选择人工智能换脸，至少可以达到上一站B中“换脸哥”混合切割的效果，结果显示出美图秀秀的水平，脸部扭曲，表情僵硬，头颈颜色完全分离。”在影视行业工作了6年的陈清告诉CNBC。
人工智能变脸已经不是第一次在国内电影和电视剧中使用了。2019年，《诸神之恋》、《辉煌时代》、《长安十二小时》以及刚刚结束的《时光与你是甜蜜的》都使用了这一技术，但效果并不理想。
简而言之，这是一种技术，首先通过视频/图片捕捉一个演员的面部表情，然后通过转码“改变”另一个演员的面部表情。在此之前，这项技术进入了公众视野。2019年，在94版的《射雕英雄传》中，B站的上一代“变脸兄弟”将朱茵的脸换成了迷你杨的脸，在朋友圈中，莫言的ZAO应用掀起了“变脸”浪潮。
很多业内人士告诉CNFE，《3000只乌鸦》中的变脸效果并不理想，但背后的技术原因并不简单。与ZAO相比，在这部电影和电视剧中被“众人嘲笑”的人工智能变脸操作是无效的？人工智能变脸的代价是什么？自娱自乐的效果令人满意。一旦它上市，“出丑”。这项技术真的有应用市场吗？
快速了解要点:
《3000只乌鸦绝杀》背后的变脸团队本应该基于DeepFake的开源算法进行一些优化，但是在表情和动作方面存在一些问题，尤其是在面部边缘处理方面，所以用户感觉效果很僵硬。
ZAO是开卷考试。所有的主题都已经完成并且众所周知。然而，电影和电视剧中的人工智能变脸属于闭卷考试。我从来没有学过任何一个话题，但我只是用我学到的一些知识和经验再做一次。自然，效果差距非常大。
目前市场上人工智能换脸的价格约为15000元/分钟，人工换脸的价格超过10万元/分钟。即使是简单的内容，最低的市场报价也是每分钟5万到6万元。
很少有公司单独面对不断变化的业务，因为研发成本不会被其他着陆项目分摊，这使得利润变得困难。
1.人工智能的变脸技术，被大众嘲笑，不比ZAO好多少？
人工智能变脸技术首次出现在2017年，也被称为“深假”。简而言之，就是通过人工智能深度学习技术，用另一张脸代替视频中出现的脸。这项技术的创始人是一个名为“深假”的开发者。同年，他开启了这项技术的源头，他的名字成为了人工智能变脸技术的统称。
智能交互式视频播放器技术平台Video++ technology的联合创始人董会智告诉傅晶，DeepFake算法的弱点在于对面部边缘的处理，尤其是夸张的面部表情，还没有得到深度处理，所以每个公司在实际使用中都要自己做一些优化处理。
从“3000只乌鸦杀人”的变脸效果来看，他说，“背后的变脸团队应该基于DeepFake的开源算法做了一些优化，但是优化效果不是特别好，而且在面部表情和动作上还存在一些问题，特别是在面部边缘的处理上，所以从用户的角度来看效果确实很僵硬。”
“3000只乌鸦被杀”在微博上被“众人嘲笑”是为了改变人工智能的角色
这一次人工智能变脸的效果也被许多用户与曾经流行的变脸工具ZAO相比较。
2019年8月30日，“只需要一张照片就能播放世界最佳节目”的联合早报推出。它也是基于深度假算法开发的产品之一。
zaoap的功能介绍
莱利智能真来产品负责人唐家鱼表示:“事实上，ZAO的大部分视频都不太擅长面部边缘处理，据估计，从建模过程中获得的特征并不特别好。”
虽然ZAO的效果看起来稍微好一点，但这并不一定意味着技术更好，因为两者使用不同的场景和不同的困难。
“人工智能技术的核心在于培训过程。训练好的模型应用于同一领域。许多算法的准确率可以接近100%，这是人工智能的优势。但缺点是与人类相比，人工智能的联想能力很弱，几乎没有未经训练的内容董慧芝说道。
众所周知，ZAO允许用户换脸的影视剧片段都是特定场景，即技术难度相对较小。董慧芝分析说，落后ZAO训练需要很长时间。有必要从视频库中选择片段，对男女主角的面部进行长期学习和训练，不断调整参数，离线预处理后上线。用户的使用效果自然很好。
然而，在电影和电视剧中临时变脸更难。对于一部未经训练的电影和电视剧来说，在短时间内分批换脸是必要的。董慧芝告诉CNFE，人工智能分为两个阶段:训练和推理。预训练过程非常长，可能需要一到两周甚至几个月，而推理过程需要几百毫秒。因此，一般来说，提供技术的人工智能公司受到成本和时间要求的限制，只能使用有限的样本来训练模型。然而，在推理时，他们面对的是大量多样化的视频，效果并不特别理想。
董会之认为，两者在难度上的差异就相当于ZAO是一场开卷考试，所有的题目都已经做了，都是众所周知的。然而，电影和电视剧中的人工智能变脸属于闭卷考试。我从未学过任何一个话题。我只是用我学到的一些知识和经验再做一次。自然，效果差距非常大。
2.2的真实水平和成本。人工智能变脸
唐家鱼认为，电视剧《人工智能》中变脸的效果与剧中人物的正面角度和光照条件直接相关。换句话说，如果采用更前沿的算法，在上述两种情况下，数据采集就足够了，最终的建模效果会更好，这基本上是肉眼难以分辨的，除非场景非常复杂，比如人脸被树叶遮挡，这需要以后的人工恢复。
“我在剧中看过一些场景(3000只乌鸦被杀)。这些角色都是从相对正面的角度拍摄的，光线看起来很好。在这种情况下，变脸仍然不合适，这表明这项技术真的很普通。”唐嘉鱼说道。
那么，为什么我们会在B站看到上一代大师的作品“兄弟变脸”和“人工智能鹿晗”，而许多好莱坞作品可能会与假作品混淆？
“有点炫耀。”董慧芝认为，B站的上一代“换脸兄弟”(94版《神雕侠侣》中用迷你杨代替的脸)的工作，后期应进行手工处理，并效仿一些好莱坞特效软件，人工干预，耗时长，成本高。
在94版的《射雕英雄传》中，朱茵的脸被迷你杨取代。
那么，人工智能公司是否有可能在接受了电影和电视剧中的换脸任务后再培训和申请呢？答案是肯定的，但是要确保训练足够快。“这样做是不经济的。这相当于要求顶级国际设计师设计每一栋小房子。成本太高。”董慧芝接着说道。
在好莱坞电影史上，“变脸”技术早已被广泛应用于电影和电视剧中，即便是创造一个虚拟的真人，成本当然也是惊人的。
最具代表性的是2015年的《速度与激情7》，它直接“复活”了已故明星保罗·沃克。据此前外国媒体报道，仅电脑生成图像(CGI)就将这部电影的制作成本从最初计划的2亿美元提高到2.5亿美元。
2019年的电影《双子座男人》将电脑合成技术向前推进了一步，创造了一个已经23岁的威尔·史密斯，并与现实生活中51岁的威尔·史密斯展开了激烈的战斗。
这不是一个简单的男主角威尔·史密斯的脸的“年龄减少”，而是皮肤、骨骼、眼睛和牙齿光泽的重建。
真假威尔·史密斯在《双子座男人》中的亲密打斗场景
为了达到这种效果，首先需要进行数据准备，并且通过传感器收集具有不同面部姿势、角度、表情和光照的演员的面部图像。其次，需要特殊的数据处理，通过计算机进行数字尺寸转换。最后，根据计算机系统面部表情变化的特征点重构虚拟图像。当然，在建模时，生产部门会参考威尔·史密斯年轻时拍摄的大量照片。
真假威尔·史密斯的近距离战斗只花了4分钟，但后来的团队花了9个月时间来调整和完善它。难度和成本都很高。据说，仅这个CGI角色的制作成本就是威尔·史密斯的两倍。
在成本方面，此前有媒体报道称，目前人工智能换脸的市场价格约为15000元/分钟，人工换脸的价格超过10万元/分钟。即使是简单的内容，最低的市场价格也是每分钟5万到6万元。
唐家峪从不同角度分摊了艾变脸的费用。一方面，这是计算的成本。它要求高性能和一定数量的GPU，并且硬件的价格相对较高。另一方面是拍摄、收集各种照片和模特的费用。此外，在事件发生后处理一些阻塞情况也需要一些人工成本。
人工换脸的成本自然更高。“如果我现在是一名电影制作人，演员有问题，我绝对不会手动换脸。通常一秒钟有230帧，每帧都需要手动更改，这太昂贵了。”唐嘉鱼说道。
换句话说，人工智能变脸是在紧急情况下拯救国内电影和电视行业的一种经济有效的方法，这种情况需要更换演员。
3.3的商业前景如何？人工智能变脸？
《三千只乌鸦》中的人工智能变脸效应
据娱乐资本矩阵富国影视档案报道，《3000只乌鸦被杀》背后的人工智能变脸技术提供商是一家被资本市场认可的公司，市值数十亿元，但它并不专门从事影视项目，因此不擅长在影视剧中进行人工智能变脸。
“很少有公司能独自改变人工智能的面貌，这使得利润变得非常困难，因为没有其他着陆项目来摊销研发成本。”董慧芝告诉CNBC，除了成本和技术成熟度，对于人工智能面临的技术变化，供需双方的理解和期望也有很大差异。
“不仅用户，包括电影和电视剧的制作人和导演，不太了解人工智能变脸技术。他们对电影和电视剧期望过高，因为他们认为“因为ZAO做得很好”他认为，这也是制约行业发展的一个非常重要的因素。
但总的来说，董会之表示，人工智能变脸技术在行业中有两种主要的商业模式。
一种是向大型视频平台和生产商出口技术，这类似于定制开发。收取许可费+维护费。这种方法成本高，价格高，通常在几百万左右。另一种是按单个需求的工作量收费(换多少张脸，总共换多少秒)，这通常是电影和电视剧制作人的要求，由技术公司来实现。
特别是关于极限链技术视频++方面，董慧芝透露“人工智能变脸”只是公司几十个产品中的一个，因此80%的研发成本是共享的，边际成本更低。
然而，为了扩大商业化的范围，隐私是一个不可分割的话题。在此之前，非常受欢迎的ZAO被一个接一个地抛弃，因为用户担心信息泄露和欺诈，因为上传的照片不能被删除。
与ZAO类似，极链技术视频++的商业化方向之一是面向终端用户的技术解决方案，即让用户上传他们的照片，并与他们的偶像相对而玩。董慧芝向CNFE透露，一方面可以直接与影视播出平台合作，也可以链接大型平台的粉丝群体。它将来会有一定的商业价值。当然，它也将借鉴ZAO的经验。“ZAO最大的问题是保存人脸图像，这导致了隐私侵犯。我们会注意避免这个问题。”
此外，极限链技术Video++有两个商业方向，即，用人脸表情和在短视频/直播中再现角色。
后者的应用需求随着b站同事的创建而上升，一般来说，短视频/直播中的角色被卡通面孔、GIF表情包等所取代。这个方向也在2018年掀起了“虚拟锚”的热潮。由于媒体、教育、医疗、娱乐、客户服务等领域和场景都不适用，搜狗、HKUST迅飞、斗鱼等大公司都进入了试水现场。
唐家峪提供了另一个商业方向。
众所周知，深假的开源降低了人工智能变脸的技术门槛，但相应的黑色产品也在快速增长。各种变脸色情视频和软件教程层出不穷。在中国，软件和技术的上游供应商、视频、照片定制的中游供应商、成品视频的下游销售商，甚至一些企业都在整个产业链中开展业务。
越来越多的人开始抵制人工智能变脸。风险在于人工智能变脸后的合成照片和视频不能被人眼单独识别。其中一些甚至不能通过单一的技术模型来识别，并且可以很容易地作为真实信息重新传输。因为除了深度假人脸之外，最常用的人工智能人脸变换算法包括面交换和面2人脸，不同算法产生的结果差异很大。
那么“反黑”，即使用鉴别算法来打击假冒商品，是一个很好的商业方向。最著名的外国公司是总部设在阿姆斯特丹的初创公司Deeptrace。在中国，RealAI是第一家涉足这一领域的公司，并于去年年底正式推出了一款深度伪造视频检测工具。目前，瑞莱已经在金融行业制定了反欺诈解决方案，主要应用于信用风险控制领域。
一般来说，影视行业是人工智能变脸技术比较容易落地的场景，但目前需求有限。随着机器学习算法的快速学习和发展，人工智能变脸从业者需要做的是在电影特效和入门级应用之间找到性价比和安全性最高的商业领域，前者需要花钱，后者对每个人都适用。
*标题地图来自比利土普王艾王子。在受访者的要求下，陈清被赋予了一个假名。
本文由 在线网速测试 整理编辑，转载请注明出处。
