10万视频，所有图像均获授权，Facebook创建大规模Deepfake数据集
最后更新：2020-06-23 10:33:32 手机定位技术交流文章
不久前，由脸谱网主办的深度假货检测挑战(DFDC)结束了。最近，脸谱网写了一篇文章，介绍它建立的大规模深度假数据集DFDC。
数据集经常有关于版权和隐私的争议。脸书建立了这个数据集来避免这方面的风险。它包含的所有数据都是由图像所有者自己授权的。
深度假货是一种新出现的直接可用的视频变脸技术。除了深度假像，还有大量基于GAN的人脸变换方法(带编码)。
这些技术对人们的隐私和安全构成了威胁。为了应对这种威胁，脸书创建了一个大型的改变面孔的视频数据集DFDC，以支持深度假货检测模型的培训，并组织了深度假货检测挑战。
该数据集的亮点在于，所有对象都同意数据集使用其图像或视频，并允许在数据集构建过程中修改其数据。
DFDC数据集是目前可公开获得的最大的变脸视频数据集，包含来自3，426名付费演员的100，000多个视频剪辑。这些视频是由各种深假，GAN和非学习方法生成的。
深度假数据集的规模比较。无论帧数或视频数如何，DFDC数据集都比其他数据集大一个数量级。
接下来，让我们看看DFDC数据集的构建过程和方法。
源数据
深度假或变脸数据集中的许多片段来自非自然环境，如新闻或简报室。此外，视频中的角色可能根本没有授权数据集使用他们的面部图像或视频。
基于此，脸书没有使用公开的视频来建立数据集。取而代之的是，它首先从一些人那里获得录制视频的授权，使用视频来构建机器学习数据集，并使用机器学习模型来处理他们的面部图像。
为了反映深度假视频对未知人群造成的潜在危害，这组数据中的视频是在没有专业照明或化妆的自然环境中录制的。然而，高分辨率摄像机被用于视频记录。
此数据集中的源数据包括:
3，426个对象，每个对象平均记录14.4个视频，其中大多数具有1080p的分辨率；
48，190个视频，每个平均长度为68.8秒，总共38.4天；
原始数据超过25 TB。
下表显示了不同深度假数据集的定量比较:
由此可见，DFDC数据集规模最大，涉及的对象数量最多，并且得到了所有对象的授权。
数据集创建器使用内部人脸跟踪和对齐算法预处理源视频，剪切和对齐所有人脸帧，并调整大小至256x256像素。
数据集创建中的人脸变换方法
数据集使用多种方法来生成变脸视频。这些方法涵盖了创建数据集时一些最流行的变脸技术。每种方法生成的视频数量是不相等的，生成变化最多的人脸视频的方法是深度假自动编码器(DFAE)。
具体而言，在DFDC数据集创建过程中使用的面部变化方法包括:
DFAE:深假自编码器(DF-128，DF-256)。数据集创建过程中使用的模型的输入/输出分辨率为128x128和256x256。
人脸变换:基于自定义框架的可变形面具模型。
在少镜头和单镜头的学习环境中，会生成一个真实的说话人头像。
数据集构成
训练集:训练集包括119，154个10秒的视频剪辑，涉及486个不同的对象。其中，10万个视频包含深度假货内容，这意味着数据集中83.9%的视频是复合视频。这些深度假像视频是由DFAE，MM/NN人脸交换，NTH和FSGAN方法生成的，没有任何数据增强。
验证集:验证集是用于计算DFDC竞赛排行榜位置的公共测试集。该数据集包含4000个10秒视频，其中一半(2000个视频)包含深度假货。验证集包含214个不同的对象，它们与训练集不一致。此外，在这个数据集中使用的深度假货生成方法比以前多了一个项目-stylegan。该数据集中约79%的视频应用了数据增强技术。
测试集:私人测试集包含10，000个10秒的视频。像公共测试集一样，其中一半是深度假货视频。然而，两者的区别在于，私有测试集中一半的视频来自网络，另一半来自源数据。
读者可在以下地址查看DFDC竞赛中使用的数据:
https://www.kaggle.com/c/deepfake-detection-challenge/data
数据增强
脸书团队使用各种数据增强技术，如几何变换或干扰。主要的增强方法如下:
干扰:叠加各种物体(图像、形状、文本等))在视频上；
增强:应用几何变换、颜色变换、帧速率变化等。视频。
有关数据增强的示例，请参见下图:
论文链接:https://arxiv.org/pdf/2006.07397.pdf
本文由 在线网速测试 整理编辑，转载请注明出处。
