FACEGOOD 推出10万点人脸关键点跟踪，重新定义工业级人脸3D重建

作者:face good

目前，学术界和工业界对人脸的研究有两个方向。一个是民用级，通过技术推广为用户提供低精度产品。这些技术不能满足工业水平的高精度需求，主要是因为算法泛化丢失了人脸的高频信息第二个工业层面，从面部生物力学模拟层面，不断提高准确性。FACEGOOD朝这个方向走。在适当推广技术的基础上，将人脸关键点的跟踪推向了极致。目前，精度已被推到10万的水平。该技术可用于工业级人脸变换、表情捕捉等场合

简介

人脸关键点检测已广泛应用于安全、金融、娱乐等领域。可以说，它已经成为一种非常基本的算法。让我们先回顾一下它的发展历史，蒂姆·库特斯和Chris Taylor在1995年提出了一种新的方法(主动形状模型)，它开创了面部关键点对齐的先河。ASM引入了一个统计模型来解决对齐问题。三年后，他们在此基础上开发了一个主动附着模型。这种方法具有非常重要的历史地位。当时很难知道人脸对齐问题。传统的CV算法过于粗糙，无法处理人脸的高纬度特征。AAM进入了一个正确的方向，为以后的神经网络方法奠定了基础。其基本思想是，个体模型不考虑纹理特征，而只训练地标统计模型。AAM进一步优化了ASM，并在回归过程中增加了纹理特征，从而解决了特征泛化匹配问题，使人脸对齐更加稳健二十年后，在众多研究者的不断推动下，2D人脸对齐问题得到了彻底的解决，算法也已经基于圆白菜。在github中有大量具有良好准确性的开源项目。

与此同时，两位研究人员在1998年开辟了一条新的道路。他们提出了一种三维对齐算法，将人脸对齐推进到一个新的维度。这种方法现在已经成为业界主流的算法流程。现在业界习惯称之为3DMM。虽然不严格，但我们将暂时继续使用这一定义。3DMM计算的结果是将3D点云合并并投影到人脸上。它的应用非常丰富。类似的技术被用于面部美化、面部表情捕捉、从照片生成人脸等。

公式1上图所示的

的基本思想是:一个面可以由多个不同的面线性组合而成。换句话说，给定一张脸，获得3D模型是一个系数的回归问题。知道AAM的学生一眼就能看出这个公式就是AAM公式，或者可以说这是AAM的另一个应用，其中s是平均人脸，s是特征向量，ai是权重系数Tmodel用于拟合面部纹理，也可通过线性组合获得。3DMM是一个非常早期的想法，其计算结果并不理想。现在它只能被认为是玩具级，主要是因为主成分分析的准确性损失非常严重。

2008，一篇论文的发表进一步提升了3DMM的准确性，公式1只对某一时刻的面部表情进行采样，所以在表情中没有考虑其他条件，导致准确性的损失本文增加了一个维度，称之为“双线性模型”，并在人脸上增加了表情因子，使得计算结果更加可靠。

公式2双线性公式

将系数a添加到公式1的思想中，表示不同的表达式，b表示不同的个体，w是面部数据库。因此，3DMM完成了算法流程，为Facewarehouse等未来应用奠定了基础。在下面的故事中，每个人都知道Facewarehouse引入了自己的数据库和应用程序思想。至此，我们将对以往的研究进行总结。

3DMM的缺点很明显。在技术泛化的道路上，一路奔跑忽略了人脸的许多细节，尤其是高频和低幅的表情细节，这在个体中非常明显。这种情况有两个原因。基于统计的回归是不准确的，并且是模糊的解决方案。三维数据库模型的采集大多由低成本设备生成，精度不高。总之，3DMM不能完全满足高精度应用场景的需求，也不可能达到工业级的超高精度要求。

FACEGOOD 3DMM型号

插图1 BFM和SFM型号

图2 FACEGOOD模型

为了更准确地计算人脸的3D信息，更适合工业商业场景，FACEGOOD团队以相机阵列的方式采集了100个不同个体的3D模型，每个模型有43种不同的表情以及相应的高精度皮肤材料数据。针对这些数据，建立了FACEGOOD 3DMM模型

目前，有两个开源数据库，BFM和SFM，以及一个仅用于学术研究的Facewarehouse。与这些数据库相比，FACEGOOD 3DMM主要体现在准确性上。如上图所示，通过放弃kinect等民用扫描技术并使用摄像机阵列，可以完全重建人脸的所有肖像特征。图2是FACEGOOD数据，图1是SFM数据，该数据在细节上有很大损失，并且基本上仅保留面部的一般特征。

FACEGOOD超高精度加工

神经网络的优势主要体现在技术的泛化上，但它不是高精度场合的理想选择。为了高精度地跟踪人脸的三维特征，包括人脸形状、面部特征深度和微观表情等的变化。FACEGOOD的研究人员已经使用传统算法实现了这一组方案，这些算法目前已经应用于超现实的数字人。

公式3

人脸姿态估计良好

如上面的等式3所示，基本思想是:同样基于面部可以从基本面部线性组合的假设，FACEGOOD团队已经开发了这样的算法，Cm是FACEGOOD 3DMM模型，第一步是使用高精度算法跟踪面部的2D特征点(图3)，然后在此基础上拟合面部的高精度3D模型，并通过V(wi)进一步优化3D模型，这一步的结果基本上适合面部然后继续优化。在获得具有表情的基本Eexp后，加入detaV，使3D模型完全对准人脸，获得完整、高精度的3D人脸，包括眼轮匝肌和口轮匝肌周围的精细高频微表情信息。

最后，在获得准确的3D人脸后，通过肌肉模拟算法将面部表情参数重定向到虚拟角色，完成整个过程

参考文献:

。戏剧表演中微观表达在艺术真实塑造中的作用，曹娜，衡阳师范学院音乐系，2016

泰勒与库珀与格雷厄姆(1995)。“活动形状模型——它们的训练和应用”。计算机视觉和图像理解；爱德华兹；泰勒，中央法官(1998)。''活动外观模型' '。计算机视觉——98年的ECCV。计算机科学讲义。

三维人脸和面部表情识别的双线性模型，Iordanis Mpiperis，研究员，电气和电子工程师学会，2008.

Ekman和W. Friesen。面部动作编码系统:测量面部运动的技术。咨询心理学家出版社，帕洛阿尔托，1978.

布拉德利，博士，海德里希，西，POPA，和谢弗，2010年。高分辨率被动面部表现捕捉。ACM Trans。图表。29，4(7月)，41:1–41:10.

PIGHIN，F. H .，SZELISKI，r .，AND SALESIN，D. 1999 .通过基于3D模型的跟踪重新合成面部动画。正在进行。第七届计算机视觉国际会议，希腊克尔凯拉，143–150.

WEISE，t .，BOUAZIZ，s .，LI，h .，AND PAULY，M. 2011 .基于实时表现的面部动画。美国计算机学会图形学报(会议录2011) 30，4(7月)。2008年，刘旭、毛、夏、俞、王。通过运动捕捉数据优化混合形状的面部动画。计算机动画和虚拟世界19，3-4，235-245.

LI，H .，ADAMS，B .，GUIBAS，L. J .，AND PAULY，M. 2009 .鲁棒的单视图几何和运动重建。美国计算机学会图形交易(会议录SIGRAPH Asia 2009)28，5.

BALTRUSAITIS，t .，ROBINSON，p .，AND MORENCY，L.-P. 2012 .用于刚性和非刚性面部跟踪的3D约束局部模型。《计算机视觉与模式识别》(CVPR，2012)，

，美国东窗大学和布雷格勒，2002年。使用混合形状插值的性能驱动面部动画。科技。斯坦福大学代表，

本文由 在线网速测试 整理编辑，转载请注明出处，原文链接：https://www.wangsu123.cn/news/1806.html。