巅峰|高保真换脸让沈腾重回颜值巅峰！重建人脸3D信息，浙大、厦大、腾讯优图联合出品
明敏 发自 凹非寺
量子位 报道 | 公众号 QbitAI
能让沈腾减肥成功、重回颜值巅峰：
文章图片
让安妮·海瑟薇变身帅气小哥：
文章图片
还能让Yoshua Bengio奔驰在绿茵草地上：
文章图片
你没猜错 ， 这又是换脸的“魔法” 。
而且这效果也太自然了吧！
即便是不同性别、不同脸型 ， 换脸后也毫不违和 。
除了脸型以外 ， 面部的线条感也能被自然复现 。
把赫敏换脸成卷福 ， 看起来都没什么违和感 。
文章图片
甚至脸上有遮挡也没关系 ， 马斯克摇身一变成为异域女郎：
文章图片
不止是图片 ， 在视频里的效果也非常自然：
文章图片
用3D信息重塑面部结构
以上这些效果 ， 都是用 HifiFace这种新型换脸方法实现的 。
而它的秘诀就在于利用 三维几何结构信息 。
以往的换脸方法主要是重建面部的纹理 ， 而不是结构；
这会导致在一些情况下 ， 下颌线或颧骨的部分会出现不自然的效果 ， 仿佛戴了个面具一样 。
想要解决这些问题 ， 面部的3D信息就变得非常重要 。
文章图片
然后把得到的几何数据输入到编码器-解码器模型中 ， 与目标面部的表情、特征融合 。
与此同时 ，SFF模块还能把生成人脸的质量进一步提升 。
它主要用编码器来保留源脸的空间、纹理等低级特征 ， 以保留更多信息 。
这样一来 ， HifiFace就不用以源脸的轮廓作为强制边界 ， 而是在面部边缘自适应融合 。
从而能很好解决面部被遮挡或光线上的问题 ， 最后达到 高保真的效果 。
△模块细节
光说不练假把式 。
在与一些现有换脸方法的对比中 ， 我们能看到HifiFace的效果有了明显的提升 。
文章图片
从对比中可以看出：
FSGAN在脸型上实现的效果不错 ， 但是在面部光线的处理上不尽人意 。
SimSwap则并没有很好将源图中的面部特征转换出来 。
FaceShifter相较于上两个模型效果略好 ， 但是在表情和肤色的还原上 ， 还是不如HifiFace 。
在数据上 ， HifiFace换脸后保留的身份信息在几个方法中最多 ， 脸型上的差距也是最小的 。
文章图片
而在HifiFace和FaceShifter生成样本的脸型差异对比中 ， 当源脸和目标脸在轮廓上差异很大时 ，HifiFace明显优于Facehifter 。
目前HifiFace专注的方向为面部线条上优化 ， 还未开发全头替换（包含头发）的功能 。
它由腾讯优图实验室、浙江大学、厦门大学联合开发 ， 现已被IJCAI 2021成功收录 。
论文地址：
【巅峰|高保真换脸让沈腾重回颜值巅峰！重建人脸3D信息，浙大、厦大、腾讯优图联合出品】https://arxiv.org/abs/2106.09965
参考链接：
https://www.unite.ai/new-deepfake-method-hififace/
经验总结扩展阅读
- 双麻花辫 换发型=换脸？这几款编发不得不学，你适合哪一款？
- 下巴骨相化妆=换脸？合适自己才最有效
- 玛吉张杰主任：新年“换脸”，热玛吉和线雕哪个最值得做？
- 焦虑症 3种换发型的方法，掌握好了就像换脸，一定别错过
- 发型3种换发型的方法，掌握好了就像换脸，一定别错过
- 赵丽颖顶流女星卸妆前后对比照，有的并无差异，有的却恍若换脸
- 发型 2022发型这样剪，变美很简单，堪比换脸颜值翻倍
- 巅峰江疏影高学历高颜值高身材，三高美到了巅峰
- 总决赛逐美巅峰，决战羊城 | 远想生物问题肌案例新星赛总决赛圆满收官！
- 大姐60岁大姐面部提升真实经历：术后10天换脸实拍，为了美她也是拼了