和风网标志

灵活的表情可以将 3D 生成的面孔从恐怖谷中提升出来

日期:

3D 渲染的面部现在是任何主要电影或游戏的重要组成部分,但以自然方式捕捉和动画化它们的任务可能是一项艰巨的任务。 迪士尼研究 正在研究使这一过程顺利进行的方法,其中包括一种机器学习工具 更容易生成和操作 3D 面 没有陷入恐怖的山谷。

当然,这项技术与早期的木制表情和有限的细节相比已经有了很长的路要走。 高分辨率、令人信服的 3D 人脸可以快速且良好地制作动画,但人类表情的微妙之处不仅种类繁多,而且很容易出错。

想一想当某人微笑时,他的整张脸是如何变化的——每个人的情况都不一样,但是我们认为我们可以分辨出某人是“真的”微笑还是只是假装微笑。 你如何才能在人造人脸中达到这种细节水平?

现有的“线性”模型简化了表达的微妙性,使“快乐”或“愤怒”可以微调,但以准确性为代价——它们不能表达每一个可能的面孔,但很容易导致不可能的面孔。 较新的神经模型通过观察表情的相互联系来学习复杂性,但与其他此类模型一样,它们的工作方式晦涩难懂且难以控制,并且可能无法推广到它们所学习的面部之外。 它们无法实现艺术家制作电影或游戏所需的控制水平,或者导致面部(人类非常擅长检测这一点)只是 折扣 不知何故。

迪斯尼研究中心的一个团队提出了一种两全其美的新模型——它称之为“语义深度面部模型”。 在不涉及确切的技术执行的情况下,基本的改进是它是一个神经模型,可以学习面部表情如何影响整个面部,但并不特定于单个面部——而且是非线性的,允许表情如何与面部表情交互的灵活性。面的几何形状和彼此。

可以这样想:线性模型可以让您在任何 0D 脸上拍摄 100 到 3 之间的表情(例如微笑或亲吻),但结果可能不切实际。 神经模型可以让你真实地从 0 到 100 获取一个学习的表情,但仅限于它学习它的面部。 本篇 模型可以在任何 0D 面上平滑地获取 100-3 的表情。 这有点过于简单化了,但你明白了。

计算机生成的面孔都连续呈现相似的表情。

图片来源: 迪士尼研究

结果非常强大:您可以生成一千张具有不同形状和色调的面孔,然后使用相同的表情为所有面孔设置动画,而无需任何额外工作。 想想这会如何导致您只需点击几下即可召唤出多样化的 CG 人群,或者游戏中的角色无论是否手工制作,都具有逼真的面部表情。

这不是灵丹妙药,它只是艺术家和工程师在使用该技术的各个行业中所做的大量改进的一部分——无标记面部跟踪、更好的皮肤变形、逼真的眼球运动和几十个感兴趣的领域。这个过程的重要部分。

迪士尼研究论文在 3D 视觉国际会议上发表; 你可以阅读全文 点击此处.

资料来源:https://techcrunch.com/2020/11/25/flexible-expressions-could-lift-3d-generated-faces-out-of-the-uncanny-valley/

现货图片

最新情报

现货图片