3Dレンダリングされた顔は、現在、主要な映画やゲームの大きな部分を占めていますが、自然な方法で顔をキャプチャしてアニメーション化する作業は難しい場合があります。 ディズニーリサーチ このプロセスをスムーズにする方法に取り組んでいます。その中には、それを実現する機械学習ツールがあります。 3D面の生成と操作がはるかに簡単 不気味の谷に浸ることなく。
もちろん、このテクノロジーは、昔の木製の表現や限られたディテールから大きく進歩しました。 高解像度で説得力のある3D顔は、すばやくうまくアニメーション化できますが、人間の表現の微妙さは、多様性が無限であるだけでなく、間違えやすいものです。
誰かが微笑むと顔全体がどのように変化するかを考えてみてください。それは人によって異なりますが、誰かが「本当に」微笑んでいるとき、または単にそれを偽造しているときにわかるほどの類似点があります。 人工顔でそのレベルの詳細をどのように達成できますか？
既存の「線形」モデルは表現の微妙さを単純化し、「幸福」または「怒り」を微調整可能にしますが、正確さを犠牲にして、すべての可能な顔を表現することはできませんが、簡単に不可能な顔になる可能性があります。 新しいニューラルモデルは、表現の相互接続性を監視することで複雑さを学習しますが、他のそのようなモデルと同様に、それらの動作はあいまいで制御が難しく、おそらく学習した顔を超えて一般化することはできません。 それらは、映画やゲームのニーズに取り組んでいるアーティストのレベルの制御を可能にしないか、（人間はこれを検出するのが非常に得意です）ただの顔になります オフ どういうわけか。
ディズニーリサーチのチームは、「セマンティックディープフェイスモデル」と呼ばれる、両方の長所を備えた新しいモデルを提案します。 正確な技術的実行に入る必要はありませんが、基本的な改善点は、顔の表情が顔全体にどのように影響するかを学習する神経モデルですが、単一の顔に固有ではありません。さらに、非線形であるため、表情が顔のジオメトリとお互い。
このように考えてください。線形モデルを使用すると、任意の0D顔で100から3までの表現（笑顔やキスなど）をとることができますが、結果は非現実的である可能性があります。 ニューラルモデルを使用すると、0から100までの学習済み表現を現実的に取得できますが、それは学習した顔だけです。 この モデルは、任意の0D面で100〜3の式をスムーズに取ることができます。 それは過度に単純化されたものですが、あなたはその考えを理解します。
画像のクレジット： ディズニーリサーチ
結果は強力です。さまざまな形やトーンのXNUMXの顔を生成し、余分な作業をせずにすべてを同じ表現でアニメーション化できます。 それが、数回クリックするだけで呼び出すことができる多様なCG群集、または手作りであるかどうかに関係なくリアルな表情を持つゲームのキャラクターにどのようにつながるかを考えてください。
これは特効薬ではなく、このテクノロジーが採用されているさまざまな業界でアーティストやエンジニアが行っている一連の膨大な改善の一部にすぎません。マーカーのない顔の追跡、より良い肌の変形、リアルな眼球運動、その他数十の関心領域もあります。このプロセスの重要な部分。
ディズニーリサーチの論文は、3Dビジョンに関する国際会議で発表されました。 あなたは完全なものを読むことができます こちら.
