3D-gerenderte Gesichter sind heutzutage ein wichtiger Bestandteil jedes großen Films oder Spiels, aber die Aufgabe, sie auf natürliche Weise zu erfassen und zu animieren, kann schwierig sein. Disney Forschung arbeitet an Möglichkeiten, diesen Prozess zu glätten, darunter ein Werkzeug für maschinelles Lernen, das ihn ermöglicht Es ist viel einfacher, 3D-Gesichter zu generieren und zu bearbeiten ohne ins unheimliche Tal einzutauchen.
Natürlich hat diese Technologie einen langen Weg von den hölzernen Ausdrücken und begrenzten Details früherer Tage zurückgelegt. Hochauflösende, überzeugende 3D-Gesichter können schnell und gut animiert werden, aber die Feinheiten des menschlichen Ausdrucks sind nicht nur unbegrenzt vielfältig, sie können auch leicht falsch verstanden werden.
Denken Sie daran, wie sich das gesamte Gesicht eines Menschen ändert, wenn er lächelt - es ist für jeden anders, aber es gibt genug Ähnlichkeiten, von denen wir glauben, dass wir erkennen können, wenn jemand „wirklich“ lächelt oder es nur vortäuscht. Wie können Sie diesen Detaillierungsgrad in einem künstlichen Gesicht erreichen?
Bestehende „lineare“ Modelle vereinfachen die Subtilität des Ausdrucks und machen „Glück“ oder „Wut“ minutiös einstellbar, jedoch auf Kosten der Genauigkeit - sie können nicht jedes mögliche Gesicht ausdrücken, können aber leicht zu unmöglichen Gesichtern führen. Neuere neuronale Modelle lernen Komplexität, indem sie die Vernetzung von Ausdrücken beobachten, aber wie andere solche Modelle sind ihre Funktionen dunkel und schwer zu kontrollieren und möglicherweise nicht über die Gesichter hinaus verallgemeinerbar, aus denen sie gelernt haben. Sie ermöglichen nicht die Kontrolle, die ein Künstler, der an einem Film oder Spiel arbeitet, benötigt, oder führen zu Gesichtern, die (Menschen sind bemerkenswert gut darin, dies zu erkennen) gerecht sind WOW! irgendwie.
Ein Team von Disney Research schlägt ein neues Modell mit dem Besten aus beiden Welten vor - das sogenannte „semantische Deep-Face-Modell“. Ohne auf die genaue technische Ausführung einzugehen, besteht die grundlegende Verbesserung darin, dass es sich um ein neuronales Modell handelt, das lernt, wie sich ein Gesichtsausdruck auf das gesamte Gesicht auswirkt, jedoch nicht für ein einzelnes Gesicht spezifisch ist - und darüber hinaus nichtlinear ist, was Flexibilität bei der Interaktion von Ausdrücken mit a ermöglicht Gesichtsgeometrie und einander.
Stellen Sie sich das so vor: Mit einem linearen Modell können Sie einen Ausdruck (z. B. ein Lächeln oder einen Kuss) von 0 bis 100 auf einem beliebigen 3D-Gesicht anzeigen. Die Ergebnisse sind jedoch möglicherweise unrealistisch. Mit einem neuronalen Modell können Sie einen gelernten Ausdruck von 0 bis 100 realistisch nehmen, aber nur auf dem Gesicht, von dem er gelernt hat. Dieser Das Modell kann auf jedem 0D-Gesicht problemlos einen Ausdruck von 100 bis 3 annehmen. Das ist eine Art Übervereinfachung, aber Sie haben die Idee.
Bildnachweis: Disney Forschung
Das Ergebnis ist beeindruckend: Sie können tausend Gesichter mit unterschiedlichen Formen und Tönen erstellen und dann alle ohne zusätzlichen Aufwand mit denselben Ausdrücken animieren. Überlegen Sie, wie dies zu unterschiedlichen CG-Massen führen kann, die Sie mit ein paar Klicks oder Charakteren in Spielen mit realistischen Gesichtsausdrücken beschwören können, unabhängig davon, ob sie von Hand gefertigt wurden oder nicht.
Es ist keine Wunderwaffe und nur ein Teil einer Vielzahl von Verbesserungen, die Künstler und Ingenieure in den verschiedenen Branchen vornehmen, in denen diese Technologie eingesetzt wird - markerlose Gesichtsverfolgung, bessere Hautverformung, realistische Augenbewegungen und Dutzende weiterer Interessensgebiete wichtige Teile dieses Prozesses.
Das Disney Research Paper wurde auf der Internationalen Konferenz für 3D-Vision vorgestellt. Sie können die ganze Sache lesen hier.
