Les visages rendus en 3D font désormais partie intégrante de tout film ou jeu majeur, mais la tâche de les capturer et de les animer de manière naturelle peut être difficile. Disney Recherche travaille sur des moyens de faciliter ce processus, parmi lesquels un outil d'apprentissage automatique qui le rend beaucoup plus facile à générer et à manipuler des visages 3D sans plonger dans l'étrange vallée.
Bien sûr, cette technologie a parcouru un long chemin depuis les expressions en bois et les détails limités d'autrefois. Des visages 3D haute résolution et convaincants peuvent être animés rapidement et bien, mais les subtilités de l'expression humaine ne sont pas seulement illimitées en variété, elles sont très faciles à se tromper.
Pensez à la façon dont tout le visage de quelqu'un change lorsqu'il sourit - c'est différent pour tout le monde, mais il y a suffisamment de similitudes pour que nous puissions dire quand quelqu'un sourit "vraiment" ou fait semblant. Comment pouvez-vous atteindre ce niveau de détail dans un visage artificiel ?
Les modèles « linéaires » existants simplifient la subtilité de l'expression, rendant le « bonheur » ou la « colère » minutieusement ajustables, mais au détriment de la précision ; ils ne peuvent pas exprimer tous les visages possibles, mais peuvent facilement aboutir à des visages impossibles. Les nouveaux modèles neuronaux apprennent la complexité en observant l'interdépendance des expressions, mais comme d'autres modèles de ce type, leur fonctionnement est obscur et difficile à contrôler, et peut-être non généralisable au-delà des visages dont ils ont appris. Ils ne permettent pas le niveau de contrôle dont un artiste travaillant sur un film ou un jeu a besoin, ou donnent des visages qui (les humains sont remarquablement bons pour détecter cela) sont juste de rabais en quelque sorte.
Une équipe de Disney Research propose un nouveau modèle avec le meilleur des deux mondes – ce qu'elle appelle un "modèle de visage profond sémantique". Sans entrer dans l'exécution technique exacte, l'amélioration de base est qu'il s'agit d'un modèle neuronal qui apprend comment une expression faciale affecte l'ensemble du visage, mais n'est pas spécifique à un seul visage - et de plus est non linéaire, permettant une flexibilité dans la façon dont les expressions interagissent avec un la géométrie du visage et les uns des autres.
Pensez-y de cette façon : un modèle linéaire vous permet de prendre une expression (un sourire ou un baiser, par exemple) de 0 à 100 sur n'importe quel visage 3D, mais les résultats peuvent être irréalistes. Un modèle neuronal vous permet de prendre une expression apprise de 0 à 100 de manière réaliste, mais uniquement sur le visage à partir duquel elle l'a apprise. Ce Le modèle peut prendre une expression de 0 à 100 en douceur sur n'importe quel visage 3D. C'est quelque chose d'une simplification excessive, mais vous voyez l'idée.
Générique de l'illustration: Disney Recherche
Les résultats sont puissants : vous pouvez générer un millier de visages avec des formes et des tons différents, puis les animer tous avec les mêmes expressions sans aucun travail supplémentaire. Pensez à la façon dont cela pourrait entraîner diverses foules de CG que vous pouvez invoquer en quelques clics, ou des personnages dans des jeux qui ont des expressions faciales réalistes, qu'ils aient été fabriqués à la main ou non.
Ce n'est pas une solution miracle, et ce n'est qu'une partie d'un vaste ensemble d'améliorations que les artistes et les ingénieurs apportent dans les diverses industries où cette technologie est utilisée - suivi du visage sans marqueur, meilleure déformation de la peau, mouvements oculaires réalistes et des dizaines d'autres domaines d'intérêt sont également parties importantes de ce processus.
L'article de Disney Research a été présenté à la Conférence internationale sur la vision 3D ; tu peux tout lire ici.
