3D-gerenderde gezichten maken tegenwoordig een groot deel uit van elke grote film of game, maar het kan moeilijk zijn om ze op een natuurlijke manier vast te leggen en te animeren. Disney Research werkt aan manieren om dit proces vlotter te laten verlopen, waaronder een machine learning-tool die het maakt veel gemakkelijker om 3D-gezichten te genereren en te manipuleren zonder in de griezelige vallei te duiken.
Deze technologie heeft natuurlijk een lange weg afgelegd ten opzichte van de houten uitdrukkingen en beperkte details van vroeger. Overtuigende 3D-gezichten met hoge resolutie kunnen snel en goed worden geanimeerd, maar de subtiliteiten van menselijke expressie zijn niet alleen grenzeloos qua variatie, ze zijn ook heel gemakkelijk fout te zien.
Bedenk hoe iemands hele gezicht verandert als ze glimlachen - het is voor iedereen anders, maar er zijn genoeg overeenkomsten waarvan we denken dat we kunnen zien wanneer iemand "echt" glimlacht of het gewoon doet alsof. Hoe bereik je dat detailniveau in een kunstmatig gezicht?
Bestaande "lineaire" modellen vereenvoudigen de subtiliteit van expressie, waardoor "geluk" of "woede" minutieus aanpasbaar is, maar ten koste van de nauwkeurigheid - ze kunnen niet elk mogelijk gezicht uitdrukken, maar kunnen gemakkelijk resulteren in onmogelijke gezichten. Nieuwere neurale modellen leren complexiteit door te kijken naar de onderlinge verbondenheid van uitdrukkingen, maar net als andere dergelijke modellen is hun werking onduidelijk en moeilijk te beheersen, en misschien niet generaliseerbaar buiten de gezichten waarvan ze hebben geleerd. Ze bieden niet het niveau van controle dat een artiest die aan een film of game werkt, nodig heeft, of resulteren in gezichten die (mensen zijn opmerkelijk goed in het detecteren hiervan) gewoon korting een of andere manier.
Een team bij Disney Research stelt een nieuw model voor met het beste van twee werelden - wat het een 'semantisch diep gezichtsmodel' noemt. Zonder in te gaan op de exacte technische uitvoering, is de fundamentele verbetering dat het een neuraal model is dat leert hoe een gezichtsuitdrukking het hele gezicht beïnvloedt, maar niet specifiek is voor een enkel gezicht - en bovendien niet-lineair is, waardoor flexibiliteit mogelijk is in de manier waarop uitdrukkingen omgaan met een de geometrie van het gezicht en elkaar.
Zie het op deze manier: met een lineair model kunt u een uitdrukking (bijvoorbeeld een glimlach of kus) van 0-100 op elk 3D-gezicht gebruiken, maar de resultaten kunnen onrealistisch zijn. Met een neuraal model kunt u een aangeleerde uitdrukking van 0-100 realistisch nemen, maar alleen op het gezicht waarvan het het heeft geleerd. Deze model kan een uitdrukking van 0-100 vloeiend aannemen op elk 3D-gezicht. Dat is een beetje een overdreven vereenvoudiging, maar je snapt het wel.
Afbeelding Credits: Disney Research
De resultaten zijn krachtig: je zou duizend gezichten met verschillende vormen en tonen kunnen genereren en ze allemaal met dezelfde uitdrukkingen kunnen animeren zonder extra werk. Bedenk hoe dat zou kunnen resulteren in diverse CG-menigten die je met een paar klikken kunt oproepen, of personages in games met realistische gezichtsuitdrukkingen, ongeacht of ze met de hand zijn gemaakt of niet.
Het is geen wondermiddel, en het is slechts een deel van een enorme reeks verbeteringen die kunstenaars en ingenieurs aanbrengen in de verschillende industrieën waar deze technologie wordt gebruikt - markeerloze gezichtsherkenning, betere huidvervorming, realistische oogbewegingen en tientallen andere interessegebieden zijn ook belangrijke onderdelen van dit proces.
De Disney Research paper werd gepresenteerd op de International Conference on 3D Vision; je kunt het volledige ding lezen hier.
