3D-gjengitte ansikter er en stor del av enhver større film eller spill nå, men oppgaven med å fange og animere dem på en naturlig måte kan være vanskelig. disneyforskning jobber med måter å jevne ut denne prosessen, blant dem et maskinlæringsverktøy som gjør det mye enklere å generere og manipulere 3D-ansikter uten å dyppe ned i den uhyggelige dalen.
Selvfølgelig har denne teknologien kommet langt fra tidligere dagers treuttrykk og begrensede detaljer. Høyoppløselige, overbevisende 3D-ansikter kan animeres raskt og godt, men subtilitetene i menneskelig uttrykk er ikke bare ubegrenset i variasjon, de er veldig lett å ta feil.
Tenk på hvordan hele ansiktet til noen endrer seg når de smiler - det er forskjellig for alle, men det er nok likheter som vi tror vi kan se når noen "virkelig" smiler eller bare forfalsker det. Hvordan kan du oppnå det detaljnivået i et kunstig ansikt?
Eksisterende "lineære" modeller forenkler subtiliteten i uttrykket, og gjør "lykke" eller "sinne" minutiøst justerbare, men på bekostning av nøyaktighet - de kan ikke uttrykke alle mulige ansikter, men kan lett resultere i umulige ansikter. Nyere nevrale modeller lærer kompleksitet fra å se sammenhengen mellom uttrykk, men i likhet med andre slike modeller er deres funksjoner uklare og vanskelige å kontrollere, og kanskje ikke generaliserbare utover ansiktene de har lært av. De muliggjør ikke kontrollnivået en artist som jobber med en film eller et spill trenger, eller resulterer i ansikter som (mennesker er bemerkelsesverdig flinke til å oppdage dette) bare er off en eller annen måte.
Et team hos Disney Research foreslår en ny modell med det beste fra begge verdener – det det kaller en «semantisk dyp ansiktsmodell». Uten å komme inn på den eksakte tekniske utførelsen, er den grunnleggende forbedringen at det er en nevral modell som lærer hvordan et ansiktsuttrykk påvirker hele ansiktet, men som ikke er spesifikt for et enkelt ansikt – og dessuten er ikke-lineær, noe som tillater fleksibilitet i hvordan uttrykk samhandler med en ansiktets geometri og hverandre.
Tenk på det på denne måten: En lineær modell lar deg ta et uttrykk (et smil, eller kyss, for eksempel) fra 0-100 på et hvilket som helst 3D-ansikt, men resultatene kan være urealistiske. En nevral modell lar deg ta et innlært uttrykk fra 0-100 realistisk, men bare på ansiktet den lærte det fra. Dette modellen kan ta et uttrykk fra 0-100 jevnt på alle 3D-ansikter. Det er noe av en forenkling, men du skjønner.
Bilde Studiepoeng: disneyforskning
Resultatene er kraftige: Du kan generere tusen ansikter med forskjellige former og toner, og deretter animere dem alle med de samme uttrykkene uten ekstra arbeid. Tenk på hvordan det kan resultere i forskjellige CG-mengder du kan tilkalle med et par klikk, eller karakterer i spill som har realistiske ansiktsuttrykk, uansett om de er håndlagde eller ikke.
Det er ikke en sølvkule, og det er bare en del av et enormt sett med forbedringer kunstnere og ingeniører gjør i de forskjellige bransjene der denne teknologien brukes - markørløs ansiktssporing, bedre huddeformasjon, realistiske øyebevegelser og dusinvis flere områder av interesse er også viktige deler av denne prosessen.
Disney Research-artikkelen ble presentert på den internasjonale konferansen om 3D-syn; du kan lese hele saken her..
