Zephyrnet logo

Joustavat lausekkeet voisivat nostaa 3D-generoidut kasvot outosta laaksosta

Treffi:

3D-renderoidut kasvot ovat iso osa mitä tahansa suurta elokuvaa tai peliä nyt, mutta tehtävä siepata ja animoida ne luonnollisella tavalla voi olla vaikea. Disney Research kehittää tapoja tasoittaa tätä prosessia, muun muassa koneoppimisen työkalun, joka tekee siitä paljon helpompaa luoda ja käsitellä 3D-kasvoja upottamatta upeaan laaksoon.

Tietenkin tämä tekniikka on kulkenut pitkän matkan aikaisempien päivien puulausekkeista ja rajoitetuista yksityiskohdista. Korkean resoluution vakuuttavat 3D-kasvot voidaan animoida nopeasti ja hyvin, mutta ihmisen ilmaisun hienovaraisuudet eivät ole vain rajattomat, vaan ne on helppo saada väärin.

Ajattele, kuinka jonkun koko kasvot muuttuvat hymyillen - se on erilainen kaikille, mutta on tarpeeksi yhtäläisyyksiä, jotka haluamme kertoa, kun joku "todella" hymyilee tai vain väärentää sitä. Kuinka voit saavuttaa tämän yksityiskohtaisuuden keinotekoisissa kasvoissa?

Olemassa olevat "lineaariset" mallit yksinkertaistavat ilmaisun hienovaraisuutta ja tekevät "onnesta" tai "vihasta" tarkasti säädettävissä, mutta tarkkuuden kustannuksella - ne eivät voi ilmaista kaikkia mahdollisia kasvoja, mutta voivat helposti johtaa mahdottomiin kasvoihin. Uudemmat hermomallit oppivat monimutkaisuuden tarkkailemalla lausekkeiden yhteenliitettävyyttä, mutta kuten muutkin tällaiset mallit, niiden toiminta on hämärää ja vaikeasti hallittavissa, ja ehkä ei yleistettävissä niiden kasvojen ulkopuolella, joilta he oppivat. Ne eivät mahdollista elokuvan tai pelin parissa työskentelevän taiteilijan hallinnan tasoa tai johtavat kasvoihin, jotka (ihmiset ovat huomattavan hyviä havaitsemaan tämän) ovat vain pois jollakin tavalla.

Disney Researchin tiimi ehdottaa uutta mallia, jossa on molempien maailmojen parhaat puolet - mitä se kutsuu "semanttisiksi syvän kasvomalliksi". Ilman tarkkaa teknistä suoritusta perusparannus on, että se on hermomalli, joka oppii, kuinka kasvojen ilme vaikuttaa koko kasvoihin, mutta ei ole spesifinen yksittäisille kasvoille - ja lisäksi se on epälineaarinen, mikä sallii joustavuuden ilmeiden vuorovaikutuksessa kasvojen geometria ja toiset.

Ajattele sitä tällä tavalla: Lineaarisen mallin avulla voit ottaa lausekkeen (hymyn tai suudelman, esimerkiksi) välillä 0–100 millä tahansa 3D-kasvolla, mutta tulokset voivat olla epärealistisia. Neuraalimallin avulla voit ottaa oppitun lausekkeen 0-100 realistisesti, mutta vain kasvoilla, jolta se oppinut. Tämä malli voi ottaa lausekkeen 0–100 tasaisesti kaikilla 3D-kasvoilla. Se on jotain yksinkertaistamista, mutta saat idean.

Tietokoneella luodut kasvot ottavat kaikki samanlaiset lausekkeet peräkkäin.

Kuva Laajuus: Disney Research

Tulokset ovat tehokkaita: Voit luoda tuhat kasvot, joilla on erilainen muoto ja sävy, ja animoida ne kaikki samalla ilmaisulla ilman ylimääräistä työtä. Ajattele, kuinka se voisi johtaa erilaisiin CG-väkijoukoihin, jotka voit kutsua muutamalla napsautuksella, tai hahmoihin peleissä, joilla on realistiset ilmeet riippumatta siitä, onko ne käsityönä tehty vai ei.

Se ei ole hopealuoti, ja se on vain osa valtavaa joukkoa parannuksia, joita taiteilijat ja insinöörit tekevät eri toimialoilla, joilla tätä tekniikkaa käytetään - myös merkitsemätön kasvojen seuranta, parempi ihon muodonmuutos, realistiset silmänliikkeet ja kymmeniä muita kiinnostavia alueita ovat myös tärkeitä osia prosessissa.

Disney Research -artikkeli esiteltiin kansainvälisessä 3D Vision -konferenssissa; voit lukea koko jutun tätä.

Lähde: https://techcrunch.com/2020/11/25/flexible-expressions-could-lift-3d-generated-faces-out-of-the-uncanny-valley/

spot_img

Uusin älykkyys

spot_img