Een firmware-bevinding suggereert dat Meta goed op weg is om zijn fotorealistische 'Codec Avatars' naar zijn Quest-headsets te brengen.

Codec Avatars is Meta's langlopende onderzoeks- en ontwikkelingsproject met als doel een revolutie teweeg te brengen in de communicatie op afstand door werkelijk overtuigende fotorealistische avatars te creëren die in realtime worden aangestuurd door headsets met gezichtsvolgsensoren, en uiteindelijk ook door een bril. Meta onthulde voor het eerst het bestaan ​​van het project in 2019, en heeft er meerdere laten zien trouw-updates in de jaren daarna, evenals a versie voor het hele lichaam.

Hoewel Codec Avatars altijd is beschreven als een onderdeel van onderzoek, suggereert een nieuwe bevinding dat het nu goed op weg is om als functie in Quest-headsets te verschijnen.

VR-liefhebber Luna vond verwijzingen naar Codec Avatars door versie 62 van de Meta Quest-firmware te decompileren, die momenteel beschikbaar is voor testers in het Public Test Channel.

Aankomende Quest-functies zijn in het verleden meerdere keren op deze manier ontdekt. Het vertelt ons dat Meta werkt aan de integratie van een functie op Quest-headsets. Het vertelt ons echter niet hoe ver de functie verwijderd is, en of deze ooit daadwerkelijk zal worden verzonden. Bijvoorbeeld, Ruimtegevoel arriveerde een paar maanden nadat het in de firmware was opgemerkt, terwijl Zoek Pro duurde ruim een ​​jaar. En verwijzingen naar een Discord-integratie en een Project Avalanche cloud PC VR-streamingfunctie wordt al jaren opgemerkt, maar geen van beide is verzonden.

In maart vorig jaar Meta CTO Andrew Bosworth zei het bedrijf boekte “vooruitgang” bij het verzenden van Codec Avatars, maar waarschuwde “het duurt nog jaren”.

Het is ook niet duidelijk of deze functie wordt ontwikkeld voor bestaande Quest-headsets of een toekomstige Quest Pro 2.

In maart vorig jaar werd een Meta Quest-hardwareroadmapvergadering gelekt naar The Verge. Naast het onthullen van details over Quest 3 en de komende, goedkopere headset die naar verluidt Quest 3 Lite gaat heten, vermeldde de routekaart een nieuwe Quest Pro-headset “uitweg in de toekomst” die Codec Avatars zal omvatten.

Maar het is mogelijk dat Meta van plan is Codec Avatars naar de bestaande Quest Pro te brengen, of zelfs Quest 2 en Quest 3.

In 2021 demonstreerden Meta-onderzoekers een aanzienlijk efficiëntere methode van het decoderen van Codec-avatars. Op Quest 2 zou de nieuwe methode één Codec Avatar in een lege scène kunnen weergeven op volledige 72FPS, drie Codec Avatars op ongeveer 63FPS, of vijf op ongeveer 43FPS.

Maar hoe kunnen deze avatars worden aangestuurd op Quest 2 en Quest 3, die zowel gezichts- als oogtracking missen? Meta-onderzoekers hebben ook een versie van Codec Avatars gedemonstreerd die dat doet vereist geen face-tracking, en sinds kort zelfs een versie die vereist helemaal geen tracking. In plaats daarvan wordt het geluid van de microfoon naar een neuraal netwerk gevoerd dat de waarschijnlijke gezichtshouding voor het huidige spraakpatroon schat.

Toch is het heel goed mogelijk dat Meta Codec Avatars wil reserveren voor een toekomstige Quest Pro 2 die krachtig genoeg is om Codec Avatars te ondersteunen Horizon Werkkamers vergaderingen en voer ze uit met echte face-tracking.

Ongeacht voor welke specifieke Quest-headsets de meegeleverde Codec Avatars-functie bedoeld is, zal de kwaliteit vrijwel zeker niet hetzelfde zijn als die van Meta’s meest indrukwekkende demo’s, zoals het Lex Fridman-interview met Mark Zuckerberg. Bij die demo's en dat interview werd gebruik gemaakt van Codec-avatars die waren gegenereerd met behulp van een gespecialiseerde opnameapparatuur met meer dan 100 camera's.

Meta-onderzoekers hebben gewerkt aan het vervangen van dit proces met een smartphonescan, nodig om Codec Avatars daadwerkelijk op grote schaal te verzenden, maar dit geeft een resultaat van lagere kwaliteit. Quest Pro 2 kan een display aan de voorkant en dieptesensoren bevatten voor het instellen van avatars Apple Vision Pro gebruikt voor zijn Persona's, maar dit zou nog steeds niet overeenkomen met de gespecialiseerde vanginstallatie.

Toch zou elke versie van Codec Avatars een dramatische verbetering moeten zijn ten opzichte van de huidige avatars van Meta, die een cartoonachtige tekenstijl hebben die niet verder van fotorealisme verwijderd kan zijn. We zullen Meta de komende maanden nauwlettend in de gaten houden voor eventuele verdere aanwijzingen dat Codec Avatars op weg zijn naar productie.

De Killer-app van VR kan codec-avatars voor het hele lichaam zijn

De laatste demo tijdens een bezoek van een dag aan Meta's onderzoekskantoren in de staat Washington was zonder twijfel de meest memorabele: echte telepresence. Het realiseren van echte telepresence in consumentenhardware kan een van de moeilijkste ideeën zijn om voor consumenten voor te bereiden. Het kan ook de sleutel zijn om de moordenaar van VR te ontsluiten

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://www.uploadvr.com/meta-codec-avatars-might-be-coming-to-quest/