Ett fynd av firmware tyder på att Meta är på god väg att ta med sina fotorealistiska "Codec Avatars" till sina Quest-headset.

Codec Avatars är Metas långvariga forsknings- och utvecklingsprojekt som syftar till att revolutionera fjärrkommunikation genom att uppnå verkligt övertygande fotorealistiska avatarer som drivs i realtid av headset med ansiktsspårningssensorer, och så småningom även glasögon. Meta avslöjade först projektets existens i 2019, och har visat upp flera trohetsuppdateringar under åren sedan samt en helkroppsversion.

Medan Codec Avatars alltid har beskrivits som inom forskningens område, tyder ett nytt fynd på att det nu kan vara på god väg att komma fram som en funktion i Quest-headset.

VR-entusiast Luna hittade referenser till Codec Avatars genom att dekompilera version 62 av Meta Quest firmware, som för närvarande är tillgänglig för testare i Public Test Channel.

Kommande Quest-funktioner har upptäckts på detta sätt flera gånger tidigare. Det berättar att Meta arbetar med att integrera en funktion på Quest-headset. Det berättar dock inte för oss hur långt bort funktionen är, eller om den någonsin faktiskt kommer att skickas överhuvudtaget. Till exempel, Rymdkänsla anlände några månader efter att ha upptäckts i firmware, medan QuestPro tog över ett år. Och referenser till en Discord-integration och en Projekt Avalanche cloud PC VR-streamingfunktion har upptäckts i flera år nu, men ingen av dem har skickats.

I mars förra året Meta CTO Andrew Bosworth sade företaget "gjorde framsteg" när det gäller att skicka Codec-avatarer men varnade "vi är fortfarande år borta".

Det är inte heller klart om den här funktionen utvecklas för befintliga Quest-headset eller en framtida Quest Pro 2.

I mars förra året läckte ett Meta Quest-hårdvarufärdplansmöte till The Verge. Förutom att avslöja detaljer om Quest 3 och det kommande billigare headsetet som ryktas kallas Quest 3 Lite, nämnde färdplanen ett nytt Quest Pro-headset "väg ut i framtiden" som kommer att inkludera Codec-avatarer.

Men det är möjligt att Meta avser att ta med Codec Avatars till befintliga Quest Pro, eller till och med Quest 2 och Quest 3.

År 2021 visade Meta-forskare ett betydligt effektivare metod av avkodning av Codec-avatarer. På Quest 2 kan den nya metoden rendera en Codec-avatar i en tom scen med hela 72FPS, tre Codec-avatarer vid cirka 63FPS eller fem vid cirka 43FPS.

Men hur kunde dessa avatarer drivas på Quest 2 och Quest 3, som saknar både ansikts- och ögonspårning? Metaforskare har också visat en version av Codec Avatars som kräver inte ansiktsspårning, och nyligen även en version som kräver ingen spårning alls. Istället matas ljud från mikrofonen in i ett neuralt nätverk som uppskattar den sannolika ansiktsställningen för det aktuella talmönstret.

Ändå är det fullt möjligt att Meta kommer att vilja reservera Codec Avatars för en framtida Quest Pro 2 kraftfull nog att stödja Codec Avatars i Horizon arbetsrum möten och kör dem med verklig ansiktsspårning.

Oavsett vilka specifika Quest-headset som funktionen Codec Avatars är avsedd för, kommer kvaliteten nästan säkert inte att vara densamma som Metas mest imponerande demos, som t.ex. intervjun med Lex Fridman med Mark Zuckerberg. Dessa demos, och den intervjun, använde Codec-avatarer som genererades med hjälp av en specialiserad infångningsrigg med över 100 kameror.

Metaforskare har arbetat för att ersätta denna process med en smartphone-skanning, nödvändigt för att faktiskt skicka Codec Avatars i skala, men detta ger en lägre kvalitetsresultat. Quest Pro 2 kan inkludera en frontdisplay och djupsensorer för avatarinställningar som Apple Vision Pro använder för sina Personas, men det här skulle fortfarande inte matcha den specialiserade fångstriggen.

Ändå borde alla versioner av Codec Avatars vara en dramatisk förbättring jämfört med Metas nuvarande avatarer, som har en grundläggande tecknad konststil som inte kunde vara längre från fotorealism. Vi kommer att hålla ett öga på Meta under de kommande månaderna för ytterligare antydningar om att Codec-avatarer är på väg mot produktion.

VR:s Killer-app kan vara helkropps-codec-avatarer

Den sista demon vid ett dagslångt besök på Metas forskningskontor i delstaten Washington var lätt den mest minnesvärda – sann telenärvaro. Att förverkliga verklig telenärvaro i konsumenthårdvara kan vara en av de svåraste idéerna att förbereda för konsumenter. Det kan också vara nyckeln till att låsa upp VR:s mördare

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
• PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
• Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
• PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
• Källa: https://www.uploadvr.com/meta-codec-avatars-might-be-coming-to-quest/