På SIGGRAPH 2023 provade jag en Meta-forskningsprototyp med vinkelupplösning nära näthinnan, dynamiskt fokus och dynamisk distorsionskorrigering.

Butterscotch Varifocal är baserad på den ursprungliga Butterscotch-prototypen Meta avslöjade förra året. Butterscotch-prototyperna levererar en vinkelupplösning på 56 pixlar per grad (PPD) av din syn, precis under de 60 pixlar per grad som allmänt accepteras för att vara vad det mänskliga ögat kan urskilja. Det är nästan tre gånger den centrala vinkelupplösningen för Quest Pro, och dubbelt så stor som Bigscreen Beyond.

Metas forskare uppnådde dock inte denna vinkelupplösning med något genombrott eller specialiserad teknik. Butterscotch-headseten använder vanliga 2880×2880 LCD-skärmar som skulle leverera cirka 30 PPD i ett typiskt VR-headset, men para dem med linser med ungefär halva synfältet. Syftet här är att visa hur näthinneupplösning känns för att så småningom informera framtida produktprioriteringar och avvägningsbeslut. Prototypen är inte avsedd att föreslå någon specifik ny teknik för att uppnå näthinneupplösning vid ett acceptabelt synfält.

Varjo uppnår näthinneupplösning i ett ännu mindre synfält i mitten av vyn i sina befintliga $5000+ business headset och kombinerar det sedan med en mycket lägre vinkelupplösning perifer display.

Som namnet antyder är Butterscotch Varifocal inte bara en demonstration av näthinneupplösning. Den inkluderar också den varifokala tekniken från Metas 2018 Half-Dome prototyp.

I VR får varje öga ett separat perspektiv så att du får stereoskillnader, men det är bara en signal som din hjärna använder för att bestämma djupet. Alla nuvarande headset på marknaden har objektiv med fast fokus. Bilden fokuseras på ett fast avstånd, vanligtvis några meter. Dina ögon kommer att peka (konvergera eller divergera) mot virtuella objekt, men kan faktiskt inte fokusera (passa) till det virtuella avståndet till dem. Detta kallas vergens-accommodation-konflikten, och det orsakar ansträngda ögon och kan få virtuella objekt att se suddiga ut på nära håll.

Half-Dome-prototypen presenterade en lösning: spåra var dina ögon pekar och snabbt mekaniskt flytta skärmpanelerna bakåt eller framåt för att dynamiskt justera fokus. Butterscotch Varifocal inkluderar samma eyetracking och mekaniska ställdon för att göra detsamma.

Resultatet av denna kombination av nästan näthinnans vinkelupplösning och dynamisk fokusjustering var en vy in i en virtuell värld utan synlig pixelering eller aliasing, där jag kunde urskilja även de minsta detaljerna i de minsta objekten, och läsa text av vilken storlek som helst. kunde läsa i den fysiska världen. Den virtuella surfplattan och telefonerna som visar artiklar med liten text behövde inte ens använda de sammansatta lagren som John Carmack upprepade gånger säger till utvecklare är viktiga med nuvarande headset. Pixeltätheten här var bara så hög att sådana tricks inte längre behövs.

Den begränsande faktorn för att få fram fina detaljer var nu min syn, inte headsetets displaysystem. Det är den motsatta situationen till VR-headset idag och det var en lockande titt på den visuella kvalitet som konsumenten VR en dag kommer att erbjuda.

Det här var första gången jag provade ett varifokalt headset – väldigt få personer utanför Meta har – och jag kunde slå på och av det med en knapptryckning. När de var påslagen förblev virtuella objekt till och med skarpa när de fördes otroligt nära mina ögon, ner till ett minimum av 20 centimeter. Det har praktiska fördelar, men det var något annat mer subtilt jag märkte när varifokal var på. Att fokus var korrekt gjorde att den virtuella världen och föremålen i den plötsligt såg ut och kändes mer "verkliga". Faktum är att några av demoobjekten var så detaljerade att jag skulle gå så långt att säga att de kändes helt verklig.

Jag frågade Metas Display Systems Research Director Douglas Lanman om detta. Han berättade för mig att även om denna effekt var något som Metaforskare är medvetna om och diskuterar, är den subjektiva känslan av visuell verklighet mycket svårare att kvantifiera och bedöma än andra aspekter av skärmar.

Det fanns en liten fördröjning mellan att titta på ett objekt och att skärmarna rörde sig för att justera fokus, men som med näthinneupplösningsaspekten är syftet med denna prototyp att visa upp hur varifokal känns, inte att göra anspråk på en specifik teknik för att praktiskt taget leverera den. Butterscotch Varifocal använder faktiskt de ursprungliga Half-Dome ställdonen, och i slutet av 2019 avslöjade Meta Half-Dome 2 med snabbare mer pålitliga ställdon och Half-Dome 3 utan några rörliga delar alls, ändrar fokus med inställbara linsskikt istället.

Dynamisk distorsionskorrigering

Det finns också en tredje teknik som ingår i Butterscotch Varifocal som inte fick så mycket uppmärksamhet men som också är avgörande för att visuellt övertyga VR: dynamisk distorsionskorrigering.

Förutom den imponerande vinkelupplösningen och dynamiska fokus, hade jag också märkt att Butterscotch Varifocal levererade utmärkta optiska grunder, utan pupillsim eller annan geometrisk distorsion. Efter demot upptäckte jag att detta berodde på att den hade dynamisk distorsionskorrigering.

Moderna VR-headsetlinser förstorar en skärm till ett relativt brett synfält, men detta resulterar i geometriska tunnförvrängning. En av de viktigaste innovationerna i Palmer Luckeys ursprungliga prototyper var att korrigera detta i mjukvara genom att mata ut en bild med omvänd distorsion till displayen. Den optiska distorsionen ändras dock något baserat på ögats position i förhållande till linsen, och programvarans distorsionskorrigering är endast utformad för dödläge. Dynamisk distorsionskorrigering innebär att systemet genererar en ny korrigering för varje bildruta baserat på ögats position, aktiverad av eye tracking.

Jag fick höra att detta är en beräkningsmässigt billig teknik, så jag frågade Lanman varför den inte används i Quest Pro, eftersom den också har eyetracking. Även om han inte svarade direkt på det, pratade han om vikten av att ögonspårningsmaskinvaran är tillräckligt bra för att dynamisk distorsionskorrigering ska fungera bra eftersom den behöver mäta den exakta positionen för din pupill i 3D-rymden, inte bara blickriktningen . Noterbart, Quest Pro har bara en spårningskamera riktad mot varje öga medan Butterscotch Varifocal har två, precis som apple vision pro.

Hur långt borta är retinal och varifokal?

Förra året Meta beskrev retinal upplösning som "på vår produktfärdplan", så hur lång tid innan vi ser något av detta i faktiska produkter?

Lanman skulle naturligtvis inte svara, eftersom han "bara är en forskare", men han uttryckte skepsis mot komplexiteten i tillvägagångssätt med flera skärmar som Varjo's. Om man antar att näthinneupplösningen kommer genom obearbetad pixeltäthet, skulle det krävas ungefär 5K per öga för att uppnå den i mitten av headset med standard synfält. När synfältet vidgas kommer dock kravet att bli ännu högre – mer än 10K per öga för fullt mänskligt synfält och upp till 16K per öga för näthinneupplösning över hela vyn istället för bara i mitten.

Apple Vision Pro kommer att komma nästa år med cirka 3.5K per öga OLED-mikroskärmar, även om de enligt uppgift är extremt svår att tillverka, med låg avkastning och därmed en viktig bidragande faktor till priset på 3500 XNUMX USD. Marknadens efterfrågan på sådana högupplösta mikroskärmar växer fortfarande fram först nu, och eftersom bildskärmsföretag tävlar om att hitta bättre tekniker för att tillverka dem, är det rimligt att förvänta sig att priserna kommer att sjunka, produktionen ökar och att upplösningen blir ännu högre över tiden .

Men hur är det med varifokal? I ett föredrag i början av 2020 Lanman beskrev Half-Dome 3:s elektroniska varifokala tillvägagångssätt som "nästan redo för bästa sändningstid", på en högre "Technology Readiness Level" än någon tidigare prototyp. Förra året Mark Zuckerberg föreslog Varifocal kan komma "under andra halvan av decenniet", vilket betyder någonstans mellan 2026 och 2029.

Avslutande tankar

När man avslöjar den ursprungliga Butterscotch and Starburst (som vi provade) förra året beskrev Lanman sitt teams mål som att en dag leverera ett displaysystem som klarar ett "visuellt turingtest", vilket betyder att det känns som om du tittar genom ett transparent glasvisir, inte en display alls.

Butterscotch Varifocal skulle inte helt klara ett sådant test. Till skillnad från Starburst kommer dess konventionella LCD-skärmar inte i närheten av att leverera ljusstyrkan, dynamiskt omfång eller kontrasten i den verkliga världen. Men den kan leverera detaljer och skärpa, och bara det var fantastiskt att se. Det är ännu en påminnelse om att headset idag fortfarande bara är början på VR, och det har en lång och lovande väg framför sig.

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
• PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
• Platoesg. Fordon / elbilar, Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
• PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
• ChartPrime. Höj ditt handelsspel med ChartPrime. Tillgång här.
• BlockOffsets. Modernisera miljökompensation ägande. Tillgång här.
• Källa: https://www.uploadvr.com/meta-butterscotch-varifocal-prototype-retinal-hands-on/