Bij SIGGRAPH 2023 probeerde ik een Meta-onderzoeksprototype met bijna netvlieshoekresolutie, dynamische focus en dynamische vervormingscorrectie.

Butterscotch Varifocal is gebaseerd op het originele Butterscotch-prototype Meta onthuld afgelopen jaar. De Butterscotch-prototypes leveren een hoekresolutie van 56 pixels per graad (PPD) van uw zicht, net iets minder dan de 60 pixels per graad die algemeen wordt aanvaard als wat het menselijk oog kan onderscheiden. Dat is bijna drie keer de centrale hoekresolutie van Quest Pro en het dubbele van Bigscreen Beyond.

Meta's onderzoekers bereikten deze hoekresolutie echter niet met enige doorbraak of gespecialiseerde technologie. De Butterscotch-headsets gebruiken kant-en-klare 2880 × 2880 LCD-schermen die ongeveer 30 PPD zouden leveren in een typische VR-headset, maar combineren ze met lenzen met ongeveer de helft van het gezichtsveld. Het doel hier is om te demonstreren hoe resolutie van het netvlies voelt om uiteindelijk toekomstige beslissingen over productprioriteit en afwegingen te informeren. Het prototype is niet bedoeld om een ​​specifieke nieuwe technologie voor te stellen voor het bereiken van resolutie van het netvlies bij een acceptabel gezichtsveld.

Wauw bereikt resolutie van het netvlies in een nog kleiner gezichtsveld in het midden van het beeld in zijn bestaande $ 5000 + zakelijke headsets en combineert deze vervolgens met een perifeer scherm met een veel lagere hoekresolutie.

Zoals de naam al doet vermoeden, is Butterscotch Varifocal niet alleen een demonstratie van resolutie van het netvlies. Het bevat ook de varifocale technologie van Meta's 2018 Half Dome-prototype.

In VR krijgt elk oog een apart perspectief, zodat je stereodipariteit krijgt, maar dat is slechts één signaal dat je hersenen gebruiken om diepte te bepalen. Alle huidige headsets op de markt hebben lenzen met vaste focus. Het beeld wordt scherpgesteld op een vaste afstand, meestal enkele meters. Je ogen zullen wijzen (convergeren of divergeren) naar virtuele objecten, maar kunnen niet echt focussen (accommoderen) op de virtuele afstand tot hen. Dit wordt het vergentie-accommodatie-conflict genoemd en het veroorzaakt vermoeide ogen en kan ervoor zorgen dat virtuele objecten er van dichtbij wazig uitzien.

Het Half-Dome-prototype bood een oplossing: volg waar je ogen naar wijzen en beweeg de weergavepanelen snel mechanisch naar achteren of naar voren om de focus dynamisch aan te passen. Butterscotch Varifocal bevat dezelfde eye-tracking en mechanische actuatoren om hetzelfde te doen.

Het resultaat van deze combinatie van bijna-retinale hoekresolutie en dynamische focusaanpassing was een blik in een virtuele wereld zonder zichtbare pixelvorming of aliasing, waar ik zelfs de kleinste details in de kleinste objecten kon onderscheiden en tekst van elke grootte kon lezen. kon lezen in de fysieke wereld. De virtuele tablet en telefoons die artikelen met kleine tekst weergeven, hoefden niet eens de compositor-lagen te gebruiken. John Carmack vertelt herhaaldelijk aan ontwikkelaars dat deze essentieel zijn met de huidige headsets. De pixeldichtheid was hier net zo hoog dat dergelijke trucs niet langer nodig zijn.

De beperkende factor voor het onderscheiden van fijne details was nu mijn gezichtsvermogen, niet het weergavesysteem van de headset. Het is de tegenovergestelde situatie van VR-headsets van vandaag en het was een verleidelijke blik op de visuele kwaliteit die VR ooit voor consumenten zal bieden.

Dit was de eerste keer dat ik een varifocale headset probeerde - heel weinig mensen buiten Meta hebben dat - en ik kon hem met een druk op de knop in- en uitschakelen. Wanneer ingeschakeld, bleven virtuele objecten zelfs scherp wanneer ze ongelooflijk dicht bij mijn ogen werden gebracht, tot minimaal 20 centimeter. Dat heeft praktische voordelen, maar er was nog iets subtielers dat me opviel toen varifocaal aan stond. De juiste focus zorgde ervoor dat de virtuele wereld en de objecten erin er plotseling meer "echter" uitzagen en aanvoelden. Sommige van de demo-objecten waren zelfs zo gedetailleerd dat ik zelfs zou willen zeggen dat ze aanvoelden geheel echt.

Ik vroeg Douglas Lanman, directeur Display Systems Research van Meta, hierover. Hij vertelde me dat hoewel dit effect iets was waar Meta-onderzoekers zich van bewust zijn en waarover ze discussiëren, het subjectieve gevoel van visuele echtheid veel moeilijker te kwantificeren en te beoordelen is dan andere aspecten van beeldschermen.

Er was een kleine vertraging tussen het kijken naar een object en de bewegende schermen om de focus aan te passen, maar net als bij het aspect van de retinale resolutie, is het doel van dit prototype om te laten zien hoe varifocaal voelt, niet om een ​​specifieke technologie te claimen om het praktisch te leveren. Butterscotch Varifocal gebruikt eigenlijk de originele Half-Dome-actuatoren, en eind 2019 onthulde Meta Half-Dome 2 met snellere, betrouwbaardere actuatoren en Half-Dome 3 zonder bewegende delen, in plaats daarvan de focus veranderend met instelbare lenslagen.

Dynamische vervormingscorrectie

Er zit ook een derde technologie in Butterscotch Varifocal die niet zoveel aandacht kreeg, maar die ook essentieel is voor visueel overtuigende VR: dynamische vervormingscorrectie.

Naast de indrukwekkende hoekresolutie en dynamische focus, had ik ook gemerkt dat Butterscotch Varifocal uitstekende optische fundamenten leverde, zonder zwemmende pupillen of andere geometrische vervorming. Na de demo ontdekte ik dat dit kwam omdat het dynamische vervormingscorrectie had.

Moderne VR-headsetlenzen vergroten een scherm tot een relatief breed gezichtsveld, maar dit resulteert in geometrisch vatvervorming. Een van de belangrijkste innovaties van de originele prototypes van Palmer Luckey was om dit in software te corrigeren door een beeld met de omgekeerde vervorming naar het scherm te sturen. De optische vervorming verandert echter enigszins op basis van de positie van uw oog ten opzichte van de lens, en de softwarematige vervormingscorrectie is alleen bedoeld voor het dode punt. Dynamische vervormingscorrectie betekent dat het systeem elk frame een nieuwe correctie genereert op basis van de positie van uw oog, mogelijk gemaakt door eye-tracking.

Er is mij verteld dat dit een rekenkundig goedkope techniek is, dus ik vroeg Lanman waarom het niet wordt gebruikt in Quest Pro, aangezien het ook eye-tracking heeft. Hoewel hij daar niet direct op antwoordde, sprak hij wel over het belang dat de eye-tracking-hardware goed genoeg is om dynamische vervormingscorrectie goed te laten werken, omdat het de exacte positie van je pupil in de 3D-ruimte moet meten, niet alleen de kijkrichting. . Quest Pro heeft met name slechts één volgcamera die op elk oog is gericht, terwijl Butterscotch Varifocal er twee heeft, net als Apple VisionPro.

Hoe ver weg is het netvlies en varifocaal?

Afgelopen jaar Meta beschreven resolutie van het netvlies als "op onze productroutekaart", dus hoe lang duurt het voordat we dit in daadwerkelijke producten zien?

Lanman wilde natuurlijk geen antwoord geven, aangezien hij "slechts een onderzoeker" is, maar hij was wel sceptisch over de complexiteit van multi-display-benaderingen zoals Varjo's. Ervan uitgaande dat de resolutie van het netvlies tot stand komt via onbewerkte pixeldichtheid, zou het bereiken van deze resolutie in het middenaanzicht van headsets met een standaard gezichtsveld ongeveer 5K per oog nodig hebben. Naarmate het gezichtsveld groter wordt, zal die vereiste echter nog hoger worden - meer dan 10K per oog voor het volledige gezichtsveld van de mens, en tot 16K per oog voor retinale resolutie over het hele beeld in plaats van alleen in het midden.

Apple Vision Pro komt volgend jaar uit met ongeveer 3.5K OLED-microdisplays per oog, hoewel ze naar verluidt buitengewoon moeilijk te vervaardigen, met een lage opbrengst en dus een belangrijke bijdrage aan de prijs van $ 3500. Toch komt de marktvraag naar dergelijke microdisplays met hoge resolutie nu pas op gang, en aangezien display-bedrijven concurreren om betere technieken te bedenken om ze te vervaardigen, is het redelijk om te verwachten dat de prijzen zullen dalen, de output zal toenemen en de resolutie in de loop van de tijd nog hoger zal worden. .

Maar hoe zit het met multifocaal? In een gesprek begin 2020 Lanman beschreven De elektronische varifocale benadering van Half-Dome 3 als "bijna klaar voor prime time", op een hoger "Technology Readiness Level" dan enig eerder prototype. Afgelopen jaar stelde Mark Zuckerberg voor varifocaal zou "in de tweede helft van het decennium" kunnen verschijnen, wat ergens tussen 2026 en 2029 betekent.

Conclusie

Bij het onthullen van de originele Butterscotch en Starburst (die we probeerden) vorig jaar beschreef Lanman het doel van zijn team als het op een dag afleveren van een beeldschermsysteem dat een "visuele turing-test" doorstaat, wat betekent dat het voelt alsof je door een transparant glazen vizier kijkt, helemaal niet door een beeldscherm.

Butterscotch Varifocal zou zo'n test niet volledig doorstaan. In tegenstelling tot Starburst komen de conventionele LCD-schermen niet in de buurt van de helderheid, het dynamische bereik of het contrast van de echte wereld. Maar het kan de details en scherpte leveren, en dat alleen al was verbluffend om te zien. Het is nog maar eens een herinnering dat headsets vandaag de dag nog maar het begin van VR zijn, en dat er nog een lange en veelbelovende weg voor de boeg is.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. Automotive / EV's, carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• ChartPrime. Verhoog uw handelsspel met ChartPrime. Toegang hier.
• BlockOffsets. Eigendom voor milieucompensatie moderniseren. Toegang hier.
• Bron: https://www.uploadvr.com/meta-butterscotch-varifocal-prototype-retinal-hands-on/