Au SIGGRAPH 2023, j'ai essayé un prototype de recherche Meta avec une résolution angulaire proche de la rétine, une mise au point dynamique et une correction dynamique de la distorsion.

Butterscotch Varifocal est basé sur le prototype original de Butterscotch Meta révélé l'année dernière. Les prototypes Butterscotch offrent une résolution angulaire de 56 pixels par degré (PPD) de votre vision, juste en deçà des 60 pixels par degré généralement acceptés comme ce que l'œil humain peut discerner. C'est presque trois fois la résolution angulaire centrale de Quest Pro et le double de celle de Bigscreen Beyond.

Cependant, les chercheurs de Meta n'ont pas atteint cette résolution angulaire avec une technologie révolutionnaire ou spécialisée. Les casques Butterscotch utilisent des écrans LCD 2880 × 2880 prêts à l'emploi qui fourniraient environ 30 PPD dans un casque VR typique, mais associez-les à des objectifs avec environ la moitié du champ de vision. Le but ici est de démontrer à quoi ressemble la résolution rétinienne pour éventuellement éclairer les futures décisions en matière de priorité des produits et de compromis. Le prototype n'est pas destiné à proposer une nouvelle technologie spécifique pour obtenir une résolution rétinienne à un champ de vision acceptable.

Varjo atteint une résolution rétinienne dans un champ de vision encore plus petit au centre même de la vue dans ses casques professionnels existants de plus de 5000 $, puis le combine avec un écran périphérique à résolution angulaire beaucoup plus faible.

Comme son nom l'indique, Butterscotch Varifocal n'est pas seulement une démonstration de la résolution rétinienne. Il comprend également la technologie varifocale de Meta's 2018 Prototype demi-dôme.

En réalité virtuelle, chaque œil obtient une perspective distincte, ce qui vous donne une disparité stéréo, mais ce n'est qu'un indice que votre cerveau utilise pour déterminer la profondeur. Tous les casques actuels sur le marché ont des objectifs à focale fixe. L'image est mise au point à une distance fixe, généralement quelques mètres. Vos yeux vont pointer (converger ou diverger) vers des objets virtuels, mais ne peuvent pas réellement se concentrer (s'adapter) à la distance virtuelle qui les sépare. C'est ce qu'on appelle le conflit vergence-accommodation, et cela provoque une fatigue oculaire et peut rendre les objets virtuels flous de près.

Le prototype Half-Dome a présenté une solution : suivez où vos yeux pointent et déplacez rapidement mécaniquement les panneaux d'affichage vers l'arrière ou vers l'avant pour ajuster dynamiquement la mise au point. Butterscotch Varifocal comprend le même suivi oculaire et des actionneurs mécaniques pour faire de même.

Le résultat de cette combinaison de résolution angulaire proche de la rétine et d'ajustement dynamique de la mise au point était une vue sur un monde virtuel sans pixellisation ni alias visible, où je pouvais distinguer même les moindres détails dans les plus petits objets et lire du texte de n'importe quelle taille. pouvait lire dans le monde physique. La tablette virtuelle et les téléphones affichant des articles avec un petit texte n'avaient même pas besoin d'utiliser les couches du compositeur John Carmack répète à plusieurs reprises que les développeurs sont essentiels avec les casques actuels. La densité de pixels ici était tellement élevée que de telles astuces ne sont plus nécessaires.

Le facteur limitant pour distinguer les détails fins était maintenant ma vue, pas le système d'affichage du casque. C'est la situation opposée aux casques VR d'aujourd'hui et c'était un regard alléchant sur la qualité visuelle que la VR offrira un jour aux consommateurs.

C'était la première fois que j'essayais un casque à focale variable - très peu de gens en dehors de Meta l'ont - et j'ai pu l'activer et le désactiver en appuyant sur un bouton. Lorsqu'ils étaient activés, les objets virtuels restaient même nets lorsqu'ils étaient incroyablement proches de mes yeux, jusqu'à un minimum de 20 centimètres. Cela a des avantages pratiques, mais il y avait autre chose de plus subtil que j'ai remarqué lorsque le varifocal était activé. La mise au point correcte a rendu le monde virtuel et les objets qu'il contient soudainement plus "réels". En fait, certains des objets de démonstration étaient si détaillés que j'irais jusqu'à dire qu'ils se sentaient entièrement réel.

J'ai interrogé le directeur de la recherche sur les systèmes d'affichage de Meta, Douglas Lanman, à ce sujet. Il m'a dit que bien que cet effet soit quelque chose dont les chercheurs de Meta sont conscients et dont ils discutent, le sentiment subjectif de réalité visuelle est beaucoup plus difficile à quantifier et à évaluer que d'autres aspects des affichages.

Il y avait une petite latence entre regarder un objet et les écrans se déplaçant pour ajuster la mise au point, mais comme pour l'aspect de la résolution rétinienne, le but de ce prototype est de montrer à quoi ressemble le varifocal, et non de revendiquer une technologie spécifique pour le livrer pratiquement. Butterscotch Varifocal utilise en fait les actionneurs Half-Dome d'origine, et fin 2019, Meta a révélé Half-Dome 2 avec des actionneurs plus rapides et plus fiables, et Half-Dome 3 sans aucune pièce mobile, changeant la mise au point avec des couches de lentilles réglables à la place.

Correction dynamique de la distorsion

Il y a aussi une troisième technologie incluse dans Butterscotch Varifocal qui n'a pas attiré autant d'attention mais qui est également essentielle pour une VR visuellement convaincante : la correction dynamique de la distorsion.

En plus de la résolution angulaire et de la mise au point dynamique impressionnantes, j'avais également remarqué que Butterscotch Varifocal offrait d'excellents fondamentaux optiques, sans nage de la pupille ni autre distorsion géométrique. Après la démo, j'ai découvert que c'était parce qu'il avait une correction de distorsion dynamique.

Les lentilles de casque VR modernes agrandissent un affichage dans un champ de vision relativement large, mais cela se traduit par une géométrie distorsion en baril. L'une des principales innovations des prototypes originaux de Palmer Luckey était de corriger cela dans le logiciel en produisant une image avec la distorsion inverse à l'écran. Cependant, la distorsion optique change légèrement en fonction de la position de votre œil par rapport à l'objectif, et la correction de distorsion logicielle n'est conçue que pour le point mort. La correction dynamique de la distorsion signifie que le système génère une nouvelle correction à chaque image en fonction de la position de votre œil, activée par le suivi oculaire.

On m'a dit qu'il s'agissait d'une technique peu coûteuse en termes de calcul, alors j'ai demandé à Lanman pourquoi elle n'était pas utilisée dans Quest Pro, car elle dispose également d'un suivi oculaire. Bien qu'il n'ait pas répondu directement à cette question, il a parlé de l'importance que le matériel de suivi oculaire soit suffisamment bon pour que la correction dynamique de la distorsion fonctionne bien, car il doit mesurer la position exacte de votre pupille dans l'espace 3D, pas seulement la direction du regard. . Notamment, Quest Pro n'a qu'une seule caméra de suivi pointée sur chaque œil tandis que Butterscotch Varifocal en a deux, tout comme apple vision pro.

À quelle distance se trouvent la rétine et la focale variable ?

Année dernière Résolution rétinienne méta décrite comme "sur notre feuille de route produit", alors combien de temps avant de voir tout cela dans les produits réels ?

Lanman ne répondrait pas bien sûr, car il est "juste un chercheur", mais il a exprimé son scepticisme à l'égard de la complexité des approches multi-affichages telles que de Varjo. En supposant que la résolution rétinienne arrivera via la densité de pixels brute, l'atteindre dans la vue centrale des casques avec un champ de vision standard nécessiterait environ 5K par œil. À mesure que le champ de vision s'élargit, cette exigence deviendra encore plus élevée - plus de 10K par œil pour un champ de vision humain complet et jusqu'à 16K par œil pour une résolution rétinienne sur toute la vue au lieu de se limiter au centre.

Apple Vision Pro devrait arriver l'année prochaine avec environ 3.5 XNUMX micro-écrans OLED par œil, bien qu'ils soient apparemment extrêmement difficile à fabriquer, avec un faible rendement et donc un contributeur clé à son prix de 3500 $. Pourtant, la demande du marché pour ces micro-écrans haute résolution ne fait que commencer, et alors que les sociétés d'affichage se font concurrence pour trouver de meilleures techniques pour les fabriquer, il est raisonnable de s'attendre à ce que les prix baissent, que la production augmente et que la résolution devienne encore plus élevée avec le temps. .

Mais qu'en est-il du varifocal ? Dans une conférence début 2020 Lanman décrit L'approche varifocale électronique du Half-Dome 3 est "presque prête pour les heures de grande écoute", à un "niveau de préparation technologique" plus élevé que tout autre prototype précédent. L'année dernière Mark Zuckerberg a suggéré varifocal pourrait arriver "dans la seconde moitié de la décennie", c'est-à-dire quelque part entre 2026 et 2029.

Réflexions finales

Lors de la révélation de l'original Butterscotch et Starburst (que nous avons essayé) l'année dernière, Lanman a décrit l'objectif de son équipe comme étant un jour la livraison d'un système d'affichage qui passe un «test de turing visuel», ce qui signifie que vous avez l'impression de regarder à travers une visière en verre transparent, pas un écran du tout.

Butterscotch Varifocal ne passerait pas complètement un tel test. Contrairement à Starburst, ses écrans LCD conventionnels sont loin de fournir la luminosité, la plage dynamique ou le contraste du monde réel. Mais il peut fournir les détails et la netteté, et cela seul était magnifique à voir. C'est encore un autre rappel que les casques d'aujourd'hui ne sont encore que le début de la réalité virtuelle, et qu'ils ont un long et prometteur chemin à parcourir.

• Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
• PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
• PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
• PlatonESG. Automobile / VE, Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
• PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
• GraphiquePrime. Élevez votre jeu de trading avec ChartPrime. Accéder ici.
• Décalages de bloc. Modernisation de la propriété des compensations environnementales. Accéder ici.
• La source: https://www.uploadvr.com/meta-butterscotch-varifocal-prototype-retinal-hands-on/