Quest Pro unterstützt Eye-Tracked-Foveated-Rendering, aber um wie viel genau verbessert es die Leistung?

Wenn Sie mit dem Begriff nicht vertraut sind, ist Eye-Tracked-Foveated-Rendering (ETFR) eine Technik, bei der Nur der Bereich des Displays, den Sie gerade betrachten, wird in voller Auflösung gerendert, wodurch die Leistung freigegeben wird, da der Rest eine niedrigere Auflösung hat. Diese zusätzliche Leistung kann zur Verbesserung der grafischen Wiedergabetreue von Apps oder für eine höhere Basisauflösung verwendet werden.

Die geringere Auflösung in der Peripherie merkt man nicht, weil das menschliche Auge selbst nur im Zentrum – der Fovea – hochauflösend sehen kann. Aus diesem Grund können Sie keine Textseite lesen, ohne den Blick zu bewegen. Ob Sie es glauben oder nicht, dieser Foveabereich ist nur etwa 3 Grad breit.

ETFR wird seit langem in Betracht gezogen ein „Heiliger Gral“ für VR, denn wenn Ihre GPU wirklich nur 3 Grad Ihres Sichtfelds in voller Auflösung rendern müsste, könnte der Leistungsvorteil in der Größenordnung von 20x liegen. Das würde ultrahochauflösende Displays oder unglaublich detaillierte Grafiken ermöglichen. Aber in Wirklichkeit wäre es erforderlich, dies zu erreichen perfekt Eye-Tracking ohne Latenz, eine absurd hohe Bildwiederholfrequenz und a hochwertiger Rekonstruktionsalgorithmus Sie würden also kein Flackern und Schimmern bemerken.

Quest Pro ist das erste Versand-Headset von Meta mit Eyetracking. Die End-to-End-Latenz dieser Eye-Tracking-Technologie der ersten Generation liegt in der Größenordnung von 50 Millisekunden, und die Bildwiederholfrequenz des Displays liegt bei 90 Hz. Daher sind die tatsächlichen Einsparungen durch das foveierte Rendering bei weitem nicht das 20-fache.

Die Headsets von Meta werden unterstützt Behoben Foveated Rendering (FFR) – Rendern der Kanten der Linse in geringerer Auflösung – seit Oculus Go vor sechs Jahren. Im ein Gespräch Diese Woche an Entwickler gegeben, Meta detailliert die genauen Leistungsvorteile von Auge verfolgt Foveated Rendering (ETFR) und mit FFR verglichen.

Beide Arten des foveierten Renderings werden von Entwicklern pro App aktiviert (obwohl offensichtlich nicht beide gleichzeitig verwendet werden können). Entwickler haben drei Möglichkeiten für die Auflösungsreduzierung der Peripherie: Level 1, Level 2 und Level 3. Bei ETFR Level 1 wird die Peripherie mit 4x weniger Pixel gerendert, während bei Level 3 meist mit 16x weniger Pixel gerendert wird.

Der genaue Leistungsvorteil des foveierten Renderns hängt auch von der Basisauflösung der App ab. Je höher die Auflösung, desto größer die Einsparungen.

In der Leistungstest-App von Meta stellten sie fest, dass FFR bei Standardauflösung je nach Foveationsgrad zwischen 26 % und 36 % Leistung einspart, während das neue ETFR zwischen 33 % und 45 % einspart.

Aber bei der 1.5-fachen Standardauflösung waren die Einsparungen größer, wobei FFR 34 % bis 43 % und ETFR 36 % bis 52 % lieferte. Das ist ein bis zu 2-facher Schub gegenüber der Verwendung von überhaupt keiner Foveation – aber nur ein winziger Vorteil gegenüber FFR.

Entscheidend ist natürlich, was wir noch nicht wissen: wie bemerkbar sind alle diese ETFR-Stufen? Und wie ist dies im Vergleich dazu, wie auffällig FFR ist? Dies muss verglichen werden – nicht ein bestimmtes FFR-Niveau mit dem gleichen ETFR-Niveau. Dies werden wir für unseren Quest Pro-Test ausführlich testen.

Bei Quest 2 fällt FFR Level 1 überhaupt nicht auf, Level 3 aber definitiv. Und seit Quest Pro hat Objektive, die schärfer sind Sowohl in der Mitte als auch an den Rändern kann FFR deutlicher als je zuvor sein, was ETFR noch vorteilhafter macht.

Auf PlayStation VR2 ist der behauptete Leistungsvorteil des foveierten Renderings größer. Sony behauptet sein FFR spart rund 60 %, während sein ETFR rund 72 % einspart. Dies liegt wahrscheinlich an den stark unterschiedlichen GPU-Architekturen von Konsolen- und PC-GPUs im Vergleich zu mobilen GPUs sowie an der höheren Auflösung. Es könnte auch an Unterschieden in der Eye-Tracking-Technologie liegen – Meta ist intern, während Sony verwendet Tobiis.

Eye Tracking auf Quest Pro und PlayStation VR2 ist aus Datenschutzgründen optional. Aber durch das Deaktivieren wird natürlich auch ETFR deaktiviert, sodass Apps auf FFR zurückgreifen müssen.