Ein Bild geteilt auf Twitter des kommenden Magic Leap 2 zeigt Kameras auf den Controllern, die für das Inside-Out-Tracking verwendet werden.
Im Januar haben wir über die Spezifikationen von Magic Leap 2 – oder zumindest einige davon – berichtet geteilt auf der SPIE Photonics West 2022. Aber wie sich herausstellt, haben wir übersehen, dass das Unternehmen auch offengelegt hat, dass der Controller selbst Inside-Out-Tracking verwendet. Was genau das bedeutete, war damals nicht klar, aber das Bild geteilt diese Woche von Unternehmer Peter Diamandis zeigt zwei nach vorne gerichtete Kameras.
Controller in fast allen heute verfügbaren AR- und VR-Systemen werden entweder vom Headset getrackt oder sind auf externe Basisstationen angewiesen. Meta's Quest 2 zum Beispiel verfolgt ein Muster von Infrarot-LEDs unter dem Kunststoffring seiner Controller, während Valve's Index-Controller ihre Position relativ zu SteamVR "Lighthouse"-Basisstationen bestimmen, die in der Ecke Ihres Zimmers platziert sind.
Sich beim Tracking auf das Headset zu verlassen, hat einen Fehler: Wenn sich der Controller aus dem Sichtfeld der Sensoren bewegt oder ein Teil Ihres Körpers im Weg ist, wird das Tracking vorübergehend unterbrochen. Dies ist für viele Anwendungsfälle kein Problem, schränkt jedoch komplizierte zweihändige Interaktionen und Szenarien wie das Schauen nach links beim Schießen nach rechts ein. Die Verwendung externer Basisstationen kann die meisten dieser Probleme lindern, erhöht jedoch die Einrichtungszeit und schränkt die Portabilität stark ein – und der Pfad von den Controllern zu den Basisstationen kann immer noch blockiert sein.
Magic Leap 1 und Pico Neo 2 verwendeten magnetisches Tracking. Im Gegensatz zu sichtbarem Licht kann das Magnetfeld den menschlichen Körper durchdringen, sodass Okklusion kein Problem darstellt. Magnetisches Tracking ist jedoch nicht so präzise wie optische Trackingsysteme und erhöht das Gewicht und die Kosten der Hardware erheblich.
Controller mit Onboard-Kameras versprechen, das Okklusionsproblem zu lösen und gleichzeitig eine hohe Präzision beizubehalten, indem sie sich selbst auf die gleiche Weise wie Inside-Out-Headsets verfolgen – mit einem Algorithmus namens Simultaneous Location And Mapping (SLAM). SLAM funktioniert im Wesentlichen, indem es die Beschleunigung (von einem Beschleunigungsmesser) und die Drehung (von einem Gyroskop) damit vergleicht, wie sich kontrastreiche Merkmale in Ihrem Raum relativ zu den Kameras bewegen. Ursprüngliche SLAM-Algorithmen wurden von Hand erstellt, aber die meisten verwenden heute zumindest etwas maschinelles Lernen.
Die potenziellen Nachteile dieses Ansatzes sind die Kosten eines Chips, der leistungsfähig genug ist, um den Tracking-Algorithmus auszuführen, die Verringerung der Batterielebensdauer aufgrund der Energie, die der Chip ziehen würde, und die Notwendigkeit einer gut beleuchteten Umgebung mit kontrastreichen Merkmalen wie z Poster – obwohl diese Einschränkung auch für Inside-Out-Headsets gilt. Einige haben vorgeschlagen, dass die Tracking-Qualität bei schnellen Bewegungen aufgrund von Bewegungsunschärfe reduziert werden könnte, aber dies sollte kein größeres Problem sein als das Tracking von sich schnell bewegenden LEDs – ein Global-Shutter-Sensor mit einer niedrigen Belichtungszeit sollte dies zu einem unproblematischen machen.
Meta plant anscheinend auch, Controller mit integriertem Inside-Out-Tracking in seinem kommenden zu verwenden Project Cambria-Headset. Bilder von Quest-ähnlichen Controllern mit Kameras anstelle eines LED-Rings erstmals im September durchgesickert und Die Ringe sind nicht vorhanden im offiziellen Enthüllungs-Trailer auch nicht.
Sowohl Magic Leap 2 als auch Project Cambria sollen dieses Jahr erscheinen, obwohl beide kein bestimmtes Veröffentlichungsfenster haben. Es sind sehr unterschiedliche Produkte – ML2 ist ein transparentes AR-Headset, das für Unternehmen entwickelt wurde, während Cambria ein undurchsichtiges Headset für VR und Mixed Reality ist – aber welches zuerst auf den Markt kommt, wird das erste AR- oder VR-System sein, das diesen neuen Ansatz zur Controller-Verfolgung verwendet.
