Anfang dieses Monats während Apples jährlicher Entwicklerkonferenz WWDC 2022 gab das Unternehmen Entwicklern einen ersten Einblick in die Verbesserungen von Apples ARKit 6-Toolkit zum Erstellen von AR-Apps auf iOS-Geräten.
Obwohl Apple die Existenz eines AR-Headsets noch nicht enthüllt (oder sogar bestätigt) hat, ist der deutlichste Hinweis darauf, dass das Unternehmen AR absolut ernst meint, ARKit, das Entwickler-Toolkit zum Erstellen von AR-Apps auf iOS-Geräten, das Apple seit 2017 weiterentwickelt.
Auf der WWDC 2022 stellte Apple die neueste Version, ARKit 6, vor, die Verbesserungen der Kernfunktionen bringt, damit Entwickler bessere AR-Apps für iPhones und iPads (und schließlich Headsets … wahrscheinlich) erstellen können.
Während der Entwicklersitzung „Discover ARKit 6“ auf der WWDC 2022, Apple ARKit Engineer Christian Lipski, gab einen Überblick über die nächsten Schritte.
Bessere Bewegungserfassung
ARKit enthält eine MotionCapture-Funktion, die Personen im Videoframe verfolgt und den Entwicklern ein „Skelett“ gibt, das die Position des Kopfes und der Gliedmaßen der Person schätzt. Auf diese Weise können Entwickler Apps erstellen, die erweiterte Dinge auf die Person legen oder sie relativ zur Person bewegen (es kann auch für die Okklusion verwendet werden, um erweiterte Inhalte hinter jemandem zu platzieren, um sie realistischer in die Szene einzubetten).
In ARKit 6 sagt Lipski, dass die Funktion eine „ganze Reihe von Updates“ erhält, einschließlich einer verbesserten Verfolgung von 2D-Skeletten, die jetzt die Position des linken und rechten Ohrs des Motivs schätzen (was sicherlich nützlich sein wird für Gesichtsfilter, die Brillen anprobieren mit AR und ähnlichen Funktionen, die den Kopf betreffen).
Was 3D-Skelette betrifft, die eine Posenschätzung mit Tiefe liefern, verspricht Apple eine bessere Verfolgung mit weniger Jitter, mehr zeitlicher Konsistenz und mehr Robustheit, wenn der Benutzer durch den Rand der Kamera oder andere Objekte verdeckt ist (obwohl einige dieser Verbesserungen es sind nur verfügbar auf iPhone 12 und höher).
Verbesserungen des Kamerazugriffs
ARKit 6 gibt Entwicklern viel mehr Kontrolle über die Kamera des Geräts, während es mit einer AR-App zum Tracking verwendet wird.
Entwickler können jetzt auf eingehende Frames in Echtzeit mit bis zu 4K bei 30 FPS auf dem iPhone 11 und höher und dem neuesten iPad Pro (M1) zugreifen. Der vorherige Modus, der eine niedrigere Auflösung, aber eine höhere Framerate (60 FPS) verwendet, steht Entwicklern weiterhin zur Verfügung. Laut Lipski sollten Entwickler sorgfältig überlegen, welchen Modus sie verwenden. Der 4K-Modus ist möglicherweise besser für Apps, die sich auf die Vorschau oder Aufzeichnung von Videos konzentrieren (wie eine virtuelle Produktions-App), aber der 60-FPS-Modus mit niedrigerer Auflösung ist möglicherweise besser für Apps, die von der Reaktionsfähigkeit profitieren, wie z. B. Spiele.
Ähnlich wie bei einer höheren Videoauflösung während einer AR-App können Entwickler jetzt Fotos in voller Auflösung aufnehmen, selbst wenn eine AR-App die Kamera aktiv verwendet. Das bedeutet, dass sie ein 12-Megapixel-Bild (auf jeden Fall auf einem iPhone 13) herausziehen können, um es zu speichern oder an anderer Stelle zu verwenden. Dies könnte für eine AR-App großartig sein, bei der das Aufnehmen von Fotos Teil des Erlebnisses ist. Zum Beispiel, sagt Lipski, eine App, bei der Benutzer durch das Fotografieren eines Objekts geführt werden, um es später mit Photogrammetrie in ein 3D-Modell umzuwandeln.
ARKit 6 gibt Entwicklern auch mehr Kontrolle über die Kamera, während sie von einer AR-App verwendet wird. Entwickler können Dinge wie Weißabgleich, Helligkeit und Fokus nach Bedarf anpassen und EXIF-Daten aus jedem eingehenden Frame lesen.
Mehr Standortanker… Standorte
ARKit enthält LocationAnchors, die in ausgewählten Städten eine Verfolgung auf Straßenebene für AR bereitstellen können (z. B. um Turn-by-Turn-Anweisungen in Augmented Reality zu erstellen). Apple weitet diese Funktionalität auf weitere Städte aus, darunter jetzt auch Vancouver, Toronto und Montreal in Kanada; Fukuoka, Hiroshima, Osaka, Kyoto, Nagoya, Yokohama und Tokio in Japan; und Singapur.
Später in diesem Jahr wird die Funktion weiter nach Auckland, Neuseeland, ausgeweitet; Tel Aviv-Yafo, Israel; und Paris, Frankreich.
Ebene Anker
Plane Anchors sind ein Werkzeug zum Verfolgen flacher Objekte wie Tische, Böden und Wände während einer AR-Sitzung. Vor ARKit 6 wurde der Ursprung eines Ebenenankers aktualisiert, wenn mehr von der Ebene entdeckt wurde (z. B. durch Bewegen des Geräts, um mehr von einem Tisch zu zeigen, als die Kamera zuvor gesehen hat). Dies könnte es schwierig machen, erweiterte Objekte auf einer Ebene fixiert zu halten, wenn der Ursprung nach der ersten Platzierung gedreht wurde. Mit ARKit 6 bleibt die Drehung des Ursprungs statisch, unabhängig davon, wie sich die Form der Ebene während der Sitzung ändert.
- - - - -
ARKit 6 wird mit dem iOS 16-Update gestartet, das jetzt in der Beta-Version für Entwickler verfügbar ist und voraussichtlich im Herbst veröffentlicht wird.
