Tidigare denna månad under Apples årliga utvecklarkonferens, WWDC 2022, gav företaget utvecklare en första titt på förbättringar som kommer till Apples ARKit 6-verktygssats för att bygga AR-appar på iOS-enheter.

Även om Apple ännu inte har avslöjat (eller ens bekräftat) existensen av ett AR-headset, är den tydligaste indikationen på att företaget är absolut seriös med AR ARKit, utvecklarverktyget för att bygga AR-appar på iOS-enheter som Apple har utvecklat sedan 2017.

På WWDC 2022 avslöjade Apple den senaste versionen, ARKit 6, som ger förbättringar av kärnfunktionerna så att utvecklare kan bygga bättre AR-appar för iPhones och iPads (och så småningom headset... förmodligen).

Under "Upptäck ARKit 6" utvecklarsession på WWDC 2022, Apple ARKit-ingenjör Christian Lipski, överblickade vad som händer härnäst.

Bättre rörelsefångst

ARKit innehåller en MotionCapture-funktion som spårar människor i videoramen, vilket ger utvecklare ett "skelett" som uppskattar positionen för personens huvud och lemmar. Detta tillåter utvecklare att skapa appar som lägger över utökade saker på personen, eller flyttar dem i förhållande till personen (det kan också användas för ocklusion för att placera utökat innehåll bakom någon för att mer realistiskt bädda in det i scenen).

I ARKit 6 säger Lipski att funktionen får en "hel uppsättning uppdateringar", inklusive förbättrad spårning av 2D-skelett som nu uppskattar platsen för motivets vänstra och högra öra (vilket säkert kommer att vara användbart för ansiktsfilter, provning av glasögon med AR och liknande funktioner som involverar huvudet).

När det gäller 3D-skelett, som ger en uppskattning av poseringen med djup, lovar Apple bättre spårning med mindre jitter, mer tidsmässig konsistens och mer robusthet när användaren är tilltäppt av kamerakanten eller andra objekt (även om vissa av dessa förbättringar är endast tillgänglig på iPhone 12 och uppåt).

Förbättringar av kameraåtkomst

ARKit 6 ger utvecklare mycket mer kontroll över enhetens kamera medan den används med en AR-app för spårning.

Utvecklare kan nu komma åt inkommande ramar i realtid upp till 4K vid 30FPS på iPhone 11 och uppåt, och den senaste iPad Pro (M1). Det tidigare läget, som använder en lägre upplösning men högre bildhastighet (60FPS), är fortfarande tillgängligt för utvecklare. Lipski säger att utvecklare noga bör överväga vilket läge de ska använda. 4K-läget kan vara bättre för appar som fokuserar på att förhandsgranska eller spela in video (som en virtuell produktionsapp), men läget med lägre upplösning 60FPS kan vara bättre för appar som drar nytta av lyhördhet, som spel.

I likhet med högre videoupplösning under en AR-app kan utvecklare nu ta bilder i full upplösning även när en AR-app aktivt använder kameran. Det betyder att de kan plocka ut en 12MP-bild (på en iPhone 13 i alla fall) för att sparas eller användas någon annanstans. Detta kan vara bra för en AR-app där det är en del av upplevelsen att ta bilder. Till exempel, säger Lipski, en app där användare guidas genom att ta bilder av ett objekt för att senare omvandlas till en 3D-modell med fotogrammetri.

ARKit 6 ger också utvecklare mer kontroll över kameran medan den används av en AR-app. Utvecklare kan justera saker som vitbalans, ljusstyrka och fokus efter behov, och kan läsa EXIF-data från varje inkommande bildruta.

Mer Location Anchor… Locations

ARKit inkluderar LocationAnchors som kan tillhandahålla spårning på gatunivå för AR i utvalda städer (till exempel för att göra augmented reality sväng-för-sväng-anvisningar). Apple utökar den här funktionen till fler städer, nu inklusive Vancouver, Toronto och Montreal i Kanada; Fukuoka, Hiroshima, Osaka, Kyoto, Nagoya, Yokohama och Tokyo i Japan; och Singapore.

Senare i år kommer funktionen att expandera ytterligare till Auckland, Nya Zeeland; Tel Aviv-Yafo, Israel; och Paris, Frankrike.

Plane Anchors

Plane Anchors är ett verktyg för att spåra platta föremål som bord, golv och väggar under en AR-session. Före ARKit 6 skulle ursprunget för ett planankare uppdateras när mer av planet upptäcktes (till exempel flytta enheten för att avslöja mer av en tabell än vad kameran såg tidigare). Detta kan göra det svårt att hålla förstärkta objekt låsta på plats på ett plan om origo roterades efter att ha placerats först. Med ARKit 6 förblir origos rotation statisk oavsett hur formen på planet kan ändras under sessionen.

- - - - -

ARKit 6 kommer att lanseras med iOS 16-uppdateringen som är tillgänglig nu i beta för utvecklare och förväntas släppas för allmänheten i höst.