En video som publicerats av en Vision Pro-utvecklare verkar visa de nuvarande nivåerna av handspårning och ocklusionsprestanda som Apples nya headset kan.

Apple Vision Pro, förväntas lanseras under de närmaste månaderna, kommer att använda handspårning som primär inmatningsmetod. Medan interaktioner på systemnivå kombinerar handspårning med ögonspårning för en "look and tap"-modalitet, kan utvecklare också bygga applikationer som tillåter användare att interagera direkt med applikationer med sina händer.

Handspårning på Vision Pro kan delas upp i två distinkta funktioner: "handspårning" och "handocklusion".

Handspårning är den uppskattade 3D-modellen av handen, dess leder och fingertopparnas position. Denna modell används för att bestämma när föremål berörs, greppas och interageras med.

Handocklusion handlar om hur systemet lägger över din riktiga hand på virtuellt innehåll. Istället för att rita in en 3D-modell av en virtuell hand i scenen, skär Vision Pro ut bilden av dina riktiga händer för att visa dem i scenen istället. Att göra det lägger till ytterligare ett lager av realism till det virtuella innehållet eftersom du kan se dina egna unika händer.

En utvecklarbyggnad för Vision Pro med Unity lade upp en video som ger en tydlig titt på både handspårning och ocklusion.

I videon ovan visar de riktiga händerna ocklusionssystemet i aktion, medan de gröna prickarna visar handens uppskattade 3D-position.

Vi kan se att handocklusion är mycket bra men inte perfekt; när du är helt omgiven av virtuellt innehåll och rör dig snabbt kan du se några klipp runt handens kanter.

Samtidigt ligger den faktiska handspårningspositionen längre efter handocklusionen, någonstans runt 100–200 ms efter. Vi kan dock inte riktigt bestämma den sanna latensen för Vision Pros handspårning, eftersom vi bara har en syn på de ocklusionsspårande händerna att jämföra den med (som själva kommer att ha viss latens med avseende på de riktiga händerna).

I detta sammanhang kommer videon från en Unity-utvecklarkonversation som säger att deras tidiga experiment med Vision Pro visade mycket hög handspårningsfördröjning, uppenbarligen i jämförelse med de senaste Quest-handspårningsfunktionerna. Andra Unity-utvecklare var överens om att de såg liknande latens på sina egna Vision Pro-enheter.

Men videon i fråga är en handspårningsintegrering inuti en Unity-app, vilket innebär att handspårningsprestandan och latensen kan ha ytterligare faktorer relaterade till Unity som inte finns när man använder Apples förstaparts Vision Pro-utvecklingsverktyg. Och med tanke på att headsetet inte har lanserats ännu och dessa verktyg fortfarande är under utveckling, kan vi se ytterligare förbättringar när headsetet faktiskt når butikerna.

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
• PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
• Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
• PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
• Källa: https://www.roadtovr.com/apple-vision-pro-unity-hand-tracking-occlusion/