Vision Pro 開発者が投稿したビデオは、Apple の新しいヘッドセットが可能なハンドトラッキングとオクルージョンのパフォーマンスの現在のレベルを示しているようです。
アップルビジョンプロ、 今後数か月以内に発売される予定は、主な入力方法としてハンド トラッキングを使用します。システムレベルのインタラクションでは、ハンドトラッキングとアイトラッキングを組み合わせて「見てタップ」というモダリティを実現しますが、開発者は、ユーザーが手を使ってアプリケーションと直接対話できるアプリケーションを構築することもできます。
Vision Pro でのハンドトラッキングは、「ハンドトラッキング」と「ハンドオクルージョン」という XNUMX つの異なる機能に分類できます。
ハンドトラッキングは、手、その関節、指先の位置の推定 3D モデルです。このモデルは、オブジェクトがいつ触れられ、掴まれ、相互作用されたかを判断するために使用されます。
ハンドオクルージョンは、システムが実際の手を仮想コンテンツにオーバーレイする方法を扱います。 Vision Pro は、仮想の手の 3D モデルをシーンに描画するのではなく、実際の手の画像を切り取ってシーンに表示します。そうすることで、自分自身のユニークな手を確認できるため、仮想コンテンツにリアリズムがさらに加わります。
Unity を使用して Vision Pro を構築している開発者が、ハンド トラッキングとオクルージョンの両方を明確に示すビデオを投稿しました。
上のビデオでは、実際の手は動作中のオクルージョン システムを示しており、緑色の点は手の推定 3D 位置を示しています。
ハンド オクルージョンは非常に優れていますが、完璧ではないことがわかります。仮想コンテンツに完全に囲まれて素早く移動すると、手の端の周りにクリッピングが見られることがあります。
一方、実際のハンド トラッキング位置はハンド オクルージョンよりさらに遅れ、約 100 ～ 200 ミリ秒遅れます。ただし、比較対象となるオクルージョン トラッキングの手のビューしかないため、Vision Pro のハンド トラッキングの実際のレイテンシーを完全に判断することはできません (実際の手に関しては、それ自体に多少のレイテンシーがあります)。
これに関連して、このビデオは、Unity 開発者の会話からのもので、Vision Pro を使用した初期の実験では、明らかに最新の Quest ハンド トラッキング機能と比較して、非常に高いハンド トラッキング レイテンシが示されたと述べています。他の Unity 開発者も、自分の Vision Pro デバイスで同様の遅延が発生していることに同意しました。
ただし、問題のビデオは Unity アプリ内のハンド トラッキング統合です。つまり、ハンド トラッキングのパフォーマンスと遅延には、Apple のファーストパーティ Vision Pro 開発ツールを使用する場合には存在しない、Unity に関連する追加の要素が含まれる可能性があります。また、ヘッドセットがまだ発売されておらず、これらのツールがまだ開発中であることを考慮すると、ヘッドセットが実際に店頭に並ぶまでにさらなる改善が見られるかもしれません。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源： https://www.roadtovr.com/apple-vision-pro-unity-hand-tracking-occlusion/
