2019の後半では、 Oculus Questハンドトラッキングの導入 バーチャルリアリティ（VR）業界。 この実験的な機能はまだ初期段階にありますが、VRアプリ開発者の間でかなりの誇大宣伝があり、複合現実技術のエキサイティングな新しい可能性への扉を開くかもしれません。
Oculus Questのハンドトラッキングサポートは、VR開発者に、自然なジェスチャーと簡単な対話を通じて、自分自身を作成して表現するためのより多くの自由を与えることを目指しています。 時間が経つにつれ、アプリ開発者はこの機能を利用して、仮想現実をユーザーにとってよりアクセスしやすく現実的な体験にすることができます。
ほとんどのARヘッドセットとOculus Questとしてのより高度なVRヘッドセットは、空間内で手と体を自由に動かすことができるいわゆる6自由度（XNUMXDOF）を目指して努力しています。
Oculus Questにはタッチコントローラーが付属しており、ヘッドセットのセンサーによって動きが追跡されます。 ワイヤーは必要ありません。 これはデバイスの最もエキサイティングな機能の64つであり、両方のクエストモデル（128 GBおよびXNUMX GB）が売り切れたのは当然のことです。 オクルスストア。 Oculus RiftまたはRift Sの入手を考えたことがある場合は、最初にクエストを入手することを検討してください。
VRのUIデザインに関するオンデマンドのウェビナーを見る
この画期的な機能を体験するには、実際の手を使用している例をいくつか試してください。
この記事では、Oculus Questハンドトラッキングの影響を調査し、現在のベストプラクティスを確認し、この革新的なテクノロジーを把握して、より優れたユーザーインターフェイス（UI）を作成する方法を検討します。
1.現代の3Dワールドのためのデザイン：VRのためのUXデザインガイド
2.初心者のためのSpark ARでのJavascriptの約束のスクリプティング
この記事は、UX / UIデザインの開発に向けた実用的なアドバイスと考えてください。 ハンドトラッキングフィールドはまだ初期段階であり、「 1つのサイズはすべてに適合 “アプローチ。 システムの制限は別として、アプリケーションの仮想エクスペリエンスはユーザーごとに異なります。 つまり、このコンテンツは良い出発点です。
無料で参加Designing UI for Hand Tracking」ワークショップに参加し、実際のユースケースの原則を学ぶ
目次
第1章：ハンドトラッキングの定義？
第2章：新しいハードウェアの要求—新しいパラダイム？
第3章：ハンドトラッキングを操作するXNUMXつの主要な方法
直接操作
ハンドレイズ
ジェスチャー認識
第4章：代替ハンドトラッキングのアイデア
第5章：ハンドトラッキングアプリケーションの設計を開始する方法
第6章：ハンドトラッキングデザインの未来（Q＆A）
したがって、明らかな質問：
Oculus Questのコントローラーフリーハンドトラッキングとは何ですか？
ハンドトラッキングは、Oculus Questヘッドマウントディスプレイ（HMD）の機能であり、 VR 端末。 ユーザーは、ピンチ、ホールド、ドラッグなどの手で簡単なジェスチャーを行って、VR環境でタスクやアクションを実行できます。
- ジッタ 仮想の手と実際の手とのずれです。 多くのARプラットフォームでは、仮想の手は、形、雲、輝きなどの抽象的な方法で表現されます。 この設計はジッターの影響を隠すためのものであり、ユーザーは明らかなジッターに気付かないようになっています。
- ドリフト 静止しているときでも、仮想世界で動いているような感覚です。 コンピュータがあなたの手が実際の位置と比較されているとコンピュータが考える場所の一定のオフセットのため、オブジェクトは理由もなくあなたの周りを移動するように見えます。 悪い照明またはヘッドセットに入る過度の光は、ドリフトの問題の主な原因です。
- グロテスクなテレポート 指のような仮想手の一部がランダムに手の中に現れるか、部屋のどこかに完全にばらばらになった場合です。 これらのエラーは、テクノロジーが環境を誤って読み、奇妙な判断を下すときに発生するため、フレームの間だけ続く場合があります。 （これはまた、シンフォニックプログレッシブロックバンドの良い名前です。）
重要な点は、それが完全に関節式の追跡ハードウェアであり、仮想空間のどこに手があり、すべての指または指の関節がいつ何をしているかを判断できることです。 このデザインは自然な相互作用を促進し、ユーザーに存在感を高め、より没入感のある魅力的な体験を提供します。
追跡モーションコントローラーまたはHoloLens 1は、手の位置や指が指している場所に関する情報を提供しません。 同様に、バルブナックルはXNUMXつの移動軸しか提供しないため、ハンドトラッキング技術ではありません。
Leap Motionで完全に連結されたハンドトラッキングの良い例を見ることができます。 ホロレンズ2を含むスマートフォンSDKで メディアパイプ & マノモーション、VRと同様に マヌスプライム & VRグラブ.
現在、Oculus Questハンドトラッキングがそのリストに加わっています。これは、アプリ開発者にとって素晴らしい機会です。
Facebook Reality Labsの製品チームと設計チームが力を合わせれば、良いことが起こります。 もともと研究プロジェクトとして始まったものが、革新的な新しいパラダイムをもたらしました。 仮想現実 入力。
Oculus Questハンドトラッキングの背後にあるソフトウェアにはディープラーニングが組み込まれており、コンピューターはQuestのネイティブモノクロカメラのみを使用してユーザーの指の位置を特定できます。 このテクノロジーは、ユーザーの手や指にマッピングする3Dポイントのグループを作成し、VR環境での動きを正確に表現できるようにします。
新しいOculus機能は複合現実への飛躍的な前進ですが、開発者とユーザーの両方にとって課題となります。 未踏のテクノロジーはすべてテストされていないため、このユニークなハードウェア用のソフトウェアを設計する新しい方法を効果的に考案する必要があるため、デザイナーは箱から出して考える必要があります。
この規模の最後の大きな変化は、世界がモバイル中心の現実に移行し、デスクトップコンピューターをスマートフォンやタブレットに交換したときでした。 開発者はマウスベースの環境を忘れて、代わりにタッチスクリーンについて考えなければなりませんでした。クリックがスワイプに置き換えられたからです。
さて、VR開発の領域では、アプリ設計者はコントローラーの代わりに手を使ってOculus Questテクノロジーを最大限に活用する方法を理解する必要があります。
Oculus Questハンドトラッキングを使用する場合、仮想環境を操作するにはXNUMXつの方法があります。
それぞれを詳しく見てみましょう。
直接操作は、ユーザーが手で手を伸ばしてホログラムに触れて操作する仮想現実入力モデルです。 オブジェクトは実際の動作と同じように動作するため、仮想世界を制御する方法を楽しく簡単に学習できます。
ボタンを押したり、オブジェクトを選択したり、ウィンドウをスクロールしたり、2Dコンテンツの側面を仮想タッチスクリーンのようにアクティブにしたりできます。 直接操作はほぼ入力モデルであるため、手の届く範囲内でコンテンツを操作する場合に最適です。
直接操作の課題
- 意図しないジェスチャー 無意識の動きや共通の身体言語を通して。 人々が話している間に自然に手を動かすと、ソフトウェアはそれに応じて何かを行う可能性があります。
- 意図的な操作 あなたの世界では、他の理由で特定のポーズを使用するユーザーの能力を侵害する可能性があります。 たとえば、ユーザーが世界でボタンをアクティブにできるが、他の場所でも同様の押し込み動作を使用すると、システムが混乱する可能性があります。
- 意図的な固有の意味のジェスチャー OKサインや親指を立てるのと同じように、多くの文化では根深い意味があります。 設計者はこれらをユーザーインターフェイスで使用しないでください。ユーザーは、すでに理解している意味とソフトウェアが認識する意味とのXNUMX対XNUMXのマッピングが密接に存在することを期待しているためです。
- 意図的な無意味なジェスチャー 先入観のある文化的な意味を持たず、意図的に行われる特定のポーズや動きです。 たとえば、クエストは、自然なボディランゲージと混同される可能性が低いアイピンチジェスチャーを使用します。
テクノロジーは急速に進歩していますが、直接操作にはいくつかの永続的な問題があります。
相互作用の解決の重要性
これらのXNUMXつの問題は、相互作用の解決に影響を与える主要な要因です。これは、ユーザーが視覚的またはパフォーマンス上の有害な問題に遭遇することなく仮想世界に快適に取り組むことができる最小のオブジェクトスケールです。
Questコントローラーのように外部で追跡されるコントローラーがある場合、信じられないほどの精度があります。 仮想環境でピンヘッドのサイズのアイテムを快適に操作できる場合があります。 ただし、ハンドトラッキングでは、上記の問題のため、インタラクションの解像度はそれほど良くありません。 現実的には、XNUMXインチよりも小さいオブジェクトは、かみ合いにくくなります。
Oculus Questハンドトラッキングの品質とユーザーインターフェースは依然として印象的ですが、このテクノロジーにはまだ改善の余地があります。 時間の経過とともに品質は向上しますが、現時点では、設計者が受け入れなければならないいくつかの制限があります。
オブジェクトのサイズの他に、仮想世界を設計するときは腕の長さについても考慮する必要があります。 直接操作すると、到達できるオブジェクトとのみ対話できます。 さらに重要なことは、最も武装したユーザーの長さを考慮し、手の届かない可能性のある要素で仮想世界を過密にしないようにしてください。
ハンドレイは、ユーザーが手から遠くのオブジェクトに向けてビームを「発射」し、ジェスチャーを使用してそのオブジェクトを遠くから制御できる仮想現実デザインのコンセプトです。
情報源： Microsoft.github.io
この機能を使用すると、スイッチを切り替えたり、ボタンを押したり、部屋全体からアイテムを拾ったりするなど、さまざまな方法でユーザーインターフェイスを操作できます。 オブジェクトのコントロールをアクティブにするために指と親指を一緒にタッチすると、触覚フィードバックが得られることもあります。
頭の位置に基づいてハンドレイを固定できます。これにより、腕と手でより広い範囲の動きで角度を調整する前にある程度の精度が追加されます。
- スワイプキーボード 仮想キーボードの周りで手をスワイプできます。 ソフトウェアは、機械学習テクノロジーを使用して何を書こうとしているのかを推測し、スワイプを続けると、完成したテキストが画面に表示されます。
- フライングハンズ 遠くにあるアイテムを操作することができます。 これは、手を光線の端に置いた、修正されたハンドレイのようなもので、遠くにあるオブジェクトに対して近接場で直接オブジェクトを操作できます。
- 範囲/サイズの増幅 は、仮想現実の手がユーザーの実際の手よりもはるかに大きい別の距離ツールです。 これにより、大規模な操作が可能になるため、比較的小さな動きで巨大なオブジェクトやシーン全体を制御できます。
- 手投げ はあなたから手を放すことができる楽しいコンセプトであり、ジェスチャーを使用して、床や他の表面の周りのデタッチされた部分をクロールしてオブジェクトに到達します。
ハンドレイの課題
通常、ハンドレイは、仮想環境ではコンピューター上でのように機能しません。
ジェスチャー認識は、コンピューターが指と手のひらの位置と形状に関してユーザーの手のポーズを分析し、対応するアクションをトリガーする仮想現実デザインコンセプトです。 たとえば、コンピュータは、平和のシンボルやロックンロールのサインなど、一般的な手話の使用を認識します。
情報源： ミディアム/ヴィンセントミューラー
ジェスチャー認識の課題
エラーの余地が多いため、デザイナーにとってジェスチャーは扱いにくい場合があります。 次のことを考慮する必要があります。
「ゲーム全体を構築したり、製品全体を構築したりするために自分に負担をかけないでください。 どんなにばかげているように見えても、小さなものをたくさん作ってください。 どれだけ学べるかに驚かれるでしょう。」
ジェスチャーはいつ正当化されますか？
デザイナーは、特定のジェスチャーを組み込んで、ユーザーがOculus Questハンドトラッキングアプリケーションのユーザーエクスペリエンスを改善できるようにする必要があります。 重要なジェスチャーの顕著な例は、システムエスケープを実行することです。 ユーザーは常にこの機能にアクセスできる必要があります。
ジェスチャの固有の意味が結果と一致する場合、設計にジェスチャを含める価値があります。 たとえば、ユーザーがスクリーンショットを撮りたい場合、まるでカメラのフレームを通して見ているかのように、親指の先を反対の手から人差し指に向けて正方形の形を作成できます。
ハンドトラッキングアプリケーションで正当化できるジェスチャーのもうXNUMXつの例は、ジェスチャーがインターフェイスでの唯一の対話である場合です。 たとえば、仮想ダーツゲームでは、ユーザーが行う唯一の操作はダーツを投げるモーションです。
Oculus Questハンドトラッキングの最新の開発により、 VR / AR コミュニティの話題であり、多くのUI設計者はこの機能の境界を押し広げるために少しばかり苦労しています。
そうすることで、彼らはすぐに真実を見つけるでしょう：
新しい設計パラダイムが必要です。
- ベクタリー 2Dベクトルを取り、それらに奥行きを与えて3Dにします。 これにより、ソフトウェアエンジニアや高度なコーディングスキルを必要とせずに、3Dワールドを自分ですばやく作成できます。
- Googleによるブロック VRの世界に入り、基本的なビルディングブロックを使用して形状を構築できます。 その後、完成したモデルをゲームエンジンに直接エクスポートできます。
- Googleのティルトブラシ はブロックに似たツールで、ペイントツールを使用してより複雑で有機的な形状を作成できます。
ハンドトラッキング技術の可能性を最大限に引き出すために、デザイナーはまだ最も重要で探索的なパラダイムを発見していないため、仮想現実は多くの点で制限されたままです。
Oculus Questハンドトラッキングアプリケーションを設計するときに使用できるいくつかのアイデアを次に示します。
リストは続き、デザイナーの想像力によってのみ制限されます。 VR設計における新しいパラダイムの可能性を感じ取るには、以下の例を検討してください。
これらのアイデアのいくつかは、せいぜい斬新に思えるかもしれませんが、 ダニエル・ボーシャン ShopifyのVR / AR責任者であるは、これが進化への重要な道のりであると説明しています。
「新しく強力なアイデアを解き放つ最善の方法のXNUMXつは、ばかげたアイデアに基づいて構築することです。」 ボーチャンプは言う。
VR / ARで画期的なアイデアを得るには、まず多くの悪いアイデアを経験する必要があります。 これを行うときは、ハンドトラッキングをより速く改善する方法を考えてください。 お先にどうぞ Oculus Questを開発用にセットアップする 研究者のモードに心を動かしてください。
ハンドトラッキングを使って優勝製品を即座にブレインストーミングしようとするのではなく、テクノロジーをいじって、ユーザーが楽しめる楽しいアイデアを考え出す必要があります。 これを行うと、ツールの機能に慣れることができ、より目的のあるプロジェクトに適用できる相互作用や概念に出くわす可能性があります。
Beauchamp氏は、小さなアイデアが大きなブレークスルーにつながる可能性があるため、より多くのVR開発者がこのアプローチを採用することを望んでいると述べています。
誰かがあなたのオフィスに歩いて行き、あなたの机の上にXNUMXつの偽の手を見た場合、彼らはあなたが少しばかげたアプローチをしすぎていると思うかもしれません。 ただし、VRアプリ開発者は、高品質の物理モデルを入手することを検討する必要があります。
手が揃っている場合は、アイデアを策定し、他のチームメンバーにコンセプトを説明する方がはるかに簡単です。 手の甲にいくつかの軸を描くことができます。これにより、さまざまな動きや提案されたジェスチャーをより正確に簡単に示すことができます。
デザインのコンセプトや新しいアイデアについて話し合うことが重要です。 バーチャルリアリティ環境またはアプリケーションのビジョンは、チームメンバーとそれについて率直に話し合う場合にのみ実現します。
定期的に会議を開いたり、オープンプラットフォームやプロジェクト管理ツールを使用したりして、自由に議論を進められるようにします。これにより、アイデアを跳ね返して、大まかな脳波を洗練されたコンセプトに作り上げるために必要なフィードバックを得ることができます。
デザインの誰もが知っていることは、デザインをより速く表示できるほど、優れているということです。 以下は、UIデザイナーがVR環境の設計スキルを磨くために使用できるいくつかのツールです。
優れたデバッグツールなしでVR設計に飛び込む誘惑を避けてください。 システムとユーザーインターフェイスをどのように改善できるかを考える必要があるため、デバッグツールは、問題をすばやく特定して排除するのに役立つ重要な側面です。
多くの場合、時間はVR設計の重要な制約です。 デバッグの問題に直面している場合でも、反復時間を短縮する方法を探す必要があります。
あなたが使用している場合 Oculusリンク、アプリを作成してクエストにデプロイしてテストする代わりに、PCでクエストのハンドトラッキングを使用できます。 Oculusリンクを介して、VRアプリがライブで再生されます UnityまたはUnreal.
これに代わるのがLeak Motionです。これは、デスクやヘルメットに置くことができるカメラで、チームの全員がハンドトラッキングにアクセスできます。
別のアイデアは、マウスまたはキーボード機能を介して手をシミュレートする方法を構成することです。 これにより、チームのメンバーは簡単なアイデアをその場ですばやくプレイできるようになり、設計プロセスがスピードアップします。
VR初心者をベータテストに使用すると、生産性が低下する可能性があります。 彼らはハードウェアの経験がないため、WOW要因を乗り越えるのは困難です。 代わりに、VRの経験がある人を使用する必要があります。それは、アプリの設計を改善するのに役立つ否定的なフィードバックや建設的な批判を与える可能性があるためです。
多くの専門家は特定のパラダイムやテクノロジーに偏見を持っているかもしれませんが、テストや最適化の支援にはより役立ちます。 バイアスに対抗するには、テスターに、仮想環境で見たり聞いたりしたものだけに依存するように依頼します。 ばかげて遊んで、ソフトウェアの指示に基づいて行動するだけで、ユーザーはUIの欠陥を特定できます。
Oculus Questハンドトラッキングは、教育から企業まで、計り知れない機会を提供します。 バーチャルリアリティが現代の世界にますます統合されるにつれ、より多くの企業がこのテクノロジの生の可能性を活用したいと考えています。
今のところ、デザインにはまだいくつかのねじれがあります。 それでも、UIデザイナーとアプリ開発者が協力して、さまざまな実世界での使用のための信じられないほど魅力的で没入型のVR環境を作成できます。
特にテストと最適化に関しては、ユーザーとの外部コミュニケーションと同様に、設計チーム内のコミュニケーションが重要です。 開発者は、テスト中に経験豊富なVRユーザーの助けを借り、反復時間を短縮するために高度なデバッグツールを活用する必要があります。
パフォーマンスが最も重要ですが、スマートフォンでVRの次の「スワイプ」モーションを作成する会社になるための競争が激化するため、迅速な生産が不可欠です。
あなたはについての詳細を学ぶことができます Oculusの手のデザイン またはで手追跡技術を練習 マイクロソフトデザインラボハンズプレイグラウンド QuestおよびHoloLens 2。
