複合現実ヘッドセットのメーカーは、ユーザーが見たり聞いたりするときに現実世界とデジタル世界を納得のいくように統合することに毎年近づいていますが、ほとんどの対話にはコントローラーが依然として必要であるため、入力（VRまたはAR環境内で対話する機能）は依然として困難です。 今週、アリゾナ州立大学の研究者は、 FMキット、ヘッドセットが個々の指の動きを正確に追跡できるようにするとともに、空中の手書き文字を認識します。

ASUの作業は、 リープ·モ​​ーション アクセサリーと Oculus Quest VRヘッドセット、個々の指のパスを3D空間に記録し、手書きサンプルのXNUMXつのデータセットと比較できるようにします。 指先の書き込みは、個々のユーザーを識別し、パスワードでユーザーを安全に認証し、ハンドヘルドコントローラーで単語を入力、発話、または選択する代わりにテキスト入力を作成するために使用できます。

空気で書かれた英語または中国語の単語をテキストに変換する方法としてのシステムの価値を超えて-研究者が注目している機能-潜在的なビジネスアプリケーションは刺激的です。 セキュリティで保護されたXRヘッドセットまたは個別にセキュリティで保護されたアプリのロックを解除するために、独特の署名を空中に描くことができるため、企業はデジタルコンテンツの保護を高度にパーソナライズできます。 あるいは、企業はチームに、数字や文字だけでなく、XNUMXつの尖った星やその他の特徴的なマークなどの記号を認識する共通のパスコードシステムを共有させることもできます。

FMKitは現在、110種類の入力デバイスをサポートしています。50秒あたり93スキャンで動作するLeap Motionコントローラーと96秒あたり87.4スキャンで動作するカスタムの慣性測定データグローブです。スキャンされた信号を収集、前処理、視覚化するPythonモジュールを備えています。 ユーザー識別システムとして、FMKitはLeap MotionでXNUMX％以上の精度を、手袋でほぼXNUMX％の精度を実現します。 しかし、手書き認識の場合、Leap Motionの結果はより優れており、システムはせいぜいXNUMX％の時間で単語を正確に識別します。 ディクテーション用の音声入力を置き換えるだけでは十分ではありませんが、指とヘッドマウントセンサー以外に使用できないシステムにとっては、これは良い出発点です。

ASUのDuoLu、Linzhen Luo、Dijiang Huang、YezhouYangが投稿しました GitHub上のFMKitのソースコード ライブラリとデータセットを含むオープンソースプロジェクトとして、他の研究者が彼らの研究を拡張することを期待しています。 著者は彼らの研究を今週、 CVPR2020 拡張現実と仮想現実のためのコンピュータビジョンに関するワークショップ、およびサンプルビデオは ここで入手可能.