最近のAI研究では、タッチとビジョンの相乗効果が指摘されています。 3つは、XNUMXD表面および慣性特性の測定を可能にし、もうXNUMXつは、オブジェクトの投影された外観の全体像を提供します。 この作業に基づいて、Samsung、McGill大学、およびYork大学の研究者は AI システムは、初期状態の視覚的および触覚的測定からオブジェクトの動きを予測できます。

「以前の研究では、未知の摩擦特性と幾何学的特性、および相互作用する表面での不確定な圧力分布のために、運動中の物体の軌道を予測することは困難であることが示されています」と研究者は書いています。 紙 彼らの仕事を説明します。 「これらの困難を軽減するために、私たちは運動軌道の最も有益で安定した要素をキャプチャするように訓練された予測子を学ぶことに焦点を合わせています。」

研究者たちは、詳細な触覚測定を提供しながら画像をキャプチャできると主張するSee-Through-your-Skinと呼ばれるセンサーを開発しました。 これに加えて、彼らは、オブジェクトのポーズ、形状、および力に関する情報をエンコードし、オブジェクトのダイナミクスに関する予測を行う表現を学習するために、利用可能な場合に視覚および触覚データを活用するGenerative MultimodalPerceptionと呼ばれるフレームワークを作成しました。 物理的相互作用中のオブジェクトの静止状態を予測するために、彼らは静止状態予測と呼ばれるものを、平面上で自由落下するオブジェクト、傾斜面を滑り落ちるオブジェクト、およびそれらから摂動されるオブジェクトを含む動的シーンの動きの視覚触覚データセットとともに使用しました。休憩ポーズ。

実験では、研究者たちは、彼らのアプローチが、グラウンドトゥルースラベルと厳密に一致する予測で、オブジェクトの静止構成の生の視覚的および触覚的測定値を高精度で予測できたと述べています。 さらに、彼らのフレームワークは、視覚、触覚、および3Dポーズモード間のマッピングを学習したため、入力で触覚情報が利用できない場合など、欠落しているモダリティを処理し、オブジェクトがから落下したインスタンスを予測できると主張しています。センサーの表面、結果として空の出力画像になります。

「これまで見えなかった物体を人間の手に落とした場合、その物体のカテゴリを推測し、その物理的特性のいくつかを推測することができますが、最も直接的な推測は、それが手のひらに安全に収まるかどうか、または必要かどうかです。接触を維持するためにオブジェクトの把握を調整するために」と共著者は書いています。 「[私たちの仕事では]物理シナリオでオブジェクトの動きを予測することは、両方のモダリティを活用することでメリットが得られることがわかりました。視覚情報は3D形状や場所などのオブジェクトのプロパティをキャプチャし、触覚情報は相互作用力とその結果生じるオブジェクトの動きと接触に関する重要な手がかりを提供します。 」