혼합 현실 헤드셋 제조업체는 사용자가보고들을 때 현실 세계와 디지털 세계를 설득력있게 병합하기 위해 매년 가까워 지지만 컨트롤러가 대부분의 상호 작용에 여전히 필요하기 때문에 입력 (VR 또는 AR 환경 내에서 상호 작용할 수있는 기능)은 여전히 ​​어렵습니다. 이번 주 애리조나 주립 대학 연구진은 FM킷헤드셋을 사용하여 개별 손가락 동작을 정확하게 추적하고 대기 중 필기 인식을 지원할 수 있습니다.

ASU의 작업은 다음과 같은 핸드 트래킹을 뛰어 넘습니다. 모션 미래 액세서리 및 오큘 러스 퀘스트 VR 헤드셋개별 손가락의 경로를 3D 공간에 기록하고 XNUMX 개의 데이터 샘플 필기 세트와 비교할 수 있습니다. 손끝 쓰기 기능을 사용하여 개별 사용자를 식별하고 암호로 사용자를 안전하게 인증하며 휴대용 컨트롤러로 단어를 입력, 말하기 또는 선택하는 대신 텍스트 입력을 작성할 수 있습니다.

공기로 작성된 영어 또는 중국어 단어를 텍스트로 변환하는 방법으로서 시스템의 가치를 넘어서 (연구자가 중점을 두는 기능) 잠재적 인 비즈니스 응용 프로그램은 흥미로울 것입니다. 보안 된 XR 헤드셋 또는 개별적으로 보안 된 앱의 잠금을 해제하기 위해 고유 한 서명을 무선으로 확보 할 수있어 기업은 디지털 컨텐츠 보호를 개인화 할 수 있습니다. 다른 방법으로, 회사는 팀이 숫자 나 문자를 넘어 공통의 암호 시스템을 공유하게하여 XNUMX 점 별 또는 기타 고유 한 표시와 같은 기호를 인식 할 수 있습니다.

FMKit은 현재 두 가지 유형의 입력 장치 (초당 110 스캔에서 작동하는 Leap Motion 컨트롤러와 초당 50 스캔에서 작동하는 사용자 지정 관성 측정 데이터 장갑)를 지원합니다. Python 모듈은 스캔 된 신호를 수집, 전처리 및 시각화합니다. 사용자 식별 시스템 인 FMKit은 Leap Motion으로 93 % 이상의 정확도와 장갑으로 거의 96 %의 정확도를 달성합니다. 그러나 필기 인식의 경우 Leap Motion의 결과가 더 좋으며 시스템은 단어의 정확한 87.4 %를 정확하게 식별합니다. 받아쓰기를위한 음성 입력을 대체하기에는 충분하지 않지만 손가락과 헤드 마운트 센서만으로도 사용할 수있는 시스템에는 적합합니다.

ASU의 Duo Lu, Linzhen Luo, Dijiang Huang 및 Yezhou Yang이 게시했습니다. GitHub의 FMKit 소스 코드 도서관과 데이터 세트를 포함한 오픈 소스 프로젝트로서 다른 연구원들이 작업을 확장하기를 희망합니다. 저자들은 이번 주에 그들의 연구를 CVPR 2020 증강 현실 및 가상 현실을위한 컴퓨터 비전 워크샵 및 샘플 비디오 여기를 클릭하십시오..