늦은 2019에서 오큘 러스 퀘스트 핸드 트래킹 소개 가상 현실을 지배 (VR) 산업. 이 실험적인 기능은 아직 초기 단계이지만 VR 응용 프로그램 개발자에게는 혼합 현실 기술의 흥미로운 새로운 가능성을 열어 줄 수있는 상당한 과대 광고가 있습니다.
Oculus Quest 핸드 트래킹 지원은 VR 개발자에게 자연스러운 제스처와 간단한 상호 작용을 통해 자신을 자유롭게 만들고 표현할 수있는 자유를 제공합니다. 시간이 지남에 따라 앱 개발자는이 기능을 활용하여 가상 현실을 사용자에게보다 접근 가능하고 현실적인 경험으로 만들 수 있습니다.
Oculus Quest와 같은 대부분의 AR 헤드셋과 고급 VR 헤드셋은 공간에서 손과 몸을 자유롭게 움직일 수있는 소위 6 자유도 (XNUMXDOF)를 위해 노력하고 있습니다.
Oculus Quest에는 헤드셋의 센서가 움직임을 추적하는 터치 컨트롤러가 제공됩니다. 전선이 필요하지 않습니다. 장치의 가장 흥미로운 기능 중 하나이며 퀘스트 모델 (64GB 및 128GB)이 모두 매진 된 것은 놀라운 일이 아닙니다. 오큘 러스 스토어. Oculus Rift 또는 Rift S를 얻는 것에 대해 생각한 적이 있다면 먼저 퀘스트를 고려하십시오.
VR의 UI 디자인에 대한 주문형 웨비나 시청
이 혁신적인 기능을 경험하려면 실제 손을 사용하는 몇 가지 예를 시도하십시오.
이 기사에서는 Oculus Quest 핸드 추적의 영향을 살펴보고 현재 모범 사례를 살펴보고 잠재적으로 혁신적인 기술을 활용하여 더 나은 UI (사용자 인터페이스)를 만드는 방법을 살펴 봅니다.
1. 현대 3D 세계를위한 디자인 : VR을위한 UX 디자인 가이드
2. 초보자를위한 Spark AR에서의 자바 스크립트 약속 약속
이 기사를 UX / UI 디자인 개발에 대한 실질적인 조언으로 고려하십시오. 핸드 트래킹 필드는 아직 초기 단계이며 ' 하나의 크기는 모두 맞는 " 접근하다. 시스템의 한계 외에도 응용 프로그램의 가상 환경은 사용자마다 다릅니다. 이 내용은 좋은 출발점입니다.
무료 참석핸드 트래킹을위한 UI 디자인”워크샵 및 실제 사용 사례에 대한 원리 배우기
차례
1 장 : 손 추적 정의?
2 장 : 새로운 하드웨어 요구 – 새로운 패러다임?
3 장 : 손 추적과 상호 작용하는 XNUMX 가지 기본 방법
직접 조작
손 광선
몸짓 인식
4 장 : 대안적인 손 추적 아이디어
5 장 : 손 추적 응용 프로그램 디자인을 시작하는 방법
6 장 : 손 추적 디자인의 미래 (Q & A)
따라서 명백한 질문 :
Oculus Quest 컨트롤러 프리 핸드 트래킹이란 무엇입니까?
손 추적은 Oculus Quest HMD (Head-mounted Display)의 기능으로 사람들이 손을 사용할 때 실제 입력 방법으로 사용할 수 있도록합니다. VR 장치. 사용자는 손으로 집기, 쥐기 또는 드래그와 같은 간단한 제스처로 VR 환경에서 작업 또는 작업을 수행 할 수 있습니다.
- 지터 가상 손과 실제 손의 오정렬입니다. 많은 AR 플랫폼에서 가상 손은 모양, 구름 또는 반짝임과 같은 추상적 인 방식으로 표현됩니다. 이 디자인은 의도적으로 지터 효과를 숨기려고하기 때문에 사용자는 명백한 지 터링을받지 않습니다.
- 표류하다 가만히 서있는 동안에도 가상 세계에서 움직이고 있다는 느낌입니다. 컴퓨터가 손을 실제 위치와 비교한다고 생각하는 위치의 일정한 오프셋으로 인해 사물이 아무런 이유없이 움직 인 것처럼 보입니다. 드리프트 문제의 주요 원인은 조명이 좋지 않거나 헤드셋에 너무 많은 빛이 들어오는 것입니다.
- 그로테스크 텔레포트 손가락과 같은 가상 손의 일부가 손 안에 무작위로 나타나거나 심지어 방의 다른 곳에서 완전히 분리 된 경우입니다. 이러한 오류는 기술이 환경을 잘못 읽고 기괴한 잘못 판단 할 때 발생하므로 프레임 동안 만 지속될 수 있습니다. (또한 심포닉 프로그레시브 록 밴드의 이름이기도합니다.)
중요한 점은 가상 공간에서 손이 어디에 있는지, 그리고 모든 손가락이나 손가락 관절이 어떤 일을하고 있는지를 결정할 수있는 완전 관절 추적 하드웨어입니다. 이 디자인은 자연스러운 상호 작용을 촉진하여 사용자에게 존재감을 높이고 몰입감 있고 매력적인 경험을 제공합니다.
추적 모션 컨트롤러 또는 HoloLens 1은 손의 위치 또는 손가락이 가리키는 위치에 대한 정보를 제공하지 않습니다. 마찬가지로 밸브 너클은 하나의 이동 축만 제공하므로 핸드 트래킹 기술이 아닙니다.
Leap Motion에서 완벽하게 설명 된 손 추적의 좋은 예를 볼 수 있습니다. 홀로 렌즈 2를 포함한 스마트 폰 SDK 미디어 파이프 와 마노 모션VR뿐만 아니라 마누스 프라임 와 VR글루브.
이제 Oculus Quest 핸드 트래킹이이 목록에 합류하여 앱 개발자에게 훌륭한 기회를 제공합니다.
Facebook Reality Labs의 제품 및 디자인 팀이 머리를 모으면 좋은 일이 일어납니다. 원래 연구 프로젝트로 시작한 것은 혁신적인 새로운 패러다임을 가져 왔습니다 가상 현실 입력.
Oculus Quest 핸드 트래킹 뒤에있는 소프트웨어는 딥 러닝을 통합하여 컴퓨터가 Quest의 기본 흑백 카메라 만 사용하여 사용자의 손가락 위치를 결정할 수 있도록합니다. 이 기술은 사용자의 손과 손가락에 매핑되는 3D 포인트 그룹을 생성하여 VR 환경에서 움직임을 정확하게 표현할 수있게합니다.
새로운 Oculus 기능은 혼합 현실의 도약이지만 개발자와 사용자 모두에게 도전이됩니다. 탐구되지 않은 모든 기술은 테스트를 거치지 않았으므로 설계자들은이 독특한 하드웨어를위한 새로운 소프트웨어 설계 방법을 효과적으로 제시해야하므로 상자 밖에서 생각해야합니다.
이 규모의 마지막 주요 변화는 전 세계가 모바일 중심 현실로 옮겨 데스크탑 컴퓨터를 스마트 폰과 태블릿으로 교체했을 때였습니다. 개발자는 마우스 기반 환경을 잊어야했으며 대신 클릭이 스 와이프로 대체되었으므로 터치 스크린에 대해 생각해야했습니다.
이제 VR 개발 영역에서 앱 디자이너는 컨트롤러 대신 손을 사용하여 Oculus Quest 기술을 최대한 활용하는 방법을 찾아야합니다.
Oculus Quest 핸드 추적을 사용하는 경우 가상 환경과 상호 작용할 수있는 세 가지 방법이 있습니다.
각각에 대해 자세히 살펴보겠습니다.
직접 조작은 사용자가 손으로 손을 잡고 홀로그램을 터치하고 상호 작용하는 가상 현실 입력 모델입니다. 객체는 실제와 같이 동작하므로 가상 세계를 제어하는 방법을 배우는 재미 있고 쉬운 방법입니다.
버튼을 누르고, 객체를 집어 들고, 창을 스크롤하고, 2D 컨텐츠 화면을 마치 가상 터치 스크린처럼 활성화 할 수 있습니다. 직접 조작은 거의 입력 모델이므로 팔이 닿는 범위 내의 컨텐츠와 상호 작용할 때 가장 좋습니다.
직접 조작의 과제
- 의도하지 않은 한순간 잠재 의식 운동이나 일반적인 신체 언어를 통해 사람들이 말을하는 동안 자연스럽게 손을 움직이면 소프트웨어가 반응을 보일 수 있습니다.
- 의도적 인 작업 귀하의 세계에서 다른 이유로 인해 특정 포즈를 사용하는 사용자의 능력을 침해 할 수 있습니다. 예를 들어, 사용자가 세계에서 버튼을 활성화 할 수 있지만 다른 곳에서 유사한 푸시 이동을 사용하는 경우 시스템을 혼란스럽게 할 수 있습니다.
- 의도적 인 내재적 의미 제스처 예를 들어 확인 표시 나 엄지 손가락 표시는 이미 많은 문화권에 뿌리 깊은 의미가 있습니다. 설계자는 사용자가 이미 이해 한 의미와 소프트웨어가 인식하는 의미 사이에 밀접한 일대일 매핑이있을 것으로 기대하기 때문에 사용자 인터페이스에서이를 사용하지 않아야합니다.
- 의도적 인 의미없는 제스처 문화적 의미가없고 의도적으로 만 행해지는 특정한 자세 나 움직임입니다. 예를 들어, Quest는 자연스러운 신체 언어와 혼동되지 않는 아이 핀치 제스처를 사용합니다.
기술은 빠르게 발전하지만 직접 조작에는 몇 가지 지속적인 문제가 있습니다.
상호 작용 해결의 중요성
이 세 가지 문제는 상호 작용 해결에 영향을 미치는 주요 요인으로, 사용자가 유해한 시각적 또는 성능 문제를 겪지 않고 가상 세계에서 편안하게 참여할 수있는 최소 개체 규모입니다.
Quest 컨트롤러와 같이 외부에서 추적 된 컨트롤러가있는 경우 놀라운 정확도를 갖습니다. 가상 환경에서 핀 헤드 크기의 항목과 편안하게 상호 작용할 수 있습니다. 그러나 손 추적의 경우 위의 문제로 인해 상호 작용 해결이 좋지 않습니다. 실제로 XNUMX 인치보다 작은 물체는 맞물리지 않습니다.
Oculus Quest 핸드 트래킹의 품질과 사용자 인터페이스는 여전히 인상적이지만 기술은 여전히 개선의 여지가 있습니다. 시간이 지남에 따라 품질이 향상되지만 현재로서는 디자이너가 수용해야 할 몇 가지 제한 사항이 있습니다.
객체 크기 외에도 가상 세계를 설계 할 때 팔 길이를 고려해야합니다. 직접 조작하면 도달 할 수있는 객체와 만 상호 작용할 수 있습니다. 요컨대, 가장 짧은 무장 사용자의 길이를 고려하고 도달 할 수없는 요소로 가상 세계를 과도하게 포장하지 마십시오.
핸드 레이는 사용자가 먼 물체에서 손의 광선을 "촬영"한 다음 제스처를 사용하여 멀리 떨어진 물체를 제어 할 수있는 가상 현실 설계 개념입니다.
이 기능을 사용하면 스위치 뒤집기, 버튼 누르기 또는 방 전체에서 항목 선택과 같은 여러 가지 방법으로 사용자 인터페이스와 상호 작용할 수 있습니다. 손가락과 엄지를 함께 터치하여 개체에 대한 컨트롤을 활성화 할 때 햅틱 피드백을받을 수도 있습니다.
머리 위치를 기준으로 핸드 레이를 고정 할 수 있으므로 팔과 손으로 더 넓은 범위의 동작을 통해 각도를 조정하기 전에 정확도가 높아집니다.
- 스 와이프 키보드 가상 키보드 주위로 손을 쓸어 넘길 수 있습니다. 소프트웨어는 머신 러닝 기술을 사용하여 무엇을 쓰려고하는지 추측하고 계속 쓸어 넘기면 완성 된 텍스트가 화면에 나타납니다.
- 비행 손 멀리있는 항목과 상호 작용할 수 있습니다. 손이 광선의 끝에있는 수정 된 수동 광선과 비슷하므로 멀리있는 물체에 대해 근거리에서 직접 물체를 조작 할 수 있습니다.
- 범위 / 크기 증폭 가상 현실 손이 사용자의 실제 손보다 훨씬 큰 다른 거리 도구입니다. 이를 통해 대규모 조작이 가능하므로 상대적으로 최소한의 움직임으로 큰 물체와 전체 장면을 제어 할 수 있습니다.
- 손 던지기 는 손을 몸에서 멀리 떨어 뜨린 다음 제스처를 사용하여 바닥이나 다른 표면 주위의 분리 된 물체를 크롤링하여 물체에 접근 할 수있는 재미있는 개념입니다.
핸드 레이의 도전
일반적으로 핸드 레이는 컴퓨터 에서처럼 가상 환경에서 잘 작동하지 않습니다.
제스처 인식은 컴퓨터가 손가락과 손바닥의 위치 및 모양과 관련하여 사용자의 손의 자세를 분석 한 다음 해당 동작을 트리거하는 가상 현실 디자인 개념입니다. 예를 들어, 컴퓨터는 평화 기호 또는 로큰롤 기호와 같은 일반적인 수화 사용을 인식 할 수 있습니다.
출처: 미디엄 / 빈센트 hl 러
제스처 인식의 도전
디자이너에게는 오류의 여지가 많기 때문에 제스처를 다루기가 까다로울 수 있습니다. 다음을 고려해야합니다.
“전체 게임을 제작하거나 전체 제품을 제작하는 데 부담을주지 마십시오. 아무리 어리석어 보일지라도 많은 작은 것들을 만드십시오. 얼마나 많이 배우는지 놀라게 될 것입니다.”
제스처는 언제 정당화됩니까?
설계자는 사용자가 Oculus Quest 핸드 추적 응용 프로그램의 사용자 환경을 개선 할 수 있도록 특정 제스처를 통합해야합니다. 필수 제스처의 두드러진 예는 시스템 이스케이프를 수행하는 것입니다. 사용자는 항상이 기능에 액세스 할 수 있어야합니다.
제스처의 고유 한 의미가 결과와 일치하면 디자인에 제스처를 포함시키는 것이 좋습니다. 예를 들어, 사용자가 스크린 샷을 찍으려면 반대쪽 손에서 엄지 손가락 끝을 집게 손가락으로 가져와 마치 마치 카메라 프레임을 통해 보는 것처럼 사각형 모양을 만들 수 있습니다.
핸드 트래킹 애플리케이션에서 정당한 제스처의 다른 예는 제스처가 인터페이스에서의 유일한 상호 작용 인 경우이다. 예를 들어, 가상 다트 게임에서 사용자가 할 유일한 상호 작용은 다트를 던지는 동작입니다.
Oculus Quest 핸드 트래킹의 최신 개발은 VR / AR 커뮤니티 대화 및 많은 UI 디자이너가이 기능의 경계를 넓히기 위해 조금씩 뛰어 들었습니다.
그렇게함으로써 그들은 진실을 빨리 발견 할 것입니다.
새로운 디자인 패러다임이 필요합니다.
- 벡티 2D 벡터를 가져 와서 3D로 만들기위한 깊이를 제공합니다. 소프트웨어 엔지니어 나 고급 코딩 기술이 없어도 3D 세계를 빠르게 만들 수 있습니다.
- Google 차단 VR 세계에 들어가고 기본 빌딩 블록을 사용하여 모양을 만들 수 있습니다. 그런 다음 완성 된 모델을 게임 엔진으로 직접 내보낼 수 있습니다.
- Google 틸트 브러쉬 페인트 도구를 통해보다 복잡한 유기적 모양을 만들 수있는 블록과 유사한 도구입니다.
디자이너가 핸드 트래킹 기술의 잠재력을 극대화하기 위해 가장 중요하고 탐색적인 패러다임을 아직 찾지 못함에 따라 가상 현실은 여러 가지면에서 제한적입니다.
다음은 Oculus Quest 손 추적 응용 프로그램을 설계 할 때 사용할 수있는 몇 가지 아이디어입니다.
목록은 계속 진행되며 디자이너의 상상력에 의해서만 제한됩니다. VR 디자인에서 새로운 패러다임의 가능성을 느끼려면 아래 예를 고려하십시오.
이러한 아이디어 중 일부는 기발한 것처럼 보일 수 있지만 다니엘 뷰 챔프 Shopify의 VR / AR 책임자는 이것이 진화의 필수 길을 설명합니다.
"새롭고 강력한 아이디어를 얻는 가장 좋은 방법 중 하나는 바보 같은 아이디어를 바탕으로하는 것입니다." Beauchamp는 말합니다.
VR / AR의 획기적인 아이디어를 얻으려면 먼저 많은 나쁜 아이디어를 겪어야합니다. 이렇게하면 손 추적을 더 빠르게 개선하는 방법에 대해 생각하십시오. 당신 후 개발을위한 Oculus Quest 설정 당신의 마음을 연구원의 모드로 옮기십시오.
손 추적 기능을 통해 승리 한 제품을 즉시 브레인 스토밍하는 대신이 기술을 사용하여 사용자가 즐기는 재미있는 아이디어를 얻을 수 있습니다. 이렇게하면 도구의 기능에 익숙해지고보다 목적이있는 프로젝트에 적용 할 수있는 상호 작용 및 개념이 우연히 발견 될 수 있습니다.
뷰 챔프는 작은 아이디어가 큰 돌파구를 가져올 수 있기 때문에 더 많은 VR 개발자들이이 접근법을 취하기를 희망한다고 주장했다.
누군가가 사무실로 들어 와서 책상에서 가짜 손을 본다면, 어리석은 접근 방식을 너무 멀리 잡고 있다고 생각할 수도 있습니다. 그러나 VR 앱 개발자는 품질이 좋은 물리적 모델을 얻는 것을 고려해야합니다.
손이있을 때 아이디어를 공식화하고 다른 팀 구성원에게 개념을 설명하는 것이 훨씬 쉽습니다. 손등에 약간의 축을 그려서 다른 동작과 제안 된 제스처를보다 정확하게 시연하기 쉽게 만들 수 있습니다.
디자인 컨셉과 새로운 아이디어를 논의하는 것이 중요합니다. 가상 현실 환경 또는 애플리케이션에 대한 비전은 팀원과 공개적으로 이야기하는 경우에만 가능합니다.
자유롭게 토론 할 수있는 정기 회의 나 공개 플랫폼 및 프로젝트 관리 도구가 있는지 확인하여 아이디어를 튀기고 거친 뇌파를 세련된 개념으로 만드는 데 필요한 피드백을받을 수 있습니다.
디자인의 모든 사람은 디자인을 더 빨리 볼 수있을수록 더 좋습니다. UI 디자이너가 VR 환경 설계 기술을 연마하는 데 사용할 수있는 몇 가지 도구는 다음과 같습니다.
훌륭한 디버깅 도구없이 VR 디자인에 대한 유혹을 피하십시오. 시스템 및 사용자 인터페이스를 개선 할 수있는 방법에 대해 생각해야하므로 디버깅 도구는 문제를 신속하게 식별하고 제거하는 데 중요한 요소입니다.
VR 디자인에서 시간은 종종 중요한 제약입니다. 디버깅 문제를 해결하더라도 반복 시간을 줄일 수있는 방법을 찾아야합니다.
사용중인 경우 오큘 러스 링크테스트를 위해 앱을 빌드하고 Quest에 배포하는 대신 PC에서 Quest 핸드 추적을 사용할 수 있습니다. Oculus 링크를 통해 VR 앱이 실시간으로 재생됩니다 유니티 또는 언리얼.
이에 대한 대안은 책상이나 헬멧에 배치 할 수있는 카메라 인 Leak Motion으로 팀의 모든 사람이 손 추적에 액세스 할 수 있습니다.
또 다른 아이디어는 마우스 또는 키보드 기능을 통해 손을 시뮬레이션하는 방법을 구성하는 것입니다. 이렇게하면 팀의 사람들이 간단한 아이디어를 빠르게 재생하여 디자인 프로세스 속도를 높일 수 있습니다.
베타 테스트에 VR 초보자를 사용하면 비생산적 일 수 있습니다. 하드웨어에 대한 경험이 없으므로 WOW 요소를 극복하기가 어렵습니다. 대신 앱 경험을 향상시키는 데 도움이되는 부정적인 피드백과 건설적인 비판을 줄 수 있으므로 VR 경험이있는 사람들을 사용해야합니다.
많은 전문가들이 특정 패러다임이나 기술에 대한 편견이있을 수 있지만 테스트 및 최적화 지원에 더 유용합니다. 편견과 싸우려면 테스터에게 가상 환경에서 보거나 듣는 것에 만 의존하도록 요청하십시오. 벙어리를 연주하고 소프트웨어가 지시 한 대로만 행동함으로써 사용자는 UI에서 결함을 식별 할 수 있습니다.
Oculus Quest 핸드 트래킹은 교육에서 기업에 이르는 엄청난 기회를 제공합니다. 가상 현실이 점점 더 현대 세계에 통합됨에 따라 더 많은 회사가이 기술의 실질적인 잠재력을 활용하려고합니다.
현재로서는 디자인에 약간의 꼬임이 있습니다. 여전히 UI 디자이너와 앱 개발자가 모여 다양한 실제 사용을 위해 놀라 울 정도로 매력적인 몰입 형 VR 환경을 만들 수 있습니다.
디자인 팀 내에서의 커뮤니케이션은 사용자와의 외부 커뮤니케이션, 특히 테스트 및 최적화와 관련한 외부 커뮤니케이션과 마찬가지로 중요합니다. 개발자는 테스트 중에 숙련 된 VR 사용자의 도움을 받아야하고 고급 디버깅 도구를 활용하여 반복 시간을 줄여야합니다.
성능이 가장 중요하지만 스마트 폰에서 VR을위한 다음 "스 와이프"모션을 만드는 회사가되기 위해 경쟁이 치열 해지면서 빠른 생산이 필수적입니다.
당신은에 대해 자세히 알아볼 수 있습니다 Oculus의 손 디자인 또는 손 추적 기술을 연습 Microsoft Design Labs 손 놀이터 퀘스트와 홀로 렌즈 2
