Carnegie Mellon University의 연구원들은 사용자의 신체를 더 잘 볼 수 있도록 컨트롤러에 장착된 카메라를 사용하여 VR에서 전신 추적을 위한 실용적인 시스템을 시연했습니다.

오늘날 VR에서 전신 추적을 달성하는 것이 가능하지만 신체에 고정해야 하는 추가 하드웨어(예: Vive 추적기 또는 IMU 추적기)를 사용해야 합니다. 따라서 추가 하드웨어를 장착하기 위해 기꺼이 돈과 시간을 투자하려는 하드코어 VR 애호가를 제외하고는 전신 추적이 초보자가 되지 않습니다.

독립형 VR 헤드셋에는 이미 세계와 사용자 컨트롤러에서 위치를 추적하는 카메라가 있기 때문에 이론적으로 사용자의 신체를 보고 컴퓨터 비전 접근 방식을 사용하여 추적하는 것도 가능합니다. 불행히도 헤드셋의 카메라 각도가 너무 극단적이어서 사용자의 다리를 제대로 볼 수 없었습니다. 이 때문에 Meta는 최근 다음과 같은 결론을 내렸습니다. 전신 추적은 독립 실행형 헤드셋에서 실행 가능하지 않습니다. (특히 그들이 작아질수록).

그러나 Carnegie Mellon University의 연구원들은 다음과 같이 그 개념에 도전합니다. 컨트롤러에 카메라를 추가하는 프로토타입 독립형 VR 시스템 사용자의 몸을 훨씬 더 명확하게 볼 수 있으므로 다리와 몸통에 대한 신뢰할 수 있는 추적 데이터를 추출할 수 있습니다.

[포함 된 콘텐츠]

이 접근 방식에서 특히 흥미로운 점은 차세대 VR 컨트롤러가 이미 향하고 있는 방향과 일치하는 것처럼 보인다는 것입니다. Meta의 Project Cambria와 Magic Leap 2는 모두 다음과 같은 컨트롤러를 사용하고 있습니다. 자체 내부 추적 시스템으로 위치를 계산하기 위해 헤드셋 종속 추적 시스템을 버리십시오..

연구원들은 프로토타입 시스템의 기반으로 표준 Quest 2 헤드셋을 사용하여 사용자를 향하는 컨트롤러에 두 대의 카메라를 추가했습니다. 사용자의 손이 앞에 있으면 카메라는 상체와 하체를 훨씬 더 선명하게 볼 수 있습니다. 이 보기는 컴퓨터 비전 시스템이 사용자의 포즈를 최적으로 추출한 다음 해당 데이터를 머리와 손의 알려진 위치와 결합하여 전신 추적 모델을 만들 수 있도록 수정되었습니다.

물론 사용자의 손은 항상 그들 앞에 있었다. 연구원들은 일부 제한된 테스트에서 VR 사용자가 약 68%의 시간 동안 손을 앞에 두고 있는 것으로 나타났습니다. 손이 신체를 캡처하기에 좋은 위치에 있지 않으면 시스템은 신체 위치의 IK 추정값으로 다시 폴백해야 합니다. 그리고 그들의 프로토타입은 여기까지 가지 않았지만 연구원들은 컨트롤러에 추가 카메라 앵글을 사용하면 사용자의 팔과 컨트롤러가 옆에 있는 경우에도 다리 위치를 캡처할 수 있어야 한다고 믿습니다.

정확성과 관련하여 연구자인 Karan Ahuja, Vivian Shen, Cathy Mengying Fang, Nathan Riopelle, Andy Kong, Chris Harrison은 이러한 종류의 시스템에서는 밀리미터 추적 정밀도가 문제가 될 수 있지만 센티미터 추적 정밀도는 가능성이 있다고 말합니다. 많은 VR 사용 사례에 충분할 수 있습니다. 특히 프로토타입의 경우 시스템은 "평균 3D 결합 오류가 6.98cm"였습니다. 연구원들은 시스템 최적화에 소요한 제한된 시간을 감안할 때 이것이 "상한이 아닌 성능의 바닥으로 간주되어야" 한다고 말합니다.

전신 추적을 통해 다리는 마침내 경험의 실행 가능한 부분입니다. 이는 아바타를 다른 사람들에게 보다 사실적으로 보이게 할 뿐만 아니라 하체를 경험에 통합하여 몰입감을 더하고 플레이어가 게임 플레이에서 사용할 수 있는 또 다른 입력을 제공하는 옵션을 제공하는 것이 바람직합니다.

연구원들은 시스템을 위한 본격적인 추적 모델을 만들 뿐만 아니라 추적된 다리가 게임 플레이에 어떻게 추가될 수 있는지 보여주기 위해 몇 가지 프로토타입 경험을 만들었습니다. 그들은 하키 골키퍼 경험을 보여주었습니다. 선수들은 몸의 어느 부분으로든 퍽을 막을 수 있습니다. 플레이어가 벽을 통과하기 위해 들어오는 벽의 모양을 맞추는 '체형 매칭' 경험; 그리고 플레이어가 손으로 블록을 자르는 '피트 세이버' 게임까지 및 피트.

– – – – –

Magic Leap 2 및 Project Cambria와 같은 헤드셋에서 전신 추적을 볼 수 있습니까? 이 시점에서 말하기는 어렵습니다. 컨트롤러가 자체적으로 내부 외부 추적을 수행하는 것처럼 보이지만 컨트롤러의 카메라는 대부분 사용자에게서 멀리 떨어져 있는 것처럼 보입니다.

그러나 미래의 헤드셋이나 업그레이드된 컨트롤러가 있으면 가능합니다.

헤드셋의 위치에 관계없이 이 연구는 독립형 VR 헤드셋에서 실용적이고 마찰이 적은 전신 추적이 그리 멀지 않은 곳에 있을 수 있음을 보여줍니다. 와 결합 매우 사실적인 얼굴 추적을 실행하는 기능, 미래의 독립형 헤드셋은 VR에서 느끼는 구현을 근본적으로 증가시킬 것입니다.