Google 연구원들은 (고대역폭) 인터넷 연결을 통해서도 스트리밍할 수 있는 최초의 엔드투엔드 6DoF 비디오 시스템을 개발했습니다.

현재의 360도 영상은 이국적인 장소와 이벤트를 안내할 수 있고, 주변을 둘러볼 수도 있지만 실제로 머리를 위치적으로 앞뒤로 움직일 수는 없습니다. 이로 인해 온 세상이 머리 속에 갇혀 있는 듯한 느낌을 받게 되는데, 이는 실제로 어딘가에 있는 것과는 다릅니다.

Google의 새로운 시스템은 전체 비디오 스택을 캡슐화합니다. 캡처, 재구성 압축 및 렌더링을 통해 획기적인 결과를 제공합니다.

카메라 장비에는 초당 46프레임으로 실행되는 4개의 동기화된 30K 카메라가 있습니다. 각 카메라는 "저비용" 아크릴 돔에 부착됩니다. 아크릴은 반투명하므로 뷰파인더로도 사용할 수 있습니다.

사용된 각 카메라의 소매가는 160달러이며, 이는 장비의 총 가격이 7,000달러 바로 북쪽에 해당합니다. 비싸게 들릴 수도 있지만 실제로는 맞춤형 대안보다 비용이 훨씬 저렴합니다. 6DoF 비디오는 이제 막 실행 가능해지기 시작한 새로운 기술입니다.

그 결과 너비가 220cm인 70도의 "라이트필드"가 탄생했습니다. 이는 머리를 움직일 수 있는 정도입니다. 결과 해상도는 10도당 XNUMX픽셀입니다. 즉, 원래 HTC Vive를 제외한 최신 헤드셋에서는 다소 흐릿하게 보일 수 있습니다. 모든 기술이 그렇듯이 시간이 지나면서 개선될 것입니다.

하지만 정말 인상적인 것은 압축과 렌더링입니다. 라이트 필드 비디오는 안정적인 300Mbit/초 인터넷 연결을 통해 스트리밍될 수 있습니다. 이는 여전히 평균 인터넷 속도를 훨씬 웃도는 수준이지만 이제 대부분의 주요 도시에서는 이러한 종류의 대역폭을 제공합니다.

그것은 어떻게 작동합니까?

2019년 Google의 AI 연구원들은 DeepView라는 기계 학습 알고리즘을 개발했습니다. 약간 다른 관점에서 동일한 장면에 대한 4개의 이미지를 입력하면 DeepView는 깊이 맵을 생성할 수 있으며 임의의 관점에서 새로운 이미지를 생성할 수도 있습니다.

이 새로운 6DoF 비디오 시스템은 수정된 DeepView 버전을 사용합니다. 2D 평면을 통해 장면을 표현하는 대신 알고리즘은 구형 껍질 모음을 사용합니다. 새로운 알고리즘은 이 출력을 훨씬 적은 수의 셸로 다시 처리합니다.

마지막으로, 이러한 구형 레이어는 훨씬 더 가벼운 "계층형 메시"로 변환되어 리소스를 추가로 절약하기 위해 텍스처 아틀라스에서 샘플링합니다. (이것은 다양한 모델의 텍스처가 동일한 파일에 긴밀하게 저장되는 게임 엔진에서 사용되는 기술입니다. 함께 포장되어 있습니다.)

연구 논문을 읽고 브라우저에서 몇 가지 샘플을 시험해 볼 수 있습니다. Google의 프로젝트 공개 페이지.

라이트 필드 비디오 아직 초기 단계의 새로운 기술이므로 YouTube가 가까운 시일 내에 라이트 필드 동영상을 지원하기 시작할 것이라고 기대하지 마세요. 그러나 VR 콘텐츠의 성배 중 하나인 스트리밍 가능한 6DoF 비디오가 이제 해결 가능한 문제라는 것은 분명해 보입니다.

우리는 이 기술이 연구에서 실제 제품으로 전환되기 시작하면서 면밀히 관찰할 것입니다.

출처: https://uploadvr.com/google-lightfield-camera-compression/