Meta Reality Labs의 연구원들은 독립형 헤드셋에서 회사의 사실적인 코덱 아바타를 렌더링할 수 있도록 AI 처리를 처리하도록 특별히 설계된 맞춤형 가속기 칩이 있는 프로토타입 VR 헤드셋을 만들었습니다.

회사가 이름을 바꾸기 훨씬 전에, Meta는 Codec Avatars 프로젝트를 진행하고 있습니다. VR에서 거의 사실적인 아바타를 현실로 만드는 것을 목표로 합니다. 눈 추적 및 입 추적과 같은 온디바이스 센서와 AI 처리의 조합을 사용하여 시스템은 실시간으로 사용자의 상세한 재현을 애니메이션화합니다.

또는 적어도 하이엔드 PC 하드웨어가 있는 경우에는 그렇게 작동합니다.

이 회사의 코덱 아바타 연구의 초기 버전은 NVIDIA Titan X GPU의 성능에 의해 지원되었으며, 이는 Meta의 최신 Quest 2 헤드셋과 같은 것에서 사용 가능한 성능을 엄청나게 왜소하게 만듭니다.

그러나 회사는 저전력 독립형 헤드셋에서 Codec Avatars를 가능하게 만드는 방법을 알아내는 것으로 이동했습니다. 지난달 2022 IEEE CICC 컨퍼런스와 함께 발표된 논문. 이 논문에서 Meta는 Codec Avatars를 위한 가속기 역할을 하기 위해 7nm 공정으로 제작된 맞춤형 칩을 만들었다고 밝혔습니다.

특제

연구원들에 따르면, 칩은 선반에서 멀리 떨어져 있습니다. 이 그룹은 Codec Avatars 처리 파이프라인의 필수 부분, 특히 들어오는 시선 추적 이미지를 분석하고 Codec Avatars 모델에 필요한 데이터를 생성하는 것을 염두에 두고 설계했습니다. 칩의 풋프린트는 1.6mm²에 불과합니다.

"7nm 기술 노드로 제작된 테스트 칩은 1024 MAC(Multiply-Accumulate) 어레이, 2MB 온칩 SRAM 및 32비트 RISC-V CPU로 구성된 신경망(NN) 가속기를 특징으로 합니다." .

또한 칩의 특정 아키텍처를 활용하기 위해 Codec Avatars AI 모델의 일부를 재구성했습니다.

"컨볼루션 [신경망] 기반 시선 추출 모델을 재설계하고 하드웨어에 맞게 조정함으로써 전체 모델이 칩에 적합하여 오프칩 메모리 액세스의 시스템 수준 에너지 및 대기 시간 비용을 완화합니다." Reality Labs 연구자들은 씁니다. "회로 수준에서 컨볼루션 작업을 효율적으로 가속화함으로써 제시된 프로토타입[칩]은 낮은 폼 팩터에서 낮은 전력 소비로 초당 30프레임의 성능을 달성합니다."

Codec Avatars 워크로드의 집중적인 부분을 가속화함으로써 칩은 프로세스 속도를 높일 뿐만 아니라 필요한 전력과 열도 줄입니다. Codec Avatars의 안구 추적 구성 요소의 재설계된 소프트웨어 설계에 알린 칩의 맞춤형 설계 덕분에 범용 CPU보다 더 효율적으로 이 작업을 수행할 수 있습니다.

파이프라인의 한 부분

그러나 헤드셋의 범용 CPU(이 경우 Quest 2의 Snapdragon XR2 칩)는 쉬지 않습니다. 맞춤형 칩이 코덱 아바타 인코딩 프로세스의 일부를 처리하는 동안 XR2는 디코딩 프로세스와 아바타의 실제 비주얼 렌더링을 관리합니다.

작업은 상당히 다학제적이어야 합니다. 종이 Meta's Reality Labs의 연구원 12명: H. Ekin Sumbul, Tony F. Wu, Yuecheng Li, Syed Shakib Sarwar, William Koven, Eli Murphy-Trotzky, Xingxing Cai, Elnaz Ansari, Daniel H. Morris, Huichu Liu, Doyun 김, 그리고 에디스 Beigne.

메타의 코덱 아바타는 특수 칩이 필요한 경우에도 독립형 헤드셋에서 실행할 수 있다는 점이 인상적입니다. 그러나 우리가 모르는 한 가지는 아바타의 시각적 렌더링이 얼마나 잘 처리되는지입니다. 사용자의 기본 스캔은 매우 상세하며 Quest 2에서 전체적으로 렌더링하기에는 너무 복잡할 수 있습니다. 모든 기본 조각이 애니메이션을 구동하기 위해 존재하더라도 코덱 아바타의 '사실적인' 부분이 이 경우에 얼마나 많이 보존되는지는 명확하지 않습니다.

– – – – –

이 연구는 Reality Lab의 수석 과학자인 Michael Abrash가 수행한 새로운 컴퓨팅 아키텍처의 실용적인 응용 프로그램을 나타냅니다. 최근 XR의 공상 과학 비전을 현실로 만드는 데 필요한 다음 단계로 설명되었습니다.. 그는 고도로 중앙 집중화된 처리에서 보다 분산된 처리로 이동하는 것이 그러한 헤드셋의 전력 및 성능 요구에 중요하다고 말합니다.

이를 가속화하도록 특별히 설계된 칩의 이점을 누릴 수 있는 다양한 XR 관련 기능을 상상할 수 있습니다. 예를 들어 공간 오디오는 몰입감을 더하기 위해 전반적으로 XR에서 바람직하지만 사실적인 사운드 시뮬레이션은 계산 비용이 많이 듭니다(전력 소모는 말할 것도 없고!). 위치 추적 및 손 추적은 모든 XR 경험의 중요한 부분입니다. 하드웨어와 알고리즘을 함께 설계하면 속도와 성능 면에서 상당한 이점을 얻을 수 있는 또 다른 영역입니다.

최첨단 XR 과학에 매료되셨습니까? 아카이브를 확인하세요 흥미로운 연구의 더 많은 분석을 위해.