Мета-исследования показывают, что наиболее революционные достижения виртуальной реальности в телеприсутствии и визуальном реализме могут быть связаны с достижениями в яркости дисплея и динамическом диапазоне.

Говоря о Подкаст Meta CTO Эндрю Босворта, глава компании по исследованиям систем отображения, рассказал об огромном разрыве в яркости между 100 нитами, обеспечиваемыми ведущей на рынке гарнитурой Meta Quest 2, и более чем 20,000 XNUMX нит, обеспечиваемыми ее исследовательским прототипом Starburst. Последний может соответствовать даже яркому внутреннему освещению, намного превосходя самые современные телевизоры с расширенным динамическим диапазоном (HDR). максимум около 1,000 нит.

Дуглас Ланман, главный исследователь Meta, назвал этот пробел тем, что «мы больше всего хотим, но меньше всего можем предоставить прямо сейчас». Прототип настолько тяжелый (от 5 до 6 фунтов) с радиаторами, мощным источником света и оптикой, что для удобного просмотра Starburst его нужно подвешивать сверху и держать за ручки. Хотя мы знаем, что Sony Дисплей PlayStation VR 2 принесет HDR для потребительской виртуальной реальности впервые, его точная яркость и динамический диапазон неизвестны.

«Вы упомянули, что вы как бы чувствуете, как ваш глаз реагирует на это определенным образом», — сказал Натан Мацуда, научный сотрудник Meta Research, Норману Чану из Tested, когда он попробовал Starburst. «Мы знаем, что существует множество сигналов восприятия, которые вы получаете от этой расширенной яркости, и частично это связано с работой, которая была проделана для индустрии дисплеев для телевизоров и кинотеатров, но, конечно, когда у вас есть более иммерсивное устройство отображения. например, когда у вас широкое поле зрения, бинокулярный параллакс и т. д., мы не знаем, действительно ли перцептивные реакции отображаются непосредственно из предыдущей работы, которая была проделана с телевизорами, поэтому одна из причин, по которой мы создали это для начала чтобы мы могли начать распутывать, где эти различия, где могут быть пороги, где вы начинаете чувствовать, что смотрите на реальный свет, а не на изображение света, что в конечном итоге приведет нас к возможности построить устройства, на которых затем создатели контента могут создавать контент, использующий весь этот диапазон».

Для тех, кто пропустил это, Meta предложила беспрецедентный взгляд на исследование своего прототипа VR-гарнитуры на этой неделе в сочетании с объявлением о цели однажды пройти «визуальный тест Тьюринга“. Прохождение теста будет означать создание гарнитуры виртуальной реальности с визуальными эффектами, неотличимыми от реальности. На Подкаст Босворта, Боз в будущее, Ланман подробно описал проблемы продвижения VR-дисплеев к этой цели четырьмя способами: разрешающая способность, варифокальный, коррекция искажений и HDR — последний описан как, возможно, наиболее сложный для достижения в полной мере.

Ланман:

В этих прототипах [Starburst], которые мы построили, вы смотрите на закат… И если мы хотим поговорить о присутствии, вы чувствуете, что находитесь там. Ты на Мауи, смотришь на закат, и волосы на шее встают дыбом.

Так что это то, что мы больше всего хотим, но меньше всего можем предоставить прямо сейчас. Мы сейчас просто проводим исследования, чтобы определить, что сработает? Как мы можем изменить движок рендеринга? Как мы могли бы изменить оптику и дисплеи, чтобы получить это? Но высокий динамический диапазон, это четвертое, пожалуй, главное из них.

Ассоциация Прототип звездообразования, изображенный ниже, продемонстрировал реализацию чрезвычайно ярких визуальных эффектов в виртуальной реальности с расширенным динамическим диапазоном (HDR), которые генеральный директор Meta Марк Цукерберг описал как «возможно, самый важный аспект из всех».

В то время как яркость Starbust значительно улучшает ощущение присутствия и реализма, нынешний прототип будет «крайне непрактичным» для продажи в качестве продукта, как выразился Цукерберг. Если вы еще не погрузились в это, мы настоятельно рекомендуем найти время, чтобы посмотреть полное видео Tested выше, а также послушать подкаст с Lanman и Bosworth, встроенный ниже. Как сказал технический директор Meta, прототипы «дают вам способность рассуждать о будущем, что очень полезно, потому что позволяет нам сосредоточиться».

Мы также связались с Норманом Ченом из Tested, потому что его эксклюзивный взгляд на прототипы оборудования и комментарий, который он сделал Цукербергу о том, что Starbust был «демонстрацией, которую я не хотел снимать», предполагают, что HDR, вероятно, будет критическая область улучшения для будущих HMD. Где разрыв между угловым разрешением Quest 2 и «ретинальным» разрешением Прототип ириски составляет 3x, разрыв между яркостью Starburst и Quest 2 составляет почти 200x, а это означает, что необходимо преодолеть большую пропасть в яркости и динамическом диапазоне, прежде чем он сможет соответствовать «практически любой внутренней среде», как сказал Ланман о Starburst.

«Качественные преимущества HDR были поразительны в демо-версии прототипа Starburst, которую я пробовал, даже несмотря на то, что разрешение дисплея гарнитуры было далеко от разрешения сетчатки», — написал нам Чан. «Достижение примерно 20,000 XNUMX нит в потребительской гарнитуре будет большой технической задачей, но я мог видеть постепенное улучшение яркости за счет повышения эффективности пропускания панели дисплея. Что меня восхищает, так это то, что создание HDR-изображений не требует больших вычислительных затрат — существует так много медиафайлов со встроенными метаданными HDR, которые выиграют в гарнитурах HDR VR. Мне не терпится снова сыграть в некоторые из моих любимых VR-игр, переработанных для HDR!»

Автор новостей UploadVR Гарри Бейкер внес свой вклад в этот отчет.