Apple Vision Pro — это впечатляющее сочетание аппаратного и программного обеспечения, но оно ни в коем случае не идеально. Продолжайте читать, чтобы узнать об аппаратном и программном обеспечении Vision Pro и о возможностях, которые они предоставляют.

Технические характеристики Apple Vision Pro, особенности и подробности

Сегодня Apple официально раскрыла полные характеристики Vision Pro при открытии предварительных заказов. Прочтите нашу разбивку характеристик и сравнение с Quest 3 здесь.

Если вы хотите прочитать бумажные характеристики Vision Pro, вы можете это сделать. здесь. В этом обзоре будут ссылки на некоторые из этих характеристик, но в первую очередь речь идет о реальном опыте использования продукта. И чтобы внести ясность, я использовал его в реальном доме, а не в тщательно контролируемой демонстрационной среде или хорошо освещенной студии. И Apple не прислала UploadVR блок для обзора, мы купили свой собственный.

Хотя я часто обсуждаю долгосрочный потенциал AR и VR, в этой статье я рассматриваю Apple Vision Pro в том виде, в каком он сегодня является реальным продуктом. Товар от 3500$. По этой цене Apple возлагает огромные надежды. Но приносит ли это пользу? Действительно ли Vision Pro в семь раз лучше Quest 3 или даже в два раза лучше? Читай дальше что бы узнать.

Эта проклятая батарея

Пожалуй, самые ожесточенные дебаты в отрасли сейчас касаются того, что делать с чертовой батареей.

Если вы держите его в козырьке, вы увеличиваете вес и ограничиваете диапазон вычислительной мощности чипсетами смартфонов. Если вы поместите его в заднюю обивку, вы не сможете лежать на стуле, диване или кровати. А если вы сделаете батарею внешней, вы введете раздражающий и неэлегантный шнур. Все решения имеют жесткие компромиссы.

Емкость аккумулятора Apple Vision Pro раскрывает его истинное предназначение

Аккумулятор Apple Vision Pro имеет огромную энергоемкость, почти вдвое большую, чем у Quest 3, что показывает, что его истинная цель не в уменьшении веса гарнитуры.

Каким бы ни было ваше мнение по этому поводу, Apple выбрала подход с привязанным аккумулятором, по крайней мере, для своей гарнитуры первого поколения. А это означает, что каждый раз, когда вы собираетесь использовать Vision Pro, вы должны сознательно думать о том, как лучше расположить этот 353-граммовый крючок, который примерно в два раза тяжелее обычного смартфона, и как не допустить, чтобы кабель мешал вашей левой руке. . А если вы хотите встать или хотя бы просто отрегулировать положение для сидения, лучше позаботьтесь о том, чтобы аккумулятор находился в кармане или держа его в руке.

Я перехватил кабель. Я сбил аккумулятор со стула, неловко дергая гарнитуру. И я слишком сильно наклонился вправо и достиг предела троса. Привязь к аккумулятору кажется вездесущей, и, поскольку она такая короткая, она раздражает гораздо больше, чем длинная привязь гарнитур PC VR или PlayStation VR2. В последние несколько дней я часто брал Quest 3 для сравнения с Vision Pro, и это невероятно приятно — иметь возможность просто надеть гарнитуру на голову и двигаться так, как вам нравится, не требуя никакой предусмотрительности.

Еще в 2019 году мы — спросил исполнительный директор Oculus Джейсон Рубин. рассматривала ли его компания возможность создания модели привязанных портативных компьютеров. Он то, что сказал:

«Это модель, которую мы определенно исследовали. У этого есть много преимуществ, например, визуально носить очки меньшего размера на голове — большое преимущество. Аккумулятор, удерживающий вес, тепло от экрана, возможность отделить аккумулятор. Все это здорово.

Проблема в том, что когда ты это делаешь, потому что мы это пробовали, у тебя есть провод. И ты никогда не забудешь этот провод.

К сожалению, Рубин оказался абсолютно прав. Пока я работал с Apple Vision Pro, я почти никогда не забывал этот провод.

Что касается фактического времени автономной работы, то я постоянно достигал заявленных 2 часов, хотя вы можете подключить питание USB-C к аккумулятору для неограниченного использования, и именно так я проводил большую часть своего времени в Vision Pro. Учитывая это, а также ориентацию продукта на сидячее положение, я считаю, что популярные жалобы на время автономной работы, исходящие в основном от тех, у кого на самом деле нет гарнитуры, преувеличены.

Примечание: похоже, что в батарее есть IMU, так как поднятие или постукивание по нему иногда активирует светодиод состояния питания. Поговорим о сверхинжиниринге!

Узкое вертикальное поле зрения и световые уплотнения

Самое первое, что я заметил, когда надел Vision Pro на лицо, — это поле зрения.

По горизонтали все в порядке и ощущается примерно на одном уровне с Quest 2. Но по вертикали это одна из самых узких современных гарнитур, заметно уже, чем любой Quest.

Это не имеет большого значения для просмотра традиционного видеоконтента, поскольку большая его часть все равно имеет широкоэкранное соотношение сторон. Но это вызывает некоторую клаустрофобию при полностью захватывающем контенте или просмотре вокруг с помощью сквозного просмотра, ограничивает видимость вашей клавиатуры в рабочих сценариях и делает прогулку опасной, потому что вы не можете видеть землю внизу. Это причина №1 того, что Vision Pro практически невозможно использовать на открытом воздухе, и почему видео, которые вы видите, где люди делают это, — это влиятельные лица, гоняющиеся за влиянием, а не честно изображающие практический вариант использования.

Удивительно, но узкое поле зрения Vision Pro на самом деле является ошибкой толщины светового уплотнения, также известного как лицевой интерфейс. Технически вы можете носить Vision Pro без легкой печати, хотя Apple не рекомендует это делать, и это слишком сильно повредит нос, чтобы быть практичным. Без светового уплотнения поле зрения Vision Pro кажется всего на несколько градусов уже, чем у Quest 3.

Существует 28 различных размеров световых пломб в формате NumberNumberLetter, например. 33Н. Первое число примерно соответствует ширине (от 1 до 3), второе – толщине (от 1 до 6), а буква – размер переносицы: W для широкой или N для узкой. Но это официально не подтверждено, чтобы было ясно.

Мой размер составляет 21 Вт, то есть у меня должна быть максимально тонкая световая пломба, однако она значительно сужает поле зрения по сравнению с тем, если бы я ее не использовал. Могу только представить, насколько хуже поле зрения у тех, у кого более толстые световые уплотнения.

Еще одна странность световой печати заключается в том, что она на самом деле не блокирует весь свет. И я не имею в виду форму, как у других гарнитур. Сама печать является комплексной, с крошечным световым зазором, что является преимуществом процесса сканирования лица для выбора идеального размера. Проблема в том, что сам тканевый материал просто не полностью непрозрачен, поэтому яркий свет частично проникает в него и попадает в глаза – и линзы, вызывая отвлекающие блики. Я считаю это явным недостатком конструкции. Это также причина №2 того, что Vision Pro практически невозможно использовать на открытом воздухе, и почему видеоролики, которые вы видите о людях, делающих это, — это влиятельные лица, гоняющиеся за влиянием, а не честно изображающие практический вариант использования.

Регулировка IPD и четкость объектива

В Vision Pro регулировка IPD выполняется полностью автоматически. Я имею в виду полностью. Когда вы впервые надеваете его, вам говорят удерживать верхнюю кнопку, и вы чувствуете (и видите визуализацию), как линзы движутся горизонтально, чтобы выровняться с вашими глазами. Камеры слежения за глазами определяют положение ваших зрачков, а крошечные пьезоэлектрические приводы перемещают линзы на место.

Эта основная идея не нова. Автоматическая настройка IPD также есть в гарнитурах Pico 4 Enterprise, Pimax Crystal и Varjo. Но Vision Pro на самом деле идет на шаг дальше любого из них: каждая линза движется независимо. Это важно, поскольку у многих людей IPD на самом деле асимметричны, с немного другим смещением расстояния относительно центра лица. С Vision Pro вы получаете практически идеальное горизонтальное оптическое выравнивание. Конечно, это было бы гораздо более важным событием в мире до Quest Pro и Quest 3, у которых линзы с настолько широким наглазником, что не имеет большого значения, если ваш IPD установлен немного неправильно.

Еще одна уникальная особенность Vision Pro — динамическая коррекция искажений. Он использует отслеживание глаз для обновления модели коррекции искажений объектива в реальном времени, чтобы учитывать угол вашего глаза в каждом кадре. Мета имеет продемонстрировали прототипы об этом, но Apple действительно отправила его.

И, как и во всех поставляемых гарнитурах, линзы Vision Pro имеют фиксированный фокус, поэтому вы не получите реалистичного фокуса, поскольку сигнал глубины и объекты вблизи становятся более размытыми. Но автоматическая регулировка IPD для каждого глаза и коррекция динамических искажений по-прежнему заслуживают внимания, и я надеюсь, что обе они станут стандартом для всех гарнитур высокого класса.

По фактической оптической прозрачности линз Apple уступает только Meta. Изображение в целом четкое и неискаженное, за исключением левого и правого краев каждого глаза, примерно по 5% с каждой стороны. По этим краям наблюдается резкое размытие и цветовая окантовка, гораздо более выраженные, чем в Quest 3. Это может быть заметно, когда вы смотрите на виртуальный экран сбоку, заставляя вас повернуть голову.

Вставки по рецепту и поддержка очков

Мне не нужны очки, поэтому я не могу комментировать ощущения от использования рецептурных вкладышей за 150 долларов в Vision Pro. Что я могу вам сказать, так это то, что каждая вставка имеет QR-код, который сканирует Vision Pro для настройки базовой линии модели коррекции искажений. Очень впечатляющее внимание к деталям и качеству.

Хотя теоретически вы можете вставить свои очки в Vision Pro, как мой коллега Кайл Райзенбек. проверенный, Apple настоятельно не рекомендует этого делать. Вы можете поцарапать линзы, и любые искажения, вносимые очками, не будут исправлены. Система отслеживания взгляда также не предназначена для использования в очках, хотя Кайл утверждает, что у него это сработало.

Passthrough — неоднозначная ситуация

Четкость, яркость, цвета и динамический диапазон

Несмотря на то, что вы, возможно, слышали, во всех условиях освещения, кроме самого яркого, сквозное изображение Apple Vision Pro не похоже на прозрачную оптику. Это по-прежнему очень похоже на изображение с камеры смартфона.

Meta Quest 3 использует для сквозной передачи цветные камеры с разрешением 4 мегапикселя, а Vision Pro — камеры с разрешением 6.5 мегапикселей. Для сравнения, для достижения сквозной четкости, которая, как утверждается, «практически неотличима от естественного зрения», Varjo XR-4 на базе ПК использует 20-мегапиксельные камеры.

Как и во всех системах камер, качество Vision Pro сильно зависит от условий освещения. Но в целом с точки зрения наглядности прохождение Vision Pro заметно лучше, чем у Quest 3, но не кардинально. Он немного зернистый, хотя и гораздо менее зернистый, чем Quest 3, и слегка размытый, хотя и заметно менее размытый, чем Quest 3.

я использовал миниатюру Диаграмма Снеллена (предоставлено моим редактором Яном Гамильтоном), чтобы количественно оценить, какой уровень человеческого зрения может обеспечить сквозное соединение каждой гарнитуры. В Quest 3 я едва мог прочитать четвёртую строку, что соответствует зрению 20/50, тогда как в Apple Vision Pro я едва мог прочитать пятую строку, что соответствует зрению 20/40. Без гарнитуры я могу прочитать восьмую строку, что означает зрение 20/20.

Пропускная способность Vision Pro достаточно хороша, поэтому фиксированное фокусное расстояние становится основным ограничивающим фактором для комфортного использования телефона. Но все же недостаточно хорошо, чтобы рассмотреть мелкие детали, такие как мелкий текст, на любом расстоянии, превышающем метр или около того, а без яркого освещения недостаточно даже, чтобы четко видеть клавиши клавиатуры, лежащей у вас на коленях.

А прохождение Vision Pro на самом деле в чем-то хуже, чем у Quest 3. В то время как передача Quest 3 яркая и насыщенная, передача Apple Vision Pro темнее и имеет приглушенные цвета с тонким фильтром тонов сепии. Может ли это быть непреднамеренным компромиссом из-за затемненной стеклянной передней панели или это можно решить с помощью настроек программного обеспечения?

Однако область, в которой Vision Pro сияет, — это его невероятный динамический диапазон. Конечно, Quest 3 будет динамически регулировать экспозицию, когда вы приближаетесь к яркому источнику света, так что, например, экраны временно становятся видимыми, но Vision Pro не обязан этого делать. Динамический диапазон камеры достаточен, чтобы одновременно обрабатывать огромные различия в освещении, поэтому засветов почти нет. Это замечательно. Даже на открытом воздухе, когда на меня палило солнце, проход Vision Pro не выгорел.

Масштаб, глубина и размытие в движении

Безусловно, самая большая разница между сквозной передачей в Vision Pro и Quest 3 — это фундаментально разная базовая техника. Это дает наиболее значительное преимущество прохождения Vision Pro по сравнению с Quest 3, но у него также есть некоторые серьезные компромиссы.

Сложность концепции сквозного доступа заключается в том, что камеры расположены не там, где находятся ваши глаза. Линзы, дисплеи и компьютерное оборудование создают между собой дистанцию.

В Quest вид реального мира, который вы видите, представляет собой перепроекцию изображения с камеры в реальном времени. Гарнитура запускает алгоритм компьютерного зрения на камерах слежения в оттенках серого для создания покадровой карты глубины от первого лица, а пиксели с цветных камер искажаются, чтобы соответствовать этой карте глубины, чтобы обеспечить изображение с правильной глубиной и масштабом. вы бы видели из положения своих глаз. В ближнем поле Quest даже использует позиционное отслеживание, чтобы ваша голова могла перемещаться по этому перепроецированному изображению еще до того, как станет доступен следующий кадр камеры, чтобы минимизировать воспринимаемую задержку. Проблема с этим подходом заключается в том, что покадровая карта глубины имеет очень низкое разрешение и не совсем точна, поэтому при прохождении Quest 3 наблюдается ужасное пузырьковое искажение, которое мы резко критиковали. в нашем обзоре, почему отключение позиционного отслеживания также отключает прохождение, и почему прохождение будет сильно трястись и искажаться в движущемся транспортном средстве.

Совершенно очевидно, что Apple Vision Pro не использует такое перепроецирование в реальном времени. Никаких искажений никогда не было, даже когда я намеренно блокировал камеры слежения. Он никогда не думает, что стеклянное окно — это 2D-изображение. А закрытие камер на одной стороне передней части гарнитуры, которое в Quest нарушает перепроецирование, в Vision Pro ничего не дает, кроме затемнения одного глаза. Но насколько я знаю, что Vision Pro не является динамически перепроецируемым видом, так это то, что масштаб и перспектива немного отличаются. Да, верно, передача Apple Vision Pro некорректна по глубине. Это было самое Удивительный для меня аспект Vision Pro, о котором я почти не упоминал в других обзорах.

Отсутствие деформирующих искажений Quest глубоко освежает, по сравнению с ним может показаться возвышенным, и, вероятно, именно это имеет в виду большинство людей, когда хвалят сквозную передачу Vision Pro. А если вы сидите на диване и единственное, что рядом с вами — это ваши руки, вы, вероятно, даже не заметите, что вид, который вы видите, не соответствует глубине. Но если вы сидите за столом, вы обязательно заметите, как стол и монитор перед вами перекашиваются при повороте головы, чего не делают виртуальные объекты. И на этих близких расстояниях вы также заметите, что выравнивание виртуальных объектов с реальными объектами немного отклоняется при движении головы. Это не из-за какой-либо ошибки отслеживания, а просто представление Vision Pro о реальном мире не является точным по глубине. Поднимите Quest 3, и вы увидите, что объекты реального мира остаются в том положении и масштабе, в которых они были, когда вы надели гарнитуру. Поднимите Vision Pro, и вы увидите, что все немного смещено. Apple отдавала приоритет геометрической стабильности ценой неправильной глубины и масштаба, в то время как Meta отдавала приоритет глубине и масштабу ценой резкого пузырькового искажения.

То, что вид Vision Pro не является динамическим перепроецированием, также очень очевидно, когда вы идете. Прогуляйтесь по дому или на улице в Vision Pro, и каждый шаг приведет к тому, что изображение будет слегка дрожать, и меня даже будет немного тошнить. Сделайте то же самое в Quest 3, и хотя вы увидите искажения на стенах, вид, который вы видите, свободен от этого дрожания, потому что, опять же, вы перемещаетесь через перепроецирование, не видя необработанного изображения с камеры. Это причина №3 того, что Vision Pro практически невозможно использовать на открытом воздухе, и почему видео, которые вы видите, где люди делают это, — это влиятельные лица, гоняющиеся за влиянием, а не честно изображающие практический вариант использования.

Еще одно интересное различие между подходами Apple и Meta к сквозной передаче — это получаемое в результате двойное размытие изображения. В Vision Pro движущиеся объекты, такие как ваши руки, не размыты, когда ваша голова неподвижна, и выглядят почти идеально гладкими. Но когда вы поворачиваете голову, возникает значительное двойное изображение — настолько сильное, что «вау, когда вы двигаете головой, изображение действительно размыто» было первой реакцией единственного человека, которому я до сих пор демонстрировал Vision Pro. Это интересно, так это то, что в Quest 3 все наоборот; движущиеся объекты, такие как ваши руки, вызывают значительное двойное изображение, а вращение головы приводит к очень малому результату. Это все по одной и той же причине: в Vision Pro вы видите изображение с камеры из другого положения, чем ваши глаза, а в Quest вы видите вид, перепроецированный, чтобы попытаться соответствовать тому, что увидят ваши глаза.

Практическое занятие: прототип сквозной передачи без повторного проецирования Meta

На SIGGRAPH 2023 мы опробовали Flamera, исследовательский прототип AR-технологии без перепроецирования. Наши впечатления и мысли читайте здесь:

Будет интересно увидеть, как различные подходы Apple и Meta будут развиваться в будущих продуктах. Теоретически, имея карту глубины гораздо более высокого разрешения, Meta сможет минимизировать компромиссы, связанные с перепроецированием, сохраняя при этом свои преимущества. С другой стороны, для улучшения глубины и масштаба Vision Pro, по-видимому, потребуется сделать гарнитуру намного тоньше и отказаться от EyeSight или каким-то образом разместить камеры под ней, чтобы камеры могли быть ближе к положению ваших глаз. В качестве альтернативы любая компания может использовать новое аппаратное решение, такое как Meta Прототип Фламерыили реализовать на основе нейронной сети решение с будущими более мощными чипсетами.

Потрясающие OLED-микродисплеи с разрешением почти 4K

Вы быстро понимаете, что ограничения обзора реального мира в Vision Pro определенно связаны с камерами, а не с дисплеями, поскольку виртуальный контент, наложенный на ваш обзор, просто потрясающий.

Видение Про около 4К Дисплеи micro-OLED на сегодняшний день являются наиболее впечатляющим элементом аппаратного обеспечения компании и ставят ее визуальное качество на новый уровень по сравнению с любым другим конкурентом. Это глоток свежего воздуха на рынке, наполненном гарнитурами с ЖК-дисплеями 2K с их мутно-серым черным и приглушенными цветами.

Цвета яркие, контрастность и динамический диапазон невероятные, аппаратного пикселя не видно. Впервые в любой потребительской гарнитуре, которую я пробовал, я не могу различить аппаратные пиксели ни при каком сценарии, и мельчайшие детали четко видны.

Это также первая автономная гарнитура, способная реализовать обещанные компаниями сценарии продуктивного использования. как Мета уже много лет действительно жизнеспособно, без необходимости делать экраны больше, чем поле зрения гарнитуры. При удобном размере просмотра читаемость ощущается где-то между монитором 1440p и 4K. Это переломный момент для VR-гарнитур.

наушники	Показать технику	Разрешение на глаз
Oculus Rift и HTC Vive (2016)	OLED	1080 × 1200 (Пентайл)
Индекс клапана (2019)	ЖК-дисплей	1440 × 1600
Мета Квест 2 (2020)	ЖК-дисплей	~1680×1870 (оценка)
Мета Квест 3 (2023)	ЖК-дисплей	2064 × 2208
Большой экран за гранью (2023)	Микро-OLED	2560 × 2560
Apple Видение Про (2024)	Микро-OLED	3660 × 3200

Однако у дисплеев Apple Vision Pro есть одна проблема — постоянство, то есть количество времени, в течение которого фактически светится дисплей на каждый кадр. Он выше, чем практически у любой другой гарнитуры, а это означает, что вы увидите некоторое размытие изображения при движении головы даже в полностью виртуальном контенте. Это пример того, как Apple Vision Pro был оптимизирован для стационарного использования сидя, а не для активного движения. И это делает Vision Pro неоптимальной гарнитурой для любого контента, где вы быстро вращаете головой, например, для нескольких активных игр.

Другая меньшая проблема заключается в том, что для достижения этого разрешения Vision Pro постоянно использует фовеатный рендеринг с отслеживанием глаз. В собственных приложениях, созданных с помощью RealityKit, в основном это просто работает, хотя очень редко вы можете увидеть незначительные визуальные артефакты на периферии. Но в некоторых приложениях Unity я заметил очень очевидные и резкие артефакты, особенно в тексте. По-видимому, это известная проблема, исправления которой появятся в будущих версиях интеграции Unity VisionOS.

Вес и комфорт

Хотя разрешение Vision Pro теоретически делает его заменой мониторов, на самом деле вы, вероятно, не захотите этого делать.

Учитывая, что большая часть маркетинга включает в себя сидение и просмотр или взаимодействие с виртуальными экранами в течение нескольких часов, а также учитывая, что батарея является внешней, вы можете предположить, что Vision Pro относительно легкий и удобный. Но вы ошибаетесь.

Несмотря на внешний аккумулятор, даже со снятым легким уплотнением и оголовьем Vision Pro весит целых 478 граммов. Для сравнения, Meta Quest 3 весит 397 граммов без лицевого интерфейса и снятых ремней, а визор Pico 4 весит около 295 граммов. Несколько странная ситуация, что единственная крупная гарнитура с привязанным аккумулятором является самой тяжелой, но Apple впихнула в эту штуку серьезное количество компонентов и заключила их в алюминиевую рамку со стеклянной лицевой панелью. Алюминий, возможно, требовался для рассеивания тепла, выделяемого чипсетами M2 и R1, или он мог быть выбран просто из-за его эстетических качеств.

Из коробки Vision Pro поставляется с уже прикрепленным ремешком Solo Knit Band. Этот ремешок вы видите почти на всех маркетинговых снимках Apple, он сделан из «3D-вязаной» ткани, которая отлично ощущается на затылке. Проблема, однако, в том, что у него отсутствует верхний ремешок, важный компонент ремешков других гарнитур, таких как Quest 3 и Valve Index. В результате Solo Knit Band просто не может комфортно выдерживать вес гарнитуры. Я считаю, что это терпимо только минут 5-10, если вообще, после чего гарнитура настолько болит, что мне просто приходится ее снять. Я не могу себе представить, что Apple всерьез ожидает, что кто-то будет носить Solo Knit Band, и я полагаю, что он существует больше для маркетинговых снимков и имиджа бренда, чем для каких-либо практических соображений.

К счастью, в комплект поставки Vision Pro входит другой ремешок, называемый Dual Loop Band, с поперечным верхним ремешком. С ремешком Dual Loop Band я могу носить Vision Pro неограниченное время. Я бы все равно не назвал ее особенно удобной, и вес гарнитуры никогда не исчезает.

Что мне не нравится в Dual Loop Band, так это то, что его задний ремешок далеко не такой мягкий и приятный на ощупь, как у Solo Knit Band. Мне бы хотелось, чтобы Apple объединила Solo Knit Band с верхним ремешком, так как видел в одном из патентов на дизайн.

Положительным аспектом комфорта Vision Pro является то, что легкая уплотнительная набивка изготовлена ​​из очень удобного пенопласта, а поскольку легкий уплотнитель имеет размер, соответствующий вашему лицу, он сидит очень хорошо. Да, вес всегда присутствует, но, по крайней мере, то, что давит на ваше лицо, не кажется грубым, как в Quest 2.

Окклюзия и границы

Одно дело накладывать виртуальные экраны и объекты на реальный мир, но чтобы сделать их убедительными и удобными для использования, они должны иметь возможность перекрываться реальными объектами. В нашем обзоре мы резко раскритиковали полное отсутствие динамической окклюзии в Meta Quest 3 при запуске, и хотя Meta недавно добавила ее, она требует сложной интеграции с разработчиками, а карта глубины имеет очень низкое разрешение, что приводит к довольно ужасным результатам.

С другой стороны, Apple Vision Pro имеет окклюзию в двух различных формах.

Основная форма – окклюзия кисти и предплечья. Очевидно, что для камеры каждого глаза работает двухмерная модель сегментации рук и рук (отдельно от трехмерного отслеживания скелетных рук). Насколько четкой будет сегментация, зависит от условий освещения, но в целом это похоже на то, что вы получаете, когда включаете фон на веб-камере в таком приложении, как Zoom, или, в лучшем случае, на любительской работе с зеленым экраном. Эта окклюзия присутствует во всей системе, в каждом приложении. Это важная особенность, благодаря которой виртуальные объекты кажутся так, как будто они действительно находятся с вами в комнате. И в качестве полирующего прикосновения ваши руки и руки снова подсвечиваются, чтобы соответствовать любой виртуальной среде, в которой вы находитесь.

Однако сбивает с толку и раздражает то, что эта окклюзия не включает в себя ничего, что вы держите в руках, а это означает, что ваш телефон или напиток по-прежнему будут скрыты за виртуальными экранами и объектами, даже если они должны быть впереди. Как будто то, что вы держите, невидимо.

Примечание: я слышал, что разработчики могут отключить окклюзию рук и рук, но я не встречал ни одного приложения, которое это делает.

Другая форма — это трехмерная окклюзия окружающей среды. Vision Pro использует LiDAR и компьютерное зрение для создания трехмерной сетки вашего окружения, которая обновляется в реальном времени. Однако эта впечатляющая возможность пока мало используется. В общем пространстве, где рендеринг контролируется Apple, это используется только для добавления легкой прозрачности виртуальным объектам за реальной геометрией, например, стенами. Разработчики приложений, использующие Full Space, теоретически могли бы сделать гораздо больше, но пока никто этого не сделал. Этот разрыв между возможностями оборудования и тем, что на самом деле использует текущее программное обеспечение, является постоянной темой Apple Vision Pro.

Чего вы не найдете в Vision Pro, так это необходимости рисовать границу безопасности, как это нужно в Quest 3, и вас никогда не потревожит гигантская уродливая монохромная тюремная решетка, которая накрывает приложение, вызывая конфликт глубины. Однако это палка о двух концах, потому что вместо этого Vision Pro, по сути, постоянно работает в эквиваленте стационарного режима Quest. Переместитесь более чем на метр или около того в любом направлении в иммерсивном приложении, и оно постепенно перейдет в режим сквозного перехода. Да, Apple Vision Pro позволяет вам вставать, но не позволяет использовать виртуальную реальность в масштабе всей комнаты.

VisionOS и общее пространство

Apple Vision Pro — первая гарнитура в стиле виртуальной реальности, поставляемая с операционной системой, которая не является просто ответвлением Android. Несмотря на то, что он основан на iPadOS, которая сама основана на iOS, Apple явно внесла существенные изменения и разработала системное программное обеспечение для пространственных вычислений. По сути, это первая полнофункциональная операционная система, созданная для XR, которая фактически поставляется для потребительского устройства.

Существует два основных «режима» VisionOS: общее пространство и полное пространство. Разработчики приложений могут выбирать, для какого из этих режимов они хотят настроить свое приложение.

Общее пространство установлено по умолчанию. Как следует из названия, приложения общего пространства могут работать параллельно друг с другом. Это может включать Windows, 2D-прямоугольники со скругленными углами с дополнительной прозрачностью и Volumes, кубические области, где приложения могут отображать 3D-контент, от одной модели до миниатюрного игрового мира. Приложения могут использовать только Windows, только тома или и то, и другое.

В общем пространстве Apple полностью контролирует рендеринг, освещение и отслеживание. Обратной стороной является то, что разработчики получают только события, такие как пиксель, на который пользователь смотрел, когда сжимает пальцы, но не имеют прямого доступа к отслеживанию скелетных рук. Но к преимуществам относится прекрасно согласованный пользовательский интерфейс между приложениями, что резко контрастирует с Quest, где вам приходится заново изучать различные элементы управления и взаимодействия между каждым приложением, даже приложениями для простых задач. Еще одним преимуществом является то, что Apple использует датчики внешней освещенности Vision Pro для освещения виртуального контента в соответствии с освещением вашей реальной комнаты, а окна и объемы даже отбрасывают тени на реальную землю. Ничто из этого не требует какой-либо интеграции разработчиков, все происходит автоматически.

С другой стороны, если приложение вместо этого использует полное пространство, оно скроет все другие запущенные вами приложения общего пространства, и вы не сможете запустить их, не приостановив работу приложения «Полное пространство». Приложения Full Space получают доступ к скелетному рендерингу и могут управлять собственным стеком рендеринга. Полное пространство похоже на полноэкранный режим на ПК, и его использование, по сути, является обязательным требованием для активных игр или погружения в виртуальную реальность.

Для сравнения, на других платформах, таких как Meta Quest, каждое 3D-приложение эффективно работает в полном пространстве, а концепция общего пространства в настоящее время существует только для 2D-приложений, из которых вы можете видеть только до трех одновременно. Подход Apple позволяет обеспечить многозадачность, включая 3D-приложения, и это дает ему значительный потенциал в качестве универсального вычислительного устройства. Например, я могу смотреть видео или слушать свою музыку, играя в шахматы в игровой комнате. Предстоящая функция дополнений Meta для Quest 3 звучит несколько похоже, но она еще не выпущена и слитые видео предполагают он не будет поддерживать Unity.

Однако одним из существенных недостатков жесткого разграничения Apple общего пространства и полного пространства является то, что вы не можете выполнять многозадачность в приложениях Full Space. В Quest вы можете открыть браузер, не сворачивая иммерсивное приложение, так что вы можете стоять рядом с другом в VR-игре и быстро что-то гуглить. В Vision Pro вам необходимо вернуться в общее пространство, при этом иммерсивное приложение будет свернуто и приостановлено, пока вы не откроете его снова.

Ввод и управление

Отслеживание глаз и рук

Единственное самое большое различие между VisionOS и системным программным обеспечением всех гарнитур, поставлявшихся до него, — это радикально другая парадигма взаимодействия.

В VisionOS ваши глаза — это курсор, а прижатие большого пальца к указательному — это щелчок мыши. И чтобы внести ясность, вам не нужно держать руки перед собой, как вы, возможно, видели на некоторых фотографиях людей, использующих Vision Pro. Вся суть в том, что щепотка работает, даже когда ваши руки лежат на коленях или на подлокотнике стула, а это означает, что вы можете использовать Vision Pro часами подряд без «руки гориллы» - термина, обозначающего, как поднятие рук быстро утомляет их до уровня усталости. точка боли.

Для действий, которые вы выполняете двумя руками на сенсорном экране, таких как масштабирование и вращение, вы просто зажимаете обе руки одновременно. Разведите руки в стороны или вместе, и вы увеличите масштаб того, куда смотрите, или переместите одну назад, а другую вперед, чтобы повернуть.

Это прекрасное сочетание отслеживания взгляда и отслеживания рук отлично подходит практически для любого взаимодействия и в лучшем случае может ощущаться как телепатия, продолжение самих ваших мыслей. Это настолько укоренилось в моем сознании, что я даже пытался смотреть и щипать экран телевизора и ноутбука.

Однако есть одна область, где он явно терпит неудачу: текст. При вводе текста глаза утомляются, чтобы рассмотреть каждую букву, а для точного выделения текста этого просто недостаточно. Конечно, вы можете напрямую касаться виртуальной клавиатуры, но это еще медленнее. Практический ввод текста без физической клавиатуры остается нерешенной проблемой в XR, и у Apple нет волшебного решения.

Непреднамеренные действия также представляют собой реальную проблему при отслеживании рук. Я случайно перешел к другой части фильма, открывая банку с напитком, или выбрал случайный текст в документе, когда мои руки просто лежали на клавиатуре. Хотя эти проблемы в основном случаются только при тусклом освещении, их необходимо будет устранить в долгосрочной перспективе, чтобы сделать этот метод жизнеспособным основным методом ввода. В его нынешнем виде это аналог сенсорного экрана, который иногда активируется при попадании на него частиц пыли.

Кроме того, в некоторых случаях вам нужно отделить то, на что вы смотрите, и то, что вы контролируете. Например, при поиске видео мне часто хочется посмотреть фильм, прокручивая панель поиска, и VisionOS это не нравится. Однако это кажется решаемым с помощью другой программной реализации.

Поддержка клавиатуры и мыши

Несмотря на то, что ввод текста не обеспечивает отслеживание рук и глаз, вы можете легко подключить Bluetooth-клавиатуру, как и другие автономные гарнитуры. Волшебная клавиатура Apple даже отслеживается: над ней имеется небольшой предварительный просмотр ввода текста, поэтому вы можете смотреть на клавиатуру во время набора текста и видеть, что вы вводите.

Если вы планируете использовать Vision Pro для написания любых сообщений, даже просто твитов и электронных писем, Bluetooth-клавиатура абсолютно необходима. Одна очень неприятная проблема заключается в том, что иногда виртуальная клавиатура все еще всплывает и закрывает обзор. Я подозреваю, что это ошибка.

Это решает проблему ввода текста, но как насчет выделения текста? Выбор текста с отслеживанием глаз просто разочаровывает. Вы можете подключить Magic Trackpad от Apple – и все. В VisionOS пока нет поддержки мыши, что кажется странным упущением. В идеале я бы хотел видеть Magic Keyboard со встроенным трекпадом, поскольку транспортировка обоих означает, что теперь вы носите с собой еще две вещи в дополнение к Vision Pro, а не только одну.

Панель запуска приложений, Siri и Центр управления

Хотя Vision Pro использует отслеживание глаз и рук для большей части встроенного ввода, он также имеет два физических элемента управления сверху. Слева находится кнопка захвата, а справа — кликабельный диск под названием Digital Crown.

Мое наименее любимое взаимодействие в Vision Pro — это необходимость щелкнуть цифровую корону на панели запуска приложений. Учитывая, что одна из основных целей системы взаимодействия Vision Pro — позволить вам расслабить руки и взаимодействовать со скоростью мысли, действительно странно протягивать руку вверх и нажимать кнопку каждый раз, когда вы хотите запустить приложение. . Я понимаю, что жест ограничивает использование приложениями этого жеста и иногда не срабатывает, но представьте, насколько это замедлило бы вас, если бы кнопка «Пуск» Windows была физической кнопкой в ​​верхней части монитора. Я часто обнаруживаю, что открываю ладонь и прижимаю указательный палец к большому (жест меню в Meta Quest), только чтобы вспомнить, что в VisionOS это не так просто.

На самом деле, как-то быстрее сказать: «Сири, запусти». », чем протянуть руку и нажать цифровую корону, затем найти и коснуться ее. Вы не можете изменить порядок приложений в панели запуска приложений, и Siri услужливо откроет приложения в том положении, на которое вы смотрите, когда вы спрашиваете.

Примечание: Siri на Vision Pro по какой-то причине работает намного быстрее, чем на других устройствах Apple. Однако его функциональность все еще столь же ограничена.

Другой вид меню Vision Pro, как и на других устройствах Apple, — это Центр управления. Чтобы получить к нему доступ, вы смотрите вверх глазами, пока не увидите небольшой кружок со стрелкой вниз внутри, затем коснитесь пальцами. По сути, это быстрое меню с быстрым доступом к времени, дате, переключению светлого/темного окружения, регулировке громкости, уведомлениям и расширенному Центру управления с быстрым доступом к Wi-Fi, Bluetooth, режиму полета, режиму путешествия, AirPlay Casting, Виртуальный дисплей Mac, гостевой режим, поиск и запись.

Это интересная альтернатива жесту руки. По сути, это Глаза жест. Проблема в том, что он не будет отображаться, если на месте круга есть приложение, поэтому вам придется отвернуться от любого приложения, чтобы его вызвать. Также может быть несколько утомительно поворачивать глаз так далеко вверх, если вы часто к нему обращаетесь. Опять же, я бы предпочел, чтобы это был жест рукой. И в идеале Apple должна просто объединить панель запуска приложений и центр управления в одно меню.

Цифровая корона и окружающая среда

В общем пространстве или в приложениях, которые используют собственную дополнительную среду, прокрутка Digital Crown плавно переходит от полного прохождения к полному погружению в выбранную вами среду. На полпути вы увидите виртуальную среду перед тем местом, где вы сидите, и реальный мир по бокам и позади вас с плавным переходом полупрозрачности по краям. Apple позволяет вам выбрать именно ту степень погружения, которую вы хотите, и в то же время позволяет вам оставаться на связи с тем, что вас окружает, насколько вы хотите.

В главном меню VisionOS вы выбираете нужную среду, что в некоторой степени аналогично настройке фона рабочего стола на Mac. Прямо сейчас вы можете выбирать между:

• Халеакал, массивный вулкан Гавейн
• Йосемитский Национальный парк зимой
• Joshua Tree Национальный парк летом
• Берег озера перед Mount Hood
• White Sands Национальным парком
• Поверхность Луна

Все шесть из этих сред выглядят совершенно потрясающе: трехмерная геометрия рядом с вами сканируется с помощью фотограмметрии, которая в некоторых местах приближается к фотореализму, и реалистичного высококачественного пространственного звука. И, как и в случае с проходом, окна и 3D-объекты будут отбрасывать реалистичные тени на окружающую среду. Это резко контрастирует с Quest, где окружающая среда имеет низкое разрешение и размыта. Между прочим, это не вина аппаратного обеспечения Quest, поскольку в этих средах очень низкая загрузка графического процессора. Это еще один пример того, что Meta просто не предоставляет качественного программного обеспечения.

Если вы не любите отключаться от реального мира и в основном хотели использовать Vision Pro в качестве AR-гарнитуры, но все же хотите изменить свой вид, есть пять сред, которые вместо этого просто перезагораживают проход: «Утренний свет», «Весенний свет», «Летний свет». , осенний свет и зимний свет. Как ни странно, они также оснащены звуком, но вы можете независимо регулировать громкость звука окружающей среды.

Примечание: до того, как Apple Vision Pro был официально представлен, когда мы сообщали о надежных источниках, описывающих его, мы получали «это кликбейт о пустом программном обеспечении!» комментарии к стилю, Digital Crown была описано как «Шифер Реальности». Это было бы гораздо более крутое и подходящее название, но я предполагаю, что Apple хотела, чтобы брендинг соответствовал Apple Watch, у которых также есть цифровая корона.

Зрение…

EyeSight, также известный как обратный проход, — это умная идея. Одна из самых больших проблем при использовании гарнитуры в одной комнате с другими людьми заключается в том, что они не знают, когда вы их видите, а когда нет, и это вызывает первобытный социальный дискомфорт, который многие энтузиасты виртуальной реальности, похоже, недооценивают.

Теоретически EyeSight решает эту проблему, и я аплодирую Apple за попытку. Проблема в том, что в первом поколении он почти не работает.

Во-первых, алгоритм People Awareness, который запускает появление EyeSight, оказался для меня очень ненадежным. При любом освещении, кроме идеального, он часто не может распознать другого человека и, следовательно, его ответ на вопрос: «Вы видите мои глаза?» было твердое «нет, только черное стекло».

Но даже когда People Awareness активирует EyeSight, яркость изображения слишком темна, чтобы быть полезной. Ответ на вопрос «вы видите мои глаза» практически при любом возможном освещении был «едва – и я бы не заметил, если бы вы не спросили».

Последняя проблема заключается в том, что хотя у EyeSight есть параллакс, он применим только к горизонтальной оси. Если посмотреть на него под крутым вертикальным углом, сверху или снизу, эффект полностью нарушается и выглядит еще более причудливо. Мои ответы на это были такими: «Ух ты, это выглядит просто ужасно».

Некоторые списали EyeSight со счетов как неудачный проект и полагают, что в будущих версиях Vision Pro он пойдет по пути TouchBar, но я не согласен с таким уровнем пессимизма. Опять же, это хорошая идея, просто это очень ранняя и ограниченная реализация. Meta впервые продемонстрировала исследование обратного прохождения еще в 2019 году, а недавно показала рендер того, как оно может выглядеть на гарнитуре, которую «можно построить уже сейчас». Хотя рендеры, очевидно, не полностью отражают реальность, исследователи Meta, похоже, уверены, что можно обеспечить гораздо более высокое качество обратного прохождения, чем у Vision Pro, и я уверен, что инженеры Apple уже усердно над этим работают.

Оптимизация и производительность

Больше всего в опыте использования Apple Vision Pro мне больше всего нравится производительность. Независимо от того, что вы делаете в общем пространстве, Vision Pro просто не пропускает кадры. Я не испытал никакого дрожания, этого ужасного явления, которое преследует Quest и PC VR и вызывает тошноту у меня и многих других, а его отсутствие в Vision Pro — не что иное, как возвышенное.

Не совсем понятно, как Vision Pro справляется с этим. Я читал предположения, что это связано с тем, что чип R1 обрабатывает сквозную передачу отдельно, поэтому независимо от того, насколько загружен M2, сквозная передача не будет терять кадры. Это звучит правдоподобно, за исключением одной проблемы: если я нахожусь в полностью виртуальной среде, я тоже не вижу дрожания. Также очевидно, что набор микросхем не является проблемой для Quest, когда вы используете Pico 4 и видите, насколько плавно и производительно его системное программное обеспечение. Meta не ограничена аппаратным обеспечением, ее программное обеспечение просто плохо оптимизировано.

Моя теория, основанная на десятках часов работы в Vision Pro (и, чтобы было ясно, это всего лишь мое предположение), заключается в том, что истинная причина отсутствия дрожания в Vision Pro связана с базовой архитектурой VisionOS. Я подозреваю, что в общем пространстве VisionOS визуализирует и объединяет сквозную передачу, виртуальную среду и существующее содержимое окна, прежде чем вообще уделять приложениям какое-либо время процессора или графического процессора. Поэтому, если системный поток или приложение не завершается вовремя, оно просто выводит на дисплей то, что уже скомпоновано. Наличие контроля над аппаратным и программным обеспечением на уровне ядра-фотона в некоторой степени полезно для других категорий устройств, но для XR это, возможно, важно и позволяет Apple добиться такого уровня доработки, о котором разработчики Android могут только мечтать.

Как ни странно, но есть одна вещь, которая плохо работает на VisionOS: прокрутка списка приложений. Похоже, что частота кадров анимации просто низкая, а не реальная проблема с производительностью.

Гостевой режим и возможность совместного использования

Если вы хотите продемонстрировать или поделиться Vision Pro, вам необходимо включить гостевой режим, прежде чем передать гарнитуру. И каждый раз, когда вы используете гостевой режим, другому человеку необходимо будет пройти калибровку отслеживания взгляда, которая занимает около минуты.

Невероятно раздражает невозможность сохранить калибровку в учетной записи пользователя. Как и iPad, Apple Vision Pro не поддерживает несколько учетных записей пользователей. В случае с iPad очевидно, что попытка продать каждому члену семьи свое — это просто враждебное пользователю решение, поскольку функциональность существует в версии iPadOS для бизнеса и образования. С Vision Pro это больше оправдано, поскольку легкое уплотнение и повязки на голову имеют размер, соответствующий вашему конкретному лицу, и вы можете утверждать, что совместное использование гарнитуры не будет особенно гигиеничным. Но было бы неплохо, если бы Apple позволила парам или друзьям, желающим купить вторую световую печать, иметь вторую учетную запись. Система аутентификации OpticID означает, что VisionOS даже не понадобится дополнительный этап разблокировки, который появляется в Meta Quest, если вы добавите вторую учетную запись.

Очень полезная функция гостевого режима заключается в том, что при его включении вам будет предложено выбрать цель AirPlay. Если вы это сделаете, гарнитура начнет трансляцию на нее, как только человек ее наденет. Мне бы хотелось, чтобы другие производители гарнитур добавили гостевой режим, который автоматически запускает трансляцию и имеет упрощенный интерфейс. Однако есть одна неприятная особенность: вы не можете смотреть видео, защищенные авторским правом, такие как фильмы или даже иммерсивные видео Apple, во время трансляции AirPlay. В Quest такие видео отображаются черными в режиме трансляции, но в Vision Pro они отображаются черными и для пользователя гарнитуры.

Фильмы и телешоу

Аналитики годами размышляли о том, когда и как Apple выпустит телевизор, и с Vision Pro это фактически произошло. Загвоздка, конечно, в том, что это может видеть только один человек в комнате. Но уже сегодня подростки и студенты смотрят фильмы и шоу в одиночестве в своей комнате на телевизоре, ноутбуке или планшете, равно как и одинокие люди всех возрастов и обстоятельств в своей гостиной, а также путешественники в отелях и самолетах.

Разрешение, цвета и контрастность микро-OLED-панелей на размерах виртуального экрана VisionOS могут сделать Vision Pro невероятным способом просмотра фильмов и телепередач. Во время моего полета домой из Нью-Йорка я сидел на месте эконом-класса, но у меня были лучшие возможности для просмотра фильмов, чем у кого-либо в первом классе.

И хотя впечатления от просмотра в 2D уже великолепны, 3D-контент потрясающе хорош. Это не то тусклое, размытое и утомляющее глаза 3D-изображение, которое вы видели в кинотеатрах или на 3D-телевизорах. Это настоящее, идеальное 3D, сохраняющее ту же яркость традиционного контента. Это лучше, чем 2D, без каких-либо компромиссов. Меня настолько впечатлили 3D-фильмы на Vision Pro, что теперь мне кажется, будто чего-то не хватает, когда я возвращаюсь к 2D-контенту на любой платформе. Я могу предположить, что гарнитуры возродят этот формат в течение следующего десятилетия, как это уже начинает делать Vision Pro.

Без необходимости дополнительного оборудования Vision Pro справляется с ролью портативного гигантского телевизора лучше всего, и вполне логично, что большая часть маркетинга Apple сосредоточена на этом варианте использования.

Помимо комфорта, единственным ограничением здесь является то, что, как и вся оптика в стиле VR, вы увидите блики в высококонтрастных сценариях, таких как яркий фильм в темноте. Вы можете несколько смягчить это с помощью более яркой среды.

Я часто слышал, как люди говорят: «Вы уже можете сделать это с Quest!», но это просто неправда – по крайней мере, с юридической точки зрения. В Quest нет встроенного способа аренды или загрузки фильмов, а в магазине нет приложений, предлагающих загрузку или 3D. Существует приложение Netflix VR, но для его использования требуются контроллеры, оно не поддерживает загрузку и передает только потоковую передачу 480p. Также есть приложение Peacock, но по сути это просто ярлык на веб-сайт, поэтому он также не поддерживает загрузку. Чтобы легально загружать фильмы на Quest, вам необходимо загрузить APK-файлы Netflix или Amazon Prime Video для телефона Android со своего компьютера. Однако ни один из этих сервисов не имеет 3D-контента, а Netflix будет транслировать только 576p. Дело не в том, что Quest как аппаратное обеспечение не подходит для такого варианта использования, а в том, что Meta просто не предлагает для него программного обеспечения. У Meta (тогда Facebook) был собственный сервис проката 3D-фильмов еще во времена Gear VR и Go, но затем он закрылся после запуска Quest, чтобы вместо этого запустить партнерское приложение от Vudu. Затем, в прошлом году, его тоже закрыли. Такого рода беспорядочные стратегические махинации просто не случаются в экосистеме Apple.

Приложения для iPad

Возможность загружать и запускать огромное количество приложений для iPad — одно из самых больших преимуществ Apple Vision Pro как обычного вычислительного устройства перед любой существующей автономной гарнитурой. Например, я смог загрузить Slack и Trello для работы, Amazon Prime Video для просмотра фильмов, которые у меня уже есть или к которым у меня есть доступ, и Steam Link, чтобы играть в компьютерные игры на огромном виртуальном экране.

Хотя это правда, что вы можете получить доступ ко многим из этих сервисов через веб-браузер в Quest и Pico, это более сложное и менее совершенное решение. Нативные приложения по-прежнему доминируют в некоторых случаях использования по тем же причинам, по которым люди до сих пор используют их на своих телефонах, планшетах и ​​даже ПК, а не только в браузере.

Технический директор Meta сказал, что он попросил Google перенести свой Play Store на гарнитуры Quest, что могло бы перенести на Quest подавляющее большинство приложений для планшетов и телефонов Android. Но Google сказал «нет», заявил он. Возможно, это связано с тем, что Google хочет сохранить это преимущество для своей собственной платформы пространственных вычислений, которую она создает для будущей гарнитуры Samsung.

Приятно иметь к ним доступ, но не все приложения для iPad хорошо работают с курсором отслеживания глаз. Например, в Amazon Prime Video взгляд в центр экрана выделяет прямоугольные границы невидимой кнопки воспроизведения. Это настолько отвлекает, что я шокирован, что Apple официально продвигает и рекомендует Prime Video, и единственный обходной путь, который я смог найти, — это использовать функцию специальных возможностей для временного отключения контроля отслеживания глаз.

Другая проблема заключается в том, что некоторые разработчики ключевых приложений отказались делать их доступными в VisionOS. Например, Google отказался от всех своих приложений, включая YouTube, Gmail и Photos, а Netflix, Spotify и Snapchat также сделали недоступными свои чрезвычайно популярные платформы. Snapchat является интересным примером, поскольку у него есть веб-версия, но поскольку Safari на VisionOS основан на версии для iPad, сайт Snap просто предложит вам загрузить приложение для iPad, чего вы не можете сделать.

«Пространственные вычисления» и интеграция с Mac

В этом обзоре я воздержался от использования описания Apple Vision Pro как «пространственного компьютера». Дебаты вокруг вопроса о том, что именно представляет собой «компьютер», бушуют в более широкой технологической отрасли на протяжении большей части десятилетия, особенно после запуска iPad Pro, который Apple, как известно, проданный с вопросом «Что такое компьютер?» лозунг.

Но, несмотря на маркетинг Apple, большинство профессионалов сегодня по-прежнему выбирают Mac или Windows, потому что именно там они находят необходимое им мощное программное обеспечение. Как и в случае с iPad Pro, вы не найдете XCode, Visual Studio или Unity в Vision Pro, поэтому вы не сможете использовать его для создания приложений. Вы также не найдете Adobe Premiere, After Effects, Photoshop или Illustrator. Что действительно отличает «компьютер» от других устройств на практике, так это способность профессионально создавать, а не только потреблять. А с точки зрения вычислений Vision Pro аналогичен iPad Pro с кучей внешних мониторов. Это нормально, если ваша работа полностью основана на Интернете. Все, что вы можете делать на Chromebook, вы можете сделать гораздо лучше в Vision Pro. На самом деле это включает в себя большую часть моей собственной работы, и мне нравится, насколько хорошо Vision Pro позволяет мне писать, не вставая с дивана или даже с кровати. Но для более сложных задач вам понадобится настоящий компьютер.

Теоретически возможно, что однажды Apple сможет предоставить VisionOS возможность запуска приложений macOS. И за 3500 долларов это уже должно было быть. Но на данный момент все, что вы можете сделать, это использовать Vision Pro в качестве портативного монитора для вашего существующего Mac.

С MacBook этот процесс настолько прост, что кажется волшебством. В отличие от других автономных гарнитур, здесь не нужно устанавливать программное обеспечение стримера, включать настройки и устанавливать на гарнитуру «приложение». Вы видите плавающую подсказку «Подключиться» над дисплеем, и, глядя на нее и зажимая, экран вашего MacBook выключается, и над ним появляется гигантский виртуальный экран. Если вы не видите это приглашение или используете настольный компьютер Mac, вы можете получить доступ к этой функции в центре управления.

Качество потоковой передачи превосходное, а задержка ниже, чем у любого беспроводного удаленного рабочего стола, который я когда-либо пробовал. Вероятно, это связано с преимуществами комплексного контроля Apple над аппаратным и программным обеспечением на обоих устройствах. Кажется, он работает через Wi-Fi Direct, не требуя локальной сети, а это означает, что вы можете использовать его где угодно, даже если ваш маршрутизатор находится далеко. А дисплей Mac работает в общем пространстве, поэтому вы можете использовать параллельно с ним приложения iPad и VisionOS.

Однако поддержка Mac весьма ограничена. Он поддерживает только один дисплей, то есть не поддерживает ни реальные, ни виртуальные дополнительные дисплеи. Это несколько забавно, учитывая, что в Quest вы можете использовать Meta's Horizon Workrooms, чтобы превратить ваш MacBook в установку с тремя мониторами, при этом два боковых монитора будут полностью виртуальными. В идеале я хотел бы иметь возможность отделять отдельные приложения MacOS от экрана и размещать их в пространстве. Будет интересно посмотреть, как эта функция будет развиваться в будущих обновлениях VisionOS и macOS.

Что касается поддержки Windows, то она явно не встроена, но вы можете использовать сторонние решения из App Store, такие как Steam Link или Parsec. Чтобы внести ясность, я говорю здесь о просмотре виртуального монитора, а не иммерсивного VR. Читайте дальше, чтобы узнать больше об этом.

Игры

Основной вариант использования Meta Quest — самая большая слабость Apple Vision Pro.

Здесь вы не найдете Superhot, Gorilla Tag, Population One, Resident Evil 4 VR или Asgard's Wrath 2. Я был удивлен и несколько позабавлен, обнаружив, что огромный процент игр, «сделанных для Vision Pro», просто запускается в плавающем окне, потому что по сути это просто игры для iPad с некоторыми случайными пространственными элементами. И чтобы внести ясность, это казуальные мобильные игры. Хотя Vision Pro поддерживает геймпады, игры AAA, которые появились на iPad с чипами серии M, такие как Assassin's Creed Mirage, Death Stranding и Resident Evil, были исключены из появления в магазине приложений VisionOS.

На момент написания статьи в Vision Pro было менее 10 по-настоящему пространственных игр, то есть игр, в которых вы фактически взаимодействуете в трех измерениях с виртуальными объектами, которые не содержатся в прямоугольнике или круге. К ним относятся Synth Riders, Super Fruit Ninja, Game Room, What The Golf и Lego Builder's Journey.

• Synth Riders на VisionOS немного отличается от версии гусеничных контроллеров на других иммерсивных платформах, но основной игровой процесс очень похож. Это аналог Beat Sabre от Apple или, по крайней мере, наиболее близкий к нему.
• Super Fruit Ninja больше похожа на знаменитую мобильную версию, чем на серию Fruit Ninja VR. Это происходит в проходном режиме, и вы проводите фрукты руками.
• Game Room — это оптимизированный настольный симулятор от разработчиков Demeo, включающий в себя Hearts, Chess, Battleship.
• What The Golf — это настольная игра, в которой вы жестами рук бросаете миниатюрный мяч для гольфа (или иногда клюшку) через миниатюрное поле.
• Lego Builder's Journey — это настольная игра, в которой вы размещаете миниатюрные кубики, чтобы завершить сборку, что-то вроде решения головоломки.

Из этих пространственных игр только Synth Riders и Super Fruit Ninja предполагают вставание и активное движение, а остальные — медленные и сидячие.

Что делает активный игровой процесс в Vision Pro намного хуже, чем в Meta Quest, так это качество отслеживания скелетных рук и отсутствие отслеживаемых контроллеров.

По какой-то причине разработчики игр получают только скелет для отслеживания рук с очень низкой частотой обновления, из-за чего удары по блокам в Super Fruit Ninja и Synth Riders кажутся вялыми и неотзывчивыми. Что делает это таким странным, так это то, что система явно способна отслеживать движения рук с гораздо более высокой частотой обновления, что становится очевидным при использовании рук для перемещения окон в общем пространстве. В этом контексте отслеживание рук Vision Pro кажется лучше, чем в Quest 3, но в играх оно значительно уступает. Что тут происходит?

И независимо от того, насколько хорошо отслеживается движение рук, отсутствие отслеживаемых контроллеров серьезно ограничивает возможности разработчиков, а отсутствие тактильной обратной связи совершенно очевидно. Гораздо приятнее ударять по блокам в Beat Sabre, держа что-то в руках и чувствуя каждый удар, чем махать руками в воздухе в Synth Riders на Vision Pro.

Подводя итог, Apple Vision Pro — не гарнитура для геймеров, и если вы купите ее в надежде поиграть в игры, то, скорее всего, будете сильно разочарованы.

Еще одно интересное различие между играми на Quest и Vision Pro — это модель ценообразования. В Quest вы в основном покупаете игры напрямую по цене от 5 до 60 долларов в зависимости от названия, хотя существует подписка Quest + за 8 долларов в месяц, которая дает вам 2 игры в месяц, которые вы сохраняете, пока остаетесь подписанными. В Vision Pro почти все игры на данный момент доступны по подписке Apple Arcade, стоимость которой составляет 7 долларов в месяц. На самом деле у вас нет этих игр, вы просто берете их напрокат, хотя Job Simulator и Vacation Simulator установлены чтобы противостоять этой тенденции.. Предпочитаете ли вы это или ненавидите, будет зависеть от ваших собственных взглядов на покупку или подписку.

Симулятор работы появится в Apple Vision Pro

Симуляторы работы и Симулятор отпуска появятся в Apple Vision Pro.

Да, и если вы хотите использовать Vision Pro в качестве гарнитуры SteamVR в Windows, вы уже можете это сделать, если вы являетесь зарегистрированным разработчиком Apple с Mac и умеете компилировать Порт ALVR VisionOS из источника.

Virtual Desktop и iVRy работают над приложениями потоковой передачи VR для ПК для магазина VisionOS, но до этого в лучшем случае осталось несколько месяцев, и Apple не подтвердила одобрение ни на одно из них.

Виртуальный рабочий стол и iVRy созданы для Apple Vision Pro

Virtual Desktop и iVRy работают над портами Apple Vision Pro для беспроводной потоковой передачи виртуальной реальности с вашего игрового ПК.

Однако имейте в виду, что при использовании любого из этих решений вы по умолчанию не сможете играть во многие игры SteamVR. Для большей части контента SteamVR требуются отслеживаемые контроллеры, а Vision Pro их не включает и не поддерживает. Вы можете добавить базовые станции отслеживания SteamVR и контроллеры индекса и использовать такой инструмент, как Космический калибратор OpenVR чтобы выровнять их вручную. Но это оборудование обойдется вам примерно в 600 долларов, если у вас его еще нет, и настройку придется выполнять каждый раз. Если вы не хотите этого делать, Vision Pro все равно может оказаться отличной гарнитурой для использования с неотслеживаемыми устройствами ввода, такими как гоночные рули для гоночных симуляторов или установки HOTAS для авиасимуляторов.

Apple, иммерсивное видео

Иммерсивное видео, контент на 180 или 360 градусов, который частично или полностью окружает вас, было основным направлением VR-гарнитур со времен Samsung Gear VR 2014 года и даже Google Cardboard. Но почти у всех было одно общее: они отстой. Разрешение часто было плохим, 3D-масштаб был неправильным, и почти все они имели ужасно заметную блочность сжатия.

Через свою подписку Apple TV+, стоимость которой составляет 10 долларов в месяц, Apple предлагает захватывающие документальные фильмы с использованием «Apple Immersive Video», то есть 8D-видео 180K с разрешением 3 градусов и кодированием HEVC, и транслирует их в потоковом режиме с высокими битрейтами. На данный момент каталог такой:

• Доисторическая планета с погружением: сериал от отмеченного наградами режиссера Джона Фавро, основанный на существующем традиционном сериале Apple TV+ «Доисторическая планета».
• Приключение: сериал, в котором рассказывается о спортсменах-экстремальных видах спорта, решающих различные задачи по всему миру. Первый выпуск посвящен хайлайнингу.
• Дикая жизнь: a сериал, который познакомит вас с некоторыми из самых уникальных животных на Земле, рассказанными экспертами. Первый эпизод посвящен носорогам.
• Репетиционный зал Алисии Киз: короткометражный документальный фильм, предлагающий закулисный взгляд на репетицию Алиши Киз.

Качество видео этих документальных фильмов превосходит любое потоковое 180-градусное 3D-видео, которое я когда-либо пробовал, и с ним могут конкурировать только предварительно загруженные версии контента Felix & Paul на Quest. Масштаб почти идеален, артефактов сжатия не наблюдается. Это суровое обвинение в качестве потоковой передачи Meta в приложении Meta Quest TV, которое в той же сети Wi-Fi по сравнению с ним выглядит блочным. Apple Immersive Video настолько хороша, что изменила мое мнение о потоковом иммерсивном видео с пренебрежения на восхищение. Мне не терпится увидеть, какой еще контент появится в этом формате. Vision Pro также, очевидно, способен декодировать видео 12K, поэтому в будущем качество может стать еще лучше.

Моя единственная жалоба на Apple Immersive Video: мне бы хотелось, чтобы угол был не менее 270 градусов, а не только 180, потому что я часто смотрю по сторонам и вижу черную полосу, которая значительно ухудшает погружение.

Есть также еще одно приложение AmazeVR, предлагающее захватывающие концерты от T-Pain, Зары Ларсон и UPSAHL. Под концертами я не имею в виду трансляции реальных концертов — это индивидуальные впечатления, сочетающие 180-градусную съемку с камеры и визуализированный фон. Он также доступен на Quest и Pico, но на дисплеях Vision Pro он действительно сияет.

Пространственное видео

Другой вид видеоконтента, который гарнитуры однозначно хорош для просмотра, — это обычные прямоугольные стереоскопические 3D-видео.

Apple называет стереоскопическое 3D-видео «Пространственным видео», но в реализации Apple нет ничего особенного, за исключением того, что оно записывает два вида в отдельные потоки файла HEVC, а не просто сохраняет их как одновременные или расположенные сверху.

iPhone 15 Pro теперь записывает «пространственное» 3D-видео для Vision Pro

В iOS 17.2 iPhone 15 Pro теперь может записывать пространственное 3D-видео для просмотра в Apple Vision Pro.

Две модели iPhone 15 Pro могут записывать пространственные видео с версии 17.2, бета-версии которой была выпущена в ноябре, а публично — в декабре.

Просмотр пространственных видеороликов, снятых на iPhone, мог бы стать уникальной функцией Apple Vision Pro, но разработчики украл его гром выпустив приложения для iPhone, позволяющие конвертировать их в SBS 3D для просмотра на любой существующей гарнитуре, и в этом месяце Мета добавила возможность для простой синхронизации пространственных видеороликов iPhone с Quest для просмотра. Поскольку пространственное видео, снятое на iPhone, имеет только разрешение 1080p SDR, нет большой разницы при просмотре на Quest 500 за 3 долларов и просмотре на Vision Pro за 3500 долларов.

Однако есть одна вещь, которую Quest 3 не может сделать, по крайней мере, без настроек командной строки разработчика, — это запись пространственного видео. Apple Vision Pro — это не просто программа для просмотра 3D-изображений, это 3D-камера. В то время как iPhone записывает видео с соотношением сторон 16:9 при разрешении 1920×1080, Vision Pro записывает квадратное видео с соотношением сторон 1:1 при разрешении 2200×2200. Оба имеют частоту всего 30 кадров в секунду, что является заметным ограничением для любого вида движения.

Персоны и FaceTime

Персоны — это реалистичные виртуальные аватары Apple в VisionOS. Вы создаете свою Персону, держа Vision Pro перед собой, чтобы он сканировал ваше лицо, пока вы делаете разные выражения, и этот процесс занимает в общей сложности около минуты.

После создания ваша Персона управляется в реальном времени с помощью датчиков отслеживания глаз и лица гарнитуры, а также отслеживания рук. Ваш Persona появится в любом приложении для iPad или iPhone, которое запрашивает селфи-камеру, а также в приложениях VisionOS, которые интегрируют Persons, например FaceTime.

Что действительно хорошо сделано в FaceTime на Vision Pro, так это возможность делиться. Вы можете поделиться своим видом от первого лица, в том числе сквозным, а также файлами, такими как изображения и даже 3D-модели, которые получатель может открыть в своем пространстве одним касанием. Это напоминает мне о том, как Meta очень не хватает встроенного небольшого приложения для неформальных видеовстреч в Quest. Horizon Workrooms слишком требователен и формален и построен на совместном использовании вашего компьютера, а не на использовании Quest отдельно.

Но сейчас Personas в VisionOS ограничены отображением внутри прямоугольного окна, как если бы это было трехмерное изображение с веб-камеры. На мой взгляд, здесь упускается то, что делает общение в виртуальной реальности замечательным: общее координатное пространство. Если вы находитесь на социальной платформе виртуальной реальности на других гарнитурах, вы видите только мультяшную версию другого человека, да, но его существование в той же трехмерной среде, что и вы, создает ощущение социального присутствия, которое трудно описать или даже поверить, пока вы не почувствуете это. попробуй сам. Вы можете указывать на объекты, передавать кому-то что-то или проводить групповые собрания таким образом, что просто невозможно с помощью сетки веб-камеры, которую имитирует FaceTime в Apple Vision Pro. А преимущества общего координатного пространства усугубляются тем, что у вас больше людей.

К счастью, Apple также работает над «пространственными персонажами», которые могут существовать вне окон, позволяя проводить виртуальные встречи с общим координатным пространством, как существующие системы VR-аватаров. Это одно из немногих обновлений, которые Apple специально подтвердила для выпуска после запуска, и мне не терпится его попробовать.

Хорошо, это мое мнение об использовании Vision Pro для общения с другими пользователями гарнитуры, но как насчет использования Persona для FaceTime с людьми из внешнего мира, использующими телефоны или веб-камеры? Что хорошо в FaceTime на Vision Pro, так это возможность видеть другого человека. Вы можете сделать его достаточно большим, чтобы он соответствовал размеру их настоящей головы, и это гораздо более захватывающий опыт, чем видеть их на крошечном прямоугольнике в своей руке. Но что самое ужасное в FaceTime на Vision Pro, так это то, как другой человек видит вас. Персоны — невероятно впечатляющая технология, учитывая, как быстро они могут создаваться и насколько хорошо они работают на автономной гарнитуре. Но они остаются глубоко в жуткой долине, и реакция людей, с которыми вы встретитесь в FaceTime, будет варьироваться от смеха до шока и отвращения.

Режим Путешествия

Хотя сейчас я использую Vision Pro десятки и десятки часов, когда я впервые купил его в Нью-Йорке, у меня была всего пара часов, чтобы использовать его в стационарном здании. Всего несколько часов спустя я садился на самолет домой, где провел около шести из восьми часов в Vision Pro, подключенном к розетке сиденья.

Чтобы иметь возможность сравнить впечатления, я сделал то же самое со своим Quest 3 во время полета. в Нью-Йорк. Всякий раз, когда самолет менял высоту, скорость или направление, все виртуальные элементы улетали в противоположном направлении, а при турбулентности все сильно тряслось. Чтобы практически использовать Quest 3 в полете, мне пришлось отключить позиционное отслеживание, которое также отключает сквозную передачу. Meta работает над режимом путешествия для Quest, но на данный момент на рейсах это гарнитура только для виртуальной реальности.

С другой стороны, в Apple Vision Pro уже есть режим путешествия, и он работает на удивление хорошо. Некоторые ветераны отрасли ранее заявляли, что это невозможно, и тем не менее, это работает. Это не режим 3DoF, позиционное отслеживание сохраняется, хотя качество отслеживания хуже обычного, с небольшими дрожаниями и дрейфом.

Хотя Apple не раскрыла, как именно работает режим путешествия, я подозреваю, что отслеживание либо полностью, либо в основном зависит от камер, практически без участия акселерометра в IMU.

Намек на то, что это объяснение верно, заключается в том, что оно предупреждает вас не смотреть в окно. Попробуйте это, и вы получите значительное смещение, поскольку зрительная система больше не имеет близлежащих высококонтрастных объектов, которые можно было бы использовать в качестве эталона.

Вывод: для кого именно предназначен Vision Pro?

В этом обзоре я потратил много времени на сравнение Apple Vision Pro и Meta Quest 3. Я сделал это, потому что в настоящее время это единственное сопоставимое потребительское устройство. Но хотя Vision Pro в качестве гарнитуры, по сути, представляет собой просто усовершенствованный Quest 3 – в том смысле, что обе они представляют собой примерно полкилограммовые гарнитуры с двумя дисплеями, увеличенными блинными линзами, показывающими вам реальный мир через камеры – его программное обеспечение и контент. фокус, архитектура батареи и отсутствие контроллеров делают его совершенно другим продуктом, возможно, даже не прямым конкурентом.

Гарнитуры Quest создали процветающий рынок XR для вариантов использования иммерсивных игровых, фитнес-платформ и социальных VR-платформ. Apple Vision Pro пока не делает ничего из этого, и его оборудование для этого не предназначено. Но он делает и другие вещи, которые Quest либо не может делать вообще, либо не может делать достаточно хорошо, чтобы иметь значение.

Еще в 2005 году опытный технический журналист Уолт Мосберг спросил Стива Джобса об ограничениях интеграции видео в портативный форм-фактор iPod. Вот что он сказал:

«Фундаментальная проблема здесь в том, что наушники — чудесная вещь. Вы надеваете наушники и получаете те же впечатления, что и от великолепной пары динамиков.

Наушников для видео не существует. Я не могу носить с собой ничего, что можно было бы надеть, и это дает мне тот же опыт, который я получаю, когда смотрю дома свой 50-дюймовый плазменный дисплей. Пока кто-нибудь это не изобретет, у вас будут противоположные ограничения».

Я бы сказал, что 19 лет спустя истинная цель Apple Vision Pro — реализовать идею «наушников для видео». Vision Pro — это портативный кинотеатр с экраном большего размера, чем у вашего телевизора, который может воспроизводить 3D-фильмы лучше, чем любой другой телевизор. Это гигантский монитор, который поместится в вашем рюкзаке. В настоящее время компания Vision Pro занимается превращением экранов в программное обеспечение, и у компании есть все необходимое для этого.

Вопрос, конечно, в следующем: достаточно ли он справляется с этой задачей, чтобы стоить 3500 долларов? Ответ, конечно, нет. Он слишком тяжел, чтобы быть удобным для многих людей, и его цена доступна только для богатых первых пользователей. Но такой же была и первая волна автомобилей, цветных телевизоров, персональных компьютеров и сотовых телефонов. Есть причина, по которой Apple маркировала этот продукт как Pro, и почему так много ее пресс-релизов посвящены VisionOS как продукту. Это начало совершенно новой категории продуктов для Apple, а не просто отдельной линейки, и Vision Pro — это всего лишь закладывание фундамента.

Но я не рассматриваю потенциальную будущую линейку гарнитур Vision, я рассматриваю Apple Vision Pro первого поколения. Apple Vision Pro как аппаратная часть просто не в семь раз лучше Meta Quest 3. Но волшебство здесь кроется в основах программного обеспечения. В многозадачности и общих вычислениях VisionOS настолько опережает платформу Meta Quest, что мне трудно представить, как Meta сможет ее догнать — различия в программном обеспечении настолько резкие. Без контроллеров Vision Pro просто не может конкурировать с основными вариантами использования Quest, но гораздо лучше справляется с другими вариантами использования. Это совсем другой продукт.

Да, и чего бы это ни стоило, я написал весь этот обзор внутри Vision Pro.

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• Источник: https://www.uploadvr.com/apple-vision-pro-review/