Новейшие чипы VR/AR от Qualcomm многое рассказывают о Quest 3 и дальнейшем развитии

New VR/AR chips from Qualcomm reveal a lot about Quest 3 and future development.

Если вы хотите понять, где будущее VR и AR, начните с изучения чипов. Чипсеты Qualcomm уже много лет являются основой большинства устройств VR и AR, часто указывая на то, какие гарнитуры будут использовать до их фактического использования. Новые чипсеты Qualcomm Snapdragon XR2 Gen 2 и AR1 Gen 1, которые дебютировали на новых очках Meta Quest 3 и обновленных очках Ray-Ban, стоят внимания, потому что они не эксклюзивны для продукции Meta. Они также будут появляться во многих других местах.

Пока Apple готовит свою аппаратную платформу Vision Pro на следующий год, остальная часть VR/AR (или XR, пространственные вычисления, как еще вы решите назвать это) индустрии движется вместе с ним. Samsung, Google и Qualcomm готовят какую-то смешанную аппаратную платформу дополненной реальности. Qualcomm также сотрудничает с разработчиком игр Niantic над очками дополненной реальности, а также продолжает сотрудничество с Microsoft по будущему программному и аппаратному обеспечению смешанной реальности за пределами Hololens. Qualcomm имеет партнерство с Meta, где его чипы AR/VR появляются на продукции Meta в первую очередь, но они не остановятся там: подумайте о HTC, Pico и других.

Мы беседовали с руководителем XR в Qualcomm, Хуго Свартом, чтобы получить представление о том, что эти изменения означают для будущих продуктов.

VR получает улучшение смешанной реальности и искусственного интеллекта

Главное преимущество нового чипсета Snapdragon XR2 Gen 2, помимо улучшенной графики и вычислительной мощности, – это улучшенная смешанная реальность с пропускной способностью. Это тенденция среди гарнитур сейчас: вместо попыток создания дополненной реальности (виртуальные объекты и звук, которые кажутся появляться в реальном мире), плавающих изображений на прозрачных дисплеях, текущая волна гарнитур VR отображает видео реального мира, снятого с помощью их камер, и наложение графики на это, чтобы создать эффект, похожий на AR, без прозрачных линз.

Некоторые существующие гарнитуры делают это, например, Varjo XR-3 и Aero, а также HTC Vive XR Elite. Vision Pro от Apple делает это, а также Meta Quest 3, новая гарнитура VR от Meta, которая выйдет в октябре.

• Google отказывается от базового HTML-просмотра Gmail с января 2024 ...
• Новая программа обмена Newegg предлагает вам деньги за вашу старую ...
• Последнее обновление Windows 11 уже выпущено. Вот, что нового

Однако XR2 Gen 2, похоже, может делать больше, чем Quest 3 использует его. У Quest 3 нет отслеживания глаз или лица, но XR2 Gen 2 может отслеживать до 10 камер или сенсоров одновременно: отслеживание всего тела, лица и глаз, внешних камер и других элементов можно легко сочетать на будущих гарнитурах. Похоже, это чип, который готов к работе с несколькими сенсорами одновременно.

Возможности для фитнеса с аксессуарами

Некоторую часть этой дополнительной пропускной способности можно использовать для более эффективной работы с аксессуарами, в частности, для фитнеса. Сварт видит преимущества развития искусственного интеллекта на чипсете XR2 Gen 2 в помощи более умной виртуальной тренировке. “Вы можете получить гораздо лучшее представление о движениях, которые выполняет пользователь”, – сказал он. “И затем получать рекомендации и подсказки, если у вас есть виртуальный тренер, который не только говорит вам, что делать, но и может отслеживать, что вы делаете. И затем давать рекомендации”.

Qualcomm уже исследует совмещение VR, AR и телефонов. Отношения также могут расшириться на другие аксессуары, а XR2 Gen 2, возможно, лучше подготовлен для работы с несколькими связями. “Это может быть специализированный аксессуар. Или это может быть умные часы, которые могут быть связаны с опытом. Или сенсоры”, – сказал Сварт. “Я уверен в потенциале соединения всех этих вещей”.

Qualcomm уже исследует прототип VR-фитнеса с использованием камеры телефона для дополнительного отслеживания, сказал Сварт. “Мы работаем над проектом, который основан на фитнесе, где можно использовать телефон как камеру”, – сказал он. “Вы ставите телефон спиной к себе во время фитнес-тренировки в VR, записывая движения, которые делает пользователь. Мы, вероятно, начнем видеть более крупные традиционные бренды фитнеса и благополучия, добавляющие функциональность XR в свои услуги”.

Улучшения отслеживания рук для смешанной реальности

Хотя Meta еще не продемонстрировала больших изменений в отслеживании рук на Quest 3, они, вероятно, будут. “У нас восемь раз больше мощности искусственного интеллекта [на этом чипсете]. И я думаю, что отслеживание рук – это один из примеров, который действительно выигрывает от искусственного интеллекта”, – сказал Сварт, но указывает на одновременное сочетание отслеживания головы-руки и осознания окружающей среды как более сложное сочетание. “Когда речь идет о картографировании окружающей среды, обнаружении объектов, идентификации объектов в их окружении, о движении перед вами во время опыта, это многое, что, возможно, я мог бы сделать на старой платформе, но чтобы все это работало одновременно, вот в чем сила”.

Акцент на искусственном интеллекте

Искусственный интеллект (ИИ), популярная технология этого года, также играет интересную роль как для дополненной реальности (AR), так и для виртуальной реальности (VR). Суарт считает, что ИИ будет играть важную роль в функционировании более спонтанных впечатлений в смешанной реальности. Компании, ориентированные на метавселенную, такие как Roblox, уже опираются на него.

“Священная Грааль заключается в том, чтобы я войду в комнату и сразу же, с помощью ИИ, создастся новый мир для меня в этой комнате”, – сказал Суарт. “Но я думаю, что простые вещи, например, взаимодействие с цифровым аватаром NPC и разговор с ним, – это та технология, которая уже существует сегодня”.

Чип AR1 Gen 1 от Qualcomm: золотая середина для умных очков

Компания Qualcomm объявила о выпуске еще одного чипсета, который также дебютирует в новом продукте Meta: Snapdragon AR 1 Gen 1. Самые новые умные очки Ray-Ban от Meta, оснащенные камерой и аудио, используют некоторые, но не все возможности этого чипсета. Несмотря на название “AR”, этот чипсет совсем не фокусируется на 3D-визуализации. Вместо этого он сосредоточен на улучшении камеры, аудио и производительности ИИ на более компактных умных очках, которые теперь выглядят практически обычно. Самые новые очки Ray-Ban от Meta – яркий пример этого. У них лучшие микрофоны и камеры, но нет дисплеев. Однако чип AR 1 Gen 1 от Qualcomm может поддерживать дисплеи с разрешением до 1280×1280 пикселей на глаз.

Новый чипсет для очков также поддерживает до восьми микрофонов (Meta использует пять), Wi-Fi 7 и множество улучшений ИИ на очках: поиск по визуальным текстам, подобный Google Lens, и AI-помощь в шумоподавлении, что может привести к аудиоэффектам, подобным тем, что могут делать AirPods Pro 2 от Apple с адаптивным аудио.

Qualcomm предлагает свои новые улучшения ИИ для таких вещей, как голосовые помощники, навигация, распознавание объектов и другие идеи, похожие на то, о чем мечтал Google Glass несколько лет назад. Также есть возможности с датчиками фитнеса. Согласно Сварту, использование датчиков фитнеса – это скорее теоретическая возможность, благодаря новой обработке данных на чипсете, что заставляет задуматься, когда появятся очки с датчиками для фитнеса. Это имеет много смысла.

Что насчет AR-очков?

Одно из того, что этот новый чипсет для очков не сделает, – это полная 6DoF (шесть степеней свободы) 3D-AR. У Qualcomm уже есть другой, более мощный чипсет для AR-очков, представленный в прошлом году – AR 2 Gen 1, который способен делать все это, но до сих пор не появилось очков, использующих этот чип.

“Получение таких [AR-очков] продуктов занимает немного больше времени, чем ожидалось”, – сказал Сварт. “Силикон – это не единственное препятствие для такого типа очков… Я думаю, что нам нужно обратить внимание на дисплеи и оптику, и это одна из областей, которые затрудняют более быстрый выход устройств на рынок”.

Суарт считает, что разработка более высококлассных AR-очков происходит “параллельно” с более упрощенными не-AR-очками, которые помогут людям привыкнуть к этой идее до появления более совершенного оборудования в будущем.

Кроме того, кажется, что на данный момент виртуальные очки используются для опробования идей AR большинством людей. Новая модель Quest 3 полностью основана на смешанной реальности как на своей самой большой новой функции, и то же самое делает Vision Pro от Apple.

Это может означать несколько лет, когда виртуальные очки будут местом, где будут исследоваться идеи AR, прежде чем AR-очки в конечном итоге займут свое место и станут меньше по размеру. Конечно, все зависит от развития оборудования. На данный момент это показывает, что 2023 год и последующие годы по-прежнему будут о виртуальных очках и умных очках, возможно, все еще отдельно и с будущими мечтами о слиянии.

Может ли один из этих чипов быть основой для таинственного продукта Samsung, Google и Qualcomm?

Ожидается, что следующая волна устройств виртуальной и дополненной реальности продолжится: помимо Vision Pro от Apple, у Samsung, Google и Qualcomm есть некий таинственный устройственный платформы, которую ожидают представить либо в конце этого года, либо в следующем. По словам Samsung, вероятно, это будет что-то, что будет подключаться к Android-телефонам.

Вероятно, этот продукт будет работать на самом новом чипсете XR2 Gen 2 от Qualcomm, но, конечно же, Суарт не комментирует это. “Я не смогу сказать много об этом здесь”, – сказал он. Но когда я спрашиваю о будущем взаимодействия телефонов с грядущими гарнитурами, Суарт делает один ключевой комментарий.

“Этот тип концепции, связанной с привлечением 2D-контента с телефона, ПК и его организацией в поле зрения, я считаю, очень интересным”, – сказал он. “Мой 16-летний сын – отдающий предпочтение играм, у него есть три монитора, плюс его телефон, и они все работают с разными приложениями. Здесь есть игра, есть Дискорд, есть Снап. Все это можно легко поместить в визор. Мне не нужно иметь огромную установку в его комнате. Я могу просто надеть визор и иметь все эти 2D-экраны организованными в поле зрения.”

Может ли это намекнуть на то, где может быть место Google в продукции Samsung? Apple Vision Pro подчеркивает возможность запуска тысяч приложений iOS на виртуальном дисплее. Samsung, Google и Qualcomm могут продемонстрировать нечто подобное и для Android и Google Play. Это недостающая часть экосистемы VR/AR, и, возможно, следующая фаза не заключается в переосмыслении того, что такое VR или AR: речь идет о объединении всего этого с остальным.”

• Augmented Reality
• Meta
• Metaverse
• qualcomm
• Virtual Reality