Как VR и AR от Meta могут преобразоваться с помощью искусственного интеллекта

VR и AR от Meta преобразование с помощью искусственного интеллекта

Поскольку каждый в технологической отрасли объявляет ИИ во всем, а Apple готовит свои первые очки VR/AR на следующий год, последние новости Meta с конференции Connect, посвященной разработчикам, охватывают оба аспекта одновременно. В одном смысле, анонсированные продукты были простыми: новые улучшенные очки Quest 3 с графическими улучшениями и улучшенной камерой и звуком, а также улучшенные очки Ray-Ban с улучшенной камерой и звуком, которые появятся в конце этого месяца. Meta также анонсировала серию чат-ботов на основе ИИ с характерами и инструмент генерации изображений и стикеров на основе ИИ, названный Emu.

Я следил за развитием VR и AR в Meta еще до того, как Oculus был приобретен Facebook, и даже посетил исследовательские лаборатории Meta в прошлом году, чтобы понять, куда движется будущее. Но к концу 2023 года кажется, что продукты, которые мы привыкли называть “VR” и “умные очки”, преобразуются. У Quest 3 есть функции смешанной реальности, похожие на Apple Vision Pro, иногда они похожи на очки AR в форме VR. Очки, которые появятся на следующий год, начнут иметь ИИ на борту, который будет распознавать объекты и переводить текст, действуя почти как версии Google Glass без дисплея или какие-то прототипы очков AR. И оба продукта смогут работать с различными формами разговорного ИИ от Google и, возможно, с чем-то еще, благодаря последнему поколению более мощных чипов Qualcomm.

Посмотрите это:

Чтобы лучше понять, как Meta объединит VR, AR и ИИ, я поговорил с техническим директором и руководителем продукта Meta Эндрю Босвортом. Что насчет ожидаемого устройства от Samsung? Где находится функция отслеживания глаз, которая была в Quest Pro, но отсутствует в Quest 3? И что насчет Beat Saber в смешанной реальности?

Следующий разговор был незначительно отредактирован для большей ясности и краткости.

• Uber сэкономит вам поездку в почтовое отделение с помощью новой фун...
• Сопилот может означать, что вам никогда не придется больше учиться ...
• Новые Маки M3 от Apple могут запуститься в любой день, утверждают у...

Как вы видите связь между Quest 3 от Meta, умными очками и ИИ? Босворт: Если бы вы нарисовали диаграмму в виде прямоугольника и стрелок для архитектуры, которую мы представляем для AR уже давно, одним из прямоугольников был бы ИИ… (смех). Так редко случается в этой отрасли, чтобы появилась технология, которая решает вашу проблему без активного поиска. Но именно это произошло [с ИИ].

Если бы вы спросили меня и [главного ученого Meta Reality Labs] Майкла Абраша два года назад, даже, возможно, в прошлом году, какой был бы самым большим риском для работы AR… несмотря на то, насколько сложными являются дисплеи, насколько сложная отрисовка, это был бы ИИ. Ваши ожидания как человека, чтобы иметь интерфейс, который может видеть то, что вы видите, слышать то, что вы слышите, иметь здравый смысл, очень высоки. И наша способность предоставить здравый смысл очень низкая. В этом проблема.

Мы очень довольны [этим новым ИИ от Meta]; он действительно решил нашу проблему. Мы думали, что у нас будет больше времени, чтобы ее решить. ИИ всегда был важной частью нашего видения. Просто сейчас мы можем реально воплотить его в жизнь.

Meta уже долгое время обещала умные очки-помощники с ИИ, которые могут видеть то же самое, что и вы. Как эти шаги начинают осуществляться в очках Ray-Ban на следующий год? Босворт: В настоящее время очки нужно активировать для их использования. Со временем мы стремимся достичь такого уровня, когда сенсоры потребляют мало энергии и способны обнаруживать событие, которое вызывает осознание и запуск ИИ. Это действительно мечта, к которой мы стремимся. Мы работаем над этими сенсорами, над обнаружением событий. У нас просто не было хорошего решения для того, что мы ранее называли “дирижером”, то есть вещью, которая решает… это хорошее время? Мы говорим лицом к лицу, поэтому, вероятно, следует очистить интерфейсы [на будущих очках AR]. Если моя жена присылает мне сообщение о продуктах, то это не следует показывать. Но если ты присылаешь сообщение, что дети заболели и мне срочно нужна помощь, то эта информация должна быть показана. Как это сделать?

Мы узнали так много, переходя от первого поколения к второму, к этим очкам Ray-Ban Meta. Мы видим прогресс по двум фронтам: в области аппаратного обеспечения, где мы итеративно улучшаем качество и снижаем стоимость. И мы решаем одну из важных проблем с программным обеспечением, связанных с ИИ.

Будут ли у этих очков ИИ также свои характеры или они просто будут общим помощником? Босворт: Meta AI является скорее моделью агента. Поэтому я думаю, что будущее ИИ, вероятно, разделено между агентами – внешними элементами, к которым вы обращаетесь, у них своя атмосфера, вы идете к ним и взаимодействуете с ними, – и тем, что я называю персональным помощником.

AR очки будут видеть все, что я вижу; они будут видеть каждое личное сообщение, которое я отправляю. Они будут видеть каждый веб-сайт, который я посещаю. И я хочу, чтобы они делали это, потому что это поможет им помочь мне, и это будет замечательно. Они должны быть приватными. Действительно приватными. Знаете, действительно ненавязчивыми.

Могут ли они также, с помощью плагинов, назначать встречи для меня? Конечно. Могут ли они также отвечать на сообщения от моего имени? Конечно, я могу им доверять. Но они должны быть моими. Моим личным агентом. И это не AI-помощник Meta. Meta AI – это ваш универсальный агент. Агент, с которым я могу пообщаться – знаете, в общих вещах. С этого мы и начнем. Что, по моему мнению, в конечном итоге заполнит AR, – это очень личная версия этого. Которая, надеюсь, будет иметь расширенную память, умение учиться и знать вас… и невероятно большую дискретность.

Quest 3 выглядит как возможность войти в сферу смешанной реальности в будущем. Но есть многое, что может развиться, например, дополнения, те виджеты [о которых вы объявили]. Как вы видите будущее Quest 3? Босворт: Люди забывают, что когда [Oculus] Rift появился, никто не знал, как реализовывать передвижение в VR. Никто не знал, как делать эти базовые вещи. Одна игра натыкалась на отличный механизм. И тогда каждая игра говорила: «подражайте этому». Потребители учились этому механизму. И теперь они знают его, и это уже несложно.

У нас много идей, почему мы считаем [смешанную реальность] замечательной. Мы много работаем. Я не думаю, что мы знаем половину этого. Разработчики будут открывать новые и захватывающие вещи. Есть части смешанной реальности, которые, я думаю, более развиты. У нас есть игра с инопланетным вторжением, First Encounters, где пришельцы проходят сквозь стены. Мы понимаем это в контексте классических игр. Есть части смешанной реальности, которые представляют собой интересные версии того, что мы хорошо понимаем. Вот это ценность, с первого дня. Затем идут дополнения: давайте узнаем.

Одна из причин, по которой так важно начать эту работу сейчас, заключается в том, что это в конечном итоге станет экосистемой AR. До этого еще долгий путь, но начать никогда не рано.

Почему еще нет Beat Saber для смешанной реальности [на Quest 3]? Ведь это кажется идеальным приложением. То же самое с Supernatural, вашим приложением для фитнеса. Босворт: Мы рассматривали внутреннюю версию смешанной реальности в Beat Saber. Это было сложнее, чем вы думаете. Когда эти кубы находятся на большом расстоянии от вас, когда у вас очень темный черный фон, вы видите их, и ваш мозг на это очень сильно полагается, больше, чем вы думаете. Когда у вас шумная, хорошо освещенная среда, их может быть очень сложно увидеть. Мой смысл в том, что это одна из тех игр, о которых вы думаете: «о, это просто перетащи и брось…», а затем вы делаете это и понимаете, что здесь есть гораздо больше тонкостей и нюансов, чем вы думали. Итак, вы продолжаете работать над этим. Опять же, причина, по которой так важно передать это разработчикам как можно скорее, заключается в том, чтобы они могли начать делать эту работу.

Чувствуете ли вы, что мы приближаемся к тому, что людям не нужно постоянно использовать контроллеры? Чувствуете ли вы, что этот аппарат [Quest 3] может увидеть больше таких реализаций? Босворт: Мы по-прежнему считаем, что это возможно, особенно когда большую часть времени проводят в социальной среде. Более половины времени [в VR] проводится в социальной среде: часть из них в социальных играх, использующих контроллеры, но не все. Вопрос не в том, “работает ли это?” – очевидно, что может работать. Но существует определенное количество контента сегодня, к которому люди хотят получить доступ, и для этого требуются контроллеры.

Если, в какой-то момент, вы спрашиваете, есть ли достаточно такого контента, который можно сделать только с помощью рук, чтобы получить полностью жизнеспособный продукт, в отличие от того, чтобы заставить кого-то совершить отдельное путешествие в магазин, чтобы купить контроллеры, которых они хотели … мы постоянно рассматриваем это как способ доставить устройства людям таким образом, чтобы они были полезны им по более низкой цене.

Я хочу спросить ваше мнение об отслеживании глаз, потому что оно есть в Quest Pro, а также в Vision Pro и PlayStation VR 2 [но не в Quest 3]. Как вы относитесь к интерфейсу на платформе Quest? Босворт: Вероятно, я все еще буду использовать свой Quest Pro для встреч, потому что мне нравится отслеживание глаз и отслеживание лица. Мы играли с отслеживанием глаз, сосредоточением взгляда и руками в качестве интерфейса для пользователей уже несколько лет. Отслеживание глаз просто добавляет много стоимости и сложности в аппаратное обеспечение. Речь идет, по меньшей мере, о двух камерах на каждый глаз, чтобы сделать это хорошо, не говоря уже о полевом освещении. Apple Vision Pro, который является красивым устройством, они сделали полевое освещение так, чтобы свет проникал через объектив. Если делать это через объектив, нельзя носить очки. Вот почему необходимы вставки с оптическими прескрипциями.

Со временем отслеживание глаз, вероятно, станет частью основной платформы; я считаю, что это отличный инструмент. Для нас всегда вопрос стоимости и выгоды. Каков компромисс? Будет ли средний потребитель, которого мы пытаемся достичь, считать целесообразным добавление этого дополнительного веса, стоимости, теплового воздействия на батарею для получения преимущества?

Внимание уделяется открытости и совместимости: партнерства с Microsoft, Office 365 и облачным геймингом. Вы видите больше возможностей для сотрудничества с некоторым аппаратным обеспечением, которое появляется? Между Apple и тем, над чем работает Samsung с Google, в идеале, будут способы взаимодействия этих устройств. Босворт: Мы уже 10 лет здесь на Connect, делаем эту работу, предлагаем это все. Продано десятки миллионов устройств. Сколько миллионов и миллионов долларов заплачено разработчикам, бизнесы созданы на платформе. У всех остальных нет ничего.

Я не говорю, что это невозможно. Мы, конечно же, хотим использовать множество открытых стандартов. Open XR, Vulcan, glTF. Мы работали над стандартами долгое время и пытаемся делать это открыто и просто. Мы используем операционную систему на основе Android. Было бы тривиально для Google или кого-то другого создать магазин приложений с 2D-приложениями для платформы. Это даже не сложно. Мы с радостью примем их. Я надеюсь, что люди поддержат экосистему. Им просто нужно поднять трубку и позвонить нам.

Могут ли очки Ray-Ban снимать пространственное видео? Босворт: Первая версия Ray-Ban Stories имела камеру в каждом дужке и способна была делать стереозахват с технической точки зрения. Мы так и не разработали соответствующее программное обеспечение. Оно просто не было популярно среди потребителей. Мы провели тестирование пользователей и стереоизображения, даже в Facebook и Instagram, где можно было сделать крутую стереоскопическую перезапись и также использовать внутри гарнитуры. Люди просто не тратили время на просмотр стереофотографий. Поэтому мы не развивали эту функцию, чтобы сохранить дополнительную мощность для продления времени работы и сделать запись меньше. Вторую камеру мы заменили светодиодом [в новых моделях].

У меня есть несколько VR-камер. Я провел целый год, где каждую неделю записывал научные субботы с моим сыном в VR и выкладывал это в Интернет. У меня действительно есть энтузиазм как создателя. Я не могу дождаться, чтобы начать; очевидно, что сейчас еще не все готово. Но я считаю важным максимально использовать эти очки в соответствии с их назначением, понимая, что люди, использующие [эти очки], не обязательно стремятся стать создателями VR. Люди, которые хотят стать создателями VR, наверняка имеют лучшие инструменты для этого.

Беседа с Хуго Свартом из Qualcomm о чипе в Quest 3 и очках Ray-Ban, кажется, указывает на большую пропускную способность для датчиков для сопряжения с другими устройствами. Возможно, с часами. Он упомянул носимые датчики. Что вы видите в этом? Босворт: У нас огромные амбиции по этому вопросу. Мы, очевидно, открыты в отношении наших разработок в области нейроинтерфейсов. В настоящее время мы сосредоточены на запястье. И я думаю, что эти вещи должны быть в другом месте. Есть здесь возможность. По сути, как и почти все наши гарнитуры, эти устройства имеют ограничение в тепловом отношении. Мы не ограничены чипами, пропускной способностью, вводом/выводом, количеством каналов, количеством труб, это не главное ограничение. Это действительно важно: вы не могли бы использовать столько датчиков, сколько мы используем, без флагманского чипа XR. Но как только вы перешли этот Рубикон, вам просто не хватает сырой возможности создавать тепловую энергию на лице. И вот в чем заключается наша основная преграда.

• artificial intelligence
• Augmented Reality
• facebook
• Meta
• Metaverse
• oculus
• Virtual Reality