В очках Ray-Ban от Meta добавлена искусственный интеллект, который может видеть то, что вы видите

Бренд Ray-Ban от Meta представляет очки с искусственным интеллектом, которые могут воспроизводить то, что видит пользователь

“Привет, Мета. Посмотри на это и скажи мне, какие из этих чаев без кофеина.”

Я произнес эти слова, надевая пару Meta Ray-Bans в главном офисе этого гиганта технологий в Нью-Йорке, пока смотрел на стол с четырьмя пакетиками чая, на которых маркером замазана информация о содержании кофеина. В моих ушах раздался щелчок, за которым последовал голос искусственного интеллекта Меты, который сказал мне, что ромашковый чай скорее всего не содержит кофеина. Он считывал информацию с этикеток и делал выводы, используя генеративный искусственный интеллект.

Я представлял функцию, которая появится во втором поколении очков Ray-Ban от Meta, начиная сегодняшнего дня – функцию, которую генеральный директор Meta, Марк Цукерберг, уже обещал в сентябре, когда были анонсированы новые очки. Функции искусственного интеллекта, которые могут использовать камеры на очках Meta для просмотра изображений и их интерпретации с помощью генеративного искусственного интеллекта, должны были запуститься в 2024 году. Meta решила представить эти функции гораздо быстрее, чем я ожидал, хотя режим раннего доступа все еще находится в стадии бета-тестирования. Вместе с добавлением поисковой системы на базе Bing в очки Ray-Ban как часть нового обновления, которое усиливает возможности уже имеющегося голосового управления, очки Meta начинают приобретать все больше новых возможностей.

Демонстрация меня впечатлила, потому что я никогда раньше не видел ничего подобного. Частично такие возможности уже есть, к примеру, в Google Lens и других инструментах на смартфоне, которые уже совмещают камеры и искусственный интеллект, а также Google Glass, которые появились десять лет назад и имели некоторые инструменты для перевода. Однако, настоящая передовая технология, которую предлагают очки Meta, позволяет использовать искусственный интеллект для идентификации предметов вокруг меня с помощью простого доступа. Я с нетерпением жду возможности испробовать все это еще больше.

Мультимодальный искусственный интеллект: Как это работает сейчас

На данный момент у этой функции есть ограничения. Она может распознавать только то, что вы видите, сделав фото, которое затем анализируется искусственным интеллектом. Вы услышите звук затвора после голосового запроса, а ответ приходит через несколько секунд. Голосовые команды также довольно длинные: Каждый голосовой запрос на очках Meta должен начинаться с “Привет, Мета”, затем вы должны добавить “Посмотри на это”, чтобы активировать съемку фото, сразу же после чего вы можете сделать запрос искусственному интеллекту. “Привет, Мета, посмотри на это и подскажи рецепт с этими ингредиентами.” “Привет, Мета, посмотри на это и сделай смешную подпись.” “Привет, Мета, посмотри на это. Какое растение это?”

Каждый ответ искусственного интеллекта и фотография, на которой он основывался, сохраняются в приложении Meta View, которое связывается с очками. Мне нравится это, потому что это визуальная/письменная запись на будущее, как записки для воспоминаний. Я могу представить себе, что буду ходить по городу, задавая ему вопросы и использовать это как своего рода поиск Google на очках для моих глаз, когда я делаю покупки или что-то еще.

Также есть возможные применения в помощи людям, особенно людям с ограниченными возможностями. Я надел тестовую пару Meta очков, которые не имели с рецептом, и спросил, что я смотрю. Ответы могут быть разными по детализации и точности, но они могут помочь получить предварительную информацию. Оно знало, что я показываю ему свои очки и сказал, что основание на них с сине-черным оттенком (весьма близко к реальности).

Иногда оно может начать фантазировать. Я спросил очки о фруктах в миске передо мной, и он сказал, что там есть апельсины, бананы, питахайи, яблоки и гранаты. Он был прав во всем, кроме гранатов (их там не было). Я попросил его придумать подпись для большого плюшевого панды перед окном. Он предложил несколько милых вариантов, но один из них говорил о том, что кто-то одинок и смотрит на телефон, что не соответствовало действительности.

Я посмотрел меню на испанском языке и попросил очки показать мне острые блюда. Они назвали несколько блюд и перевели некоторые ключевые ингредиенты, но когда я снова попросил показать блюда с мясом, он прочитал все на испанском языке.

Здесь есть огромный потенциал, который увлекателен и может быть крайне полезен. Meta признает, что эта ранняя версия будет полезна для выявления ошибок и развития работы искусственного интеллекта на очках. Я обнаружил, что моментов “Привет, Мета, посмотри на это” было слишком много. Но это процесс, который может измениться, кто знает. При непосредственном анализе изображений, можно задавать прямые дополнительные вопросы без повторения фразы “Посмотри на это”, но я уверен, что мой успех будет варьироваться.

Будущее носимого искусственного интеллекта становится интересным

Этот искусственный интеллект, который Мета называет “мультимодальным искусственным интеллектом”, потому что он использует вместе камеры и голосовой чат, является предвестником будущего искусственного интеллекта, в который компания планирует включить множество форм ввода, включая более многоуровневые данные. Чипсет, ориентированный на искусственный интеллект, от Qualcomm в новых солнцезащитных очках Ray-Bans от Меты уже готов принять больше функций. Это также процесс, который Мета планирует сделать более плавным со временем.

Метин технический директор Эндрю Босворт рассказал мне в сентябре, что в настоящее время очки требуют голосовой команды для активации и распознавания, чтобы не истощать батарею, но в конечном итоге они “имеют датчики, потребляющие мало энергии, которые способны обнаружить событие, вызывающее осознание, которое активирует искусственный интеллект. Вот к чему мы на самом деле стремимся.” Мета также уже исследует инструменты искусственного интеллекта, которые комбинируют множество форм многоуровневых данных вместе, в предвидении более передовых будущих устройств носимой электроники.

Прямо сейчас, знайте, что это ранний доступ в бета-версии. Мета использует анонимизированные данные запросов для улучшения своих услуг искусственного интеллекта во время фазы раннего доступа, что может насторожить людей, желающих больше конфиденциальности. Я пока не знаю деталей о выборе включения, но, вероятно, появятся более дискретные контроли над обменом данными, когда будут запущены окончательные функции искусственного интеллекта, скорее всего, в следующем году.

Все это напоминает мне о том, к чему стремится Humane со своим носимым искусственным интеллектом Pin, устройством, которое я еще не видел лично. В то время как продукт Human дорогой и нуждается в одежде, очки Меты стоят 300 долларов и уже продаются на полках магазинов. С развитием возможностей искусственного интеллекта таких устройств, как часы, виртуальные очки и умные очки, будущее носимой технологии и ее уровень ассистентского осознания могут сильно измениться.

Становится ясно, что новая граница продуктов носимого искусственного интеллекта уже здесь, и очки Меты здесь первыми.

Примечание редакторов: ENBLE использует искусственный интеллект для создания некоторых историй. Для дополнительной информации см. этот пост.

• artificial intelligence
• facebook
• Meta
• Metaverse
• qualcomm