Открытый исходный код Llama от Meta нарушает гонку ИИ-лошадей
Meta's open-source Llama code violates the AI horse race.
В мае анонимное меморандум, видимо написанный исследователем Google, озабоченным будущим компании, утек онлайн. В нем утверждалось, что в то время, как руководители спорили о конкурентной угрозе технологии генерации текста от OpenAI, открытое программное обеспечение “тихо поедало наш обед”.
В качестве подтверждения меморандум приводит пример Llama, большой языковой модели, созданной Meta, которая изначально была доступна только для исследователей по приглашению, но в течение нескольких дней утекла на 4Chan и быстро стала популярной среди программистов, которые адаптировали и развивали проект. Через несколько недель после его выпуска варианты под названиями Alpaca и Vicuna стали почти такими же хорошими, как ChatGPT, но при этом достаточно гибкими для настройки на ноутбуке. “Влияние на сообщество нельзя преувеличить”, – говорится в утекшем меморандуме Google. “Внезапно любой может экспериментировать”. На прошлой неделе Meta выпустила вторую версию своей неожиданно популярной модели Llama 2. На этот раз она является открытым источником и бесплатна для коммерческого использования с самого начала. Как утверждает Meta, новая версия была создана с использованием на 40 процентов больше данных, чем оригинальная модель, и чат-бот, построенный на основе этой модели, способен генерировать результаты, сопоставимые с ChatGPT от OpenAI.
Как и ChatGPT, Bard от Google и другие недавно выпущенные модели генеративного ИИ, Llama 2, вероятно, обошлись в миллионы долларов для создания. Но только система Meta доступна бесплатно для разработчиков, стартапов и других заинтересованных лиц, желающих создать настраиваемые вариации модели. Предоставляя более дешевую опцию, Llama 2 от Meta облегчает создание новых продуктов и услуг малыми компаниями или отдельными программистами, что, возможно, ускорит текущий бум искусственного интеллекта.
Meta не предлагает только Llama 2. У нее есть поддержка от крупных партнеров, которые уже предлагают модель своим клиентам, включая стартапы по искусственному интеллекту Hugging Face, Databricks и OctoML.
Microsoft, которая инвестировала 10 миллиардов долларов в OpenAI, также будет предлагать загрузки Llama 2 разработчикам для использования в облаке или на Windows. На прошлой неделе на конференции для клиентов Microsoft генеральный директор Сатья Наделла с восторгом говорил о возможности использования открытого искусственного интеллекта Meta наряду с закрытыми предложениями OpenAI. Облачное подразделение Amazon, AWS, также предлагает доступ к Llama 2.
- Технологические компании Израиля борются против Нетаньяху или покид...
- Очень редкие кроссовки Apple 1990-х годов теперь в продаже за 50 00...
- Стартап в области искусственного интеллекта запускает на рынке «сам...
Вице-президент Meta по генеративному искусственному интеллекту Ахмад Аль-Дахле отказывается комментировать, какую роль утечка первой модели Llama сыграла в новой стратегии компании для Llama 2.
“Если посмотреть на историю Meta, мы всегда поддерживали открытое программное обеспечение”, – говорит он, указывая на пример PyTorch, популярного инструмента для разработчиков, работающих с машинным обучением. “Одним из основных мотивов для создания сообщества вокруг этого было то, что мы видели спрос не только со стороны исследователей, но и от разработчиков, желающих работать над этими моделями и улучшать их”. Аль-Дахле говорит, что работа над разработкой Llama 3 уже ведется, но он не уточнил, чем она будет отличаться.
Хотя Llama 2 придает Meta доверие как лидера в области открытого искусственного интеллекта, не все аспекты его выпуска можно назвать открытыми. Используемые для создания модели тренировочные данные описываются только в материалах о выпуске как “общедоступные источники в сети”, и компания не предоставляет дополнительной информации о том, что использовалось при создании модели.
Лицензия Meta на Llama 2 также требует, чтобы компании с более чем 700 миллионами активных пользователей в месяц заключили отдельное лицензионное соглашение с Meta. Пока не ясно, почему, но эта условие создает преграду для других технологических гигантов, желающих использовать систему. Модель также поставляется с правилами приемлемого использования, которые запрещают генерацию вредоносного кода, пропаганду насилия или содействие преступной деятельности, злоупотребление или домогательства. Meta не ответила на вопрос о том, какие меры могут быть приняты, если Llama 2 будет использоваться с нарушением этих правил.
Джон Туроу, инвестор в Madrona Ventures в Сиэтле, говорит, что изменение Meta от попыток ограничить распространение первой модели Llama к открытию исходного кода второй может стимулировать новую волну творчества с использованием больших языковых моделей. “Разработчики и предприниматели очень находчивы, и они найдут, что могут извлечь из Llama 2”, – говорит он.
Туроу сравнивает выбор Meta выпустить Llama 2 в этом месяце с тем, как Google представил мобильную операционную систему Android в 2007 году для конкуренции с iOS от Apple. Предоставляя дешевую, но мощную альтернативу, Meta может стать противовесом закрытым системам, подобным тем, что разрабатывает OpenAI, и способствовать инновациям, которые могут вернуться и помочь улучшить продукты и услуги Meta.
По словам Натана Ламберта, исследователя по искусственному интеллекту в Hugging Face, стартапе, выпускающем программное обеспечение с открытым исходным кодом для машинного обучения, включая генеративные модели, Llama 2 – первая открыто выпущенная модель, сопоставимая с ChatGPT. Он не считает проект по-настоящему открытым, из-за ограниченной информации от Meta о его разработке, но он поражен количеством вариаций Llama 2, которые он видит в своих социальных сетях. Один из примеров – последняя версия WizardLM, системы искусственного интеллекта, похожей на ChatGPT, предназначенной для выполнения сложных инструкций. Восьмая часть из десяти моделей, популярных в настоящее время на Hugging Face и созданных для генерации разговорного текста, являются вариациями Llama 2.
«Я считаю, что Llama 2 – это самое значительное событие года в области искусственного интеллекта», – говорит Ламберт. Он считает, что собственные модели сегодня имеют преимущество, но он верит, что последующие версии Llama догонят и, вскоре, смогут выполнять большинство задач, к которым сегодня обращаются к ChatGPT.
Ламберт также говорит, что выпуск Llama 2 оставляет некоторое количество вопросов без ответов, в частности из-за отсутствия документации обучающих данных. И все же останется таким, что только крупные игроки, такие как Meta, Google, Microsoft и OpenAI, будут иметь вычислительные ресурсы и персонал, необходимые для создания ведущих моделей языка.
Но он надеется, что, несмотря на успех собственного подхода OpenAI, модели языка переходят в эру прозрачности. Добровольное соглашение между Белым домом и семью крупными компаниями по искусственному интеллекту предусматривает тестирование таких вещей, как потенциал дискриминации или влияние на общество или национальную безопасность перед развертыванием.
Это тенденция, которую может оспорить растущая озабоченность юридической ответственностью за системы искусственного интеллекта и усиливающееся регулирование со стороны политиков, которые боятся, что злоумышленники начнут использовать открытые модели.
Как и Демис Хассабис, исследователь по искусственному интеллекту, который сейчас руководит разработкой искусственного интеллекта в Google, Туроу не согласен с утверждением, сделанным в утекшей запиской Google, что она и другие крупные компании по искусственному интеллекту угрожают открытому искусственному интеллекту. Он считает, что данные, талант и доступ к вычислительной мощности продолжат защищать крупнейшие технологические компании, но не сделают их непобедимыми.
Теперь он наблюдает, что делают стартапы и исследователи с Llama 2, ожидая, что они быстро его улучшат, как это произошло с первой версией модели Meta. Он говорит, что это должно создать новые возможности как для стартапов, так и для широкой области искусственного интеллекта. «Мы видим, что открытый исходный код продолжает становиться все лучше и лучше, так что может возникнуть неожиданности, которые нарушат ранних лидеров», – говорит Туроу. «Я не знаю, что произойдет».
