Почему открытый исходный код является колыбелью искусственного интеллекта
Значение открытого исходного кода для ИИ
В некотором смысле открытые исходники и искусственный интеллект родились вместе.
Если бы вы упомянули искусственный интеллект в 1971 году большинству людей, они, возможно, подумали бы о Трех законах робототехники Айзека Азимова. Однако уже тогда в Массачусетском технологическом институте (MIT) AI был реальной дисциплиной, когда Ричард М. Столлман (RMS) присоединился к Искусственному Интеллекту Лаборатории MIT. Спустя годы, с появлением проприетарного программного обеспечения, Ричард М. Столлман разработал радикальную идею Свободного ПО. Десятилетия спустя эта концепция, преобразованная в открытый исходный код, стала родиной современного искусственного интеллекта.
Также: Лучшие чат-боты искусственного интеллекта: ChatGPT и альтернативы
Это был не писатель научной фантастики, а ученый-компьютерщик Алан Тьюринг, который начал движение современного искусственного интеллекта. В его статье 1950 года “Вычислительная машина и интеллект” был предложен Тьюринг-тест. Вкратце, этот тест утверждает, что если машина может обмануть вас, заставив вас подумать, что вы общаетесь с человеком, она обладает интеллектом.
По мнению некоторых людей, сегодняшние ИИ уже могут это делать. Я не согласен, но мы явно на верном пути.
- Я ознакомился с новыми возможностями искусственного интеллекта от M...
- Microsoft тихо объявила сегодня о двух продуктах, которые понравятс...
- EIF инвестирует 40 млн евро в фонд роста технологий по борьбе с изм...
В 1960 году ученый-компьютерщик Джон Маккарти придумал термин “искусственный интеллект” и на своем пути создал язык Лисп. Достижение Маккарти, как сказал компьютерщик Пол Грэм, “сделал для программирования что-то вроде того, что Евклид сделал для геометрии. Он показал, как, имея несколько простых операторов и обозначение для функций, можно создать целый язык программирования.”
Лисп, в котором данные и код смешаны, стал первым языком искусственного интеллекта. Это была также первая любовь Ричарда М. Столлмана к программированию.
Также: Мои два любимых плагина ChatGPT Plus и удивительные вещи, которые я могу сделать с их помощью
Итак, почему у нас не было GNU-ChatGPT в 1980-х годах? Существует много теорий. Я предпочитаю одну из них: ранний искусственный интеллект имел правильные идеи в неправильное десятилетие. Аппаратные средства не соответствовали вызову. Другие важные элементы, такие как Big Data, еще не были доступны для помощи в начале реализации настоящего искусственного интеллекта. Проекты с открытым исходным кодом, такие как Hadoop, Spark и Cassandra, предоставили инструменты, необходимые для хранения и обработки больших объемов данных на кластерах машин. Без этих данных и быстрого доступа к ним не могли работать большие модели языка (LLM).
Сегодня даже Билл Гейтс – не фанат открытого исходного кода – признает, что ИИ на основе открытого исходного кода – это самое большое событие с тех пор, как он познакомился с идеей графического пользовательского интерфейса (GUI) в 1980 году. Из этой идеи GUI, как вы можете помнить, Гейтс создал небольшую программу под названием Windows.
Также: Лучшие генераторы изображений ИИ, которые стоит попробовать
В частности, сегодняшние чрезвычайно популярные модели генерации ИИ, такие как ChatGPT и Llama 2, появились из открытых исходников. Это не значит, что ChatGPT, Llama 2 или DALL-E являются открытыми исходниками. Они этими не являются.
Они были предполагаемыми таковыми. Как сказал Элон Маск, ранний инвестор OpenAI: “OpenAI была создана как некоммерческая компания с открытым исходным кодом (поэтому я назвал ее “Open” AI), чтобы служить противовесом Google, но теперь она стала компанией с закрытым исходным кодом, максимальной прибылью, фактически контролируемой Microsoft. Не то, что я имел в виду.”
Тем не менее, OpenAI и все другие программы генерации ИИ основаны на открытых исходниках. В частности, Transformer от Hugging Face – это ведущая библиотека с открытым исходным кодом для построения моделей машинного обучения (ML) сегодня. Несмотря на свое забавное название, она предоставляет предварительно обученные модели, архитектуры и инструменты для задач обработки естественного языка. Это позволяет разработчикам строить на основе существующих моделей и настраивать их для конкретных случаев использования. В частности, ChatGPT использует библиотеку Hugging Face для своих LLM GPT. Без Transformer нет ChatGPT.
Также: Хотите создать своего собственного чат-бота ИИ? Познакомьтесь с открытым исходным кодом HuggingChat
Кроме того, TensorFlow и PyTorch, разработанные соответственно Google и Facebook, обеспечили функционирование ChatGPT. Эти фреймворки на Python предоставляют необходимые инструменты и библиотеки для создания и обучения моделей глубокого обучения. Само собой разумеется, что другие программы искусственного интеллекта и машинного обучения с открытым исходным кодом также строятся на их основе. Например, Keras, высокоуровневый API TensorFlow, часто используется разработчиками без опыта в глубоком обучении для создания нейронных сетей.
Вы можете спорить до посинения о том, который из них лучше, и программисты искусственного интеллекта это делают, но как TensorFlow, так и PyTorch используются во множестве проектов. За кулисами вашего любимого чат-бота находится смесь различных проектов с открытым исходным кодом.
Некоторые высокоуровневые программы, такие как Llama-2 от Meta, утверждают, что они имеют открытый исходный код. Но это не так. Хотя многие программисты с открытым исходным кодом обратились к Llama, потому что она относится к программам искусственного интеллекта с открытым исходным кодом наиболее дружелюбно, когда дело доходит до сути, Llama-2 не является программой с открытым исходным кодом. Конечно, вы можете ее скачать и использовать. С весами модели и исходным кодом для предварительно обученной модели и моделей, обученных на разговорах, легко создать приложения, работающие на основе Llama. Есть только одна маленькая проблема, скрытая в лицензии: если ваша программа имеет более 700 миллионов активных пользователей в предыдущем календарном месяце, вам нужно запросить лицензию у Meta, которую Meta может предоставить в своем единоличном усмотрении, и вам не разрешается осуществлять какие-либо права в рамках этого Соглашения, пока Meta явно не предоставит вам такие права.
Вы можете отказаться от мечты о том, чтобы стать миллиардером, написав Виртуальную Подругу/Подругу на основе Llama. Марк Цукерберг поблагодарит вас за то, что помогли ему заработать еще несколько миллиардов.
Также: Искусственный интеллект очень похож на потоковую передачу. Налетай!
Тем не менее, существуют настоящие программы с открытым исходным кодом LLM, такие как Falcon180B. Однако практически все основные коммерческие программы LLM не имеют должным образом открытый исходный код. Заметьте, что все основные программы LLM обучены на открытых данных. Например, GPT-4 и большинство других крупных программ LLM получают часть своих данных из CommonCrawl, текстового архива, содержащего петабайты данных, собранных с веб-страниц. Если вы написали что-то на общедоступном сайте – поздравление с днем рождения на Facebook, комментарий на Reddit о Linux, упоминание на Wikipedia или книгу на Archives.org – и если это было написано на HTML, то, скорее всего, ваши данные где-то там.
Итак, обречен ли открытый исходный код быть всегда в девичьей неприкосновенности в бизнесе искусственного интеллекта? Не так быстро.
В утечке внутреннего документа от Google, инженер Google AI написал: “Неприятная правда в том, что мы не настроены на победу в этой гонке (генеративный искусственный интеллект), и OpenAI тоже. Пока мы спорим, третья фракция тихо обедает наш обед”.
Кто этот третий игрок? Сообщество с открытым исходным кодом.
Оказывается, вам не нужны гипермасштабируемые облака или тысячи высокопроизводительных графических процессоров, чтобы получить полезные ответы от генеративного искусственного интеллекта. Фактически, вы можете запускать программы LLM на смартфоне: люди запускают фундаментальные модели на Pixel 6 со скоростью пяти маркеров LLM в секунду. Вы также можете настроить персонализированный искусственный интеллект на своем ноутбуке за один вечер. Когда вы можете “персонализировать языковую модель за несколько часов на потребительском оборудовании”, отметил инженер, “[это] большая сделка”. Это точно.
Также: Этика генеративного искусственного интеллекта: Как мы можем использовать эту мощную технологию
Благодаря механизмам настройки, таким как низкоранговая адаптация с открытым исходным кодом Hugging Face (LoRA), вы можете выполнять настройку модели по сравнению с другими методами гораздо дешевле и быстрее. На сколько дешевле? Как вам звучит персонализация языковой модели в течение нескольких часов на потребительском оборудовании?
Разработчик Google добавил:
“Частью того, что делает LoRA так эффективным, является то, что, в отличие от других форм настройки, его можно стекировать. Улучшения, такие как настройка инструкций, могут быть применены и затем использованы, когда другие участники добавляют диалог, рассуждение или использование инструментов. В то время как отдельные настройки имеют низкую ранговость, их сумма не обязательно должна быть низкоранговой, что позволяет полноранговым обновлениям модели накапливаться со временем. Это означает, что с появлением новых и лучших наборов данных и задач модель может быть дешево поддерживаться в актуальном состоянии без необходимости платить полную стоимость запуска”.
Наш таинственный программист заключил: “Прямая конкуренция с открытым исходным кодом – это проигрышное предложение… Мы не должны ожидать, что сможем догнать его. Современный интернет работает на открытом исходном коде по причине. У открытого исходного кода есть некоторые значительные преимущества, которые мы не можем воспроизвести.”
Также: Расширение ChatGPT: могут ли плагины для ИИ-чат-ботов действительно изменить игру?
Тридцать лет назад никто не представлял, что открытая операционная система может когда-либо заменить проприетарные системы, такие как Unix и Windows. Возможно, понадобится гораздо меньше трех десятилетий, чтобы действительно открытая программа ИИ от начала до конца затмила полупроприетарные программы, которые мы используем сегодня.
