Code Llama Тестирование языковой модели Facebook с открытым исходным кодом 🦙
Генеральный директор Meta Марк Цукерберг недавно представил Code Llama - 70-миллиардный параметр ИИ, специально созданный для программирования. Но как он сравнивается с гигантами, такими как ChatGPT? Я решил провести тестирование.
“`html
Я попробовал Code Llama от Meta с 3 задачами по искусственному интеллекту, с которыми ChatGPT справился на отлично – и это меня не впечатлило.
Изображение от Pixabay
Несколько недель назад генеральный директор Meta Марк Цукерберг сделал захватывающее объявление на Facebook. Его компания открыла исходный код Code Llama, своей большой языковой моделью (LLM), которая служит искусственным интеллектом (AI) двигателем, аналогичным GPT-3.5 и GPT-4 в ChatGPT. Этот двигатель, специально разработанный для помощи в написании и редактировании кода, похвастался огромными 70 миллиардами параметров. Надежда заключается в том, что, подав модели более сложные задачи, она будет предоставлять более точные ответы.
Загадка открытости кода 🔓
Решение открыть код Code Llama действительно странное. Это подразумевает, что разработчики могут скачать модель, установить ее на свои серверы и использовать для поиска помощи в программировании, не беспокоясь о том, что Facebook будет использовать их код для обучения или других коварных целей. Однако настройка Linux-сервера и преодоление различных препятствий может быть довольно громоздким. К счастью, технические волшебники Hugging Face уже интегрировали 70B модель Code Llama LLM в свой интерфейс HuggingChat. Так что давайте ближе познакомимся с этим далее.
Начало работы с Code Llama 🚀
Чтобы начать работу с Code Llama, просто создайте бесплатную учетную запись в Hugging Face. Если у вас уже есть учетная запись, вы можете использовать модель 70B Code Llama LLM с той же учетной записью. Однако важно отметить, что в отличие от установки Code Llama на свой собственный сервер, использование сервиса Hugging Face может подразумевать передачу всего, что вы пишете, авторам модели (если не отключите эту опцию в настройках).
- Крупные технологические компании обещают бороться с поддельным конт...
- Google DeepMind’s Gemini Pro 1.5 еще один вызовник появляется...
- 🤖 ИИ вставляет ИИ в рекламу 🤖
Вот как переключиться на Code Llama в HuggingChat: 1. Войдите в HuggingChat. 2. На интерфейсе чата нажмите на значок шестеренки, чтобы открыть настройки. 3. В настройках выберите модель codellama/CodeLlama-70b-Instruct-hf слева. 4. Убедитесь, что выбрана модель Code Llama LLM. 5. Нажмите Activate.
Теперь вы готовы общаться с моделью Code Llama!
Тестирование Code Llama 🧪
Для оценки возможностей Code Llama я провел серию тестов, сравнив его производительность с ChatGPT и Bard (Gemini). Давайте посмотрим на несколько из этих тестов.
Тест 1: Написание плагина WordPress 💻
В этом тесте задача заключалась в создании совместимого с PHP 8 плагина WordPress. ChatGPT отлично справился с этой задачей, в то время как Bard немного подвел. А что насчет Code Llama? К сожалению, он не смог. Сгенерированный код был несовместим с моим редактором кода из-за отсутствия заголовка плагина и отсутствия элементов, и его нельзя было протестировать, что является явной неудачей.
Тест 2: Переписывание функции строки 🔡
Затем я попытался исправить ошибку в своем коде, касающуюся принятия десятичных значений вместо просто целых чисел. И ChatGPT, и Code Llama предоставили удовлетворительные решения, причем последний сгенерировал функциональный и приемлемый код.
Тест 3: Поиск ошибки, которую я не мог найти 🐞
Для этого теста я бросил вызов Code Llama сложной проблемой с кодированием, которая меня путала ранее. ChatGPT блестяще справился, выявив корень проблемы и предложив исправление. С другой стороны, Bard только посмотрел на поверхность и не смог предложить подходящее решение. К сожалению, Code Llama поделил судьбу Bard, не сумев постичь тонкости данной проблемы.
🚨 И победителем становится… 🚨
Основываясь на результатах теста, ясно, что Code Llama не совсем наравне с ChatGPT. Хотя Code Llama может предложить преимущество конфиденциальности, когда установлен на собственном сервере, он теряет свою ценность, если не может предоставить точные ответы. В сравнении производительность ChatGPT задает высокий стандарт, которому должен соответствовать Code Llama.
“““html
Важно отметить, что эти тесты не исчерпывающие, но они показывают разрыв между двумя моделями. Code Llama все еще имеет потенциал, но для того чтобы поднять его до уровня ChatGPT, необходимы улучшения. Facebook должен “признаться в ошибке” и внести необходимые улучшения.
Что с другими помощниками по кодированию на искусственном интеллекте? 👥
Попробовали ли вы какие-либо помощники по кодированию на искусственном интеллекте? Как они сработали для вас? Дайте нам знать в комментариях ниже! Всегда интересно услышать о ваших опытах и инструментах, которые вы нашли полезными.
Также не забудьте подписаться на меня в социальных сетях для ежедневных обновлений проекта. Подпишитесь на мой еженедельный информационный бюллетень на Substack, и свяжитесь со мной в Twitter, Facebook, Instagram и YouTube. Давайте оставаться на связи и делиться нашими мыслями в этом всегда захватывающем мире технологий!
Список литературы:
- Объявление генерального директора Meta Марка Цукерберга
- ChatGPT от OpenAI
- Почему открытые генеративные AI модели все еще отстают от GPT-4
- Реализация Code Llama от Hugging Face
- AI помогает писать безопасный код
- Предыдущий тест на кодирование с использованием Bard (Gemini)
- Как использовать ChatGPT для написания кода
- Внедрение ИИ в программную инженерию: Все, что вам нужно знать
Примечание: Это оригинальные ссылки из предоставленного контента.
“`
