GenAI и необходимость ответственного внедрения

Guardrails AI - это стартап, который стремится совместно собирать методы для борьбы и смягчения самых вредных тенденций моделей ИИ нового поколения.

Guardrails AI ищет решения, полученные от массового участия людей, для решения проблемы с моделью GenAI. #ENBLE


GenAI, область моделей искусственного интеллекта, генерирующих текст, похожий на человеческий, может быть впечатляющей и вызывающей опасения. С одной стороны, у нас есть чатботы, точно предсказывающие победителя Суперкубка еще до начала игры. С другой стороны, мы видим, как GenAI распространяет вредную дезинформацию, оправдывает пытки, укрепляет стереотипы и убедительно пишет о теориях заговора. Очевидно, что необходимо срочно решить эти проблемы и ответственно внедрить приложения GenAI.

Возникновение модерации контента GenAI

Несколько поставщиков, таких как Nvidia, Salesforce и CalypsoAI, утверждают, что предлагают продукты, способные смягчать нежелательный и токсичный контент, создаваемый GenAI. Хотя эти продукты существуют, они остаются черными ящиками, что делает нас неуверенными в их эффективности и том, правда ли они исполняют свои обещания. Это отсутствие прозрачности представляет существенную проблему для организаций, ищущих наилучшее решение для управления рисками, связанными с GenAI.

Guardrails AI: заполнение пробела

Осознавая сложность и риски, связанные с внедрением GenAI, Шрейя Раджпал основала компанию Guardrails AI, нацеленную на решение этой проблемы. По словам Раджпал, многие организации испытывают трудности с поиском эффективных решений для ответственного внедрения приложений искусственного интеллекта. Guardrails AI стремится стать соединительной составляющей, предлагая платформу, делающую модели GenAI более надежными, надежными и безопасными.

Доверие и сотрудничество через открытый подход

Guardrails AI предлагает уникальный подход к рынку. Хотя она предлагает аналогичные функциональности существующим решениям, она идет дальше, предлагая свою модель бизнеса с открытым исходным кодом. Кодовая база платформы доступна бесплатно на GitHub, что позволяет разработчикам вносить свой вклад и сотрудничать. Через Guardrails Hub разработчики могут предоставлять модульные компоненты, известные как “валидаторы”, которые оценивают модели GenAI с точки зрения поведения, соответствия и показателей производительности. Эти валидаторы могут быть общими, переиспользоваными и повторно использованными другими, создавая рынок для создания настраиваемых решений по модерации моделей GenAI.

Широкий спектр валидаторов

Guardrails Hub содержит широкий набор валидаторов, разработанных для обнаружения и устранения проблем в моделях GenAI. Валидаторы варьируются от простых проверок на основе правил до сложных алгоритмов. Они охватывают такие области, как обнаружение галлюцинаций и нарушений политики, фильтрация конфиденциальной информации и защита кода. Эта гибкость позволяет организациям начать работу, одновременно давая им возможность настраивать решения в соответствии со своими конкретными потребностями и рисками.

Стимулирование сотрудничества

Естественно, возникает вопрос, будут ли разработчики добровольно вносить вклад в Guardrails Hub без какой-либо формы компенсации. Шрейя Раджпал считает, что, помимо финансовых стимулов, признание и альтруистическая мотивация к развитию более безопасной среды для GenAI будут стимулировать участие. Hub служит платформой для разработчиков, чтобы понять риски, с которыми сталкиваются другие предприятия, и принятые меры для смягчения этих рисков. Валидаторы, предлагаемые Guardrails AI, являются реализациями этих мер, позволяя организациям применять их в соответствии со своими уникальными случаями использования.

Блестящее будущее для Guardrails AI

Недавно Guardrails AI привлекла $7.5 миллиона в первом раунде финансирования, что отражает признание отрасли важности ответственного внедрения GenAI. Финансирование поможет расширить команду Guardrails и поддержать дополнительные проекты с открытым исходным кодом. Раджпал подчеркивает, что Guardrails AI стремится решить новые вызовы, возникающие из-за широкой доступности моделей, таких как ChatGPT и foundation models. Благодаря своим усилиям Guardrails AI надеется предоставить решение, необходимое для обеспечения организаций и снижения рисков, связанных с приложениями GenAI.


🔗 Ссылки: 1. Боты Microsoft и Google объявляют победителя Суперкубка еще до начала игры 2. Галлюцинации GenAI, оправдывающие пытки, укрепляющие стереотипы и пишущие о теориях заговора 3. Nvidia и Salesforce предлагают продукты для смягчения нежелательного и токсичного контента от GenAI 4. CalypsoAI предоставляет решения для решения проблем нежелательного контента от GenAI 5. Guardrails AI: создание решения по созданию гальянов конкуренция 6. Опрос о проблемах, с которыми сталкиваются организации при внедрении приложений GenAI 7. Guardrails AI привлекает 7,5 миллионов долларов в первом раунде финансирования


🗣️ Вам когда-либо попадались неправильные сведения, сгенерированные программами искусственного интеллекта? Как вы думаете, компании должны ответственно внедрять ГенИИ? Поделитесь своими мыслями! 😄


Не упустите последние новости и истории из мира компьютерных технологий и программирования! Подпишитесь на нашу Твиттер и Фэйсбук, чтобы быть в курсе событий.

📢 Поделитесь этой статьей с друзьями и коллегами, чтобы распространить информацию о ответственном внедрении ГенИИ!