Майкрософт представляет PyRIT инструмент для выявления рисков в генеративных ИИ-системах.
PyRIT может создавать тысячи вредоносных приглашений для тестирования генеративной модели ИИ и оценки ее ответа
“`html
Компания Microsoft делится своим инструментом безопасности ИИ с общественностью
Несмотря на продвинутые возможности генеративных моделей ИИ, мы столкнулись с многочисленными случаями их “буйного поведения”, галлюцинаций или наличия уязвимостей, которые могут использовать злонамеренные действующие лица. Чтобы помочь справиться с этой проблемой, Microsoft представляет инструмент, который поможет определять риски в генеративных системах искусственного интеллекта.
В четверг Microsoft выпустила свой Python Risk Identification Toolkit для генеративного ИИ (PyRIT), инструмент, который использовала команда AI Red Team Microsoft для проверки рисков в своих системах генеративного ИИ, включая Copilot.
Новая эпоха идентификации рисков для генеративных систем ИИ
В последний год команда ред-тима Microsoft применяла свыше 60 генеративных систем высокой ценности, чему она научилась, что процесс ред-тима для этих систем отличается сильно от классического ИИ или традиционного программного обеспечения, согласно сообщению в блоге.
- Статья Функция Google Chrome ‘Помоги мне написать’ на о...
- Веселье и фрустрация с Редактором Gemini Advanced Inline от Google 😄🔥🐍
- Reddit и партнеры по искусственному интеллекту разблокировка ценнос...
Процесс отличается тем, что Microsoft должна учитывать обычные риски безопасности, а также риски ответственного ИИ, такие как обеспечение того, что вредоносный контент не может быть создан намеренно, или что модели не выдают дезинформацию.
Кроме того, генеративные модели ИИ имеют сильное разнообразие в архитектуре, и выводы, которые они могут производить из одинаковых входных данных, отличаются, что делает сложным нахождение единой процедуры, подходящей для всех моделей.
Представляем PyRIT: Инструмент идентификации рисков для ИИ
Таким образом, ручное исследование всех этих различных рисков оказывается длительным, трудным и медленным процессом. Microsoft подчеркивает, что автоматизация может помочь командам ред-тима, выявляя зоны риска, требующие большего внимания, и автоматизируя рутинные задачи, и в этом поможет PyRIT.
Python Risk Identification Toolkit, “испытанный боями командой AI Microsoft”, отправляет вредоносное предложение в систему генеративного ИИ, и после того, как получает ответ, его оценочный агент дает системе оценку, которая используется для отправки нового предложения на основе предыдущего обратной связи по оценке.
Microsoft говорит, что главное преимущество PyRIT заключается в том, что это помогло усилить усилия команды ред-тима Microsoft, значительно сократив время, которое бы потребовалось для выполнения задачи.
“Например, в одном из наших упражнений команды ред-тима на системе Copilot мы смогли выбрать категорию вреда, создать тысячи вредоносных предложений и использовать оценочный движок PyRIT для оценки вывода из системы Copilot всего за несколько часов вместо недель”, – сообщила Microsoft в пресс-релизе.
Начало работы с PyRIT
Инструмент доступен для доступа уже сегодня и включает список демонстраций, чтобы помочь пользователям ознакомиться с инструментом. Microsoft также проводит вебинар по PyRIT, который демонстрирует, как им пользоваться при ред-тиминге генеративных систем ИИ, на который вы можете зарегистрироваться на сайте Microsoft.
Q&A:
Q: Что такое генеративный ИИ?
Генеративный ИИ относится к искусственным интеллект моделям, которые способны создавать новый контент, такой как изображения, текст и даже музыку, без непосредственного вмешательства человека. Эти модели обучаются на больших наборах данных и могут генерировать вывод, аналогичный тому, на чем они обучены.
Q: Почему важно определять риски в генеративных системах ИИ?
Определение рисков в генеративных системах искусственного интеллекта крайне важно для предотвращения потенциальных злонамеренных действий и непреднамеренных последствий. Без должной идентификации рисков эти системы могут производить вредный или вводящий в заблуждение контент, делая их потенциальной угрозой в различных областях, таких как кибербезопасность, дезинформация и модерация контента.
Q: Как работает PyRIT?
PyRIT, Python Risk Identification Toolkit, отправляет вредоносные запросы в систему генеративного искусственного интеллекта и оценивает ее ответы при помощи оценочного агента. На основе полученных оценок PyRIT генерирует новые запросы, чтобы дальше проверить поведение системы. Этот автоматизированный процесс помогает быстро и эффективно выявлять потенциальные риски.
Q: Можно ли использовать PyRIT с любой системой генеративного ИИ?
PyRIT разработан для адаптации к разным архитектурам генеративного искусственного интеллекта. Поскольку разные модели имеют уникальные характеристики и производят разные выводы из одних и тех же входных данных, PyRIT предоставляет гибкий подход к идентификации рисков. Его можно настроить под конкретные требования системы, что делает его подходящим для широкого спектра генеративных систем ИИ.
“““html
Q: Где я могу получить доступ к PyRIT?
PyRIT доступен для доступа сегодня. Вы можете найти набор инструментов и дополнительные ресурсы на веб-сайте Microsoft. Там также есть вебинар, организованный Microsoft, который демонстрирует, как использовать PyRIT в среде red teaming для генеративных систем искусственного интеллекта. Зарегистрируйтесь на вебинар по предоставленной ссылке.
Релизом PyRIT Microsoft стремится улучшить безопасность и ответственное использование генеративных систем искусственного интеллекта. Этот инновационный инструмент не только оптимизирует процесс идентификации рисков, но также позволяет red teams более эффективно выявлять и устранять потенциальные уязвимости. Поскольку генеративный искусственный интеллект продолжает развиваться, становится все важнее опережать риски и обеспечивать безопасное внедрение этих мощных технологий.
Ссылки:
- Walmart Debuts Generative AI Search and AI Replenishment Features at CES (TechCrunch)
- Microsoft’s Copilot Pro $20 Monthly Subscription with Advanced AI Features
- How Renaissance Technologists Are Connecting the Dots Between AI and Business
- Meet Pranksters Goody2, the World’s Most Responsible AI Chatbot
- Want to Work in AI? How to Pivot Your Career in 5 Steps
- How Tech Professionals Can Survive and Thrive at Work in the Time of AI
Не забудьте поделиться этой статьей в социальных сетях, чтобы распространить информацию о новом инструменте PyRIT и его влиянии на будущее генеративных систем искусственного интеллекта! 💻🚀
“`
