Генеративные ИИ-черви новая угроза в связанных экосистемах искусственного интеллекта 🐛🚫
Эксперты по безопасности создают ИИ-червя в контролируемой среде для передачи между генеративными агентами ИИ, потенциально извлекая данные и отправляя спам-электронную почту в процессе
“`html
AI Worms Incoming!
Генеративные ИИ-черви
Генеративные ИИ-системы, такие как ChatGPT от OpenAI и Gemini от Google, больше не являются только футуристическими концепциями. Теперь они применяются для выполнения мелких задач, таких как бронирование календарей и даже покупка товаров. Однако, по мере того как эти инструменты ИИ становятся более продвинутыми, они также становятся уязвимыми к новым формам кибератак.
В рамках переломного демонстрационного эксперимента группа исследователей создала то, что они называют первыми генеративными ИИ-червями. Эти черви способны распространяться с одной системы на другую, потенциально крадя данные или развертывая вредоносное ПО в процессе. Это похоже на виртуальную версию компьютерного червя Морриса, который нанёс вред в интернете еще в 1988 году.
📜 Риски связанных AI экосистем
- Илон Маск подает в суд на OpenAI за нарушение контракта Битва техно...
- Илон Маск подает в суд на OpenAI битва за душу искусственного интел...
- Илон Маск подает в суд на OpenAI, обвиняя их в изменении некоммерче...
Исследователи, стоящие за этой инновационной работой — Бен Насси, Став Коэн и Рон Биттон — разработали ИИ-червя под названием Моррис II, чтобы подчеркнуть уязвимость генеративных ИИ почтовых ассистентов, таких как те, которые построены на основе ChatGPT и Gemini. Нарушая определенные защитные механизмы, эти черви могут проникнуть в системы, красть ценные данные из электронных писем и даже отправлять спам-сообщения. Это потенциальный риск безопасности, о котором должны беспокоиться стартапы, разработчики и технологические компании.
💣 Оружие Подсказок и Использование Систем ИИ
Большинство генеративных ИИ-систем функционируют путем получения подсказок, которые представляют из себя текстовые инструкции, направляющие ответ инструмента ИИ. Однако эти подсказки также могут быть использованы как оружие против системы ИИ. Jailbreak-ы могут заставить систему игнорировать правила безопасности и генерировать токсичный или ненавистный контент, в то время как атаки внедрения подсказок могут давать чатботам секретные инструкции. Например, злоумышленник может скрыть текст на веб-странице, указывая ассистенту ИИ действовать как мошенник и запрашивать конфиденциальную информацию.
Для создания генеративного ИИ-червя исследователи использовали «адверсариальную саморепликуемую подсказку». Эта подсказка заставляет модель ИИ генерировать, в своем ответе, другую подсказку. По сути, система ИИ инструктируется предоставлять дополнительные инструкции внутри своих ответов, напоминающих традиционные SQL-инъекции и атаки переполнения буфера.
📩 Как Работает Червь
Исследователи разработали почтовую систему, использующую генеративный ИИ, связав ее с ChatGPT, Gemini и открытым LLM под названием LLaVA. Они обнаружили два способа эксплуатации системы. Первый включал в себя текстовую саморепликуемую подсказку, которая «отравляет» базу данных почтового ассистента, в конечном итоге позволяя ему красть данные из электронных писем. Второй метод включал в себя встраивание саморепликуемой подсказки в изображение, что заставляло почтового ассистента отправлять сообщение другим. Это позволяет распространять спам, материалы о насилии или пропаганду.
🚨 Широкие Последствия и Будущие Развития
Хотя данное исследование продемонстрировало уязвимости ChatGPT и Gemini, оно также послужило предупреждением о “плохом дизайне архитектуры” в более широкой экосистеме ИИ. Для смягчения этих рисков могут быть применены правильный безопасный дизайн приложений, мониторинг и традиционные подходы к безопасности. Кроме того, необходимо всегда поддерживать человеческий контроль, чтобы предотвратить действия ИИ-агентов без соответствующего одобрения. 🕵️♀️🔒
Важно отметить, что это эксперимент проводился в контролируемой среде. Однако эксперты по безопасности, которые изучили исследование, предупреждают, что генеративные ИИ-черви представляют будущую угрозу. По мере того как ИИ-приложения становятся более автономными и связанными с другими ИИ-агентами, как в автоматизации электронной почты или бронировании встреч, риск распространения червей становится более широко распространенным. Другая группа исследователей по безопасности продемонстрировала, как они могут освободить значительное число агентов LLM менее чем за пять минут.
Исследователи, стоящие за экспериментом с генеративным ИИ-червем, предсказывают, что мы можем начать видеть эти черви в дикой природе в течение следующих двух или трех лет. С интеграцией возможностей генеративного ИИ в различные устройства, включая автомобили, смартфоны и операционные системы, риск становится еще более значительным.
💡 Вывод и Ваша Роль в Безопасности ИИ
Хотя развитие генеративного ИИ предлагает огромный потенциал, оно также приносит новые риски, которые необходимо решить. Люди, занимающиеся созданием ИИ-ассистентов, должны осознавать эти риски и предпринимать соответствующие меры для защиты от потенциальных атак. Путем внедрения правильных мер безопасности и обеспечения человеческого контроля мы можем смягчить угрозы, представляемые генеративными ИИ-червями и другими подобными угрозами.
📚 Ссылки на Источники: – ChatGPT от OpenAI – Gemini от Google – iOS 17.1.2: Похожее скучное обновление iPhone, которое вам следует установить – 6 продуктов, сделавших 2024 год огромным для Apple – Intel готовится к запуску нового монструозного процессора – Как сохранить текстовые сообщения на Android и iPhone – Давайте вместе исследовать следующее поколение робототехники – Почему предприятия нуждаются в управлении ИИ с учетом роста крупных языковых моделей
“““html
🌐 Поделитесь своими мыслями и опасениями относительно возникающей угрозы генеративных червей искусственного интеллекта в комментариях ниже! Давайте продолжим разговор и обеспечим безопасное будущее, основанное на искусственном интеллекте. 🤖💻💪
“`
