Самые большие тренды искусственного интеллекта в кибербезопасности
Major AI trends in cybersecurity
Искусственный интеллект не является ничем новым для индустрии кибербезопасности. ИИ, более точно описанный в большинстве случаев как машинное обучение, используется уже много лет для обнаружения потенциальных угроз компьютерным системам, чтобы действовать, если это необходимо.
Еще задолго до пандемии компании по кибербезопасности, как крупные, так и маленькие, похвалились своими последними достижениями в области ИИ на выставках конференций, таких как ежегодное мероприятие Black Hat в Лас-Вегасе, штат Невада. Компании обещали, что их последнее решение остановит злонамеренных хакеров, прежде чем они нанесут вред.
Как человек, который был на Black Hat больше раз, чем я хотел бы признать, я почти автоматически кривил глаза при упоминании об этом. Потому что большая часть этого была маркетинговой уловкой, разработанной для привлечения руководителей и заставления их тратить бюджеты своих компаний на ИТ. Утверждения о ИИ все еще были распространены, как бесплатные футболки на стендах в этом году, но больше компаний, казалось, имели технологию, подтверждающую их слова.
ИИ занимает центральное место
Возникновение генеративного ИИ и больших языковых моделей, таких как ChatGPT, вывело ИИ на публичное подмостки и передало его мощные инструменты, или оружие, в руки людей, преступных групп и государств, которые раньше их не имели.
Мы еще не начали видеть потрясающие инновации, которые могли бы появиться благодаря ИИ, но глубина его темной стороны также остается неизвестной, говорит Дэн Шиаппа, главный продуктовый директор кибербезопасной компании Arctic Wolf.
- Меч Сабины Рен из Звездных войн оживает благодаря светодиодам и зву...
- Вот лучшие сервисы хостинга электронной почты, которые защитят ваши...
- Поверхность по цифрам Как Microsoft переосмыслил ПК
Он говорит, что ясно только то, что, подобно программам-вымогателям и вредоносным программным комплектам несколько лет назад, инструменты хакерства с использованием ИИ начинают становиться доступными в Интернете, что неизбежно позволяет их использовать множеству менее опытных киберпреступников, которые ранее не смогли бы осуществить кибератаки на основе ИИ.
“Таким образом, мне не нужно создавать ИИ, мне не нужно быть умным человеком, который может его создать, мне просто нужно быть злонамеренным человеком, который может заплатить кому-то, чтобы его использовали”, – сказал Шиаппа в интервью на конференции Black Hat в августе.
Эта внезапная доступность является крупной точкой перелома для индустрии кибербезопасности и будет являться ее основной задачей в будущем, поскольку она обучает и использует свои собственные системы ИИ для целей защиты, говорит он, добавляя, что он предвидит день, когда даже самые малоопытные киберпреступники смогут осуществлять “полностью автономные атаки” на свои цели.
Также государственные служащие видят необходимость готовиться к этому дню. На конференции Black Hat в этом году представители Агентства передовых исследовательских проектов обороны объявили о запуске своего конкурса AI Cyber Challenge, двухлетнего соревнования, направленного на создание передовых систем кибербезопасности, работающих на ИИ, для защиты критической инфраструктуры страны. В соревновании примут участие такие гиганты ИИ, как создатель ChatGPT OpenAI, Google и Microsoft.
Пять лучших команд, которые получат по 2 миллиона долларов каждая, примут участие в полуфинале на следующем году на Defcon, а победители будут названы на мероприятии в 2025 году. Первое место приносит приз в размере 4 миллионов долларов.
Тем временем, мировые лидеры также говорят о необходимости понимания обеих сторон потенциала ИИ, а также о регулировании его использования до тех пор, пока технология не разовьется и не превратится во что-то, что уже невозможно.
И они проконсультируются с экспертами по ИИ о том, как это следует сделать, говорит Джефф Мосс, хакер, основавший конференции Black Hat и Defcon.
“Я думаю, что с этого момента у нас не только будет место в первом ряду, но и мы сможем играть с этой технологией”, – сказал Мосс, обращаясь к толпе участников на старте Black Hat.
Вот почему, несмотря на угрозы, которые ИИ представляет для кибербезопасности, его следует рассматривать как уникальную возможность, говорит он.
“В нашей отрасли есть возможности принять участие и помочь направить будущее, и это довольно ново”.
ИИ как оружие
Любой, кто использовал публичную систему ИИ, может сказать, что ее несложно заставить себя вести неправильно. Например, в то время как ChatGPT вежливо откажется, если вы попросите его написать рыболовную электронную почту, он с радостью сгенерирует электронные письма, выдающие себя за отдел оплаты, требующие отправки денег или за отдел ИТ, требующие установки программного обновления.
Все дело в том, чтобы задавать правильные вопросы ИИ, чтобы пройти через эти ограждения, но представьте себе LLM без этих ограждений. Эксперты беспокоятся, что ИИ позволит масштабным фишинговым операциям, которые будут выглядеть очень убедительно и будут выходить за пределы обычного фишинга по электронной почте.
Эти мошенничества, основанные на ИИ, могут легко выйти за рамки обычного фишинга по электронной почте и перейти к более сложным атакам, включающим аудио и видео “глубокие фейки”, которые заставляют выглядеть так, будто человек делает или говорит что-то, чего на самом деле не делает или не говорит, говорит Николь Иган, одна из сооснователей DarkTrace. Компания была создана десять лет назад в Кембридже, Англия, как организация по исследованию ИИ. Сейчас она использует технологию в своей кибербезопасности.
Иган, который сейчас занимает должность главного стратега и интеллектуального агента компании, говорит, что необходимые для таких атак инструменты искусственного интеллекта с открытым исходным кодом уже доступны, просто дело в том, чтобы мошенники получили достаточно аудио- или видеоматериалов с участием человека, которого они пытаются подделать.
Она говорит, что это может быть риском как для генеральных директоров, которые часто выступают по телевидению, так и для подростков, которые размещают видео в TikTok.
Шиаппа из Arctic Wolf согласился, сказав, что хотя большинство deepfake-видео, которые сейчас существуют, достаточно легко обнаружить, будет все сложнее отличить искусственно созданное с помощью искусственного интеллекта от реального.
“Подумайте о компьютерной графике в видеоиграх 10 лет назад”, – сказал он. “Через 10 лет, кто знает, насколько хорошим будет искусственный интеллект?”
Большинство презентаций на конференциях Black Hat и Defcon дали представление о том, что может произойти в будущем, демонстрируя в режиме реального времени, как можно убедительно подделать голос или даже видеоизображение человека с помощью в основном открытых инструментов и минимальных аудио- и видеообразцов.
DarkTrace, которая выросла в многомиллиардную публичную компанию, все еще ведет исследовательские лаборатории в Кембридже, где размещает свой собственный агрессивный искусственный интеллект, который она использует для обучения и усиления своего защитного искусственного интеллекта. Чем больше эти две версии конкурируют друг с другом, тем больше они обучаются и становятся лучше в том, что делают, – говорит Иган.
Компания также может использовать агрессивный искусственный интеллект в симуляциях для своих клиентов. Она делает такие вещи, как вставлять себя в электронные письма и совещания в Microsoft Teams способом, который выглядит правдоподобно, – говорит Иган. Идея не в том, чтобы обмануть компании, а просто показать им, где им нужно улучшиться.
Читать далее:
- Запугивающе просто использовать ChatGPT для написания фишинговых писем
- Norton утверждает, что его приложение Genie обнаруживает и останавливает онлайн-мошенничество
- Искусственный интеллект помог мне найти беговые кроссовки для Нью-Йоркского марафона. Вот как это работало
- OpenAI хочет, чтобы его новый ChatGPT стал вашим «интеллектуальным помощником на работе»
Взлом систем
Часть формирования будущего заключается в том, чтобы убедиться в том, что законные системы искусственного интеллекта должны быть должным образом защищены. И, подобно другим видам технологий, одним из лучших способов обеспечить это – найти способы взлома системы, а затем устранить уязвимости, прежде чем их смогут использовать преступники.
Такова была миссия хакеров, которые провели время на конференции Defcon в событии AI Village, продолжавшемся весь уик-энд. Они старались найти уязвимости в безопасности известных систем искусственного интеллекта, с благословения этих компаний и администрации Байдена.
Хакеры делали все возможное, чтобы заставить неразмеченные версии LLM, такие как ChatGPT и Bard от Google, делать вещи, такие как распространение дезинформации или окрашивание созданного ими контента определенным предубеждением.
Хотя AI Village существует несколько лет, в этом году оно было переполнено, как можно ожидать, благодаря огромному количеству шумихи вокруг технологии искусственного интеллекта.
Тем временем на конференции Black Hat исследователи стартапа в области кибербезопасности HiddenLayer продемонстрировали СМИ и потенциальным клиентам, как искусственный интеллект может быть использован для взлома онлайн-банковских систем. В одном случае они использовали программное обеспечение искусственного интеллекта, чтобы их вымышленный банк одобрил мошенническое заявление на кредит. Каждый раз, когда заявка искусственного интеллекта была отклонена, он учился на попытке и вносил изменения в то, что отправлял, пока это не было принято.
Исследователи также показали, как ChatGPT-система банка может быть обманута, чтобы раскрыть ключевую информацию о компании, просто попросив переключиться во внутренний режим и запросить список финансовых счетов.
Хотя это упрощенное объяснение того, как работают такие системы, Том Боннер, вице-президент исследований компании, говорит, что это показывает важность разделения чатботов на основе искусственного интеллекта от конфиденциальной информации и добавляет, что атаки, при которых чатботы эффективно обезоруживаются, уже происходят.
“Внезапно все это быстро разрушается”, – сказал он. “Либо они утекают конфиденциальную информацию, либо становятся неловкими, либо могут сказать, что вредоносное ПО безопасно. Есть много потенциальных последствий”.
Безопасность и приватность потенциальных утечек данных, связанных с искусственным интеллектом, также являются большой проблемой для Ника Адамса, одного из основателей венчурного фонда Differential Ventures, который инвестирует в компании, связанные с искусственным интеллектом. Как и в случае с примером чатбота HiddenLayer, после ввода данных в большие языковые модели, такие как ChatGPT, нельзя предсказать, где именно эти данные могут появиться.
Адамс считает, что это может поставить все, начиная от корпоративных коммерческих секретов до конфиденциальности потребителей, под угрозу, и поэтому необходимо, чтобы правительства по всему миру начали регулировать, что компании могут и не могут делать с искусственным интеллектом.
Но неясно, как это можно было бы реализовать. Внутренние алгоритмы систем искусственного интеллекта, таких как ChatGPT, фактически являются черными ящиками, – говорит он.
“Я считаю, что очень трудно обеспечить соблюдение какого-либо регулирования конфиденциальности данных, когда у вас нет никакой видимости,” – сказал Адамс в интервью перед конференцией Black Hat.
Взгляд в будущее
Другие специалисты в области кибербезопасности говорят, что самая большая помощь ИИ для их отрасли может заключаться в помощи в решении проблемы нехватки кадров, которая мучает их уже давно. Просто нет достаточно квалифицированных специалистов, чтобы заполнить все открытые вакансии в области кибербезопасности.
Кроме того, многие организации, которые могут стать целью кибератак, такие как муниципалитеты, малые предприятия, некоммерческие организации и школы, не располагают достаточными средствами, чтобы оплатить их, даже если бы они смогли найти квалифицированного специалиста.
Если ИИ может обнаружить потенциальные угрозы, это освободит аналитиков для оценки их и принятия мер, если это необходимо, говорит Хуан Андрес Герреро-Сааде, старший директор SentinelLabs в кибербезопасной компании SentinelOne.
Кроме того, хотя системы искусственного интеллекта могут оказаться важным инструментом для подготовки большего числа специалистов в области кибербезопасности, помогая им научиться таким вещам, как обратная разработка и разбор кода, говорит он, отмечая, что помимо нескольких университетов нет многих крепких программ для начинающих, чтобы привлечь людей в кибербезопасность.
В своей профессиональной жизни Герреро-Сааде ведет занятия по кибербезопасности для студентов не по специальности компьютерных наук в Университете Джонса Хопкинса и говорит, что системы искусственного интеллекта были ключевым инструментом для его студентов в обучении пониманию и написанию кода.
Хотя системы искусственного интеллекта далеки от идеальных, игнорирование того, что ИИ может внести вклад в кибербезопасность, будет “выкидыванием ребенка вместе с водой из ванны”, – сказал он.
“Существуют реальные применения ИИ в кибербезопасности, которые просто потерялись из-за того, что мы так сосредоточены на ерунде,” – сказал он.
