OpenAI собирает команду экспертов для борьбы с «катастрофическими» рисками ИИ – включая ядерную войну.
OpenAI объединяет команду экспертов для противодействия «катастрофическим» рискам ИИ, включая ядерную войну.
Поскольку искусственный интеллект (ИИ) продолжает революционизировать наше взаимодействие с технологией, нет сомнения в том, что он окажет невероятное влияние на наше будущее. Также нет сомнения в том, что ИИ несет весьма серьезные риски в случае неограниченного развития.
Вступает в игру новая команда экспертов, собранная компанией OpenAI.
Задача команды экспертов OpenAI, называемой “Preparedness”, заключается в борьбе с тем, что они называют “катастрофическими” рисками. Они планируют оценить текущие и будущие прогнозируемые модели ИИ по нескольким факторам риска. Среди них индивидуализированное убеждение (то есть соответствие содержания сообщения ожиданиям получателя), общая кибербезопасность, автономное реплицирование и адаптация (то есть изменение ИИ самим собой), а также угрозы, связанные с уровнем вымирания, такие как химические, биологические, радиологические и ядерные атаки.
Если идея о том, что ИИ может начать ядерную войну, кажется немного нереалистичной, помните, что в начале этого года группа ведущих исследователей по ИИ, инженеров и генеральных директоров, включая генерального директора Google DeepMind Демиса Хассабиса, предупреждали в тревожных тонах: “Смягчение риска вымирания от ИИ должно быть глобальным приоритетом наряду с другими рисками масштаба общества, такими как пандемии и ядерная война”.
- Новая функция Immersive View в Google Maps, оснащенная искусственны...
- Вот новый план по укрощению попутчиков из мира высоких технологий
- Нидерланды начинают строительство водородного трубопровода стоимост...
Как может быть, что ИИ вызовет ядерную войну? Компьютеры всегда присутствуют в определении времени, места и способа военных ударов в наше время, и ИИ, безусловно, будет замешан в этом процессе. Однако ИИ склонен к галлюцинациям и необязательно придерживается таких же философий, какие могут быть у человека. Короче говоря, ИИ может решить, что наступил момент для ядерного удара, в то время как в этом нет необходимости.
Также: Организации борются за этичное применение ИИ. Вот как вы можете помочь
“Мы считаем, что фронтовые модели ИИ, превосходящие текущие возможности самых передовых существующих моделей”, – гласит заявление от OpenAI, “имеют потенциал принести пользу всему человечеству. Но они также представляют все более серьезные риски”.
Чтобы помочь контролировать ИИ, OpenAI заявляет, что команда будет сосредоточена на трех основных вопросах:
- Насколько опасными являются передовые системы ИИ сегодня и в будущем, если они используются неправильно?
- Что может сделать злонамеренный актер с весами модели передового ИИ, если они будут украдены?
- Каким образом можно создать рамки, которые позволят отслеживать, оценивать, предсказывать и защищать от опасных возможностей систем ИИ?
Руководителями этой команды является Александр Мадри, директор Центра развертываемого машинного обучения MIT и соучредитель форума по политике ИИ MIT.
Также: Этика генеративного искусственного интеллекта: Как мы можем использовать эту мощную технологию
Для расширения исследований OpenAI также запустила так называемый “AI Preparedness Challenge” для предотвращения катастрофического злоупотребления. Компания предлагает до $25,000 в кредитах API для до 10 лучших работ, опубликовавших вероятные, но потенциально катастрофические способы злоупотребления OpenAI.
