У Ильи Суцкевера из OpenAI есть план по контролю суперинтеллектуального искусственного интеллекта
План контроля суперинтеллектуального искусственного интеллекта у Ильи Суцкевера, OpenAI
OpenAI была основана на обещании создать искусственный интеллект, который приносит пользу всему человечеству, даже когда этот ИИ становится значительно умнее своих создателей. С момента дебюта ChatGPT в прошлом году и во время недавнего кризиса управления компанией, ее коммерческие амбиции стали более явными. Теперь компания говорит о том, что новая исследовательская группа, занимающаяся управлением сверхумных ИИ будущего, начинает приносить плоды.
“AGI приближается очень быстро”, – говорит Леопольд Ашенбреннер, исследователь OpenAI, задействованный в исследовательской группе Суперлиния, созданной в июле. “Мы увидим сверхчеловеческие модели, они будут обладать огромными возможностями и могут быть очень-очень опасными, и у нас еще нет методов их контроля.” OpenAI заявила, что будет выделять пятую часть своей вычислительной мощности для проекта Суперлиния.
В научной статье, опубликованной сегодня OpenAI, рассказывается о результатах экспериментов, направленных на проверку способа позволить более слабой модели ИИ руководить поведением гораздо более умной модели, не делая при этом ее менее умной. Хотя технология, используемая в данной работе, далека от превосходства гибкости человека, сценарий был разработан для замещения будущего времени, когда людям придется работать с ИИ системами, более интеллектуальными, чем они сами.
Исследователи OpenAI изучали процесс, называемый наблюдение, которым пользуются для настройки систем, таких как GPT-4, большой языковой модели, стоящей за ChatGPT, с целью сделать их более полезными и менее вредными. В настоящее время это включает в себя обратную связь от людей о том, какие ответы хорошие, а какие плохие. По мере улучшения ИИ исследователи исследуют, как автоматизировать этот процесс, чтобы сэкономить время, но также потому, что они считают, что станет невозможным для людей давать полезную обратную связь по мере усиления ИИ.
В контрольном эксперименте, используя текстовый генератор GPT-2 от OpenAI, который был выпущен в 2019 году, чтобы обучить GPT-4, более поздняя система стала менее способной и похожей на менее развитую систему. Исследователи испытали две идеи, чтобы исправить это. Одно из них предполагало последовательное обучение все более крупных моделей, чтобы уменьшить потери в производительности на каждом этапе. В другом случае команда добавила алгоритмическую правку в GPT-4, позволяющую более сильной модели следовать руководству более слабой модели, не ухудшая ее производительности так сильно, как это обычно происходит. Это оказалось более эффективными, хотя исследователи признают, что эти методы не гарантируют, что более сильная модель будет вести себя идеально, и они описывают их как отправную точку для дальнейших исследований.
- Ветромощный грузовой корабль доставит европейскую ракету Ariane 6 н...
- Папа Франциск Как мы используем искусственный интеллект будет ̵...
- Моя удивительно объективная неделя с политически предвзятой чат-бот...
“Здорово видеть OpenAI активно решающую проблему контроля сверхчеловеческих ИИ”, – говорит Дэн Хендрикс, директор Центра по безопасности ИИ, некоммерческой организации в Сан-Франциско, посвященной управлению рисками ИИ. “Нам потребуется много лет целеустремленных усилий, чтобы справиться с этим вызовом.”
Ашенбреннер и еще два члена команды Суперинтеллектаности, которые говорили с ENBLE, Коллин Бернс и Павел Измайлов, говорят, что они вдохновлены тем, что считают важным первым шагом к приручению потенциала сверхчеловеческого ИИ. “Даже если шестиклассник знает меньше математики, чем студент-математик, он все же может передать то, чего он хочет достичь колледжа” – говорит Измайлов. “Вот к чему мы здесь и стремимся.”
Группа Суперлиния совместно руководится Ильей Суцкевером, сооснователем OpenAI, главным ученым и членом совета директоров, который в прошлом месяце проголосовал за увольнение генерального директора Сэма Альтмана, а затем угрожал уволиться, если его не вернут. Судьба Суцкевера в компании казалась неопределенной.
“Мы очень благодарны Илье”, – говорит Ашенбреннер. “Он был огромным стимулом и движущей силой” в проекте.
Исследователи OpenAI не первые, кто пытается использовать сегодняшние технологии ИИ, чтобы протестировать методы, которые могут помочь приручить ИИ системы завтра. Как и предыдущие работы в корпоративных и академических лабораториях, невозможно сказать, будут ли работать идеи, которые сработали в тщательно спланированном эксперименте, на практике в будущем. Исследователи описывают способность более слабой модели ИИ обучать более сильную, который они пытаются совершенствовать, как “ключевой строительный блок для широкой проблемы супервыравнивания.”
Эксперименты в так называемом согласовании ИИ также вызывают вопросы о том, насколько можно доверять любой системе управления. Основой новых техник OpenAI является более мощная ИИ-система, самостоятельно решающая, какие указания от слабой системы можно игнорировать. Такое решение может привести к тому, что она откажется от информации, которая помешает ей вести себя в будущем безопасным образом. Чтобы такая система была полезной, необходимо прогрессировать в обеспечении гарантий соответствия. “Вам в конечном итоге потребуется очень высокая степень доверия”, – говорит Бернс, третий участник команды OpenAI.
Стюарт Рассел, профессор из Университета Калифорнии в Беркли, работающий над безопасностью ИИ, говорит, что идея использования менее мощной модели ИИ для управления более мощной существует уже довольно давно. Он также говорит, что неясно, что текущие методы обучения ИИ поведению являются оптимальным решением, поскольку до сих пор не удалось добиться надежности поведения текущих моделей.
Хотя OpenAI рекламирует первый шаг к контролю за более развитым ИИ, компания также стремится привлечь внешнюю помощь. Компания объявила сегодня, что сотрудничая с Эриком Шмидтом, влиятельным инвестором и бывшим CEO Google, она предложит гранты на сумму 10 миллионов долларов исследователям извне, которые предложат дальнейшие достижения в таких областях, как от слабого к сильному обучению, интерпретируемость продвинутых моделей и усиление моделей против провокаций, нацеленных на нарушение их ограничений. По словам исследователей, связанных с новой статьей, OpenAI также будет проводить конференцию в следующем году по суперсогласованию.
Сутскевер, сооснователь OpenAI и со-руководитель команды Суперсогласования, является главным исполнителем большей части важной технической работы компании и также является одним из известных фигур в области ИИ, все более озабоченных тем, как управлять ИИ, поскольку он становится более мощным. Вопрос контроля над будущей технологией ИИ в этом году стал более актуальным, в значительной степени благодаря ChatGPT. Сутскевер учился на PhD под руководством Джеффри Хинтона, пионера глубоких нейронных сетей, который в мае этого года ушел из Google, чтобы предупредить о том, насколько быстро ИИ теперь, похоже, приближается к уровню человека в некоторых задачах.
