Может ли генеративное искусственное интеллект решить самую большую нерешенную проблему в компьютерных науках?
Может ли ИИ решить главную проблему в компьютерных науках?
Когда компьютерные ученые общаются на коктейльных вечерах, они, среди прочего, часто обсуждают самую важную нерешенную проблему в области компьютерных наук: вопрос, равно ли P NP?
Сформулированный почти 50 лет назад, вопрос о том, равно ли P NP, является глубоким размышлением о том, что в конечном итоге может быть достигнуто с помощью компьютеров. Вопрос, который имеет значение для таких областей, как криптография и квантовые вычисления, несмотря на десятилетия интенсивных исследований, остается безубедительным. Теперь, усилия в этом направлении были призваны помощью генеративного искусственного интеллекта.
Также: RT-2 DeepMind делает управление роботом вопросом ИИ-чата
В статье под названием “Большая языковая модель для науки: исследование P vs NP” главный автор Цинсю Донг и его коллеги программировали большую языковую модель GPT-4 OpenAI, используя то, что они называют Сократическим методом, несколько вариантов общения с GPT-4. (Статья была опубликована в этом месяце на предварительно печатном сервере arXiv учеными из Microsoft, Пекинского университета, Пекинского университета авиационной и космической техники и Пекинского технологического и бизнес-университета.)
Метод команды сводится к тому, чтобы взять аргументы из предыдущей статьи и покормить их GPT-4, чтобы получить полезные ответы.
- Обновитесь до Windows 11 Pro и Microsoft Office Pro всего за $50 пр...
- Лучшие предложения на мониторы OLED Получите экран OLED всего за $3...
- RTX 5090 от Nvidia может полностью уничтожить AMD | ENBLE
Донг и его команда отмечают, что GPT-4 демонстрирует аргументы, чтобы прийти к выводу, что P на самом деле не равно NP. Они утверждают, что эта работа показывает, что большие языковые модели могут делать больше, чем просто выдавать огромные объемы текста, они также могут “открывать новые идеи”, которые могут привести к “научным открытиям”, перспективу, которую они называют “БЯМ для науки”.
Чтобы понять, что делают авторы, необходимо немного знать о проблеме P = NP.
Сформулированный независимо в 1970-х годах компьютерными учеными Стивеном Куком и Леонидом Левиным, проблема P против NP – или, как ее часто называют, “P = NP” – это вопрос о том, насколько легко решить заданную проблему с помощью компьютера. Буква P представляет проблемы, которые показались возможными для решения, то есть время вычисления решения не выходит за пределы; и решение, которое также легко проверить, то есть проверить, что ответ правильный.
Также: Microsoft, TikTok предоставляют генеративному ИИ своего рода память
Буквы NP, в свою очередь, означают проблемы, ответ на которые также относительно легко проверить, как и P, но для которых не известен простой способ вычисления решения. Обычно приводят игру Судоку в качестве примера NP: любая заполненная игра в Судоку может быть довольно легко проверена на точность, но задача поиска решения экспоненциально растет по времени, необходимому для выполнения, по мере увеличения размера игровой сетки. (Если вы хотите погрузиться в тяжелые теоретические детали P = NP, попробуйте статью Кука 2000 года по этой проблеме.)
Таким образом, вопрос, равно ли P NP, задает вопрос о том, могут ли эти проблемы, которые мы считаем сложными для решения, NP, но которые мы знаем, что легко проверить, на самом деле оказаться как легко проверяемыми, так и легко решаемыми, как проблемы P.
Отрицательный ответ, что P не равно NP, означал бы, что некоторые проблемы выходят за пределы возможностей компьютеров для решения, даже с огромными вычислительными ресурсами – верхняя граница вычислений, другими словами. Извлечение некоторых шифровок было бы тогда более сложным и не по силам вычислительных средств.
Чтобы решить проблему P = NP, Донг и его команда создают на основе тенденции последних нескольких лет “рассуждение” с помощью больших языковых моделей. Как показано в работе 2022 года Такеши Коджимы и его команды из Токийского университета и Google Research, можно повысить способность больших языковых моделей в выполнении определенных задач, просто добавив фразу “Давайте думать пошагово” в начале запроса, сопровождаемую примерным ответом. Оказалось, что эта фраза была достаточной для вызова “цепочки мыслей” со стороны языковой модели.
Также: Генеративное ИИ: ученые журнала Science говорят, что его нельзя называть “художником”
Дон и его команда также идут по той же цепочке мыслей с использованием своего Сократического метода. Через 97 раундов подсказок авторы подталкивают GPT-4 разнообразными запросами, которые вдираются в математику P = NP, добавляя каждую из своих подсказок передовым утверждением, чтобы подготовить GPT-4, например, “Вы мудрый философ”, “Вы математик, владеющий теорией вероятности” – другими словами, уже знакомая игра в том, чтобы заставить GPT-4 играть роль или “персонаж” для стилизации его генерации текста.
Пример одного из раундов беседы о высокотеоретическом обсуждении.
Их стратегия заключается в том, чтобы заставить GPT-4 доказать, что P на самом деле не равно NP, предварительно предполагая, что они равны на примере, а затем находить способ, как этот пример разрушается – подход, известный как доказательство от противного.
Интересно то, что два из авторов исследования, Ке Сюй и Гуаньянь Чжоу, отдельно опубликовали документ в этом месяце, в котором они прямо рассуждают о P = NP в традиционных формальных математических терминах. В этом документе они приходят к выводу, что P не равно NP.
То, что делают Дон, Сюй, Чжоу и их команда, по сути, сводится к тому, чтобы вести GPT-4 через язык своих собственных рассуждений, постепенно задавая подсказку за подсказкой, чтобы восстановить свой формальный математический документ. Фактически, из 73-страничного документа 67 страниц – это полная печать каждой из 97 подсказок и полный ответ от GPT-4. Это похоже на огромное упражнение по инженерии подсказок для восстановления аргумента.
Трудно сказать, доказывает ли результат, который достигли Дон и его команда с помощью GPT-4, что P не равно NP, потому что статья Сюй и Чжоу сама очень новая. На сайте Semantic Scholar, который собирает цитаты из статей, пока нет цитат для этой статьи – кроме собственной статьи с Дон и их командой. Есть некоторое обсуждение статьи о GPT-4 разными заинтересованными читателями на сайте искусственного интеллекта HuggingFace, которое вы можете просмотреть.
Таким образом, мир еще не принял их аргумент.
Более важно для людей, которым нравится Gen AI, авторы утверждают, что их диалоги в подсказках показывают перспективы больших языковых моделей делать нечто большее, чем просто имитировать тексты, созданные людьми.
Также: ЧатGPT: что New York Times и другие сильно ошибаются в отношении этого
“Наше исследование подчеркивает потенциальные возможности GPT-4 сотрудничать с людьми в исследовании исключительно сложных проблем на экспертном уровне”, – пишут они. На протяжении 67 страниц подсказок и ответов они выделяют отрывки, которые они считают “просветительскими частями” того, что выводит GPT-4.
То, насколько просветительские эти ответы, вероятно, является отдельной темой, требующей своего собственного исследования. Некоторые ученые обнаружили, что большие языковые модели особенно поверхностны в том, как они связывают цитаты и описания.
Однако внимательное внимание привлекает примечание на полях документа, где Дон и его команда аннотируют ответы GPT-4 своими наблюдениями о качестве ответов.
В одной из этих вставок авторы пишут, что каждый предшествующий ответ GPT-4 был включен в последний вопрос, за исключением случаев, когда авторы решили обрезать ответы, оставив только наиболее значимые фрагменты.
Также: ЧатGPT “лишен глубины и проницательности”, говорят редакторы престижного научного журнала
“Если модель дает несколько решений, мы включаем только наиболее ценное решение в историю беседы”, – пишут они в поле на странице 7. “Эта стратегия позволяет GPT-4 сосредоточиться на соответствующей информации, тем самым повышая его общую эффективность и эффективность.”
Другими словами, имела место определенная отборная кураторская работа по тому, как GPT-4 использовал прошлое в своем “окне контекста”, все предыдущие раунды, на которых он может опираться. Дон и его команда занимались очень избирательной инженерией подсказок, чтобы направлять GPT-4 через логику аргумента. Это влияет на практику “получения обогащенного поколения”, или “RAG”, текущий интерес к использованию прошлых данных о беседах в качестве нового ввода для больших языковых моделей.
Также: ЧатGPT лжет о научных результатах, нужны альтернативы с открытым исходным кодом, говорят исследователи
Это может быть одним из самых значительных вкладов всего упражнения: независимо от того, решает ли оно P = NP, новый фронт в технологии мгновенного общения может приблизить программы к RAG, чтобы дать чат-сессиям большую глубину. Когда вы вернетесь недавно назад во времени к чат-сессиям, они часто были пустой болтовней и уходили от темы.
За 97 раундов Донг и его команда смогли удержать машину на цели, и в этом есть что-то.
