ИИ и вызов рекурсии
Оба GPT-3.5 и GPT-4 от компании OpenAI потерпели неудачу при столкновении с увеличивающимися уровнями сложности в этой основной компьютерной задаче, указывая на фундаментальный недостаток в их конструкции.
Генеративное искусственное интеллекта недостаточно для этой всеобщей способности человеческого мышления.
Среди возвышенных концепций, которые люди интуитивно осознают, есть концепция рекурсии, где что-то содержит повторение самого себя, простирающееся до бесконечности. Любой “фильм в фильме” может быть примером рекурсии. Знаменитые русские матрешки, где каждая деревянная кукла открывается, чтобы показать меньшую куклу, – пример милой рекурсии.
Классическая рекурсивная визуальная фантазия – это картинка себя, держащая картинку себя, в которой вы держите картинку себя, ad infinitum – создает восторг у каждого.
🌟 Также: 2024 год может стать годом, когда ИИ будет учиться в ладони вашей руки
Но когда речь идет о программах искусственного интеллекта (ИИ), включая генеративные программы ИИ, такие как ChatGPT, рекурсия представляет собой вызов. Ученые из Университета Иллинойса в Урбана-Шампейне обнаружили, что ИИ испытывает затруднения с обработкой рекурсии, что влияет на его производительность в различных задачах. Например, ИИ может неправильно понять код с вложенными блоками или породить неправильные скобки в программных задачах.
Согласно главному автору документа Шижуо Дилана Чжана и его коллегам в статье “Transformer-Based Models Are Not Yet Perfect At Learning to Emulate Structural Recursion”, опубликованной в этом месяце на сервере предварительной печати arXiv, эта ограниченность имеет значительные последствия для способности ИИ обрабатывать сложные программные задачи, которые включают рекурсивные шаблоны.
- Закон противостояния 2024 Проблема распространения запутанных глубо...
- Bard AI от Google получает премиум-версию разблокируйте расширенное...
- Европкарский утечка данных оказалась подделкой хакеры становятся тв...
Рекурсивный вызов
Для изучения влияния рекурсии на большие языковые модели (LLM) Чжан и его команда разработали тест с использованием моделей GPT-3.5 “Турбо” и GPT-4 – самых мощных моделей OpenAI. Они подали на эти модели направление, содержащее проблему обхода дерева, пример обхода дерева и инструкции для выполнения обхода. Целью было проверить, могут ли модели сгенерировать решение для обхода дерева вместе с объяснением используемого правила.
С увеличением глубины дерева производительность языковых моделей снижалась. Авторы обнаружили, что LLM борются с выполнением требуемого этапа “сокращения” – замены элемента в дереве на его рекурсивный элемент для продолжения обхода. Это ограничение подчеркивает проблему, с которой сталкиваются LLM при поддержке алгоритмической согласованности в течение продолжительных последовательностей, особенно в задачах, требующих точного порядка операций.
🌟 Также: OpenAI представляет «менее ленивую» GPT-4 Turbo, снижает цены, а также новые и обновленные модели
Кроме того, языковые модели не дают объяснения правила на основе данного примера в направлении, которое могло бы привести к успешному обходу. Чжан и его команда подчеркивают, что LLM затрудняются извлекать правильные правила из примеров контекста и сталкиваются с проблемами выполнения шагового сокращения в контексте.
Последствия и будущие направления
Неспособность LLM справиться с рекурсией отражает недостаток логического мышления, согласно Чжану и его команде. Выполнение каждого шага сокращения в обходе дерева требует сложного логического мышления, которого в настоящее время не хватает в программах. Однако даже люди с ограниченными навыками формальной логики могут легко понять концепцию рекурсии и оценить ее в различных контекстах.
На более простом уровне создатели моделей GPT должны пересмотреть свой дизайн. Авторы предполагают, что модели не были оптимизированы для эффективного представления рекурсивных шаблонов. В своих экспериментах с обучением на контексте они выяснили, что LLM тенденциозно извлекают нерекурсивные правила из данных и не обладают точностью в выполнении шагового сокращения. Авторы предлагают дальнейшую оптимизацию с целью улучшения способности моделей мыслить рекурсивно.
🌟 Также: Как прогресс в области ИИ компании Apple может определить судьбу iPhone 16
Это исследование подчеркивает проблемы, вызванные рекурсией, и ее влияние на производительность систем ИИ. В то время как программы могут в некоторой степени компенсировать с помощью выученных стратегий, отсутствие возможности рекурсии неизбежно ограничит их потенциал. Как отмечают Чжан и его команда, эта ограниченность влияет на такие задачи, как написание эссе и программирование, где рекурсивные шаблоны играют важную роль.
Чтобы узнать больше о достижениях и недостатках искусственного интеллекта, ознакомьтесь с этими связанными статьями:
- Для эпохи AI-компьютеров, здесь новый тест скорости
- Как SuperDuperDB облегчает вход в приложения AI
- AMD Mainstream PC CPUs, Entry Gaming GPUs на выставке CES
Теперь давайте рассмотрим некоторые дополнительные вопросы, которые у вас могут возникнуть относительно AI и рекурсии.
Вопросы и ответы
Вопрос: Существуют ли какие-либо AI-модели, способные обрабатывать рекурсию? Ответ: В то время, как исследование фокусируется на ограничениях конкретных языковых моделей, таких как GPT-3.5 “Turbo” и GPT-4, это не означает, что AI-модели не могут обрабатывать рекурсию. Ученые непрерывно работают над улучшением AI-моделей, и будущие достижения могут решить эту проблему.
Вопрос: Как невозможность обработки рекурсии может повлиять на производительность AI в написании эссе? Ответ: Написание эссе часто требует способности структурировать аргументы и идеи в последовательной и логической манере. Рекурсия играет роль в разработке сложных и нюансированных аргументов. Если AI-программы испытывают проблемы с рекурсией, им может быть сложно генерировать эссе с глубоким анализом и логическим ходом.
Вопрос: Можно ли обучить AI-программы преодолеть проблемы с рекурсией? Ответ: Возможно обучить AI-программы лучше обрабатывать рекурсию. Однако это требует тщательной оптимизации и настройки в процессе обучения для акцентирования способности мыслить рекурсивно. Будущие исследования могут исследовать техники улучшения понимания и обработки рекурсии AI-моделями.
Вопрос: Какие еще приложения или области могут быть затронуты проблемой AI с рекурсией? Ответ: Помимо программирования и написания эссе, трудности AI с рекурсией могут повлиять на области, которые сильно полагаются на рекурсивные структуры, такие как обработка естественного языка, распознавание изображений и анализ данных. Рекурсивные алгоритмы играют важную роль в различных вычислительных задачах, и ограничения AI в этой области могут затруднить его производительность в этих областях.
Вопрос: Существуют ли альтернативные подходы для преодоления ограничений AI с рекурсией? Ответ: Исследователи могут изучать гибридные подходы, которые сочетают преимущества AI-моделей с более доменно-специфичными алгоритмами, разработанными для работы с рекурсией. Интегрировав рекурсивные методологии в процесс обучения AI-моделей, разработчики могут улучшить их способность рассуждать рекурсивно.
🌟 Если вам понравилась эта информативная и интересная статья, не забудьте поделиться ею в социальных сетях!
А теперь к вам. Как вы относитесь к проблеме AI с рекурсией? Как вы думаете, достижения в AI-моделях могут решить эту проблему? Поделитесь своими мнениями в комментариях ниже!
