Новая техника заставляет искусственный интеллект просыпаться из галлюцинаций и смотреть правде в глаза
Новейшая технология разбужает искусственный интеллект из иллюзий и заставляет его проникать в истину
Чатботы обладают тревожной способностью генерировать ложную информацию, но представлять ее как точную. Это явление, известное как галлюцинации искусственного интеллекта, имеет различные негативные последствия. В лучшем случае оно ограничивает преимущества искусственного интеллекта. В худшем случае оно может причинить реальный вред людям.
По мере того как искусственный интеллект становится все более популярным, звоночки тревоги звучат громче. В ответ на это, команда европейских исследователей ведет энергичные эксперименты с методами лечения. На прошлой неделе команда представила многообещающее решение. Они утверждают, что оно может сократить галлюцинации искусственного интеллекта до однозначного процента.
Система – это изобретение Iris.ai, стартапа с главным офисом в Осло. Компания, основанная в 2015 году, создала искусственный интеллект для понимания научных текстов. Программное обеспечение анализирует огромные объемы исследовательских данных, после чего их анализирует, классифицирует и резюмирует.
Среди клиентов компании – Финская служба пищевого контроля. Государственное агентство использует систему для ускорения исследований потенциального вспышечного гриппа. По словам Iris.ai, платформа сэкономила 75% времени исследователя.
Но оно не сэкономило их время, когда речь заходит о галлюцинациях искусственного интеллекта.
- Получите Amazon Fire TV Stick 4K по самой низкой цене на данный мом...
- Вы все еще можете приобрести фен Dyson Supersonic по самой низкой ц...
- Поиск работы в сфере технологий до сих пор является кошмаром
“Ключевое возвращать ответы, соответствующие тому, что мог бы сказать человеческий эксперт.
Современные большие языковые модели (LLMs) печально известны тем, что они выдают нелепую и ложную информацию. В последние месяцы появилось бесчисленное количество примеров таких результатов.
Иногда неточности вызывают репутационный ущерб. Например, на демонстрации запуска искусственного интеллекта Bing от Microsoft система создала ошибочный анализ финансового отчета Gap, полный ошибок.
В других случаях недостоверные результаты могут быть опасными. ChatGPT может выдавать опасные медицинские рекомендации. Специалисты по безопасности боятся, что галлюцинации чатбота могут даже направлять злонамеренные коды разработчикам программного обеспечения.
“К сожалению, LLM настолько хороши в постановке фраз, что сложно отличить галлюцинации от фактически корректных генерируемых текстов”, – говорит технический директор Iris.ai Виктор Ботев TNW. “Если эту проблему не устраним, пользователи моделей будут вынуждены тратить больше ресурсов на проверку выходных данных, а не на их генерацию.”
Галлюцинации искусственного интеллекта также мешают использованию искусственного интеллекта в исследованиях. В опросе Iris.ai, в котором приняли участие 500 корпоративных исследователей, только 22% респондентов заявили, что доверяют системам, подобным ChatGPT. Тем не менее, 84% из них все равно используют ChatGPT в качестве основного инструмента искусственного интеллекта для поддержки исследований. Ужас.
Эти неприемлемые практики побудили Iris.ai заняться галлюцинациями искусственного интеллекта.
Проверка фактов AI
Iris.ai использует несколько методов для измерения точности выводов искусственного интеллекта. Самый важный метод – проверка достоверности фактов.
“Мы составляем карту ключевых понятий, которые мы ожидаем увидеть в корректном ответе”, – говорит Ботев. “Затем мы проверяем, содержит ли ответ искусственного интеллекта эти факты и являются ли они из надежных источников”.
Вторичный метод сравнивает ответ, сгенерированный искусственным интеллектом, с подтвержденным “истинным служебным документом”. Используя патентованный показатель, названный WISDM, программное обеспечение оценивает семантическую сходство вывода искусственного интеллекта с истинной правдой. Это включает проверку тем, структуры и ключевой информации.
Еще один метод проверяет связность ответа. Для этого Iris.ai убеждается, что вывод включает соответствующие темы, данные и источники для заданного вопроса, а не несвязанные вводы.
Комбинирование этих методов создает оценку фактической точности.
“Для нас ключевым является возвращение не просто любого ответа, а ответов, близких к тому, что мог бы сказать человеческий эксперт”, – говорит Ботев.
Под маской системы Iris.ai лежат знаковые графы, которые показывают отношения между данными.
Знаковые графы оценивают и демонстрируют шаги, которые модель языка выполняет для получения своих результатов. В основном, они генерируют цепочку мыслей, которыми модель должна следовать.
Такой подход упрощает процесс проверки. Путем того, чтобы разделить запросы модели на части, а затем показать правильные шаги, можно выявить и устранить проблемы.
Структура может даже побудить модель идентифицировать и исправить свои собственные ошибки. В результате можно автоматически получить логичные и фактически верные ответы.
«Нам нужно разложить принятие решений ИИ».
Iris.ai внедрила эту технологию в новую функцию Чат, которая была добавлена в платформу Researcher Workspace компании. В предварительных тестах эта функция сокращала галлюцинации ИИ до однозначных процентов.
Однако проблема еще не полностью решена. Хотя этот подход, кажется, эффективен для исследователей на платформе Iris.ai, распространить его на популярные ЛLM будет сложно. По словам Ботева, проблемы не связаны с технологией, а с пользователями.
Для примера, когда кто-то делает поиск ИИ в Bing, он может иметь мало знаний о теме, которую он исследует. В результате он может неправильно истолковать полученные результаты.
«Люди часто самодиагностируют свои болезни, ища симптомы онлайн», – говорит Ботев. «Нам нужно иметь возможность разложить процесс принятия решений ИИ в ясной и понятной форме.
Будущее галлюцинаций ИИ
Основной причиной галлюцинаций ИИ являются проблемы с обучающими данными. Недавно Microsoft представила новое решение проблемы. Компания Phi-1.5 предварительно обучена на данных “учебникового качества”, которые являются синтетически сгенерированными и отфильтрованными из веб-источников.
В теории эта техника должна снизить галлюцинации ИИ. Если обучающие данные хорошо структурированы и способствуют рассуждению, то модели будет меньше возможностей для галлюцинаций.
Другой метод заключается в удалении предубеждений из данных. Для этого Ботев предлагает обучить модель на кодовых языках.
В настоящее время многие популярные ЛLM обучаются на разнообразных данных, от романов и статей из газет до юридических документов и постов в социальных сетях. Неизбежно, эти источники содержат человеческие предубеждения.
В кодовых языках гораздо больше акцент на рассуждение. Это оставляет меньше места для интерпретации и может направить ЛЛМ на фактически правильные ответы. С другой стороны, это может дать программистам потенциально ужасную власть.
«Это вопрос доверия».
Несмотря на свои ограничения, методика Iris.ai – это шаг в правильном направлении. Используя структуру знаковых графов, можно обеспечить прозрачность и объяснимость для искусственного интеллекта.
«Более широкое понимание процессов модели, а также дополнительная внешняя экспертиза с моделями черного ящика, позволяет раньше идентифицировать и решать проблемы галлюцинаций во всех областях», – говорит Ботев.
CTO также оптимистично смотрит на внешние достижения в этой области. Он указывает на сотрудничество с производителями ЛЛМ для построения больших наборов данных, вывода знаковых графов из текстов и подготовке метрик самооценки. В будущем это должно привести к дальнейшему снижению галлюцинаций ИИ.
Для Ботева эта работа имеет важное значение.
«В большей степени это вопрос доверия», – говорит он. «Как пользователи могут использовать преимущества искусственного интеллекта, если они не доверяют модели, которую они используют для получения точных ответов?»
