«Галлюцинации искусственного интеллекта представляют ‘прямую угрозу’ для науки, как предупреждает исследование Оксфордского университета»
«Галлюцинации искусственного интеллекта являются «прямой угрозой» для науки, как предупреждает исследование Оксфордского университета»
Большие языковые модели (LLM), такие как использованные в чат-ботах, имеют тревожную тенденцию к галлюцинациям. Другими словами, они генерируют ложное содержимое, которое они представляют как точное. Ученые из Интернет-института Оксфорд предупреждают о том, что такие галлюцинации, связанные с искусственным интеллектом (ИИ), представляют прямую угрозу для науки и научной истины.
Согласно их статье, опубликованной в журнале Nature Human Behaviour, “LLM разработаны для того, чтобы производить полезные и убедительные ответы без каких-либо гарантий их точности или соответствия фактам”.
LLM в настоящее время рассматриваются как источники знаний и генерируют информацию в ответ на вопросы или запросы. Но данные, на которых они обучаются, не всегда соответствуют фактической правде. Одна из причин этого заключается в том, что эти модели часто используют онлайн-ресурсы, которые могут содержать ложные утверждения, мнения и неточную информацию.
“Люди, использующие LLM, часто антропоморфизируют технологию, воспринимая ее как источник информации, похожий на человека”, объясняет профессор Брент Миттельштадт, соавтор статьи.
“Это происходит, в частности, из-за того, что LLM разработаны как полезные, звучащие как человек агенты, которые общаются с пользователями и отвечают на любой вопрос уверенным, хорошо написанным текстом. В результате пользователи легко могут быть убеждены в том, что ответы точны, даже если они не имеют никаких оснований на фактах и представляют субъективную или частичную версию правды”.
- Майкрософт становится победителем в хаосе OpenAI
- ФБР раскрывает союз Сморщенного паука с известной группировкой вымо...
- Что переход Сэма Альтмана к Microsoft означает для будущего ChatGPT...
Когда мы говорим о науке и образовании, точность информации имеет важное значение, и исследователи призывают научное сообщество использовать LLM как “переводчиков без нулевых вариантов”. Это означает, что пользователи должны предоставить модели соответствующие данные и попросить их преобразовать их в заключение или код, вместо того, чтобы полагаться на саму модель как источник знаний.
Таким образом, становится проще проверить, что результат является фактически правильным и соответствует предоставленному вводу.
LLM “несомненно” помогут в научных рабочих процессах, согласно профессорам Оксфорда. Но важно, чтобы сообщество использовало их ответственно и имело ясные ожидания относительно того, как они могут внести вклад.
