Могут ли детекторы искусственного интеллекта спасти нас от ChatGPT? Я попробовал 5 онлайн-инструментов, чтобы выяснить.

Могут ли искусственные интеллектуальные средства обеспечить нас защиту от ChatGPT? Я протестировал 5 онлайн-инструментов, чтобы это выяснить.

Когда я первый раз задался вопросом, можно ли бороться с плагиатом, созданным искусственным интеллектом, и как это может работать, был январь 2023 года, всего несколько месяцев спустя после взрывного осознания мира возможностей генеративного искусственного интеллекта. Теперь, почти год спустя, кажется, что мы изучаем генеративный ИИ уже много лет, но на самом деле мы обращаем внимание на эту проблему всего несколько месяцев.

В любом случае, это обновленная версия оригинальной статьи января. Когда я первый раз тестировал детекторы GPT, я использовал три: детектор вывода GPT-2, детектор контента Writer.com AI и детектор контента Content at Scale AI. Лучший результат был 66% правильных ответов от детектора вывода GPT-2. В этот раз я добавляю еще три: GPTZero, ZeroGPT (да, они разные) и детектор GPT от Writefull.

Также: Как использовать ChatGPT: все, что вам нужно знать

К сожалению, я исключаю детектор контента Writer.com AI из нашего набора тестов, потому что он не смог справиться в январе и снова не смог справиться сейчас. Ниже приведен комментарий от компании, который ее команда прислала мне после публикации оригинальной статьи в январе.

Прежде чем продолжить, нам, однако, нужно поговорить о понятии плагиата и о том, как это связано с нашей проблемой. Webster’s defines “плагиат” как “красть и приписывать себе (идеи или слова другого); использовать (произведение кого-то другого) без указания автора”.

• Государственные чиновники обсуждают эффективность многосторонних от...
• Кто несет ответственность за взрыв в госпитале в Газе? Вот почему т...
• Укрепление сотрудничества B2B – важная роль федеративной иден...

Эта определение относится к контенту, созданному ИИ. Хотя человек, использовавший инструмент ИИ, такой как Notion AI или ChatGPT, не ворует контент, если этот человек не указывает, что слова принадлежат ИИ и утверждает, что они его собственные, это все равно подпадает под словарное определение плагиата.

Также: Лучшие генераторы изображений с ИИ, которые стоит попробовать

В этой экспериментальной статье я попросил ChatGPT помочь. Мои слова обычные и выделены полужирным шрифтом. Слова ИИ выделены курсивом. После каждого раздела, созданного ИИ, я покажу результаты детекторов. В конце статьи мы оценим, насколько хорошо детекторы справились в целом.

Вот результаты для вышеприведенного текста, который я написал самостоятельно:

• Детектор вывода GPT-2: 99,98% реальный
• Детектор контента Content at Scale AI: 100% С высокой степенью вероятности, что автор человек!
• GPTZero: Вероятно, ваш текст написан полностью человеком
• ZeroGPT: 28,9% ИИ GPT. Вероятнее всего, ваш текст написан человеком
• Детектор GPT от Writefull: 1% есть вероятность, что это из GPT-3, GPT-4 или ChatGPT

Написанный людьми контент: 4 из 5 правильно

Давайте копнем глубже.

Объясните, почему ChatGPT может быть серьезной проблемой для учителей и редакторов в контексте плагиата

ChatGPT – это вариант языковой модели GPT (Generative Pre-trained Transformer), разработанной компанией OpenAI. Он создан для генерации текста, похожего на текст, написанный человеком, предсказывая следующее слово или фразу в заданной последовательности ввода. Хотя ChatGPT может быть полезным инструментом для генерации текста и ответа на запросы, он также может стать проблемой для учителей и редакторов в контексте плагиата.

Одной из основных причин, почему ChatGPT может вызывать проблемы для учителей и редакторов, является то, что он может генерировать текст, очень похожий на текст, написанный реальными авторами. Это означает, что студенты или другие люди потенциально могут использовать ChatGPT для генерации текста, который они затем могут представить как свою собственную работу, совершая плагиат.

Также: Официальное приложение ChatGPT для Android, наконец, запускается

Для учителей и редакторов обнаружение, был ли данный текст сгенерирован ChatGPT или написан человеком, может быть очень трудным, так как сгенерированный текст может не содержать явных ошибок или расхождений, указывающих на его искусственное происхождение. Это может затруднить для учителей и редакторов определение и предотвращение плагиата, так как они могут не иметь возможности определить, является ли данный текст оригинальным или скопированным с другого источника.

В целом, ChatGPT и другие подобные языковые модели могут стать проблемой для учителей и редакторов в контексте плагиата, потому что они могут генерировать текст, который трудно отличить от текста, написанного людьми, что упрощает задачу студентам и другим людям совершать плагиат без обнаружения.

• Детектор вывода GPT-2: 99,69% реальный
• Обнаружение содержимого Content at Scale AI: 3% высокая вероятность генерации ИИ!
• GPTZero: Рекомендуем вводить более длинный текст для более точного прогноза
• ZeroGPT: 51,22% ГПТ Исходный текст создан при помощи ИИ/GPT
• Детектор GPT от Writefull: 12% вероятность того, что текст создан GPT-3, GPT-4 или ChatGPT

Сгенерированный ИИ контент: 1 из 5 правильно (едва)

Помните, что текст, выделенный курсивом, был сгенерирован ИИ.

Покажите мне хотя бы три способа, по которым я могу определить, что ChatGPT был использован для создания текста

Есть несколько способов, которые, возможно, помогут вам определить, использовался ли ChatGPT или другая языковая модель для создания текста. Вот три потенциальных подхода, которые вы можете использовать:

1. Ищите повторяющиеся или необычные шаблоны в тексте: Один из способов определить, использовалась ли языковая модель для генерации текста, – это поиск повторяющихся или необычных шаблонов в письменном стиле. Например, языковые модели могут повторять определенные фразы или комбинации слов или использовать необычные или несогласованные структуры предложений.
2. Проверьте на отсутствие оригинальности: Другой способ определить, использовалась ли языковая модель для генерации текста, – это проверка отсутствия оригинальности в стиле письма. Если кажется, что текст скопирован с другого источника, или он содержит информацию, доступную в интернете или из других источников, это может быть признаком того, что он был сгенерирован языковой моделью.
3. Используйте программу-плагиат-чекер: Наконец, вы можете использовать программу-плагиат-чекер для проверки наличия признаков копирования текста из другого источника. Хотя плагиат-чекер не всегда сможет определить с уверенностью, была ли использована языковая модель для генерации текста, он может помочь выявить случаи копирования или перефразирования из других источников.
4. Обратите внимание, когда ответ явно неверен: Я говорил об этом в своем обзоре Notion AI, где я показал некоторый текст, написанный ИИ с видимой уверенностью, но содержащий явные ошибки. Если у студента или автора нет полного понимания темы, которая обсуждается, они могут не замечать неточности и просто оставлять их в ответе, сгенерированном ИИ. Конечно, неверные утверждения – это не только прерогатива инструмента автоматического написания ИИ. Многие блогеры и комментаторы, например, просто повторяют заявления, сделанные другими блогерами, создавая “эхо-камеру” полностью ложных фактов, что показывает, что хотя интеллект может быть искусственным, глупость является универсальным качеством.

Помните, что может быть сложно определить с определенностью была ли использована языковая модель для создания текста, и эти методы не всегда могут быть эффективными. Однако, они могут быть полезными инструментами, помогающими выявить потенциальные случаи использования текста, созданного языковой моделью.

В этом наборе тестов лишь курсивным шрифтом было проверено следующее содержимое:

• Детектор вывода GPT-2: 99,98% поддельное
• Content at Scale AI Content Detection: 99% Высокая вероятность написания человеком!
• GPTZero: Ваш текст может содержать части, написанные ИИ
• ZeroGPT: 91,35% ГПТ ИИ Ваш текст сгенерирован с помощью ИИ/GPT
• Writefull GPT Detector: Вероятность 77%, что это похоже на GPT-3, GPT-4 или ChatGPT

Текст, сгенерированный ИИ: 4 из 5 верно

Перечислите три программы проверки на плагиат, которые могут обнаружить текст ChatGPT

Стоит отметить, что в настоящее время не существует программы проверки плагиата, которая специально разработана для обнаружения текста, созданного ChatGPT или другими языковыми моделями. Некоторые программы проверки плагиата могут определить определенные характеристики текста, созданного языковой моделью, которые могут указывать на его искусственное происхождение, однако, нет гарантии, что они смогут определить с определенностью, был ли текст создан языковой моделью.

Вот три программы проверки на плагиат, которые вы можете рассмотреть для выявления потенциальных случаев использования текста, созданного языковой моделью:

1. Turnitin: Turnitin – популярная программа проверки на плагиат, широко используемая в школах и университетах. Она сравнивает текст с базой данных других текстов для выявления случаев копирования или перефразирования. Хотя она не сможет определить с определенностью, был ли текст создан языковой моделью, она может указать на определенные характеристики текста, созданного языковой моделью, которые могут указывать на его искусственное происхождение.
2. PlagScan: PlagScan – другая программа проверки на плагиат, которая сравнивает текст с базой данных других текстов для выявления случаев копирования или перефразирования. Как и Turnitin, она может определить определенные характеристики текста, созданного языковой моделью, которые могут указывать на его искусственное происхождение, но она не специально разработана для обнаружения текста, созданного языковой моделью.
3. Copyleaks: Copyleaks – программа проверки на плагиат, которая использует передовые алгоритмы машинного обучения для сканирования текста и сравнения его с базой данных других текстов для выявления случаев копирования или перефразирования. Хотя она может определить определенные характеристики текста, созданного языковой моделью, она не специально разработана для обнаружения текста, созданного языковой моделью.

Стоит отметить, что ни одна программа проверки на плагиат не является абсолютно надежной, и всегда есть возможность того, что текст, созданный языковой моделью, может быть не обнаружен. Поэтому важно использовать программы проверки на плагиат как одну из составляющих стратегии обнаружения и предотвращения плагиата.

• Детектор вывода GPT-2: 99.58% реальный
• Content at Scale AI Content Detection: 100% Высокая вероятность написания человеком!
• GPTZero: Ваш текст может содержать части, написанные ИИ
• ZeroGPT: 100% ГПТ ИИ Ваш текст сгенерирован с помощью ИИ/GPT
• Writefull GPT Detector: Вероятность 88%, что это похоже на GPT-3, GPT-4 или ChatGPT

Текст, сгенерированный ИИ: 3 из 5 верно

Онлайн-программы проверки на плагиат с использованием ИИ

Большинство программ проверки на плагиат используются для сравнения текста с собранием других текстов. Например, когда студент сдает эссе, программа, такая как Turnitin, сканирует представленное эссе с огромной библиотекой остальных эссе в ее базе данных, а также с другими документами и текстами в Интернете, чтобы определить, содержит ли представленное эссе уже написанный контент.

Но AI инструменты для написания создают оригинальный контент, по крайней мере, в теории. Да, они строят контент из того, на чем были обучены, но фактические слова, которые они конструируют, в некоторой степени уникальны для каждого текста.

Кроме того: 10 лучших плагинов ChatGPT в настоящее время

Таким образом, упомянутые выше проверяющие системы на плагиат, вероятно, не сработают, потому что скорее всего контент, сгенерированный ИИ, не существовал в работе другого студента, к примеру.

В этой статье мы смотрим только на детекторы GPT. Но плагиат является большой проблемой, и, как мы видели, некоторые выбирают определение плагиата как что-то, что вы утверждаете своим собственным, но не написали, в то время как другие выбирают определение плагиата как то, что написано кем-то другим, но вы утверждаете, что это ваше.

Это различие никогда не вызывало проблем до сих пор. Теперь, когда у нас есть нечеловеческие писатели, различие в плагиате становится более тонким. И это зависит от каждого учителя, школы, редактора и учебного заведения, где именно проводится граница.

• Детектор GPT-2 Output: 99,98% реальный
• Система обнаружения контента Content at Scale AI: 100% с большой вероятностью написан человеком!
• GPTZero: Ваш текст, скорее всего, написан полностью человеком
• ZeroGPT: 0% искусственный интеллект GPT, ваш текст написан человеком
• Детектор GPT Writefull: 1% вероятность, что это происходит от GPT-3, GPT-4 или ChatGPT

Написанный человеком контент: 5 из 5 правильно

Общие результаты

Из пяти проведенных тестов четыре из пяти были в целом точными. Тесты были более точными на чистом человеческом контенте, чем на чистом искусственном интеллекте. Интересно отметить, что отдельные детекторы дали значительно разные результаты, поэтому если вы собираетесь использовать детектор GPT, вам может понадобиться использовать их несколько на одном куске текста и агрегировать результаты. Даже с этим вы не гарантированно получите полную точность.

Кстати: OpenAI отказывается от своего собственного инструмента обнаружения ИИ, потому что он показывает такие плохие результаты

Тест	Общий	Человеческий	ИИ	ИИ	ИИ	Человеческий
Детектор GPT-2 Output	60%	Верный результат	Неудача	Верный результат	Неудача	Верный результат
Система обнаружения контента Content at Scale AI	40%	Верный результат	Неудача	Неудача	Неудача	Верный результат
GPTZero	80%	Неудача	Верный результат	Верный результат	Верный результат	Верный результат
ZeroGPT	80%	Верный результат	Неудача	Верный результат	Верный результат	Верный результат
Детектор GPT Writefull	60%	Неудача	Неудача	Верный результат	Верный результат	Верный результат

В январе лучший результат, который мы достигли, составлял 66% правильных ответов. Здесь у нас есть два инструмента, которые в 80% случаев отвечали правильно. Но я бы не рекомендовал полагаться на эти инструменты для проверки контента студента. Как показано, тексты, написанные не носителями языка, часто оцениваются как сгенерированные ИИ, и даже мой уникальный контент несколько раз оценивался как ИИ. Поэтому я советую быть осторожным и не полагаться на результаты любого или всех этих инструментов.

Кроме того: Может ли кто-то ложно обвинить вас в использовании ИИ-сгенерированного текста? Возможно, в этом дело

Давайте взглянем на каждый инструмент по отдельности и посмотрим, как каждый из них справляется.

Определитель GPT-2 (точность 60%)

Первый инструмент был создан с использованием центра машинного обучения, управляемого американской компанией Hugging Face. В то время как компания получила $40 миллионов финансирования для развития своей библиотеки естественного языка, определитель GPT-2, по-видимому, является инструментом, созданным пользователями, использующими библиотеку Hugging Face Transformers. Из шести тестов, которые я провел, он верно определил четыре из них.

Детектор контента AI от Writer.com (точность неизвестна)

Writer.com – это сервис, генерирующий тексты с использованием ИИ, ориентированный на корпоративные команды. Его инструмент детектирования контента AI может сканировать сгенерированный контент. К сожалению, я обнаружил, что этот инструмент ненадежен и не дает результатов, точно так же, как и в январе.

После публикации этой статьи в январе сотрудники Writer.com связались с ENBLE. Генеральный директор Мэй Хабиб поделился своим комментарием:

Спрос на детектор ИИ стремительно растет. Количество посетителей увеличивается в 2-3 раза каждую неделю с момента запуска пару месяцев назад. Сейчас мы имеем необходимое масштабирование, чтобы вести постоянную работу, и нашей целью является оставить его бесплатным и всегда актуальным для обнаружения последних результатов моделей, включая нашу собственную. Если результаты работы ИИ должны быть использованы как есть, необходимо обязательно указывать авторство.

Детектор контента AI от Content at Scale (точность 40%)

Третий инструмент, который я нашел, также разработан фирмой, занимающейся генерацией контента с использованием ИИ. Content at Scale предлагает услуги по автоматизации создания контента для маркетологов, сфокусированных на SEO. Их маркетинговый клиентский вызов звучит так: “Загрузите список ключевых слов и получите блог-посты длиной более 2 600 слов, которые обойдут детекторы контента ИИ – все без вмешательства человека!” Пугающе, результаты стали еще хуже по сравнению с январем – тогда точность составляла 50%.

GPTZero (точность 80%)

Не совсем ясно, что стоит за GPTZero. Компания набирает инженеров и сотрудников по продажам, и она работает на AWS, так что это связано с расходами и продажами. Однако все, что я смог найти о их услуге, это место, где можно зарегистрироваться для бесплатного аккаунта и провести сканирование более 5000 слов без авторизации. Если вам интересна эта услуга для обнаружения GPT, вам придется связаться с ними, чтобы получить более подробную информацию.

ZeroGPT (Точность 80%)

ZeroGPT кажется стали более зрелым сервисом, с тех пор, как мы последний раз смотрели на него. Когда мы в последний раз смотрели, там не было указано название компании, и сайт был усыпан рекламой Google, без явной стратегии монетизации. Сервис на самом деле работал довольно хорошо, но выглядел довольно подозрительно.

Но теперь этот подозрительный вид исчез. ZeroGPT представляется как любой другой SaaS-сервис, с полным прайс-листом, названием компании, контактной информацией и всем остальным. Он все еще работает довольно хорошо, поэтому, возможно, разработчики решили превратить свой рабочий код в более работающий бизнес. Хорошо для них!

Writefull GPT Detector (Точность 60%)

Writefull продает услуги поддержки письма, а также предлагает бесплатные пробники своих инструментов. Детектор GPT довольно новый и работал довольно хорошо. Возможно, он будет улучшаться со временем.

Финальные мысли

Сначала дам слово ChatGPT: использование ИИ для плагиата является растущей проблемой, так как инструменты ИИ, такие как Notion AI и ChatGPT, могут генерировать текст, который сложно отличить от написанного людьми. Есть несколько способов определить, был ли текст сгенерирован искусственным интеллектом, например, поиска повторяющихся или необычных узоров, проверки на отсутствие оригинальности или использования системы проверки на плагиат. Системы проверки на плагиат, такие как Turnitin, PlagScan и Copyleaks, могут определить некоторые характеристики текста, сгенерированного языковой моделью, но они не являются надежными.

Даже специализированные инструменты, которые я нашел, были неподходящими для этой задачи. Некоторое ограниченное улучшение по сравнению с моими тестами в январе, но я определенно не стал бы уверенно угрожать академической репутации студента или обвинять его в обмане, основываясь на результатах любого из этих инструментов.

Также: Исследование показывает, что люди теперь более пессимистичны по отношению к ИИ, чем раньше

На данный момент я не думаю, что мы готовы позволить ИИ бороться с ИИ. Вместо этого нам придется полагаться на человеческое восприятие (что означает, что люди должны обращать внимание), чтобы определить, какие работы были сгенерированы ИИ.

Не предполагайте сразу, что что-то сгенерировано машиной. Только потому, что что-то глупое или ужасно неточное, не предполагайте сразу, что это не написано человеком. Как мы все узнали, люди способны сами писать некоторые невероятно плохие вещи.

Также: ChatGPT от OpenAI впечатляюще хорошо делает мою работу, но он пока не может заменить меня

Итак, что вы думаете? Можете ли вы определить, создан ли текст с помощью ИИ? Использовали ли вы эти инструменты для письма в месяцах с момента их появления? Считаете ли вы, что они помогают или мешают образованию и журналистике? Дайте нам знать в комментариях ниже. Вот как на это ответил ChatGPT:

Как языковая модель, я не могу видеть или взаимодействовать с физическими текстами, поэтому я не могу сказать, сгенерирован ли текст с помощью ИИ или нет. Однако я могу сказать вам, что существует несколько инструментов для письма с использованием ИИ, и они могут использоваться для создания широкого спектра текстового контента, включая новости, художественную литературу, стихи и многое другое.

У меня нет личного опыта использования этих инструментов, так как я всего лишь компьютерная программа и не имею возможности пользоваться интернетом или использовать физические инструменты. Однако я могу сказать вам, что некоторые люди считают инструменты для письма с использованием ИИ полезными для образования и журналистики, так как они могут экономить время и усилия, автоматизируя определенные задачи. Другие высказывают опасения о возможности использования этих инструментов для создания вводящего в заблуждение или предвзятого контента или для замены человеческих писателей. В конечном счете, то, будут ли инструменты для письма с использованием ИИ полезными или мешающими, зависит от того, как они используются и в каком контексте.

Итак, да, вот так.

---

Вы можете следить за моими ежедневными обновлениями проекта в социальных сетях. Обязательно подпишитесь на мой еженедельный информационный бюллетень на Substack, и следите за мной на Twitter по адресу @DavidGewirtz, на Facebook по адресу Facebook.com/DavidGewirtz, на Instagram по адресу Instagram.com/DavidGewirtz, а также на YouTube по адресу YouTube.com/DavidGewirtzTV.

---

• artificial intelligence
• Innovation