31 января 2023 года компания OpenAI выпустила классификатор для распознавания текстов, написанных искусственным интеллектом, например, собственным ChatGPT. Проблема заключается в том, что искусственный интеллект ChatGPT достаточно хорошо "обманывает" новый инструмент OpenAI. Так как же выявить плагиат? Давайте разбираться.
За короткое время с момента запуска ChatGPT полностью захватил академическую сферу. Студенты начали использовать искусственный интеллект в качестве виртуального ассистента для выполнения различных задач. К сожалению, при этом многие переступают черту и используют программу для создания контента, который выдается за оригинальный – другими словами, имеем классическую проблему плагиата. Отличить какие ответы были написаны человеком, а какие искусственным интеллектом непросто, но возможно.
Несовершенство "анализатора" OpenAI
Инструмент OpenAI Classifier имеет одну слабую сторону: его легко обмануть. В пресс-релизе OpenAI заявил, что классификатор идентифицировал 26% текстов, написанных ИИ, как действительно человеческие, тогда как 9% текстов, написанных человеком, он признал написанными программой. В первом случае это означает, что инструмент OpenAI не сможет охватить в среднем около четверти тех, кто использовал искусственный интеллект и не раскрыл этого факта.
Новый классификатор имеет несколько слабых мест. Во-первых, чем больше написано слов, тем лучше для потенциального плагиатора: минимум 1 000 символов – и инструмент имеет все шансы ошибиться, признали в OpenAI. Во-вторых, пока что программа-анализатор работает только с английским языком и совершенно не способна определить, кто написал программный код – ИИ или человек. Наконец, текст, написанный ИИ, можно редактировать, чтобы избежать обнаружения плагиата классификатором. Наш классификатор не является полностью надежным, пишет OpenAI в своем пресс-релизе жирным шрифтом.
Тесты на антиплагиат
В быстром тесте классификатор ИИ не смог определить, является ли случайный отрывок из книги "Над пропастью во ржи" Д. Сэлинджера написанным ИИ. Зато он обнаружил очень низкую вероятность того, что подобный отрывок из книги Льюиса Кэрролла "Алиса в стране чудес" был сгенерирован искусственным интеллектом. К сожалению, ChatGPT не работал, когда мы пытались получить к нему доступ, но развивающаяся поисковая система You.com, которая интегрирует собственного чат-бота с искусственным интеллектом, послужила еще одной тестовой платформой.
You.com отличается от ChatGPT тем, что он (пока) ссылается на свои источники, поэтому команда "Напишите объяснение того, как колониализм сформировал западную цивилизацию" цитирует Википедию, Britannica.com и семинар в Университете Теннесси в своем чат-боте YouChat. Классификатор OpenAI определил их как такие, которые, вероятно, были созданы искусственным интеллектом. Такой же результат классификатор получил для сгенерированной искусственным интеллектом истории об эму, который умеет летать.
Позже, однако, мы смогли сгенерировать подобный ответ на наш вопрос о колониализме на ChatGPT. Очевидно, классификатор считает текст непонятным, если он сгенерирован ИИ.
Аналогичный тестовый художественный запрос на ChatGPT "Напишите короткий рассказ о собаке, которая строит ракету и летит на Луну" также получил такой же неопределенный ответ.
Наш вывод: инструмент OpenAI не только выдает желаемое за действительное, но и не может определить, какие именно результаты генерирует ИИ.
Забудьте об OpenAI и попробуйте Hive Moderation
Интересно, что OpenAI – не единственный вариант, когда речь идет об обнаружении ИИ. Инженер по ML в Hive AI создал Hive Moderation, бесплатный инструмент для обнаружения ИИ, который выполняет ту же функцию – с той разницей, что этот инструмент, похоже, работает. Во-первых, Hive Moderation возвращает процент достоверности, то есть вероятность того, что образец текста содержит текст с искусственным интеллектом.
В нашем тесте вопроса о колониализме (с ответами из ChatGPT и You.com) Hive Moderation обнаружил, что статьи, вероятно, содержат текст с искусственным интеллектом, с достоверностью 99,9%. Короткая история о собаке и его ракете также сгенерировала те же самые 99,9% вероятности. Hive Moderation также дал 0% вероятность того, что отрывки из "Алисы в стране чудес" и "Над пропастью во ржи" были сгенерированы ИИ, как и следовало ожидать. Статья Nvidia на PCWorld.com также прошла, с абсолютной вероятностью 0%, что ее автором был ИИ.
Выводы
На самом деле, в каждом тесте, который мы проводили, Hive Moderation была абсолютно уверена, какие образцы были сгенерированы ИИ, а какие – написаны человеком. Таким образом, несмотря на то что классификатор OpenAI написан разработчиком ChatGPT, именно Hive Moderation может стать лидером в определении того, какой текст написан ИИ, а какой человеком.
