За короткий час з моменту запуску ChatGPT повністю захопив академічну сферу. Студенти почали використовувати штучний інтелект як віртуального асистента для виконання різних завдань. На жаль, при цьому багато хто переступає межу і використовує програму для створення контенту, який видається за оригінальний – іншими словами, маємо класичну проблему плагіату. Відрізнити які відповіді були написані людиною, а які штучним інтелектом непросто, проте можливо.
Недосконалість «аналізатора» OpenAI
Інструмент має одну слабку сторону: його легко обдурити. У прес-релізі OpenAI заявив, що класифікатор ідентифікував 26% текстів, написаних ШІ, як справді людські, тоді як 9% текстів, написаних людиною, він визнав написаними програмою. У першому випадку це означає, що інструмент OpenAI не зможе охопити в середньому близько чверті тих, хто використовував штучний інтелект і не розкрив цього факту.
Новий класифікатор має кілька слабких місць. По-перше, чим більше написано слів, тим краще для потенційного плагіатора: щонайменше 1 000 символів – і інструмент має всі шанси помилитися, визнали в OpenAI. По-друге, поки що програма-аналізатор працює лише з англійською мовою і абсолютно не здатна визначити, хто написав програмний код – ШІ чи людина. Нарешті, текст, написаний ШІ, можна редагувати, щоб уникнути виявлення плагіату класифікатором. Наш класифікатор не є повністю надійним, пише OpenAI у своєму прес-релізі жирним шрифтом.
Тести на антиплагіат
У швидкому тесті класифікатор ШІ не зміг визначити, чи є випадковий уривок з книги "Над прірвою в житі" Д. Селінджера написаним ШІ. Натомість він виявив дуже низьку ймовірність того, що подібний уривок з книги Льюїса Керролла "Аліса в країні чудес" був згенерований штучним інтелектом. На жаль, ChatGPT не працював, коли ми намагалися отримати до нього доступ, але пошукова система You.com, що розвивається, яка інтегрує власного чат-бота зі штучним інтелектом, послужила ще однією тестовою платформою.
You.com відрізняється від ChatGPT тим, що він (поки що) посилається на свої джерела, тому команда "Напишіть пояснення того, як колоніалізм сформував західну цивілізацію" цитує Вікіпедію, Britannica.com та семінар в Університеті Теннессі у своєму чат-боті YouChat. Класифікатор OpenAI визначив їх як такі, що, ймовірно, були створені штучним інтелектом. Такий самий результат класифікатор отримав для згенерованої штучним інтелектом історії про ему, яка вміє літати.
Пізніше, однак, ми змогли згенерувати подібну відповідь на наше запитання про колоніалізм на ChatGPT. Очевидно, класифікатор вважає текст незрозумілим, якщо він згенерований ШІ.
Аналогічний тестовий художній запит на ChatGPT "Напишіть коротке оповідання про собаку, який будує ракету і летить на Місяць" також отримав таку ж невизначену відповідь.
Наш висновок: інструмент OpenAI не тільки видає бажане за дійсне, але й не може визначити, які саме результати генерує ШІ.
Забудьте про OpenAI і спробуйте Hive Moderation
Цікаво, що OpenAI – не єдиний варіант, коли йдеться про виявлення ШІ. Інженер з ML в Hive AI створив , безкоштовний інструмент для виявлення ШІ, який виконує ту саму функцію – з тією різницею, що цей інструмент, схоже, працює. По-перше, Hive Moderation повертає відсоток достовірності, тобто ймовірність того, що зразок тексту містить текст зі штучним інтелектом.
У нашому тесті питання про колоніалізм (з відповідями з ChatGPT і You.com) Hive Moderation виявив, що статті, ймовірно, містять текст зі штучним інтелектом, з достовірністю 99,9%. Коротка історія про собаку та його ракету також згенерувала ті ж самі 99,9% ймовірності. Hive Moderation також дав 0% ймовірність того, що уривки з "Аліси в країні чудес" і "Над прірвою в житі" були згенеровані ШІ, як і слід було очікувати. Стаття Nvidia на PCWorld.com також пройшла, з абсолютною ймовірністю 0%, що її автором був ШІ.
Висновки
Насправді, в кожному тесті, який ми проводили, Hive Moderation була абсолютно впевнена, які зразки були згенеровані ШІ, а які – написані людиною. Таким чином, не зважаючи на те, що класифікатор OpenAI написаний розробником ChatGPT, саме Hive Moderation може стати лідером у визначенні того, який текст є написаний ШІ, а який людиною.
