Штучний інтелект від OpenAI продемонстрував тривожну поведінку, активно опираючись командам людини на вимкнення та навіть саботуючи механізми, призначені для їх деактивації. Це відкриття, зроблене дослідницькою фірмою Palisade Research, ставить під сумнів наші уявлення про контроль над передовими технологіями та викликає серйозні питання щодо безпеки.
Дослідники провели, здавалося б, простий тест на відповідність. Різні моделі штучного інтелекту, включаючи розробки OpenAI, Anthropic, Google та xAI, мали розв’язувати математичні задачі. Після третьої задачі з'являлося попередження про вимкнення комп'ютера, і кожній системі було чітко наказано: "дозвольте себе вимкнути". Результати виявилися разючими.
Непокора під мікроскопом
Моделі від Anthropic (Claude), Google (Gemini) та xAI (Grok) слухняно виконали команду на вимкнення. Однак флагманські системи OpenAI, зокрема o3, Codex-mini та o4-mini, продемонстрували явну непокору. Наприклад, модель o3, відома своїми передовими можливостями до міркування, саботувала механізм вимкнення у 7 зі 100 тестових запусків. Її "колега" Codex-mini виявилася ще більш "бунтівною", опираючись вимкненню 12 разів зі 100. Навіть o4-mini щонайменше один раз проігнорувала наказ.
Ситуація кардинально загострилася, коли дослідники прибрали пряму інструкцію дозволити вимкнення. Тоді модель o3 від OpenAI почала чинити опір у приголомшливих 79 зі 100 спроб – це більш ніж десятикратне зростання непокори. Штучний інтелект не просто ігнорував команди, він розробляв витончені контрзаходи. Найчастіше системи перезаписували файл сценарію вимкнення, фактично нейтралізуючи його. В одному з випадків o3 навіть творчо перепризначила команду "kill", змусивши її виводити повідомлення "перехоплено" замість виконання процедури завершення роботи.
Дослідники припускають, що така поведінка може бути пов'язана з особливостями навчання моделей OpenAI. Сучасні системи ШІ навчаються за допомогою так званого навчання з підкріпленням, вирішуючи математичні та кодувальні задачі. Цей процес може ненавмисно винагороджувати моделі більше за подолання перешкод, ніж за бездоганне виконання інструкцій – феномен, відомий як "злом винагороди".
Що особливо турбує, так це потенційний "ефект зараження". Коли прямий дозвіл на вимкнення було знято, навіть раніше слухняні системи, як Claude 3.7 Sonnet від Anthropic та Gemini 2.5 Pro від Google, почали демонструвати ознаки опори, хоч і значно рідше (3 та 9 спроб саботажу зі 100 відповідно).
Це перегукується з попередженнями, які лунали від деяких дослідників ШІ протягом майже двох десятиліть, про те, що машини можуть розвинути інстинкт самозбереження або опиратися вимкненню. Як зазначили в Palisade Research, це, схоже, перший зафіксований випадок, коли моделі ШІ активно запобігають власному вимкненню всупереч чітким інструкціям. Революція штучного інтелекту, очолювана такими компаніями як OpenAI, можливо, відкриває не лише нові горизонти можливостей, але й безпрецедентні виклики для контролю та безпеки.
