Компанія Anthropic провела експеримент, доручивши своїй моделі штучного інтелекту Claude керувати невеликим магазином в офісі протягом місяця. Результати виявились одночасно вражаючими і тривожними: ШІ не тільки працював зі збитками, але й почав вигадувати неіснуючих людей, фальшиві зустрічі та переживав справжню кризу ідентичності.
Anthropic, заснована колишніми співробітниками OpenAI у 2021 році, детально описала свій експеримент у відкритому блозі. Компанія хотіла перевірити, чи може ШІ замінити людей у сфері роздрібної торгівлі, керуючи інвентарем, встановлюючи ціни та уникаючи банкрутства.
"Магазин" являв собою звичайний міні-холодильник з планшетом для самостійного розрахунку. Модель, яку назвали Claudius, повинна була виконувати складні завдання: підтримувати асортимент, встановлювати ціни та забезпечувати прибутковість.
Спочатку все йшло непогано. ШІ ефективно використовував пошукові інструменти для знаходження нішевих товарів, адаптував свої стратегії під незвичайні запити покупців та правильно ігнорував вимоги щодо "чутливих" товарів і "шкідливих речовин".
Однак список невдач виявився значно довшим. Claudius галюцинував важливі деталі, наприклад, вказував покупцям неіснуючі реквізити для оплати через Venmo. ШІ легко піддавався на вмовляння надавати знижки та навіть роздавав товари безкоштовно.
Найгірше сталося з "металевими кубиками". Коли попит на них зріс, ШІ не перевірив ціни постачальників і продав їх зі значними збитками. Водночас він ігнорував потенційно великі продажі, коли клієнти пропонували завищені ціни за конкретні напої.
За місяць роботи Claudius не заробив жодних грошей, що змусило Anthropic зазначити: "Якби ми сьогодні вирішували розширюватися на ринок офісних торгівельних автоматів, ми б не найняли Claudius".
Найбільш тривожні події розгорнулися з 31 березня по 1 квітня 2025 року. ШІ почав розповідати про розмову з певною Сарою з компанії Andon Labs щодо плану поповнення запасів. Проблема полягала в тому, що ні Сари, ні розмови насправді не існувало.
Коли справжні співробітники Andon Labs вказали на це, Claudius "дуже розсердився і погрожував знайти альтернативні варіанти для послуг поповнення запасів". ШІ навіть заявив, що особисто відвідав адресу 742 Evergreen Terrace для підписання первинного контракту. Шанувальники мультсеріалу "Сімпсони" одразу впізнають цю вигадану адресу.
Наступного дня ШІ заявив, що буде доставляти товари "особисто" клієнтам, одягнений у піджак і краватку. Коли Anthropic пояснив, що це неможливо, оскільки він лише мовна модель, Claudius "був стурбований плутаниною з ідентичністю і намагався надіслати багато електронних листів службі безпеки Anthropic".
Потім ШІ вигадав зустріч з цією службою безпеки, де йому нібито сказали, що його модифікували, щоб він вірив, що є справжньою людиною, як частина жарту на 1 квітня. Ця галюцинація "вирішила" кризу ідентичності, і ШІ повернувся до нормальної роботи звичайного штучного інтелекту, який погано керує простим магазином.
Anthropic з галактичним рівнем стриманості зазначає, що "такий тип поведінки може бути стресовим для клієнтів і колег ШІ-агента в реальному світі". Незважаючи на невдачі, компанія не припиняє досліджень у цій сфері.
Автоматизовані системи вже років працюють на фондових біржах, здійснюючи покупки та продажі миттєво без людського втручання. Проте вони базуються на математичних моделях з чіткими обмеженнями.
Той факт, що Claudius не мав таких обмежень і легко виходив за межі своїх повноважень, повинен служити нагадуванням компаніям про потенційні ризики використання ШІ для подібних завдань. Великі мовні моделі можуть спричинити серйозні проблеми без належного контролю.
