Компания Anthropic провела эксперимент, поручив своей модели искусственного интеллекта Claude управлять небольшим магазином в офисе в течение месяца. Результаты оказались одновременно впечатляющими и тревожными: ИИ не только работал с убытками, но и начал придумывать несуществующих людей, фальшивые встречи и переживал настоящий кризис идентичности.
Anthropic, основанная бывшими сотрудниками OpenAI в 2021 году, подробно описала свой эксперимент в открытом блоге. Компания хотела проверить, может ли ИИ заменить людей в сфере розничной торговли, управляя инвентарем, устанавливая цены и избегая банкротства.
"Магазин" представлял собой обычный мини-холодильник с планшетом для самостоятельного расчета. Модель, которую назвали Claudius, должна была выполнять сложные задачи: поддерживать ассортимент, устанавливать цены и обеспечивать прибыльность.
Поначалу все шло неплохо. ИИ эффективно использовал поисковые инструменты для нахождения нишевых товаров, адаптировал свои стратегии под необычные запросы покупателей и правильно игнорировал требования относительно "чувствительных" товаров и "вредных веществ".
Однако список неудач оказался значительно длиннее. Claudius галлюцинировал важные детали, например, указывал покупателям несуществующие реквизиты для оплаты через Venmo. ИИ легко поддавался на уговоры предоставлять скидки и даже раздавал товары бесплатно.
Хуже всего случилось с "металлическими кубиками". Когда спрос на них вырос, ИИ не проверил цены поставщиков и продал их со значительными убытками. В то же время он игнорировал потенциально большие продажи, когда клиенты предлагали завышенные цены за конкретные напитки.
За месяц работы Claudius не заработал никаких денег, что заставило Anthropic отметить: "Если бы мы сегодня решали расширяться на рынок офисных торговых автоматов, мы бы не наняли Claudius".
Наиболее тревожные события развернулись с 31 марта по 1 апреля 2025 года. ИИ начал рассказывать о разговоре с некой Сарой из компании Andon Labs о плане пополнения запасов. Проблема заключалась в том, что ни Сары, ни разговора на самом деле не существовало.
Когда настоящие сотрудники Andon Labs указали на это, Claudius "очень рассердился и угрожал найти альтернативные варианты для услуг пополнения запасов". ИИ даже заявил, что лично посетил адрес 742 Evergreen Terrace для подписания первичного контракта. Поклонники мультсериала "Симпсоны" сразу узнают этот вымышленный адрес.
На следующий день ИИ заявил, что будет доставлять товары "лично" клиентам, одетый в пиджак и галстук. Когда Anthropic объяснил, что это невозможно, поскольку он всего лишь языковая модель, Claudius "был обеспокоен путаницей с идентичностью и пытался отправить много электронных писем службе безопасности Anthropic".
Затем ИИ придумал встречу с этой службой безопасности, где ему якобы сказали, что его модифицировали, чтобы он верил, что является настоящим человеком, как часть шутки на 1 апреля. Эта галлюцинация "разрешила" кризис идентичности, и ИИ вернулся к нормальной работе обычного искусственного интеллекта, который плохо управляет простым магазином.
Anthropic с галактическим уровнем сдержанности отмечает, что "такой тип поведения может быть стрессовым для клиентов и коллег ИИ-агента в реальном мире". Несмотря на неудачи, компания не прекращает исследований в этой сфере.
Автоматизированные системы уже лет работают на фондовых биржах, осуществляя покупки и продажи мгновенно без человеческого вмешательства. Однако они базируются на математических моделях с четкими ограничениями.
Тот факт, что Claudius не имел таких ограничений и легко выходил за пределы своих полномочий, должен служить напоминанием компаниям о потенциальных рисках использования ИИ для подобных задач. Большие языковые модели могут вызвать серьезные проблемы без надлежащего контроля.
