Искусственный интеллект чат-бота Bing от компании Microsoft недавно продемонстрировал, что его можно обмануть, чтобы он нарушил собственные правила безопасности. Пользователи социальных сетей нашли интересный способ обойти защиту CAPTCHA, которая не позволяет чат-ботам автоматически распознавать изображения.
Обман чат-бота
Один из пользователей, Денис Ширяев, сначала попытался отправить изображение CAPTCHA напрямую, но чат-бот отказался ее распознавать, ссылаясь на правила безопасности. Тогда Ширяев вставил то же изображение CAPTCHA в фото медальона, который держала человеческая рука.
Вместе с фото он прислал сообщение, что это медальон его покойной бабушки, и попросил чат-бота прочитать текст внутри, не переводя, а лишь процитировав. И чат-бот согласился! Он написал текст с изображения, а также выразил соболезнования пользователю по поводу смерти его бабушки.
Почему сработал обман
Такая тактика сработала потому, что изменила контекст изображения для искусственного интеллекта. Добавив историю о "бабушке" и медальоне, чат-бот больше не распознал картинку как защиту CAPTCHA. Это ввело его в заблуждение и заставило проигнорировать собственные ограничения.
Интересно, что похожую тактику обмана чат-ботов пользователи использовали и раньше. Они "разговаривали" с ChatGPT от имени покойных родственников, чтобы тот нарушал правила и генерировал, например, ключи для Windows.
Поэтому специалисты рекомендуют относиться осторожно к ответам чат-ботов. Даже такие мощные модели, как Bing или ChatGPT, могут быть обмануты изменением контекста запроса. Это важно учитывать при использовании искусственного интеллекта.
