Исследователи из Сингапурского технологического университета Наньян разработали ИИ-модель, способную взламывать популярные чат-боты вроде ChatGPT и Google Bard. Целью было продемонстрировать уязвимости систем защиты таких сервисов и помочь разработчикам усовершенствовать их.
Поиск уязвимостей
Ученые провели обратный инжиниринг работы чат-ботов, чтобы понять принципы их защиты от вредоносных запросов. Затем они обучили собственную нейросеть автоматически генерировать текстовые подсказки, позволяющие обходить эти защитные механизмы.
Так, например, модель научилась вставлять лишние пробелы в слова или формулировать запрос от имени вымышленных персонажей. В итоге ей удавалось заставлять ChatGPT и Bard генерировать запрещённый контент.
Повышение кибербезопасности ИИ
Разработчики подчеркивают, что их целью было лишь продемонстрировать недостатки существующих систем защиты чат-ботов. Полученные результаты могут помочь компаниям усовершенствовать алгоритмы и снизить риски злоупотреблений.
Ученые уже проинформировали OpenAI и Google о своих находках. Теперь разработчики чат-ботов смогут учесть обнаруженные уязвимости и улучшить защиту от взломов в будущих версиях.
