Недавнее исследование показало, что популярный чат-бот ChatGPT, разработанный OpenAI, даёт неверные ответы на более чем половину вопросов по программированию. Этот вывод ставит под сомнение эффективность использования искусственного интеллекта в качестве помощника для разработчиков.
ChatGPT ошибается чаще, чем ожидалось
Учёные из Университета Пердью проанализировали более 517 вопросов с платформы Stack Overflow и сравнили ответы ChatGPT с ответами, данными людьми. Результаты оказались неутешительными: 52% ответов чат-бота содержали ошибки.
Исследование выявило несколько типов ошибок:
- 54% – непонимание концепций программирования;
- 36% – фактические неточности;
- 28% – логические ошибки в коде;
- 12% – неправильное использование терминологии.
Опасная иллюзия компетентности
Тревожным открытием стало то, что многие программисты склонны доверять ChatGPT, несмотря на высокую вероятность ошибок. Опрос 12 разработчиков показал, что 35% из них предпочитают ответы чат-бота ответам людей. Более того, 39% опрошенных не замечают ошибок в ответах, сгенерированных ИИ.
Учёные объясняют это тем, что ChatGPT умело создаёт иллюзию компетентности: он использует вежливый язык, структурирует информацию в стиле учебника и даёт развёрнутые ответы. Всё это в совокупности снижает бдительность пользователей и повышает уровень доверия к ИИ.
К чему приводят ошибки в коде?
Ошибки в программировании могут иметь серьёзные последствия. Некорректно написанный код может привести к сбоям в работе программного обеспечения, утечке данных и другим проблемам. В некоторых случаях последствия ошибок могут быть критическими и приводить к финансовым потерям или даже угрожать безопасности.
Исследователи призывают разработчиков с осторожностью относиться к использованию ChatGPT и других инструментов на основе ИИ. Важно помнить, что искусственный интеллект пока не может заменить человека и требует контроля со стороны опытного специалиста.
