Нещодавнє дослідження показало, що популярний чат-бот ChatGPT, розроблений OpenAI, дає хибні відповіді на більш ніж половину запитань з програмування. Цей висновок ставить під сумнів ефективність використання штучного інтелекту як помічника для розробників.
ChatGPT помиляється частіше, ніж очікувалося
Вчені з Університету Пердью проаналізували понад 517 запитань із платформи Stack Overflow і порівняли відповіді ChatGPT із відповідями, даними людьми. Результати виявилися невтішними: 52% відповідей чат-бота містили помилки.
Дослідження виявило кілька типів помилок:
- 54% – нерозуміння концепцій програмування;
- 36% – фактичні неточності;
- 28% – логічні помилки в коді;
- 12% – неправильне використання термінології.
Небезпечна ілюзія компетентності
Тривожним відкриттям стало те, що багато програмістів схильні довіряти ChatGPT, незважаючи на високу ймовірність помилок. Опитування 12 розробників показало, що 35% з них віддають перевагу відповідям чат-бота перед відповідями людей. Ба більше, 39% опитаних не помічають помилок у відповідях, згенерованих ШІ.
Вчені пояснюють це тим, що ChatGPT вміло створює ілюзію компетентності: він використовує ввічливу мову, структурує інформацію в стилі підручника і дає розгорнуті відповіді. Усе це в сукупності знижує пильність користувачів і підвищує рівень довіри до ШІ.
До чого призводять помилки в коді?
Помилки в програмуванні можуть мати серйозні наслідки. Некоректно написаний код може призвести до збоїв у роботі програмного забезпечення, витоку даних та інших проблем. У деяких випадках наслідки помилок можуть бути критичними і призводити до фінансових втрат або навіть загрожувати безпеці.
Дослідники закликають розробників з обережністю ставитися до використання ChatGPT та інших інструментів на основі ШІ. Важливо пам'ятати, що штучний інтелект поки що не може замінити людину і потребує контролю з боку досвідченого фахівця.
