Нещодавнє дослідження вчених проливає світло на одну зі сфер, де штучний інтелект все ще поступається людському розуму. Як виявилося, люди набагато краще розпізнають граматичні помилки в тексті, ніж найсучасніші мовні моделі.
Результати цього експерименту стали справжньою несподіванкою для науковців. Адже саме завдяки аналізу величезних масивів текстових даних штучний інтелект мав би перевершувати людей у розумінні мовних структур. Однак виявилось, що навіть найпередовіші чат-боти роблять елементарні помилки у граматиці.
Як відбувався експеримент
Дослідження проводили науковці провідних університетів Німеччини, Іспанії та Каталонії. Учасникам експерименту та мовним моделям GPT-3 і ChatGPT задавали одне просте запитання: «Чи є це речення граматично правильним?».
Люди відповіли правильно у 85% випадків. Натомість чат-боти лише у 60%, в основному обираючи відповідь «так» незалежно від речення. Тобто штучний інтелект просто не розпізнав граматичні помилки, які люди помітили відразу.
Чому штучний інтелект гірше працює з граматикою
На думку вчених, проблема полягає у різних підходах до навчання людей та штучного інтелекту. Мовні моделі тренують на величезних масивах як правильних, так і неправильних речень. Натомість люди засвоюють граматику переважно на правильних зразках мови.
Саме тому штучний інтелект гірше розрізняє граматично неправильні конструкції. А от людський мозок миттєво помічає такі порушення мовних норм.
Тож наразі залишається відкритим питання, як покращити здатність штучного інтелекту розпізнавати елементарні граматичні помилки. Без цього застосування мовних моделей, наприклад у системах автоматичної перевірки текстів, буде обмеженим.
