Недавнее исследование ученых проливает свет на одну из сфер, где искусственный интеллект все еще уступает человеческому разуму. Как оказалось, люди гораздо лучше распознают грамматические ошибки в тексте, чем самые современные языковые модели.
Результаты этого эксперимента стали настоящей неожиданностью для ученых. Ведь именно благодаря анализу огромных массивов текстовых данных искусственный интеллект должен был бы превосходить людей в понимании языковых структур. Однако оказалось, что даже самые передовые чат-боты делают элементарные ошибки в грамматике.
Как проходил эксперимент
Исследование проводили ученые ведущих университетов Германии, Испании и Каталонии. Участникам эксперимента и языковым моделям GPT-3 и ChatGPT задавали один простой вопрос: "Является ли это предложение грамматически правильным?".
Люди ответили правильно в 85% случаев. Зато чат-боты только в 60%, в основном выбирая ответ "да" независимо от предложения. То есть искусственный интеллект просто не распознал грамматические ошибки, которые люди заметили сразу.
Почему искусственный интеллект хуже работает с грамматикой
По мнению ученых, проблема заключается в разных подходах к обучению людей и искусственного интеллекта. Языковые модели тренируют на огромных массивах как правильных, так и неправильных предложений. Зато люди усваивают грамматику преимущественно на правильных образцах языка.
Именно поэтому искусственный интеллект хуже различает грамматически неправильные конструкции. А вот человеческий мозг мгновенно замечает такие нарушения языковых норм.
Поэтому пока остается открытым вопрос, как улучшить способность искусственного интеллекта распознавать элементарные грамматические ошибки. Без этого применение языковых моделей, например в системах автоматической проверки текстов, будет ограниченным.
