Компанія Google активно просуває свою нейромережу Gemini як революційну технологію, здатну аналізувати величезні обсяги даних. Однак нові дослідження засвідчили, що насправді можливості цієї системи штучного інтелекту сильно перебільшені.
Тести показали низьку точність Gemini
Група вчених протестувала моделі Gemini 1.5 Pro і Gemini 1.5 Flash, поставивши їм запитання щодо раніше вивченої інформації. Результати виявилися невтішними – у середньому точність відповідей становила не більше 50%.
Дослідники "згодували" нейромережі 520 сторінок тексту і попросили переказати зміст. Перевірка показала, що Gemini 1.5 Pro відповіла правильно лише в 46,7% випадків, а Gemini 1.5 Flash - тільки в 20%. Це дуже поганий результат – творіння Google не впоралося з поставленим завданням.
Нейромережа погано впоралася з аналізом зображень
Також учені перевірили здатність Gemini 1.5 Flash обробляти візуальну інформацію. Їй надали зображення і поставили запитання щодо їхнього змісту. Частка правильних відповідей не перевищила 50%.
Google явно перебільшує можливості Gemini
Хоча методика тестування викликає питання, саме дослідження серйозно поставило під сумнів заявлені Google можливості Gemini. Очевидно, що компанія сильно перебільшує здатності своєї нейромережі аналізувати великі обсяги даних.
Нові дослідження показали, що на практиці Gemini погано справляється з розумінням і витяганням інформації з текстів і зображень. Це ставить під сумнів перевагу Google у сфері штучного інтелекту.
Висновки
Дослідження виявили серйозний розрив між рекламними заявами Google і реальними можливостями їхньої нейромережі Gemini. Це чергове нагадування про те, що сенсаційні заяви технологічних компаній потрібно перевіряти незалежними тестами. Розвиток ШІ вимагає об'єктивного оцінювання досягнень, а не маркетингового хайпу.
