Компания Google активно продвигает свою нейросеть Gemini как революционную технологию, способную анализировать огромные объемы данных. Однако новые исследования показали, что на деле возможности этой системы искусственного интеллекта сильно преувеличены.
Тесты показали низкую точность Gemini
Группа ученых протестировала модели Gemini 1.5 Pro и Gemini 1.5 Flash, задав им вопросы по ранее изученной информации. Результаты оказались разочаровывающими – в среднем точность ответов составила не более 50%.
Исследователи "скормили" нейросети 520 страниц текста и попросили пересказать содержание. Проверка показала, что Gemini 1.5 Pro ответила верно лишь в 46,7% случаев, а Gemini 1.5 Flash – только в 20%. Это очень плохой результат – творение Google не справилось с поставленным заданием.
Нейросеть плохо справилась с анализом изображений
Также ученые проверили способность Gemini 1.5 Flash обрабатывать визуальную информацию. Ей предоставили изображения и задали вопросы по их содержанию. Доля верных ответов не превысила 50%.
Google явно преувеличивает возможности Gemini
Хотя методика тестирования вызывает вопросы, само исследование серьезно подвергло сомнению заявленные Google возможности Gemini. Очевидно, что компания сильно преувеличивает способности своей нейросети анализировать большие объемы данных.
Новые исследования показали, что на практике Gemini плохо справляется с пониманием и извлечением информации из текстов и изображений. Это ставит под вопрос превосходство Google в области искусственного интеллекта.
Выводы
Исследования выявили серьезный разрыв между рекламными заявлениями Google и реальными возможностями их нейросети Gemini. Это очередное напоминание о том, что сенсационные заявления технологических компаний нужно проверять независимыми тестами. Развитие ИИ требует объективной оценки достижений, а не маркетингового хайпа.
