Недавно группа ученых опубликовала исследование, которое может коренным образом изменить возможности искусственного интеллекта. Речь идет о способе заставить нейросети обрабатывать огромные массивы данных – вплоть до миллионов слов за раз. Это стало возможным благодаря новому подходу, предложенному аспирантом Калифорнийского университета Хао Лю совместно с коллегами из Google и UC Berkeley.
Ограничения современных моделей ИИ
Сейчас даже самые передовые чат-боты, такие как Claude от Anthropic, могут анализировать лишь около 75 000 слов за один запрос. Это связано с техническими ограничениями – объемом памяти графических процессоров, на которых обучают и запускают модели ИИ.
Из-за нехватки памяти возникает узкое место, не позволяющее увеличивать количество обрабатываемых данных, какими бы мощными ни были GPU.
Революционный подход для обхода ограничений памяти
Новый подход, предложенный Лю и коллегами, позволяет обойти проблему нехватки памяти. Суть в том, что графические процессоры объединяются в кольцо и передают части данных друг другу. Это устраняет ограничения, накладываемые отдельными устройствами.
Теперь в теории можно подавать на вход ИИ сразу целые книги, фильмы и даже базы кода. Чем больше GPU в цепочке, тем длиннее входные данные, которые система сможет проанализировать.
По словам Лю, крупные технологические компании, обладающие большими вычислительными мощностями, скоро начнут применять эту технику для создания еще более умных ИИ. Впрочем, спрос на графические процессоры от этого только вырастет – ведь для работы новых систем по-прежнему нужно много GPU.
Таким образом, благодаря прорыву, сделанному исследователями во главе с Хао Лю, мы приблизились к новой эре в развитии искусственного интеллекта. Теперь чат-боты и другие модели ИИ смогут анализировать поистине колоссальные массивы данных и давать все более точные и полезные ответы на наши вопросы.
