Стартап Groq из Кремниевой долины привлекает огромное внимание своим инновационным разработкам в области искусственного интеллекта (ИИ). Основанная в 2016 году Джонатаном Россом, ранее работавшим в Google над созданием тензорных процессоров (TPU), фирма создала уникальные языковые процессоры (LPU). Эти чипы значительно превосходят традиционные графические процессоры (GPU) по скорости обработки данных и позволяют генерировать ответы на запросы с молниеносной скоростью.
Преимущества архитектуры LPU
В отличие от популярных ИИ-систем, таких как ChatGPT и Microsoft Copilot, которые могут заставить пользователя ждать ответа довольно долго, особенно при больших объемах входных данных, чат-боты на базе LPU от Groq демонстрируют впечатляющую производительность. Языковые процессоры Groq одновременно решают две проблемы: плотности вычислений и пропускной способности памяти. Обе этих проблемы характерны для больших языковых моделей (LLM). Благодаря своей архитектуре LPU обеспечивают лучшую мощность в сравнении с GPU и CPU, что позволяет значительно ускорить генерацию текстовых последовательностей.
Groq опережает конкурентов
Перейдя на сайт Groq, вы сможете сами убедиться в высочайшей скорости обработки данных их чипами. Чат-бот на базе модели Llama 3 8B, работающий на LPU, генерирует свыше 1200 токенов в секунду (T/s). Это значительно превосходит показатели Amazon (Bedrock) и Microsoft Azure, использующих ту же модель Llama 3 – их результаты обычно располагаются в нижнем трехзначном диапазоне T/s. Чипы Groq также опережают по производительности модели Gemma от компании Гугл и Mixtral 8x7B от Mistral AI.
Перспективы развития технологий ИИ
До сих пор безусловным лидером в производстве устройств для ИИ была компания Nvidia со своими GPU. Однако успехи Groq и некоторых других стартапов в этой области показывают, что в будущем расстановка сил на рынке может измениться. Инновационные разработки Groq открывают новые горизонты в сфере искусственного интеллекта и задают высокую планку для всей индустрии. Развитие подобных технологий позволит вывести системы ИИ на качественно новый уровень производительности и функциональности.
