Стартап Groq із Кремнієвої долини привертає величезну увагу своїми інноваційними розробками в галузі штучного інтелекту (ШІ). Заснована у 2016 році Джонатаном Россом, який раніше працював у Google над створенням тензорних процесорів (TPU), фірма створила унікальні мовні процесори (LPU). Ці чіпи значно перевершують традиційні графічні процесори (GPU) за швидкістю обробки даних і дають змогу генерувати відповіді на запити з блискавичною швидкістю.
Переваги архітектури LPU
На відміну від популярних ШІ-систем, таких як ChatGPT і Microsoft Copilot, які можуть змусити користувача чекати на відповідь доволі довго, особливо за великих обсягів вхідних даних, чат-боти на базі LPU від Groq демонструють вражаючу продуктивність. Мовні процесори Groq одночасно вирішують дві проблеми: щільності обчислень і пропускної здатності пам'яті. Обидві ці проблеми характерні для великих мовних моделей (LLM). Завдяки своїй архітектурі LPU забезпечують кращу потужність порівняно з GPU і CPU, що дає змогу значно прискорити генерацію текстових послідовностей.
Groq випереджає конкурентів
Перейшовши на сайт Groq, ви зможете самі переконатися у високій швидкості обробки даних їхніми чіпами. Чат-бот на базі моделі Llama 3 8B, що працює на LPU, генерує понад 1200 токенів на секунду (T/s). Це значно перевершує показники Amazon (Bedrock) і Microsoft Azure, що використовують ту саму модель Llama 3 – їхні результати зазвичай розташовуються в нижньому тризначному діапазоні T/s. Чипи Groq також випереджають за продуктивністю моделі Gemma від компанії Гугл і Mixtral 8x7B від Mistral AI.
Перспективи розвитку технологій ШІ
Досі безумовним лідером у виробництві пристроїв для ШІ була компанія Nvidia зі своїми GPU. Однак успіхи Groq і деяких інших стартапів у цій галузі показують, що в майбутньому розстановка сил на ринку може змінитися. Інноваційні розробки Groq відкривають нові горизонти у сфері штучного інтелекту і задають високу планку для всієї індустрії. Розвиток подібних технологій дасть змогу вивести системи ШІ на якісно новий рівень продуктивності та функціональності.
