Нещодавно група вчених опублікувала дослідження, яке може докорінно змінити можливості штучного інтелекту. Йдеться про спосіб змусити нейромережі обробляти величезні масиви даних - аж до мільйонів слів за раз. Це стало можливим завдяки новому підходу, запропонованому аспірантом Каліфорнійського університету Хао Лю спільно з колегами з Google і UC Berkeley.
Обмеження сучасних моделей ШІ
Зараз навіть найпередовіші чат-боти, такі як Claude від Anthropic, можуть аналізувати лише близько 75 000 слів за один запит. Це пов'язано з технічними обмеженнями – об'ємом пам'яті графічних процесорів, на яких навчають і запускають моделі ШІ.
Через брак пам'яті виникає вузьке місце, що не дає змоги збільшувати кількість оброблюваних даних, якими б потужними не були GPU.
Революційний підхід для обходу обмежень пам'яті
Новий підхід, запропонований Лю і колегами, дає змогу обійти проблему нестачі пам'яті. Суть у тому, що графічні процесори об'єднуються в кільце і передають частини даних один одному. Це усуває обмеження, що накладаються окремими пристроями.
Тепер у теорії можна подавати на вхід ШІ одразу цілі книги, фільми і навіть бази коду. Що більше GPU в ланцюжку, то довші вхідні дані, які система зможе проаналізувати.
За словами Лю, великі технологічні компанії, що володіють великими обчислювальними потужностями, скоро почнуть застосовувати цю техніку для створення ще більш розумних ШІ. Втім, попит на графічні процесори від цього тільки зросте – адже для роботи нових систем, як і раніше, потрібно багато GPU.
Таким чином, завдяки прориву, зробленому дослідниками на чолі з Хао Лю, ми наблизилися до нової ери в розвитку штучного інтелекту. Тепер чат-боти та інші моделі ШІ зможуть аналізувати воістину колосальні масиви даних і давати дедалі точніші та корисніші відповіді на наші запитання.
