Дослідники з Швейцарської вищої технічної школи Цюріха зробили справжній прорив у галузі штучного інтелекту. Вони розробили абсолютно нову техніку, яка дозволяє прискорити навчання нейронних мереж в сотні разів. Це відкриття вже порівнюють за значимістю з винаходом комп'ютера.
У чому полягає новий революційний метод? Вчені замінили традиційні шари прямого поширення в нейронних мережах на так звані "швидкі шари прямого поширення". Ці шари використовують особливу математичну операцію – умовне матричне множення. Завдяки цьому пристрою значно знижуються обчислювальні витрати мережі.
Експерименти підтвердили ефективність методу
Щоб перевірити свою розробку, дослідники створили модель FastBERT – модифікацію відомої моделі BERT від Google. І результати вразили навіть самих авторів. FastBERT показувала продуктивність, порівнянну з BERT, але при цьому витрачала на обчислення на 99% менше ресурсів! Найкращий варіант FastBERT працював так само швидко, як оригінальна BERT, використовуючи лише 0,3% нейронів.
Потенційно це означає, що мовні моделі на кшталт GPT-3 можна прискорити більш ніж в 300 разів за допомогою нової технології. Це справжній прорив, який кардинально змінить AI-індустрію.
Нова техніка дозволить демократизувати доступ до найсучасніших моделей штучного інтелекту. Раніше ними могли користуватися лише великі корпорації з потужними серверами. Тепер шанси вирівняються.
Підсумовуючи, це одне з найвизначніших відкриттів в галузі ШІ за останні роки. Воно може стати основою для створення принципово нового покоління "надрозумних" AI-систем. Його вплив важко переоцінити. Людство отримало потужний інструмент, який змінить наше життя в найближчому майбутньому.
