Исследователи из Швейцарской высшей технической школы Цюриха совершили настоящий прорыв в области искусственного интеллекта. Они разработали совершенно новую технику, которая позволяет ускорить обучение нейронных сетей в сотни раз. Это открытие уже сравнивают по значимости с изобретением компьютера.
В чем заключается новый революционный метод? Ученые заменили традиционные слои прямого распространения в нейронных сетях на так называемые "быстрые слои прямого распространения". Эти слои используют особую математическую операцию – условное матричное умножение. Благодаря этому устройству значительно снижаются вычислительные затраты сети.
Эксперименты подтвердили эффективность метода
Чтобы проверить свою разработку, исследователи создали модель FastBERT – модификацию известной модели BERT от Google. И результаты поразили даже самих авторов. FastBERT показывала производительность, сравнимую с BERT, но при этом тратила на вычисления на 99% меньше ресурсов! Лучший вариант FastBERT работал так же быстро, как оригинальная BERT, используя только 0,3% нейронов.
Потенциально это означает, что языковые модели вроде GPT-3 можно ускорить более чем в 300 раз с помощью новой технологии. Это настоящий прорыв, который кардинально изменит AI-индустрию.
Новая техника позволит демократизировать доступ к самым современным моделям искусственного интеллекта. Раньше ими могли пользоваться только крупные корпорации с мощными серверами. Теперь шансы выровняются.
Подытоживая, это одно из самых выдающихся открытий в области ИИ за последние годы. Оно может стать основой для создания принципиально нового поколения "сверхразумных" AI-систем. Его влияние трудно переоценить. Человечество получило мощный инструмент, который изменит нашу жизнь в ближайшем будущем.
