Продолжается интенсивная работа над развитием искусственного интеллекта. Исследователи из Стэнфордского университета и канадского MILA (Монреальский институт алгоритмов обучения) разработали новую технологию искусственного интеллекта. Ожидается, что она будет работать в разы быстрее и эффективнее, чем технология GPT-4, разработанная OpenAI.
Первые испытания технологии Hyena показывают, что она может стать следующим прорывом в развитии искусственного интеллекта. Авторы программного обеспечения Hyena подвергли его различным тестам, один из которых называется The Pile. В его распоряжении имеется коллекция текстов огромного объема – 825 ГБ, что эквивалентно содержанию 250 000 книг. Такая коллекция была создана три года назад некоммерческой организацией Eleuther.ai, которая занимается разработкой искусственного интеллекта. Коллекция содержит тексты, загруженные не из Facebook или Twitter, а из профессиональных источников, таких как PubMed, GitHub или Патентное ведомство США.
Хотя программное обеспечение Hyena занимает гораздо меньше места в памяти компьютера, чем GPT-4 или даже GPT-3, его производительность впечатляет.
Hyena может достичь того же результата, что и ChatGPT, при этом выполняя на 20% меньше вычислительных операций. Это также имеет значение, поскольку все чат-боты чрезвычайно требовательны к ресурсам, необходимым для их запуска. В других задачах Hyena достигла результатов, равных или близких к результатам версии GPT, несмотря на то, что обучалась на вдвое меньшем объеме данных.
А вот пример, который хорошо иллюстрирует возможности программного обеспечения Hyena. В то время как GPT-3 располагает 175 миллиардами параметров, даже самая большая версия программного обеспечения Hyena имеет лишь 1,3 миллиарда. Это означает, что Hyena в десятки раз эффективнее, даже когда располагает в сотни раз меньше параметров. Это впечатляет и, похоже, указывает на то, что мы имеем дело с технологией, которая, возможно, откроет новую главу в развитии искусственного интеллекта.
