Сообщество разработчиков ИИ Hugging Face преподнесло сюрприз, выпустив полностью открытую модель Falcon 180B. Эта революционная модель по мощности превзошла даже некоторые коммерческие аналоги.
180 млрд параметров – пока что рекорд для открытых моделей ИИ
Количество параметров Falcon 180B в 2,5 раза превышает конкурента Llama 2 от компании Meta. Это абсолютный рекорд для моделей open source. Для сравнения, у «стандартного» Чат ГПТ "только" 175 млрд параметров. Falcon 180B не дотягивает только до закрытой Google PaLM 2 с ее 540 млрд параметрами. Количество параметров модели ИИ прямо пропорционально ее точности.
3,5 млрд токенов – беспрецедентный масштаб обучения
Новая модель прошла колоссальный объем предобучения – на ее потратили целых 3,5 млрд токенов. Так долго не учили ни одну модель ИИ. Токен – это грубо говоря, одно слово или символ.
Сообщество открытого ПО бросает вызов гигантам
Появление Falcon 180B подтверждает слова инженера Google о том, что именно разработчики открытого ПО создают передовые ИИ. Они способны не только догнать, но и обогнать технологических гигантов вроде Microsoft и Meta.
Будущее за коллаборацией
Сообщество Hugging Face планирует и дальше развивать Falcon 180B. Этот опыт показывает силу коллективного труда – в открытой разработке кроется огромный потенциал.
Рекомендуем прочитать: Что такое интернет вещей простыми словами?
