Спільнота розробників ШІ Hugging Face піднесла сюрприз, випустивши модель Falcon 180B з відкритим вихідним кодом. Ця революційна модель за потужністю перевершила навіть деякі комерційні аналоги.
180 млрд параметрів – рекорд для відкритих моделей
Кількість параметрів Falcon 180B у 2,5 раза більша, ніж у моделі Meta Llama 2. Це абсолютний рекорд для моделей із відкритим кодом. Для порівняння, у "стандартного" ChatGPT "всього" 175 млрд параметрів. Falcon 180B не дотягує тільки до закритої Google PaLM 2, яка має 540 млрд параметрів. Кількість параметрів моделі штучного інтелекту безпосередньо впливає на її точність.
3,5 млрд токенів – безпрецедентний масштаб навчання
Нова модель пройшла колосальний обсяг переднавчання - на її витратили загалом 3,5 млрд токенів. Це найтриваліший період навчання для моделі з відкритим кодом. Токен – це, грубо кажучи, одне слово або навіть символ.
Спільнота відкритого ПЗ кидає виклик гігантам
Поява Falcon 180B підтверджує слова інженера Google про те, що саме розробники відкритого ПЗ створюють передові ШІ. Вони здатні не тільки наздогнати, а й обігнати технологічних гігантів на кшталт Microsoft і Meta.
Майбутнє за колаборацією
Спільнота Hugging Face планує і далі розвивати Falcon 180B. Цей досвід показує силу колективної праці – у відкритій розробці криється величезний потенціал.
Рекомендуємо прочитати: Партнерство, а не поглинання: Intel та Tower домовилися про спільну роботу
