Компанія Meta анонсувала вихід оновленої версії своєї мовної моделі штучного інтелекту Llama. Нова Llama 3 доступна у двох варіантах – з 8 і 70 млрд параметрів. За заявами розробників, ця модель перевершує всі раніше існуючі аналоги від Meta за багатьма ключовими характеристиками.
Що являє собою Llama 3
Llama 3 побудована на основі transformer-архітектури, як і більшість сучасних мовних моделей ШІ. Вона пройшла навчання на великому масиві текстових даних загальним обсягом 15 трлн токенів (близько 750 млрд слів). Це майже в 7 разів більше, ніж використовувалося для попередньої версії Llama 2.
Завдяки збільшеному обсягу навчальних даних і низці вдосконалень в архітектурі, Llama 3 демонструє видатні результати в таких завданнях, як:
- розуміння природної мови;
- логічне мислення та міркування;
- розв'язання математичних задач;
- генерація коду різними мовами програмування.
За багатьма тестами Llama 3 випереджає конкуруючі відкриті моделі, зокрема Gemini від Google і GPT-3.5 від OpenAI.
Інтеграція Llama 3 у продукти Meta
Нова модель уже інтегрована в такі додатки Meta, як Facebook, Messenger, Instagram і WhatsApp. Вона використовується для поліпшення функціоналу пошуку та обробки природної мови.
Крім того, Llama 3 лежить в основі віртуального помічника Meta AI. Цей чат-бот доступний на окремому сайті meta.ai і поки що працює тільки англійською мовою. Найближчим часом його буде локалізовано для користувачів інших країн, включно з Канадою, Австралією та державами Азії.
Перспективи розвитку
У Llama 3 великий потенціал для подальшого вдосконалення. Meta вже розробляє версію цієї моделі з 400 млрд параметрів. Вона зможе працювати одразу кількома мовами і обробляти не тільки текст, а й зображення з відео.
Метою компанії є створення потужного мультимодального ШІ, який перевершить наявні аналоги від Google, OpenAI та інших технологічних гігантів.
Безпека та етика використання Llama 3
Поряд з поліпшенням технічних характеристик моделі, в Meta приділяють пильну увагу питанням етики та безпеки ШІ.
Компанія впровадила спеціальні протоколи, як-от Llama Guard і CybersecEval, для запобігання зловживанням можливостями ШІ. Розроблено інструмент Code Shield, що аналізує безпеку коду, який генерує Llama 3, на різних мовах програмування.
Крім того, створено додаткові конвеєри фільтрації даних. Це дає змогу позбутися потенційно шкідливого та упередженого контенту, який міг використовуватися під час навчання моделі.
Висновки
Вихід Llama 3 – це велике досягнення для Meta у сфері ШІ. Нова модель демонструє вражаючі результати за багатьма критеріями і вже використовується в популярних продуктах компанії.
Надалі ми можемо очікувати появи ще потужніших версій Llama, здатних вирішувати дедалі складніші завдання. Головне, щоб розвиток технологій супроводжувався адекватними заходами контролю для запобігання зловживанням.
