Компания Meta анонсировала выход обновленной версии своей языковой модели искусственного интеллекта Llama. Новая Llama 3 доступна в двух вариантах – с 8 и 70 млрд параметров. По заявлениям разработчиков, эта модель превосходит все ранее существовавшие аналоги от Meta по многим ключевым характеристикам.
Что представляет собой Llama 3
Llama 3 построена на основе transformer-архитектуры, как и большинство современных языковых моделей ИИ. Она прошла обучение на обширном массиве текстовых данных общим объемом 15 трлн токенов (около 750 млрд слов). Это почти в 7 раз больше, чем использовалось для предыдущей версии Llama 2.
Благодаря увеличенному объему обучающих данных и ряду усовершенствований в архитектуре, Llama 3 демонстрирует выдающиеся результаты в таких задачах, как:
- понимание естественного языка;
- логическое мышление и рассуждения;
- решение математических задач;
- генерация кода на разных языках программирования.
По многим тестам Llama 3 опережает конкурирующие открытые модели, включая Gemini от Google и GPT-3.5 от OpenAI.
Интеграция Llama 3 в продукты Meta
Новая модель уже интегрирована в такие приложения Meta, как Facebook, Messenger, Instagram и WhatsApp. Она используется для улучшения функционала поиска и обработки естественного языка.
Кроме того, Llama 3 лежит в основе виртуального помощника Meta AI. Этот чат-бот доступен на отдельном сайте https://meta.ai и пока работает только на английском языке. В ближайшее время он будет локализован для пользователей других стран, включая Канаду, Австралию и государства Азии.
Перспективы развития
У Llama 3 большой потенциал для дальнейшего совершенствования. Meta уже разрабатывает версию этой модели с 400 млрд параметров. Она сможет работать сразу на нескольких языках и обрабатывать не только текст, но и изображения с видео.
Целью компании является создание мощного мультимодального ИИ, который превзойдет существующие аналоги от Google, OpenAI и других технологических гигантов.
Безопасность и этика использования Llama 3
Наряду с улучшением технических характеристик модели, в Meta уделяют пристальное внимание вопросам этики и безопасности ИИ.
Компания внедрила специальные протоколы, такие как Llama Guard и CybersecEval, для предотвращения злоупотреблений возможностями ИИ. Разработан инструмент Code Shield, анализирующий безопасность генерируемого Llama 3 кода на разных языках программирования.
Кроме того, созданы дополнительные конвейеры фильтрации данных. Это позволяет избавиться от потенциально вредоносного и предвзятого контента, который мог использоваться при обучении модели.
Выводы
Выход Llama 3 – это большое достижение для Meta в сфере ИИ. Новая модель демонстрирует впечатляющие результаты по многим критериям и уже используется в популярных продуктах компании.
В дальнейшем мы можем ожидать появления еще более мощных версий Llama, способных решать все более сложные задачи. Главное, чтобы развитие технологий сопровождалось адекватными мерами контроля для предотвращения злоупотреблений.
