Компания Google представила революционную технологию генерации видео под названием Lumiere. Эта нейросеть способна создавать реалистичные динамические изображения на основе текстовых описаний.
Lumiere обладает уникальной архитектурой, позволяющей генерировать видеоролики целиком за один проход. В отличие от других систем, которые сначала создают ключевые кадры, а затем заполняют промежутки, в Lumiere весь процесс происходит одновременно. Это дает непревзойденную плавность и реалистичность конечного результата.
Благодаря инновационному подходу, Lumiere способна:
- Преобразовывать текст в видео;
- Оживлять статичные изображения;
- Создавать видео в любом заданном стиле;
- Редактировать готовые ролики по текстовым инструкциям.
Для обучения Lumiere инженеры Google использовали 30 миллионов видео с соответствующими текстовыми описаниями. На вход нейросеть получает текст, а на выходе генерирует 5-секундное видео в разрешении 1024х1024 пикселей.
В Google понимают потенциальные риски технологий подобного рода. Lumiere может быть использована для создания фейков и вредоносного контента. Поэтому компания намерена разрабатывать специальные инструменты для выявления предвзятости и случаев злоупотребления. Это позволит обеспечить безопасную и этичную работу нейросети.
