Компанія Microsoft анонсувала нову нейромережу під назвою VASA-1, яка здатна створювати реалістичні відеоролики зі статичних зображень. Ця технологія відкриває широкі перспективи для розвитку віртуальних персонажів і аватарів.
Дивовижний реалізм без артефактів
VASA-1 не тільки синхронізує рухи губ на відео зі звуковою доріжкою, а й створює природні вирази обличчя та рухи голови. Завдяки роздільній обробці окремих частин обличчя, таких як губи, очі та брови, нейромережа досягає вражаючої реалістичності.
При цьому відеоролики, згенеровані VASA-1, практично позбавлені типових для нейромереж артефактів і спотворень. Це дає змогу використовувати технологію для створення віртуальних персонажів, яких складно відрізнити від реальних людей.
Широкі можливості для творчості
Крім синхронізації рухів губ з промовою, VASA-1 підтримує генерацію відео на основі співу та інших звуків. Також можна задавати різні емоційні стани для персонажа – радість, гнів, здивування тощо.
Є можливість вказувати напрямок погляду, нахилу голови та інші параметри, що дає змогу створювати справді живі та динамічні ролики. Це відкриває широкий простір для творчості.
Реалістичні аватари в реальному часі
Завдяки ефективності нейромереж нового покоління, VASA-1 може працювати в режимі реального часу. Вона генерує відео з роздільною здатністю 512х512 пікселів зі швидкістю до 40 кадрів на секунду навіть на одній відеокарті.
Така продуктивність дає змогу створювати реалістичні аватари для відеочатів, стрімінгу та інших додатків, що працюють у реальному часі. Користувач отримує можливість "оживити" улюблений аватар всього за лічені секунди.
Відповідальне використання
Microsoft поки не планує випускати VASA-1 у вільний доступ. Компанія побоюється зловживань з боку зловмисників, які можуть створювати діпфейки та інший шкідливий контент за допомогою цієї технології.
Однак у Microsoft впевнені, що потенційна користь від VASA-1 набагато переважує можливі ризики. Реалістичні інтерактивні аватари можуть розширити можливості освіти та комунікації для мільйонів людей. Крім того, технологія сприятиме розвитку систем розпізнавання діпфейків, що допоможе боротися з їх поширенням.
Microsoft пообіцяла ретельно вивчити всі аспекти відповідального використання VASA-1 перед випуском технології для широкої аудиторії. Очевидно, що ця нейромережа має величезний потенціал як для розваг, так і для вирішення важливих практичних завдань. І від того, як саме її застосовуватимуть, залежить її внесок у технологічний прогрес.
