Компания Microsoft продемонстрировала исследовательскую работу новой нейросети VASA-1. Она способна «оживить» виртуального персонажа или человека, изображенного на фото — и преобразовать в реалистичное видео со звуком. Нейросеть создавалась для анимации персонажей, однако ее потенциал в качестве легкого способа создания дипфейков очень высок. Поэтому в открытом доступе ее нет.
Для получения результата необходимо загрузить изображение персонажа, а также аудиодорожку его речи. После этого VASA-1 сгенерирует мимику, эмоции и естественные движения головы в видео.
Система учитывает параметры движений персонажа/человека: направление взгляда, эмоции и синхронизирует их с речью. При этом способна использовать аудиодорожки с пением и неанглоязычную речь.В будущем таким методом можно создавать музыкальные клипы или же использовать в видеоиграх.
Заявлено, что VASA-1 поможет разработчикам создавать реалистичных персонажей с абсолютно естественными движениями мимики.
Генерация происходит в режиме реального времени. Этот метод генерирует кадры видео размером 512×512 со скоростью 45 кадров в секунду в режиме офлайн и может поддерживать до 40 кадров в секунду в режиме онлайн-трансляции с задержкой всего 170 мс на ПК с одной видеокартой Nvidia RTX 4090.
Microsoft поспешно заявила, что в данный момент новая нейросеть VASA-1 является только исследовательским проектом и поэтому компания не предоставляет ее для использования.
Разработчик понимает, что нейросеть представляет опасность, поскольку может позволить злоумышленникам/мошенникам создать дипфейк-видео. К примеру, можно загрузить фотографию известного человека, а затем аудиодорожку с его голосом и создать реалистичное видео, на котором он говорит все, что захотят мошенники.
Компания заявила, что в данный момент не собирается опубликовать онлайн демо-версию продукта или дополнительные подробности реализации. Она это сделает только тогда, когда будет уверенность ,что нейросеть VASA-1 будет использоваться с большой ответственностью.
Следите за новостями в наших социальных сетях: ВКонтакте и Telegram.
