Новый уровень говорящих портретов - создание видео из фото с эмоциями и звуком. Ну что ж, мы скоро станем еще на шаг ближе к созданию фильмов без актеров
Alibaba показали сервис Emote Portrait Alive для анимации говорящих портретов. Технология так же основана на модели диффузии Audio2Video, но, в отличие от других нейросетей в том, что она не просто оживляет изображения, а наделяет их эмоциями, делает переходы между кадрами более плавными, а сам “анимируемый” остается похожим на себя.
То есть тут не будет как в D-ID компьютерного рта, который убивает “личность” персонажа. А сам ролик выглядит гораздо реалистичнее
Достаточно загрузить одно фото и к нему аудиофайл, и нейросеть реалистично подстроит движение губ и эмоции персонажа. Посмотрим, что будет в итоге, надеюсь, это будет лучше липсинка у Pika Labs, который не очень-то и синхронизирует движение губ при использовании русского языка.
В любом случае, код выложат позже на github , так же пробная версия будет на huggingface, а значит можно будет бесплатно поюзать эту нейросеть, что уже плюс, так как и D-ID и Pika Labs платные. А в D-ID я вообще еле отменила подписку, каждый день пытались списать деньги, хоть карту меняй) Так что ждем бесплатный инструмент.
Обсуждаем околополитические темы на моем канале "Гражданин на диване", а интересную и познавательную информацию читаем на канале "Таблетка для головы". Есть у меня еще канал с юморными ситуациями для настроения "Вот так бывает", подписывайтесь.
Уважаемый посетитель, Вы зашли на сайт как незарегистрированный пользователь. Чтобы писать комментарии Вам необходимо зарегистрироваться либо войти на сайт под своим именем.
» Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации. Зарегистрируйтесь на портале чтобы оставлять комментарии
Материалы предназначены только для ознакомления и обсуждения. Все права на публикации принадлежат их авторам и первоисточникам. Администрация сайта может не разделять мнения авторов и не несет ответственность за авторские материалы и перепечатку с других сайтов. Ресурс может содержать материалы 16+
