ОКО ПЛАНЕТЫ > Размышления о политике > Новый уровень говорящих портретов
Новый уровень говорящих портретов28-03-2024, 07:06. Разместил: Око Политика |
|
Новый уровень говорящих портретов - создание видео из фото с эмоциями и звуком. Ну что ж, мы скоро станем еще на шаг ближе к созданию фильмов без актеров Alibaba показали сервис Emote Portrait Alive для анимации говорящих портретов. Технология так же основана на модели диффузии Audio2Video, но, в отличие от других нейросетей в том, что она не просто оживляет изображения, а наделяет их эмоциями, делает переходы между кадрами более плавными, а сам “анимируемый” остается похожим на себя. То есть тут не будет как в D-ID компьютерного рта, который убивает “личность” персонажа. А сам ролик выглядит гораздо реалистичнее Достаточно загрузить одно фото и к нему аудиофайл, и нейросеть реалистично подстроит движение губ и эмоции персонажа. Посмотрим, что будет в итоге, надеюсь, это будет лучше липсинка у Pika Labs, который не очень-то и синхронизирует движение губ при использовании русского языка. В любом случае, код выложат позже на github , так же пробная версия будет на huggingface, а значит можно будет бесплатно поюзать эту нейросеть, что уже плюс, так как и D-ID и Pika Labs платные. А в D-ID я вообще еле отменила подписку, каждый день пытались списать деньги, хоть карту меняй) Так что ждем бесплатный инструмент. Обсуждаем околополитические темы на моем канале "Гражданин на диване", а интересную и познавательную информацию читаем на канале "Таблетка для головы". Есть у меня еще канал с юморными ситуациями для настроения "Вот так бывает", подписывайтесь. Вернуться назад |