Китайская исследовательская группа и исследователи из США в сфере технологий искусственного интеллекта разработали новую технологию для создания дипфейков CihaNet. Предположительно, разработка может превзойти все предыдущие подходы. Новый метод может выполнять смену лиц без необходимости исчерпывающего сбора и курирования больших выделенных наборов данных и обучения их в течение недели только для одной личности. Новые разработанные модели обучались на двух популярных наборах данных о знаменитостях на одном графическом процессоре NVIDIA Tesla P40 в течение примерно трех дней.
Новый подход устраняет необходимость грубо внедрять образ человека в целевое видео, что часто приводит к характерным артефактам. Так называемые hallucination maps («карты галлюцинаций») используются для более глубокого смешивания визуальных аспектов, потому что система отделяет идентичность от контекста гораздо эффективнее, чем существующие методы. Самое известное в настоящее время программное обеспечение для дипфейков DeepFaceLab и конкурирующий форк FaceSwap выполняют сложные и часто вручную настраиваемые рабочие процессы для определения того, в какую сторону наклонено лицо, какие препятствия находятся на пути, и пр. В отличие от данных технологий, CihaNet не требует обращения лиц прямо в камеру для извлечения и использования полезной идентификационной информации.
Новая архитектура напрямую использует «контекстную» информацию для самого процесса преобразования посредством двухэтапной операции каскадной адаптивной нормализации экземпляра (C-AdaIN), которая обеспечивает согласованность контекста (то есть кожи лица и окклюзий) ID-соответствующие области. Исследователи обучили четыре модели на двух очень популярных и разнообразных наборах данных открытых изображений ( CelebA-HQ и NVIDIA Flickr-Faces-HQ Dataset ), каждый из которых содержит 30 тыс. и 70 тыс. изображений соответственно. Затем эксперты отрендерили серию случайных обменов между тысячами личностей, представленных в наборах данных, независимо от того, были ли лица похожими или даже совпадающими по полу, и сравнили результаты CihaNet с результатами четырех ведущих фреймворков дипфейка: FaceSwap , FaceShifter , FSGAN и SimSwap . По словам исследователей, новая модель превзошла всех конкурентов. При оценке результатов использовались три показателя: структурное сходство, ошибка оценки позы и точность извлечения идентификатора, которая вычисляется на основе процента успешно извлеченных пар.
Уважаемый посетитель, Вы зашли на сайт как незарегистрированный пользователь. Чтобы писать комментарии Вам необходимо зарегистрироваться либо войти на сайт под своим именем.
» Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации. Зарегистрируйтесь на портале чтобы оставлять комментарии
Материалы предназначены только для ознакомления и обсуждения. Все права на публикации принадлежат их авторам и первоисточникам. Администрация сайта может не разделять мнения авторов и не несет ответственность за авторские материалы и перепечатку с других сайтов. Ресурс может содержать материалы 16+
