Ученые научили нейросеть предугадывать жесты на основе голоса человека.
В то же время нейросеть speech2gesture пока умеет предвидеть менее половины жестов.
Исследователи из Калифорнийского университета в Беркли создали нейросеть speech2gesture, которая способна предсказывать жесты, основываясь только на голосе человека. Она выдает реалистичный результат, который оказывается точным почти в половине случаев.
Нейросеть научили на 144 часах видеозаписей с десятью разными людьми, которым приходится много жестикулировать. Среди этих людей — телеведущие, преподаватели и проповедники.
В результате алгоритм научился передавать реалистичную жестикуляцию, которую синхронизировали с оригиналом.
Пока система работает с довольно низкой точностью и только в 44% случаев полученные результаты совпадают с оригиналом. В некоторых случаях нейросеть путает положение рук, но в любом случае генерирует вполне правдоподобный результат.
Чтобы поддержать будущие исследования, команда опубликовала в открытом доступе набор данных с характерными жестами и исходный код, загрузить которые можно по ссылке:
Уважаемый посетитель, Вы зашли на сайт как незарегистрированный пользователь. Чтобы писать комментарии Вам необходимо зарегистрироваться либо войти на сайт под своим именем.
» Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации. Зарегистрируйтесь на портале чтобы оставлять комментарии
Материалы предназначены только для ознакомления и обсуждения. Все права на публикации принадлежат их авторам и первоисточникам. Администрация сайта может не разделять мнения авторов и не несет ответственность за авторские материалы и перепечатку с других сайтов. Ресурс может содержать материалы 16+
