Нейросеть научилась предугадывать жесты

Нейросеть научилась предугадывать жесты

Ученые научили нейросеть предугадывать жесты на основе голоса человека.

В то же время нейросеть speech2gesture пока умеет предвидеть менее половины жестов.

Исследователи из Калифорнийского университета в Беркли создали нейросеть speech2gesture, которая способна предсказывать жесты, основываясь только на голосе человека. Она выдает реалистичный результат, который оказывается точным почти в половине случаев.

Нейросеть научили на 144 часах видеозаписей с десятью разными людьми, которым приходится много жестикулировать. Среди этих людей — телеведущие, преподаватели и проповедники.

В результате алгоритм научился передавать реалистичную жестикуляцию, которую синхронизировали с оригиналом.

Пока система работает с довольно низкой точностью и только в 44% случаев полученные результаты совпадают с оригиналом. В некоторых случаях нейросеть путает положение рук, но в любом случае генерирует вполне правдоподобный результат.

Чтобы поддержать будущие исследования, команда опубликовала в открытом доступе набор данных с характерными жестами и исходный код, загрузить которые можно по ссылке:

Learning Individual Styles of Conversational Gesture