Школьник из России выиграл конкурс Google за разработку переводчика с языка жестов

Можно ли помочь глухонемым людям выразить свои мысли, автоматически переводя жесты руками, которые они показывают, в слова? Таким вопросом задался российский десятиклассник Даниил Казанцев из Екатеринбургского лицея. Решение разобраться в этой проблеме привело Даниила к победе в одной из категорий конкурса молодых ученых Google Science Fair 2019. Он разработал систему, которая может интерпретировать язык жестов и заменять сурдопереводчика.

Как указано на сайте конкурса Google, Казанцев прошел отбор среди тысяч других участников конкурса и стал одним из 24 финалистов из 14 стран мира. В итоге он получил премию Lego Education Builder за разработку своего переводчика языка жестов.

Все финалисты конкурса. Даниил крайний слева

Что такое электромиография?

В основе разработки юного российского гения лежит технология электромиографии, которая определяет электромеханическую активность мышц с учетом изменяющегося положения руки и пальцев. В этом случае каждое движение конечности создает крошечные электрические сигналы, которые можно считать, а затем перевести в понятные для компьютера команды. В частности, эта технология используется для управления искусственными протезами.

Читайте также: Как немые люди могут вновь обрести дар речи?

Но российский школьник разработал на основе технологии электромиографии систему, которая может переводить электрические сигналы мышц в слова.

Синими и белыми крестиками обозначены места расположения электродов, которые считывают электрические импульсы мышц

Как работает переводчик языка жестов

Устройство состоит из манжеты, которая надевается на предплечье. На манжете установлены 24 электрода, каждый из которых считывает определенные электрические сигналы мышц предплечья. Кроме того, здесь используется специальный датчик, который определяет положение предплечья в пространстве. На базе всех этих сигналов формируется уникальный «отпечаток» положения каждой отдельной части кисти в пространстве.

Все собираемые сигналы усиливаются и фильтруются от лишнего электромагнитного шума, а затем по проводам передаются на внешний микрокомпьютер. Этот микрокомпьютер оцифровывает сигналы с датчиков и электродов, после чего передает их в мощный вычислительный сервер со специально обученной нейросетью. Именно с помощью нейросети проводится интерпретации (перевод в слова) данных об электрических сигналах, отвечающих за каждый языковой жест.

Как проводилась проверка переводчика жестов

Проверку системы Даниил проводил на себе и двух других добровольцах. В качестве основы для перевода он использовал 5 жестов и популярного жестового языка ASL (American Sign Language).

Hello (привет); Yes (да); No (нет); Please (пожалуйста); I love you (я люблю тебя)

Для проверки эффективности системы для каждого распознавания жеста использовалось 10 попыток. Как указывает автор разработки, система смогла показать 92,6-процентную точность при распознавании.

В таблице отмечены участники эксперимента, наименования жестов, которые требуется распознать системе, а также количество верных распознаваний

Видео проверки технологии можно посмотреть ниже:

Даниил отмечает, продолжит работу над автономным сурдопереодчиком. Есть несколько моментов, которые пока не позволяют использовать его в качестве готового решения. Например, сейчас система может переводить только отдельные жесты. Но пока не способна формировать из полученных слов предложения. Таким образом сейчас систему нельзя использовать в качестве полной замены сурдопереводчика. Решение этого вопроса станет одной из будущих задач юного ученого.

Кроме того, электронный сурдопереводчик требует постоянного доступа к мощному вычислительному серверу с нейросетью, которая производит распознавание сигналов языковых жестов и переводит их в слова. Однако автор отмечает, что современная скорость передачи данных по мобильному интернету позволяет обеспечить постоянный доступ к серверу, тем самым частично компенсируя этот недостаток. Автор также рассматривает возможность сделать устройство более компактным, уменьшив площадь расположения электродов до 7 сантиметров.

В целом отмечается, что при доработке такой технологии, ее можно будет использовать с любым жестовым словарем. При этом от пользователя не потребуется никакой специальной подготовки для возможности использования такой системы.

Более подробно с разработкой Даниила Казанцева можно ознакомиться на странице его проекта.