«Система работает по аналогии с человеческим мозгом. Программа при помощи камеры распознает картинку и фиксирует жесты, изображение переводится в модели, обрабатывается, сопоставляется с данными в нейронной сети. После этого компьютер выводит на монитор уже соответствующий жестам перевод», – говорится в сообщении ВУЗа.
Система позволяет управлять компьютером при помощи жестов: движениями рук можно настроить громкость, яркость экрана и управлять курсором без помощи мыши.
В будущем разработчик хочет обучить систему другим компонентам грамматики русского языка жестов, чтобы она подошла для как можно более широкого использования.
Алексей Приходько не слышит с детства, его родители тоже глухие. Это не помешало ему стать одним из самых ярких аспирантов университета, пройти стажировку в Германии и получить грант фонда Владимира Потанина.
«Сегодня есть острая нужда в таком переводчике. Словари с русского языка на русский жестовый есть, но с РЖЯ на русский — нет. Некоторые задания студенты выполняют с огромным трудом, если среди их знакомых нет глухих, которые бы могли проконсультировать и помочь. Поэтому мы так рассчитываем на разработку Алексея», — сказала заведующая лабораторией отдела специальных технологий обучения и реабилитации ИСТР Ольга Варинова.
Глухой программист из Новосибирска научил компьютер понимать язык жестов
