Нейросеть научили воспроизводить "мысли" человека в режиме реального времени

Исследователи российской компании "Нейроботикс" ("Нейроассистивные технологии") и Лаборатории нейроробототехники МФТИ научились по электрической активности мозга воссоздавать изображения, которые видит человек, в режиме реального времени.

Как ожидается, это достижение позволит учёным прежде всего разработать новые методики лечения когнитивных нарушений и постинсультной реабилитации, а также создать устройства, управляемые мозгом.

Авторы работы поясняют: первоочередная задача – понять, как мозг кодирует информацию. Для этого необходимо изучить активность мозга, возникающую при визуальном восприятии информации.

Все существующие решения в области распознавания изображений по сигналам мозга используют функциональную магнитно-резонансную томографию или анализ сигнала, получаемого непосредственно от нейронов. Однако особенности этих методов ограничивают их применение в клинической практике и повседневной жизни.

Между тем интерфейс "мозг-компьютер", созданный учёными, использует электроэнцефалограмму (ЭЭГ), снимаемую с поверхности головы, а также нейросети.

"Работа ведётся в рамках проекта "Ассистивные технологии" НейроНет НТИ, в котором ключевую роль играет интерфейс "мозг-компьютер", используемый для управления экзоскелетом руки при реабилитации после инсультов, а также для управления электроколяской парализованными людьми. Конечная цель работы – увеличить точность нейроуправления при его использовании не только пациентами, но и здоровыми людьми", – рассказал Владимир Конышев, руководитель лаборатории нейроробототехники МФТИ и глава компании "Нейроботикс".

Эксперимент состоял из двух частей. В первой исследователи произвольно выбрали пять разных категорий роликов с YouTube: "абстракции", "водопады", "лица людей", "движущиеся механизмы" и "скорость" (видеосъёмка от первого лица гонок на снегоходах, водных мотоциклах, ралли).

Видео показывали испытуемым, записывая при этом электроэнцефалограмму. Ролики длились по десять секунд. В сумме сессия записей у каждого добровольца составляла 20 минут.

В этой части эксперимента учёным удалось доказать, что частотные характеристики волновой активности (спектры) электроэнцефалограмм для разных категорий видеороликов достоверно различаются. Это позволило анализировать реакцию мозга на видеоролики в режиме реального времени.

Для второй части эксперимента были случайным образом выбраны три категории видео из вышеперечисленных. Специалисты разработали две нейросети, одна из которых генерировала произвольные изображения этих же категорий из "шума", а вторая создавала похожий "шум" из электроэнцефалограмм.

Затем авторы обучили эти нейросети работать совместно – так, чтобы по записанному сигналу ЭЭГ создавались кадры, похожие на те, которые видели люди в момент записи.

Для проверки испытуемым показали совершенно новые видео тех же категорий, снимая при этом электроэнцефалограммы и в реальном времени "скармливая" данные нейросетям. Последние хорошо справились и с этой задачей: создавали реалистичные кадры, по которым в 90% случаев можно было определить категорию видео.

Соавтор работы Григорий Рашков, младший научный сотрудник МФТИ и программист-математик компании "Нейроботикс", поясняет, что энцефалограмма – это, по сути, следовой сигнал от работы нервных клеток, снимаемый с поверхности головы. Раньше считалось, что исследовать процессы в мозге по электроэнцефалограммам – всё равно что пытаться узнать устройство двигателя паровоза по его дыму. Никто не предполагал, что в ЭЭГ содержится достаточно информации, чтобы хотя бы частично реконструировать изображение, которое видит человек.

"Однако оказалось, что такая реконструкция возможна и демонстрирует хорошие результаты. Более того, на её основе даже можно создать работающий в реальном времени интерфейс "мозг-компьютер". Это очень обнадёживает.

Сейчас создание инвазивных нейроинтерфейсов, о которых говорит Илон Маск, упирается в сложность хирургической операции и то, что через несколько месяцев из-за окисления и естественных процессов они выходят из строя. Мы надеемся, что в будущем сможем сделать более доступные нейроинтерфейсы, не требующие имплантации", – заключает Рашков.

Препринт научной работы учёных доступен на сервере bioRxiv.

Кстати, ранее "Вести.Наука" (nauka.vesti.ru) сообщали о создании интерфейсов "мозг-компьютер", которые помогают управлять экзоскелетом и роботом силой мысли. Также мы рассказывали о технологии, которая превращает сигналы мозга в речь, и об эксперименте, в котором по глазам испытуемых учёные определяли, что они хотят сказать.