Нейронный телефон подчиняется мыслям владельца

Удивительную систему создали компьютерные специалисты из Дартмутского колледжа (Dartmouth College). Называется новинка "Нейрофон" (NeuroPhone, PDF-документ). Она считывает мозговую деятельность, чтобы управлять приложениями телефона.

В качестве поставщика информации об активности нейронов авторы проекта использовали последнее поколение считывателя мозговых волн EPOC headset от американской компании Emotiv Systems, пионера в коммерческих компьютерно-мозговых интерфейсах (BCI).

EPOC headset стоит $299. Он обладает 16 электродами для снятия электроэнцефалограммы и при помощи соответствующего софта хорошо различает активность разных зон коры. Каждый из каналов проводит замер 128 раз в секунду. EPOC также определяет параметры альфа-, бета-, тета- и дельта-волн. Аппарат оборудован встроенным гироскопом, фиксирующим повороты головы пользователя, и беспроводной связью с компьютером. Литиевой батареи хватает на 12 часов работы устройства (фото Emotiv Systems).

Высокое разрешение сигналов, обеспечиваемое EPOC, дало учёным возможность вволю поэкспериментировать с интерпретацией откликов разума на различные внешние воздействия.

Понятно, что чем больше нейрофизиологи узнают о закономерностях в работе коры головного мозга, тем шире круг опытов, которые можно поставить с машинным распознаванием мыслей. В том же мобильнике подобный принцип мог бы быть применён к решению разных задач. Но в данном случае авторы системы, для примера, решили сосредоточить своё внимание на наборе номера.

Для распознавания желаемого человека в списке контактов, оформленного в виде набора фотографий, программа "Нейрофона" использует детекцию так называемого сигнала P300 – свидетельства узнавания заданного объекта.

Этот пик на ЭЭГ возникает в центрально-теменной области мозга с задержкой в 300 миллисекунд после стимула (отсюда и название сигнала), и его можно найти с той или иной степенью выраженности на большинстве каналов считывателя. (Кстати, этот же самый сигнал среди других использовался для управления инструментами в мозговом оркестре.)

Фотографии абонентов попеременно подсвечиваются или выделяются каким-то иным способом. В этот момент человек смотрит на экран телефона и думает о том, кому хочет позвонить. При совпадении перебора вариантов с желаемым звонком мозг выдаёт P300. Его выделяет среди потока данных специальная программа в телефоне. Она и активирует набор номера.

Набор номера при помощи системы NeuroPhone. Собственно сам набор начинается автоматически после того, как в ответ на подсветку "правильного" человека из списка контактов мозг выдаёт сигнал "узнавания и пожелания" (фото Dartmouth College).

Тут следует сделать оговорку: сначала данные со считывателя попадают на ноутбук, который проводит предварительную обработку сырого сигнала, выделяя из всего потока ту часть информации, которая потребуется именно в данном приложении.

Лэптоп через Wi-Fi передаёт этот "промежуточный результат" на iPhone, а тот уже завершает цикл обработки. Использование одного только телефона было бы затруднительным: переваривание всего массива сигналов с сенсоров ЭЭГ – это довольно ресурсоёмкая задача. Впрочем, перед нами только опытная система, указывающая в "светлое будущее" BCI.

	Схема размещения контактов на голове пользователя (иллюстрация Dartmouth College).

Американские умельцы продемонстрировали в работе и второй вариант выбора нужного человека: когда подсвечивается "та" фотография, пользователь подмигивает ей. Заметим, комплекс NeuroPhone определяет не само движение век, а опять-таки – характерный импульс ЭЭГ, чётко ассоциируемый с морганием.

Тест показал, что такой выбор номера работает надёжнее, чем первый вариант. Особенно этот приём выгоден в условиях, когда какие-то внешние факторы отвлекают человека.

Так точность распознавания "Нейрофоном" выбранного лица в случае моргающего режима колебалась от 86% до 99,4%, в зависимости от того, сидел человек или ходил. Выбор номера чистой мыслью, без моргания, давал разброс совпадений от 33,3% до 88,9% – тут влияли условия опыта, например были помехи в виде музыки, и длительность просмотра мигающих снимков.

Авторы "Нейрофона" признают, что другие технологии управления приложениями мобильника (вроде программ распознавания речи) могут в ряде случаев оказаться удобнее, но зато мысленное управление пригодится там, где нужно подать несколько команд телефону беззвучно и по-прежнему в режиме hands-free.

Так выглядит сырая информация о мозговой активности, поставляемая четырнадцатью основными сенсорами считывателя EPOC (ещё два его контакта носят вспомогательную роль). Шкала внизу – секунды (иллюстрация Dartmouth College).

Разработчики придумали дополнительные варианты использования своей технологии. Ведь в обширных сигналах, идущих из мозга, можно выловить массу ценных сведений, если только знать – куда смотреть.

Представьте ситуацию, когда "Нейрофонами" обладают все студенты в группе изучения иностранных языков. Преподаватель, задавая вопрос, может в реальном времени увидеть на экране своего мобильника, кто из подопечных понял его, а кто нет. Программа расставит соответствующие знаки напротив портретов.

Другое следствие из распространения "Нейрофонов" ещё удивительнее. Представьте, что человек с таким мобильником входит в клуб или бар, дом, где собирается компания. И у других гостей тоже включены гарнитуры "мозговых считывателей".

Сразу после того как наш персонаж переступил порог дома, он получает на свой телефон информацию о… настроении присутствующих: веселы они или напряжённы, грустно им, не скучают ли? Быть может, они настроены враждебно к очередному визитёру? Такое распознавание доступно считывателям ЭЭГ уже сейчас.

Члены команды, создавшей NeuroPhone: Эндрю Кэмпбелл (Andrew Campbell), Танзим Чоудхури (Tanzeem Choudhury), Хун Лу (Hong Lu) и Раджив Раизада (Rajeev Raizada) (фотографии Dartmouth College).

Учёные отмечают, что на пути распространения технологии NeuroPhone стоит ещё немало препятствий. Более-менее приемлемые по цене и весу считыватели мозговых волн всё же уступают в точности и насыщенности информации большим лабораторным установкам "исследовательского класса".

А это в свою очередь приводит к тому, что большое внимание приходится уделять фильтрации нужных мозговых сигналов среди шумов, а также – машинному обучению, помогающему софту корректно работать с конкретным пользователем.

Тем не менее развивать это направление, по мнению авторов "Нейрофона", — ещё как стоит. Оно сулит повышение удобства и безопасности пользования мобильником во время ходьбы по оживлённой улице, вождения автомобиля или велосипеда и так далее.

В будущем, предполагают исследователи из Дартмутского колледжа, считыватели ЭЭГ станут ещё компактнее и дешевле. Тогда они смогут быть интегрированы в обычные беспроводные наушники, в шапки и бейсболки, мотоциклетные или велосипедные шлемы. Нынешний NeuroPhone – первый шаг к этой мечте.