Ученые из МФТИ разработали модель прогнозирования траектории движения руки на основе сигналов, снимаемых с поверхности коры головного мозга. Подробнее - в материале Planet Today.

При прогнозировании используются линейные модели. По сравнению с нейросетевыми моделями, они требуют от процессора меньших объемов памяти и вычислений. Это дает возможность совместить процессор с датчиком и расположить его в черепной коробке. Упрощение модели без потери точности прогноза позволяет оперативно реагировать на изменение сигналов мозга. Этот шаг приближает возможность создания полноценного экзоскелета для потерявших возможность самостоятельно передвигаться людей. Работа опубликована в Expert Systems with Applications, ведущем журнале в области искусственного интеллекта.

При повреждении спинного мозга, сигналы головного мозга, управляющие движением конечностей, не доходят до мышц. Человек теряет возможность самостоятельно двигаться. В таком случае требуется снимать сигналы головного мозга, декодировать их, прогнозируя движение конечностей, и передавать управление на экзоскелет. Для лучшего качества снимаемого сигнала считывающий датчик устанавливается непосредственно на поверхность коры головного мозга.

В ходе хирургической операции на поверхность моторной зоны коры головного мозга установили считывающий датчик c электродами. Он питается от компактной батарейки c беспроводной зарядкой. В нем есть процессор, обрабатывающий сигналы датчика и радиопередатчик, передающий результаты обработки. Устройство нагревается в процессе работы, что становится ощутимой проблемой, когда оно находится на поверхности головного мозга. Появляется ограничение на вычислительную мощность устройства.

Рис.1. Эксперимент, в котором пациенты перемещали три блока вдоль граней квадрата 25 см × 25 см один за другим (Nakanishi, 2013).

Но мало получать адекватные сигналы  головного мозга. Нужно научить искусственные конечности выполнять соответствующие этим сигналам действия. Для этого необходимо восстановить ожидаемые движения конечностей по сигналам электрокортикограммы. В этом и заключается цель обработки сигналов. Группа Вадима Стрижова из МФТИ занимается прогнозированием траектории движения руки по электрокортикограмме. Решение этой задачи необходимо для создания экзоскелета для потерявших способность передвигаться пациентов. Для управления экзоскелетом человеку нужно представлять себе естественное движение своих конечностей.

«В своей работе для прогнозирования траектории движения конечности мы обратились к линейной алгебре. Мы предпочли линейные модели нейросетям, поскольку параметры линейной модели оптимизируются за существенно меньшее число операций. Это соответствует ограничениям, которые накладывают невысокая производительность и малая память устройства. Мы решали задачу построения такой модели, которая была бы проста: имела бы относительно небольшое число параметров, устойчива: при незначительном изменении параметров качество прогноза существенно не меняется, и точна: прогнозируемое движения конечности должно адекватно приближать естественное физическое. Поэтому мы прогнозируем траекторию движения конечностей как линейную комбинацию признаковых описаний электрокортикограммы», — рассказывает главный научный сотрудник Лаборатории машинного интеллекта МФТИ Вадим Стрижов.

Рис.2. Для каждого электрода интервал снимаемого сигнала длительностью в одну секунду претерпевает преобразование и получает признаковое описание в амплитудно-частотном пространстве, амплитуда показана цветом. Слева показана траектория движения конечности, в центре сигналы с электродов, справа признаковое описание.

Каждый из электродов выдает сигнал. Он представляется в виде частоты и амплитуды. Частота разделяется на полосы. Признаковым описанием является история изменения сигнала кортикограммы для каждого электрода и каждой частотной полосы. История изменения сигнала является временным рядом, вектором в линейном пространстве. Таким образом каждый признак является вектором. Прогноз траектории движения руки  получается в виде линейной комбинации векторов-признаков, их взвешенной суммы. Для нахождения наилучших весов линейной модели, таких, которые бы давали адекватный прогноз, нужно решить систему линейных уравнений.

Рис. 3. Каждая группа точек соответствует одному электроду. Цвет точки группы показывает, насколько похож сигнал, получаемый этим электродом на сигнал электрода, соответствующего положению точки. Более желтый цвет означает более высокое сходство, синий означает низкое. Такое фрактальное представление сходства сигналов показывает, что наиболее разнообразные сигналы дают верхние электроды. Сигналы центральных электродов более похожи.

Рис. 4. Каждая точка соответствует электроду. Цвет точки соответствует сходству сигнала электрода и траектории движения конечности. Траектория показана в трех проекциях на оси пространства физического эксперимента. Видно, что для каждой оси имеется свой набор электродов, с помощью которых восстанавливается траектория. Этот набор изменяется со временем.

Однако решение такой системы уравнений неустойчиво. Это связано с тем, что датчики расположены близко друг к другу, и соседние датчики выдают схожие сигналы. В результате малейшее изменение снимаемых сигналов приводит к существенному изменению прогноза траектории конечности. Поэтому необходимо решать задачу снижения размерности признакового пространства.

Рис. 5. Каждый вектор соответствует признаку. Требуется спрогнозировать, или приблизить целевой вектор y в виде комбинации, взвешенной суммы, других векторов. Число векторов определяет сложность модели. Первый и второй векторы дают хорошее приближение, но такое решение неустойчиво, так как векторы похожи: угол между ними невелик. Пятый и шестой векторы находятся друг к другу под прямым углом и могут дать устойчивое решение, но они также находятся под прямым углом к целевому вектору, их комбинация не может приблизить целевой вектор. Третий и четвертый векторы различны, их комбинация дает устойчивое и точное приближение.

В работе введена функция оптимизации набора признаков. Она включает два критерия: признаки должны быть попарно разнообразны, и их комбинация должна хорошо приближать целевой вектор. Описанный подход позволяет даже без вычисления параметров модели, получить оптимальный набор признаков. Учитывая взаимное расположение датчиков, авторы построили простую, устойчивую модель, достаточно точную и сравнимую с альтернативами по качеству прогноза.

В скором времени группа Вадима Стрижова возьмется за задачу, связанную с проблемой описания траектории движения конечностей в условиях изменчивости структуры головного мозга.

«Двигаясь и получая отклики от окружающей среды, человек учится. Структура его мозга изменяется. Появляются новые связи, модель устаревает. Мы должны предложить такую модель, которая изменяет свою структуру согласно изменениям структуры головного мозга. Это нетривиальная задача, мы работаем над ее решением», — делится планами Вадим Стрижов.