В мире существуют различные программы, широко используемые всевозможными спецслужбами и правоохранительными органами, которые по движениям губ, челюстей и мышц лица человека могут распознать те слова, которые произносит этот человек. Наиболее сложные программы могут распознать речь человека на различных языках, но в любом случае, компьютер может с некоторой долей вероятности правильно воспроизвести только слова, чистый текст, не включающий в себя никаких интонаций и эмоциональной составляющей.
Но, используя высокоскоростную камеру, делающую тысячи кадров в секунду, исследователям из университета Васеда (Waseda University in Tokyo) в Токио удалось сделать запись даже самых мельчайших колебаний поверхности кожи лица и шеи человека, которыми сопровождаются звуки, исходящие от голосовых связок человека. После съемки специализированная компьютерная программа, основанная на сложнейших алгоритмах, превратила снятые колебания кожи в соответствующие им звуковые колебания, в голос человека.
"С помощью нашей технологии мы можем получить не только слова, произнесенные человеком, но и его голос с интонациями, несущими эмоциональную составляющую речи" - рассказал Ясухиро Оикоа (Yasuhiro Oikawa), руководитель научной группы, выступая на Международном конгрессе по акустике (International Congress on Acoustics), проходившем 3 июня в Токио.
Используя технологию высокоскоростной съемки, исследователи сделали запись того, как два добровольных участника произносили одно и то же слово на японском языке. Камера снимала с частотой 10 тысяч кадров в секунду, для сравнения, в обычном видео используется съемка с частотой 24 кадра в секунду, а особо качественное видео снимается с частотой 60-80 кадров в секунду. Помимо этого, голос добровольцев записывался с помощью обычного микрофона, а колебания кожи их лица и горла регистрировались с помощью датчиков-виброметров.
После того, как компьютерная программы выдала рассчитанную ей на основе визуальных данных последовательность звуковых колебаний, исследователи сравнили их с реальными данными, записанными с помощью микрофона и виброметров. Оказалось, что рассчитанные звуки совпадали с реальными звуками, расходясь лишь в незначительных деталях. Проигрывая получившийся звуковой файл, исследователи смогли достаточно четко распознать отдельные произносимые слова и опознать голосовые интонации.
Технология реконструкции речи и голоса человека с помощью высокоскоростной камеры находится еще в экспериментальной стадии, только доказывающей работоспособность самой идеи. До конца этого года исследователи планируют довести эту технологию до уровня, когда она сможет работать в режиме реального времени, распознавая и воспроизводя не только короткие слова, фразы, а и достаточно длинные предложения. Для этого исследователи собираются серьезно переработать программное обеспечение системы и реализовать функцию анализа колебаний поверхности кожи некоторых других частей лица человека, к примеру, щек, что предоставит в их распоряжение большее количество информации, позволяющей более качественно реконструировать речь, голос и интонации человека.
Ученым удалось определить то, что читает человек, по сигналам его мозга
Исследователи из университета Неймегена (Radboud University Nijmegen), Нидерланды, преуспели в определении того, что читает человек, анализируя картину его мозговой деятельности. Используя данные функциональной магнитно-резонансной томографии (functional magnetic resonance imaging, fMRI), исследователи с помощью линейной Гауссовской математической модели произвели анализ процессов, происходящих в зрительной зоне коры головного мозга, а полученные путем этой математической обработки данные позволили им восстановить очертания символов текста, которые читал человек в данный момент времени.
В своих исследованиях ученые условно разбили интересующую их часть головного мозга на "объемные пиксели", участки, размером 2х2х2 миллиметра, и вся дальнейшая математическая обработка оперировала значениями среднего уровня активности нервных тканей каждого объемного пиксела. Выполняя ряд сложных преобразований стало возможным восстановление достаточно грубого изображения рассматриваемых объектов, нечетких, но вполне узнаваемых, изображений символов текста.
После такого несомненного успеха ученые ввели в математическую модель данные о том, как на самом деле выглядят символы демонстрируемого человеку текста. "Это весьма походит на работу программы оптического распознавания текста, с которыми хорошо знакомы многие из нас. И такая функция значительно улучшила способность программы распознавать читаемый человеком текст" - рассказывает Марсель ван Джервен (Marcel van Gerven), ведущий исследователь проекта, - "Наша модель сравнивает получаемые данные с начертаниями каждого символа и выбирает тот символ, который наиболее точно подходит к считанному из мозга образу. И в результате мы получаем текст, максимально приближенный к реальному тексту, который читает человек".
Следующими шагами, которые намерены предпринять ученые, станет улучшение созданной ими модели, что позволит использовать ее не только для определения того, что читает человек в данный момент, но и того, что он видел и читал ранее, то, что он видит в своих снах или мечтах.
"Достичь такого нам позволит использование более мощного сканера MRI, который позволит нам получать данные с более высокой точностью и разрешающей способностью" - рассказывает Сэйнн Шоенмэкерс (Sanne Schoenmakers), ученый, работающий над алгоритмами расшифровки мыслей человека, - "Более высокая разрешающая способность позволит нам оперировать большим количеством объемных пикселов. Мы рассчитываем, что более мощный сканер сможет обеспечить нам данные о 15 тысячах объемных пикселей, что гораздо больше 1200 пикселов, которыми оперирует наша нынешняя модель".
Следует заметить, что основой данных исследований стали исследования 2011 года, проведенные учеными из Калифорнийского университета в Беркли, в ходе которых им удалось, используя fMRI, считать из мозга, расшифровать и восстановить визуальные образы, которые видел человек при просмотре видео.
Анализ активности головного мозга человека позволяет предсказать его действия.
Реализуя один из очередных сценариев "Minority Report" исследователи из Центра мозга и мышления (Centre for Brain and Mind) университета Западного Онтарио научились определять действия, которые предпримет человек, за несколько мгновений до начала этих действий. Используя функциональную магнитно-резонансную томографию (functional magnetic resonance imaging, fMRI), ученые получили картины мозговой деятельности человека, намеревающегося выполнить определенные действия.
Конечно, действия, выполняя подопытными людьми в этих экспериментах, были очень просты. Фиксировались намерения людей взять некий предмет за верхнюю часть, за нижнюю часть или просто коснуться этого предмета. Затем были предприняты попытки провести анализ и разложить полученные данные на более простые, соответствующие самым элементарным движениям. Таким образом, получился некий набор шаблонов-примитивов, используя который можно предугадать практически каждое намерение человека, каждое его будущее движение.
"Возможность заранее предсказать действия человека, используя сигналы головного мозга, делает нас еще на шаг ближе к возможности использования этих сигналов для управления роботами, экзоскелетами и механическими протезами. А это будет полезно не только для людей, страдающих от паралича и других нервных расстройств, но и может с успехом использоваться в промышленности, в космосе и, конечно, в военной области" - рассказал Джейсон Галливэн (Jason Gallivan), один из участников этих исследований.
И вишенка на торте: Сканер мозговой активности может сделать видеозапись Ваших снов.
Некоторое время назад мы рассказывали о том, что анализируя мозговые волны можно создать изображение, отображающее то, о чем думает человек. Теперь же исследователи из Калифорнийского университета в Беркли продвинулись в этом направлении значительно дальше. Их оборудование позволяет извлечь то, о чем Вы думаете, и на основе этих данных сделать видеозапись.
Данная технология работает на тех же самих принципах, что и технология чтения картины мозговой деятельности. Установка функционального магнитно-резонансного сканирования (functional MRI, fMRI) считывает образы, которые появляются в мозгу у человека, когда он смотрит видео, а затем проводит корреляцию этих образов с изображением на экране. Используя эти данные, была создана сложнейшая компьютерная модель, которая описывает соответствие картин мозговой деятельности с изображениями, и накоплена огромная база данных, в которую были занесены 18 миллионов секунд видеороликов, взятых на YouTube, и образы мозговых волн, соответствующих этим видеороликам.
Используя эту модель, группа исследователей провела анализ потока данных fMRI человека, которому демонстрировали около 100 случайных фрагментов из видеороликов. Алгоритмы программного обеспечения математической модели выбирали наиболее близкие по содержанию видеоролики уже через одну-две секунды после начала анализа мозговой деятельности. Затем образы и выбранные фрагменты видеороликов были объединены в один ролик, демонстрирующий эту немного ирреальную корреляцию.
Сравнение видеоизображения, полученного с помощью сканирования мозга, с оригинальным видео является пока только способом доказать работоспособность технологии, которая впоследствии может быть использована для разработки устройств, получающих высококачественное видеоизображение прямо из мозга людей. Увеличение разрешающей способности датчиков и более совершенные алгоритмы программной обработки сигналов позволят в будущем создание портативных устройств, которые могут быть использованы во многих целях.
Представьте себе конструктора или трехмерного дизайнера, который одевает обруч на голову и сразу видит на экране воплощение своих мыслей. Такие устройства смогут служить и для записи сновидений, наверное, каждому хоть раз в жизни будет интересно увидеть свои сны в подробностях, а врачам, специализирующимся в области психологии такие устройства смогут оказать поистине неоценимую помощь.
Конечно, эта технология имеет и обратную, несколько зловещую сторону. Ведь некоторые, скажем так, заинтересованные лица, могут поместить Вас без Вашего на то согласия в сканирующую fMRI машину и основательно покопаться в ваших мыслях, мечтах и желаниях. Именно поэтому использование таких технологий должно быть строго регламентировано и контролироваться со стороны соответствующих органов. А разработчики этой технологии утверждают, что для доведения всех аспектов технологии до полного совершенства может потребоваться еще минимум одно десятилетие.