А вам нравится камера на вашем новеньком смартфоне? Она может определять лицо на фотографии и снимать видео в режиме slow-motion в высочайшем разрешении. Но эти технологические прорывы — лишь начало большой революции, которая разворачивается у нас на глазах. Последние исследования в области камер отходят от увеличения числа мегапикселей в пользу слияния данных камер с вычислительной мощностью. И здесь имеется в виду не обработка в стиле Photoshop, когда на изображение накладываются эффекты и фильтры, а скорее новый подход, когда поступающие данные вообще не похожи на изображение. Изображением они становятся после серии вычислительных манипуляций, которые часто связаны со сложной математикой и моделированием того, как свет проходит через сцену или камеру.
Дополнительный уровень вычислительной обработки магически освобождает нас от цепочек обычных методов визуализации. В один прекрасный день нам больше не будут нужны камеры в обычном смысле. Вместо этого мы будем использовать световые детекторы, которые еще несколько лет назад никто даже и не рассматривал для создания изображений. И они будут способны на удивительные вещи: видеть через туман, заглядывать внутрь человеческого тела и даже видеть сквозь стены.
Однопиксельные камеры
Среди любопытных примеров — однопиксельная камера, которая опирается на совершенно простой принцип. Стандартные камеры используют множество пикселей (крошечных чувствительных элементов) для захвата сцены, которая освещена одним источником света (в большинстве случаев). Но можно сделать и наоборот: улавливать информацию из множества источников света с помощью одного пикселя.
Для этого вам нужен контролируемый источник света, даже простой проектор данных, который освещает сцену одним пятном или выдает серию разных паттернов. Для каждого пятна освещения или паттерна можно измерить количество отраженного света и суммировать его, создав конечное изображение.
Очевидно, недостаток такой фотосъемки заключается в том, что вам придется передать множество освещенных пятен или паттернов, чтобы создать одно изображение (обычная камера сделает это одним щелчком затвора). Но такая форма визуализации позволит создать изображение, которое камеры создать не смогут, например, в длинах волн света за пределами видимого спектра, которые не смогут уловить обычные детекторы камер.
Эти камеры можно использовать для создания фотографий через туман или густой падающий снег. Или они могут имитировать глаза некоторых животных и автоматически увеличивать разрешение изображения (количество деталей, которое оно захватывает) в зависимости от того, что находится на сцене.
Можно даже поймать изображения из частиц света, которые никогда не взаимодействовали с объектом, который мы хотим сфотографировать. Таким образом можно было бы использовать идею «квантовой запутанности» — две частицы могут быть запутаны таким образом, что происходящее с одной мгновенно будет отражаться на другой частице, даже если они находятся на большом расстоянии друг от друга. Можно было бы изучать свойства объектов, которые меняются при освещении. Так, можно было бы понять, как выглядит сетчатка глаза в темноте (очевидно, не так, как на свету).
Мультисенсорная визуализация
Однопиксельная визуализация — лишь одно из простых новшеств, которые появляются в новейших камерах и опираются на традиционную концепцию создания изображения. Однако в настоящее время мы наблюдаем рост интереса к системам, которые используют много информации, в то время как традиционные методы собирают лишь небольшую ее часть.
Именно здесь мы могли бы использовать мультисенсорные подходы, которые включают множество разных детекторов, направленных на одну сцену. Телескоп Хаббла был хорошим примером того, что это работает, создав снимки из сочетания множества снимков, сделанных на разной длине волны. Но сегодня вы можете купить коммерческий вариант такой технологии, например, воплощенный в камере Lytro, которая собирает информацию об интенсивности света и направлении на одном датчике, а затем производит снимки, которые можно перефокусировать уже после съемки.
Камера следующего поколения, вероятно, будет похожа на камеру Light L16, которая оснащена новейшими технологиями на основе более десятка разных датчиков. Их данные объединяются при помощи компьютера, чтобы создать 50-мегабайтовое, перефокусируемое и повторно масштабируемое изображение профессионального качества. Сама камера выглядит как интерпретация камеры телефона в стиле Пикассо.
И это пока еще первые шаги к созданию камер нового поколения, которые изменят наше отношение к фотографиям. Ученые работают над проблемой съемки в тумане, сквозь стены и даже планируют заглянуть в тело и мозг человека. Все эти методы полагаются на совмещение изображений с моделями, которые объясняют, как свет движется в разных субстанциях.
Еще один интересный подход основан на том, как искусственный интеллект «учится» распознавать объекты в данных. Эти методы вдохновлены процессом обучения, который протекает в мозге человека, и, вероятнее всего, будут играть крупную роль в будущих системах визуализации.
Технологии с одним фотоном и квантовой визуализацией также постепенно вызревают — они смогут делать снимки в условиях невероятно низкой освещенности и видео с невероятно быстрой скоростью, триллионы кадров в секунду. Этого достаточно, чтобы снять даже сам свет, проходящий через сцену.
Некоторым из этих приложений потребуется еще немного времени для полного развития, но теперь мы знаем, что физика позволяет нам решать эти и другие проблемы с помощью умного сочетания новых технологий и вычислительной изобретательности.
