Уже несколько лет подряд разработчики из разных уголков мира демонстрируют нейронные сети, которые либо могут улучшить фотографии, либо нарисовать картинки с нуля. На калифорнийской конференции GTC 2019 группа NVIDIA Research показала нечто поистине удивительное — искусственный интеллект GauGAN, который создает реалистичные пейзажи на основе схематических рисунков. В отличие от всех аналогичных проектов, новинка умеет добавлять тени и отражения даже от мельчайших камней и менять времена года.

Название GauGAN выбрано не случайно — искусственный интеллект назван в честь французского художника Поля Гогена. Как и многие аналоги, он состоит из генеративно-состязательной нейросети, одна часть которой создает изображения, а вторая решает, что в ней изменить, чтобы добиться нужного результата. Для обучения использовалась огромная база из миллиона пейзажей, взятых из Flickr.

Несмотря на то, что нейросеть в теории способна рисовать даже городские улицы, данная версия предназначена преимущественно для генерирования пейзажей. Пользователь может схематично нарисовать горы, озера, облака, камни и другие объекты — нейросеть быстро создаст красивую фотографию с правильными тенями и отражениями. При желании, можно изменить время года — трава покроется снегом, а деревья лишатся листьев.

Это похоже на книжку-раскраску, где указаны расположение деревьев, неба и солнца. Нейронная сеть способна заполнить картину деталями, текстурами, отражениями и цветами основываясь на том, что она увидела на реальных изображениях.

Брайан Катандзаро, руководитель исследования

Примечательно, что система не просто копирует текстуры из фотографий и накладывает на эскиз, а синтезирует совершенно новые образы. Таким образом, получаются результаты, похожие на работы настоящих художников.

К сожалению, нейросеть пока недоступна простым пользователям. Ожидается, что GauGAN облегчит работу разработчиков игр и ландшафтных дизайнеров — создание красивых зарисовок займет минимальное время.