На конференции GDC 2019 компания Nvidia показала свою новую разработку — графический редактор на основе нейросетей GauGAN, который умеет превращать эскизы в фотореалистичные изображения в реальном времени. Возможности программы разработчики показали в небольшом ролике.
Как отмечают авторы, для обучения нейросети им понадобилось около миллиона изображений природы. Сам редактор выглядит довольно просто — что-то вроде Paint’а с его примитивными кистями и инструментами заливки, однако в окошке справа программа воссоздаёт фотореалистичное изображение на основе эскиза. Если два человека нарисуют одинаковые эскизы, то программа скорее всего создаст различные изображения.
GauGAN создаёт картинку за считанные секунды, но для этого в компании использовали мощный графический процессор RDX Titan. Вероятно, программа будет работать и на менее производительных компьютерах, просто обработка займёт больше времени.
По словам авторов, инструмент может пригодиться для тренировки роботов и самообучающихся машин.
