Компании Nvidia представила прототип программы GauGAN, которая используя генеративно-состязательную сеть (GAN), позволяет превращать простые рисунки в реалистичные изображения.
GauGAN - это мощный инструмент для создания виртуальных миров для всех - от архитекторов и ландшафтных дизайнеров до разработчиков игр. Профессионалы вместе с искусственным интеллектом могут быстрее создавать прототипы идей и делать любые манипуляции со сценой.
Нейронная сеть GAN делает высоко реалистичные пейзажи благодаря своей взаимодействующей паре нейронных сетей: генератор и дискриминатор. Генератор создает изображения, а обученный на реальных изображениях дискриминатор с помощью попиксельной обратной связи сообщает генератору, как улучшить реалистичность изображений.
После обучения на реальных изображениях, дискриминатор знает, что настоящие пруды и озера содержат отражения - так что генератор учится создавать убедительную имитацию.
Инструмент также позволяет пользователям добавлять фильтр стилей, изменять сгенерированное изображение, чтобы адаптировать стиль конкретного художника, или изменять дневную сцену на закат. Эта не просто склеивает кусочки других изображений или вырезает и вставляет текстуры. Это фактически синтез новых изображений, очень похожих на то, как художник рисовал что-то.
На представленном видео, пользователь рисует набросок пейзажа, например, горный склон, скалы в море или дерево на лугу, а искусственный интеллект заполняет этот ландшафт естественными текстурами — травой, облаками, снегом. При этом учитывается взаимное расположение объектов и их свойства. Если нарисовать пруд, то близлежащие элементы, такие как деревья и камни, будут иметь отражение в воде, а при смене метки сегмента с «трава» на «снег» все изображение изменится на зимнюю сцену.
Приложение GauGAN фокусируется на элементах природы, таких как земля, море и небо, но лежащая в основе нейронная сеть способна заполнять другие элементы ландшафта, включая здания, дороги и людей.
