Создаем кошкодевочку в генераторе фантастических тварей от Google

Позавчера в своем блоге Google AI рассказали о новом инструменте Chimera Painter, который позволяет слепить любого монстра, что сидит у вас в голове, а нейронка на основе GAN (генеративно-состязательная сеть) перенесет эскиз в более реалистичное изображение.

На выбор у пользователя есть 20 кисточек в числе которых: голова, рот, глаза, верхние ноги (вместо рук), просто ноги, когти, рога, крылья. Также есть ластик, чтобы стирать ужасы, и где-то должна быть кисточка для поверхности/фона, но я ее не нашел, видимо она только в примерах.

Также Chimera Painter предлагает 4 дефолтных создания, которые показывают возможности инструмента.

Когда ты видишь генератор твоих фантазий - это твой долг воплатить свою фантазию в реальность, поэтому мой друг решил нарисовать кошкодевочку своей мечты.

Сразу бросается в глаза, что у генератора проблема с глазами, но, скорее всего, это косяк реального мира, который не предназначен для непропорционально больших глаз.

Очень классно получились хвост и ушки (нет, я не фетишист, нет!) и прикольно, что нейронка смогла определить текстуру близкую к кошачьей для тела.

Идеальной кошкодевочки не получилось, к сожалению, мир еще не готов к такому, но это все еще лучше кошек из мюзикла The Cats.

Этим проектом команда Google AI занимается уже около двух лет, когда они начали делать карточную коллекционную игру для Stadia, в которой все карточки были бы сгенерированы нейронной сетью.

Для обучения алгоритма был использован датасет из 3д моделей реальных существ. С помощью Unreal Engine было сгенерировано больше 10к изображений, где животные были под разным углом, разных позах, а также были размечены части тел (segmentation map).

Обучение сводилось к тому, что генератор получал на вход информацию о том, что нужно было сгенерировать и выдавал картинку, а дискриминатор пытался понять - это изображение было в датасете или создано генератором.

Команда разработчиков надеется, что в будущем (а может даже и сейчас) подобные инструменты смогут упростить работу художникам и пайплайн с использованием нейронных сетей сможет улучшить процесс разработки игр.