Нейросеть Google DeepMind создает 3D-игры по одному концепт-арту

Модель Genie 2 от Google DeepMind способна генерировать игровые миры всего по одному концепт-арту. Нейросеть декодирует изображение, создавая анимации персонажей и симулируя освещение.

Работа напоминает подход GameNGen: вместо кода или полноценного моделирования нейросеть генерирует видеоряд в реальном времени, реагируя на действия игрока. Для обучения Genie 2 использовались игры вроде No Man's Sky, Valheim и Teardown, благодаря чему алгоритмы подражают графическим особенностям игр прошлого поколения, включая артефакты освещения и проблемы с тенями.

Однако модель подвержена ошибкам: стены домов могут превращаться в пещеры, персонажи на бегу бросают сноуборд, а в кадре возникают "призрачные" NPC в духе Skyrim. Google не раскрывает разрешение и частоту кадров прототипов, а игровые демо ограничены 60 секундами.