[Мысли Вслух] Поиграл в сгенерированный ИИ Minecraft. Правда ли, что будущее геймдева за нейросетями?

Попробовал поиграть в ИИ майнкруфт и захотел об этом написать. В начале будет вводная инфа взятая с сайта Etched и с их тех. отчёта, решил её вставить для поверхностного ознакомления с принципом работы этой штуки и я там не буду сильно углубляться в дебри (так что не рассматривайте обзор как НаучCock статью). Поэтому где-то с 3 пункта будет уже рассказ о моём опыте и о приколах что я обнаружил.

Недавно при сотрудничестве Decart x Etched релизнулась техно-демка первой играбельной модели искусственного интеллекта - Oasis

Oasis принимает ввод пользователя с клавиатуры и генерирует игровой процесс в реальном времени, включая физику, правила игры и графику. Здесь не используется игровой движок, только базовая модель.

Сейчас техно-демка работает на специальном чипе H100s от Nvidia в разрешении 360p, 20 fps и с 500 миллионами параметров. Но модель Oasis специально оптимизируют под Sohu.

С помощью чипа Sohu, созданной специально для ИИ, можно обслуживать модели с более чем 100 миллиардами параметров в 4K-видео, масштабируясь более чем в 10 раз по сравнению с H100s.

Модель состоит из двух частей: пространственного автокодировщика и основы для скрытой диффузии. Обе части основаны на трансформерах: автокодировщик — на ViT, а основа — на DiT. В отличие от недавних моделей мира, зависящих от действий, таких как GameNGen и DIAMOND, были выбраны трансформеры, чтобы обеспечить стабильное, предсказуемое масштабирование и быстрый вывод на ASIC-трансформерах Etched, Sohu.

В отличие от двунаправленных моделей, таких как Sora(от OpenAI), Oasis генерирует кадры авторегрессивно, с возможностью учитывать каждый кадр в зависимости от игрового ввода. Это позволяет пользователям взаимодействовать с миром в реальном времени. Модель была обучена с использованием диффузионного принуждения, которое подавляет шум с независимыми уровнями шума для каждого токена и позволяет использовать новые схемы декодирования.

и с нудной инфой на этом закончим

Ничего скачивать для игры не нужно, вам просто следует зайти на сайт и вы уже можете играть. Скорее всего качество будет зависеть от мощности вашего гроба, но это не точно.

В начале нам будет предложен выбор скриншота (нашего или заготовленного), где на его основе будет генерироваться мир. После прогрузки можно приступать и что я могу сказать.

Действительно, это Майнкрафт. Модель хорошо обучилась на видосах и может неплохо генерировать различные биомы из игры, но со структурами пока получается не очень.

Геймплей вы видите на моём видосе. Всё стандартно. Ломать/ставить блоки можно. Пиздится с мобами и жрать еду тоже. В общем управление то же было перенесено.

На этом хорошие моменты заканчиваются.

Окружение

Сейчас Oasis страдает плохим запоминанием сгенерированного контента. Что я имею в виду, игра пока не способна учитывать всё в долгосроке. Как я понимаю модель работает по принципу:

основа (видосы/скрины) -> ваше действие -> результат

и так по кругу.

Вот мой видос, где я захотел подняться наверх, прокропав себе ступеньки.

Модель засекла нестабильность и, скрывая проблему динамическим шумом, превратила стену из земли в стену из гранита.

Дальше веселее. По всей видимости, нейронка вспомнила, что в этом биоме могут быть свиньи, она-то их заспавнила, но повзаимодействовать с ними мне не дала, превратив их в полигональное нечто.

После вообще заспавнив сзади меня огромный белый объект, после погружения в который окружение заменилось на зимний биом.

И такая практика — не редкость. Если будете играть, то попробуйте, например, в песчаном биоме упереться камерой в камень или другой блок, который визуально отличен от песка, а потом обернуться. Я уверен на 100%, вы очутитесь в другом биоме.

Инвентарь

Игра раз через раз понимает, что такое инвентарь/меню верстака, и пытается симулировать его.

На видосе видно, как мой скин сменяется с Алекс на Стива и что я очень долго вожу курсором, так как использовать его там очень проблематично. Он может повести себя хаотично и уйти в сторону. Так же можно заметить, сам инвентарь отличен от настоящего.

Существенно играет роль того, что игра не может долго помнить окружение, и поэтому после длительной отсидки в инвентаре может произойти нечто подобное.

Да вы всё правильно поняли. Игра изменила окружение и положение меня в пространстве, да так что я упал.

Чаще всего вы не падаете, а ИИ перегенерирует окружение так, что изменит положение вашей камеры, так что мышкой вертеть вам придётся часто.

Смотрите со звуком для вайба

На сайте можно загрузить свой скриншот из игры, чтобы модель воссоздала это. Я запихнул туда скрин с Краем и ненадолго смог там побегать, потом залил скрин с Незером, где ситуация аналогичная. Но потом я подумал: «А что, если запихнуть туда абсолютно рандомное фото?».

Вот что из этого получилось.

И с моей авой получилось прикольно. Да, конечно, это не постройка из блоков, но всё же передал он её не плохо. Но потом в этом мире начался пиздец, так что переходим дальше.

Если с моей авой получилось более-менее, то про аву великого и ужасного так не скажешь.

Скорее всего, из-за большого кол-ва деталей (в большей степени из-за лица) и различных цветов (например, розовый) модель не смогла логично интегрировать это в майн.

Ещё я пытался перенести лого ДТФ, но либо не получалось, либо был фулл зелёный экран.

Ну, во-первых, модель создана не только для Игорь, но и для видеоконтента в целом. Майнкрафт лишь способ показать возможности генерации видео на основе ввода данных в риалтайме.

Если прикинуть, то в будущем разработчики могут использовать это как инструмент для создания карт. Типа не вручную расставлять траву и камни на условном поле, а отдать это дело Oasis, пока будут заниматься чем-то более важным.

Либо использовать это в играх с процедурной генерацией, но по всей видимости для этого нужно будет иметь этот чип Sohu в своей видеокарточке, что будет дорогим удовольствием, по крайней мере в ближайшем будущем.

Вообще, учитывая как сейчас работает эта нейронка, есть ощущение, что я тестирую 4-х мерное пространство через 3-х мерное в майне.

Это был интересный опыт. С нетерпением буду ждать, что из этого в итоге получится и как это отразится на геймдеве в целом. Понятно, что играть через это очень тяжело и неудобно, но я надеюсь, что, доработав свой продукт, они получат желаемое и смогут привнести в мир нейронок что-то новое.