Представлена система генерации 3D-миров по изображению Marble
Ещё одна, да, но есть и кое-что интересное, что отличает её от конкурентов. Работает над Marble (так решили назвать систему) стартап World Labs, одной из основательниц которого является Фей-Фей Ли - «крёстный батя мать» (одна из) искусственного интеллекта. Мадам действительно много и плодотворно работала на благо будущего без человеков развития индустрии.
В 2024 году Фей-Фей Ли вместе с командой собрала несколько сотен миллионов долларов и основала стартап World Labs, целью которого является генерация 3D-миров. От ребят долго не было новостей, но на днях они таки выкатили свою модельку Marble.
Работает всё очень просто: загружаем фото/изображение, а Marble на её основе генерирует мир. Также можно склеить несколько изображений в один большой уровень, в результате чего получается такая вот красота:
Стиль видео может быть любым, всё зависит от исходного изображения или промта. Хочешь Sci-Fi, а хочешь — под реализм или Миядзаки:
О громным плюсом модели является то, что она создаёт статичные миры: один раз сгенерировал — и пользуйся, сколько хочешь, в том числе и экспортируй в виде карты гауссовских точек:
Минусы, разумеется, тоже есть.
- Качество мира сильно зависит от исходного изображения;
- Модель хоть и старается придерживаться заданного стиля, может дурить, удаляя или добавляя некоторые объекты;
- По одному изображению можно построить только ограниченный участок уровня. Стоит только выйти за его пределы, как всё тут же превращается в лютую мешанину текстур. В отличие от real-time моделей генерации вроде Genie 3 или Mirage 2, Marble не умеет заполнять пустоту на основе предыдущих кадров;
- Чем дальше от центра генерации, тем хуже качество;
Впрочем, разработчики сами признаются, что находятся только в начале пути, а текущая модель всего лишь бета-версия.
Попробовать походить по мирам можно прямо на сайте (на момент написания этих строк сайт сильно устал и прилёг отдохнуть), как на ПК, так и на мобильных устройствах. На ПК качество моделей в разы лучше, но и ресурсов требует побольше.
Если же хочется погенерировать самому, то можно записаться в лист ожидания.
Как всё это использовать уже сейчас? Например, для быстрой оценки визуальной составляющей, быстрого прототипирования куска уровня или генерации задников. Если вы нищий инди, то Marble на это вполне сгодится. Да и для более матёрых разработчиков сгодится.
Вот такое вот оно, наше светлое нейросетевое будущее: генерим изображение, правим в ИИ-редакторе, затем генерируем сразу уровень. Дёшево, быстро и никому не нужно.
P.S. Ещё у меня есть бессмысленные и беспощадные ТГ-каналы (ну а как без них?):
Об играх и игровой индустрии: https://t.me/gameprodev;
О науке, творчестве и прочей дичи: https://t.me/deeplabscience.