Google показала Genie 4: нейросеть создаёт интерактивные миры, которые можно менять прямо на ходу

27 октября компания DeepMind представила Genie 4, новую нейросеть, способную создавать интерактивные виртуальные пространства в реальном времени. Причём теперь такие миры не только выглядят реалистичнее, но и самостоятельно генерируют звуки, речь персонажей и реакции на действия пользователя.

Главное нововведение по сравнению с предыдущим поколением — генерация звука. Нейросеть создаёт звуки окружения, речь персонажей и диалоги прямо во время симуляции.

Google также улучшила поведение виртуальных персонажей и взаимодействие объектов. Люди могут реагировать на происходящее, а предметы — перемещаться и сталкиваться друг с другом.

Управлять окружением можно с клавиатуры, а текстовыми командами — менять погоду, добавлять объекты и персонажей.

В работе технологии также используются модели Gemini, которые помогают планировать действия внутри виртуального мира. В одной из демонстраций Google показала симуляцию человекоподобного робота Apollo, играющего в шашки.

Пока нет. Genie 4 способна генерировать интерактивные сцены, но у технологии остаются ограничения.

Продолжительность одной сессии составляет около двух минут. При длительном взаимодействии объекты могут менять внешний вид, а окружение — терять первоначальные детали.

Кроме того, нейросеть не всегда правильно воспроизводит физику и пространственное расположение предметов.

Поэтому Genie 4 пока нельзя считать заменой Unreal Engine или Unity. Но технология может быть полезна разработчикам для быстрого создания прототипов игровых локаций.

Сейчас Genie 4 доступна ограниченному кругу тестировщиков. В дальнейшем Google планирует открыть доступ подписчикам Google AI Ultra через Project Genie, а также разработчикам через Gemini API и Google AI Studio.

Точных сроков массового запуска компания пока не объявила.

Помимо игровой индустрии, Google рассматривает применение технологии для создания виртуальных сцен, обучения роботов и моделирования реальных ситуаций.