NVIDIA Lyra 2.0 превращает одно плоское изображение в полноценный 3D-мир с постоянным окружением и рендерингом в реальном времени

Исследовательское подразделение компании NVIDIA представило генеративную систему реконструкции Lyra 2.0: Explorable Generative 3D Worlds, способную превращать одну обычную фотографию или концепт-арт в масштабное трехмерное окружение, по которому можно свободно перемещаться в реальном времени. Главной проблемой ранних видеогенеративных моделей оставались так называемое «пространственное забывание» (spatial forgetting) и временной дрейф (temporal drifting) — стоило виртуальной камере отвернуться от объекта и посмотреть назад, как нейросеть перерисовывала комнату или улицу совершенно иначе. Архитектура Lyra 2.0 полностью решает эту задачу, обеспечивая геометрическую стабильность и постоянство сгенерированного мира на сложных и длинных траекториях движения.