Представлены видео со свободной точкой обзора — free-view videos (FVV) на основе ReRF

Текущие методы, использующие нейронную визуализацию (NeRF) для создания FVV-контента ограничены либо работой в оффлайн режиме, либо способностью обрабатывать только короткие сцены с минимальным движением.

Новый метод ReRF (Residual Radiance Field) обладает отличным сжатием, и подходит для реал-тайм визуализации длинных динамичных сцен с возможностью свободно вертеть камерой.

Для FVV сделан отдельный кодек, который сжимает контент в десятки-сотни раз без потери качества:

ReRF — 0,645 МБ/кадр

INGP — 87,3 МБ/кадр

DVGO — 785,6 МБ/кадр

Сопровождается ReRF-плеером для онлайн-трансляций и длительных FVV сцен.

Подключил своего цифрового двойника к сайту/апе, через SD+SAM сгенерил ему новый шмот, повертел со всех сторон в ReRF-плеере, что понравилось — отправил на печать в 3D-принтере или доставкой на дом.

Интересно как свободную камеру в мире кино применят.

Больше интересного у меня в канале:

#NeRF #ReRF #aiart