Потрясающий алгоритм синтеза обзора может иметь огромное значение для захвата виртуальной реальности

Исследование тайского института науки и технологий Видьясиримеди показывает потрясающий алгоритм синтеза изображений, который значительно повышает реализм за счет точной обработки таких световых эффектов как зеркальные блики и линзирование через полупрозрачные объекты.

Ранее в этом году исследователи из Института науки и технологий Видьясиримеди в Районге, Таиланд, опубликовали работу над алгоритмом синтеза изображений в реальном времени под названием NeX. Его цель - использовать всего несколько входных изображений сцены для синтеза новых кадров, которые реалистично отображают сцену из произвольных точек между реальными изображениями.

Исследователи Суттисак Визадвонгса, Паккапон Фонтхави, Джирафон Йенфрафай и Супасорн Суваджанакорн пишут, что работа основана на технике, называемой многоплановым изображением (MPI). По сравнению с предыдущими методами, они говорят, что их подход лучше моделирует зависящие от вида эффекты (например, зеркальные блики) и создает более четкие синтезированные изображения.

Помимо этих улучшений, команда сильно оптимизировала систему, позволив ей легко работать на частоте 60 Гц - заявленное 1000-кратное улучшение по сравнению с предыдущим уровнем техники.

Хотя она еще не оптимизирована для конкретного случая использования, исследователи уже протестировали систему с использованием гарнитуры VR и полным движением 6DOF.

Исследователи приходят к выводу:

Наше решение эффективно для захвата и воспроизведения сложных зависящих от вида эффектов и эффективно для вычислений на стандартном графическом оборудовании, что позволяет осуществлять рендеринг в реальном времени. Обширные исследования общедоступных наборов данных и наш более сложный набор данных демонстрируют современное качество нашего подхода. Мы считаем, что расширение нейронной базы можно применить к общей проблеме факторизации светового поля и обеспечить эффективный рендеринг для других представлений сцены, не ограничиваясь MPI. Наше понимание того, что некоторые параметры отражения и высокочастотная текстура могут быть оптимизированы явно, также может помочь восстановить мелкие детали, что является проблемой, с которой сталкиваются существующие неявные нейронные представления.

Вы можете найти полный документ на веб-сайте проекта NeX , который включает демонстрации, которые вы можете попробовать сами прямо в браузере. Есть также демонстрации на основе WebVR, которые работают с гарнитурами PC VR, если вы используете Firefox, но, к сожалению, не работают с браузером Quest.

Обратите внимание на отражения в древесине и сложные блики на ручке кувшина! Такие зависящие от вида детали очень сложно использовать для существующих методов объемного и фотограмметрического захвата.

Фотограмметрия или подходы к «сканированию сцены» обычно «запекают» освещение сцены в текстуры, что часто делает полупрозрачные объекты похожими на картон (поскольку световые блики не перемещаются правильно, когда вы смотрите на объект под разными углами).

Исследование синтеза представлений NeX может значительно улучшить реализм объемного захвата и воспроизведения в VR в будущем.

Оригинал статьи.
#vr