Нейросети научили строить 3D-модель объекта всего по одной фотографии

А в дополнение к этому этого они генерируют развёртку и фотореалистичную текстуру для модели.

В выпущенном обзоре статьи указывается, что нейросеть училась генерировать модель с развёрткой, позицию света и текстуру для модели, а после этого подавали результаты на движок рендеринга и сравнивали получившийся результат рендеринга с оригинальной фотографией на совпадение.

Благодаря тому, что нейросеть пытается отделить освещение от текстуры, текстура более приспособлена к другим типам освещения, за счёт чего модель можно использовать в любых других условиях.

В статье указываются и предыдущие решения, основанные не на нейросетях. На фотографиях видно, что текстура от нейросети является более смазанной. Тем не менее, сама модель выглядит симметричнее и не выдаёт артефакты со сторон, не видимых на фотографии, что является огромным успехом.

Вместе с оригиналом статьи авторы выложили код новой программы в свободный доступ.