Про технологию нейронного сжатия текстур NVIDIA
Inno3D в пресс-релизе обмолвилась про какую-то технологию нейронного рендеринга от NVIDIA, которую покажут на CES. И тут я наткнулся на научную публикацию NVIDIA опубликованную в мае 2023 года, — «Random-Access Neural Compression of Material Textures», посвященное сжатию текстур с помощью нейросетей, и вот что кратко в ней предлагается, если просты…
Экономия памяти достигается тем, что все текстуры хранятся в памяти в качестве 256×256 сеток, а их декомпрессия происходит только при необходимости и попиксельно, — только для тех объектов, которые находятся на экране.Т.е. теперь не придется в памяти держать всю (полную) текстуру объекта, если видно только 5% этого объекта? Остальные 95% будут сжаты. Звучит вроде хорошо, а по факту вместо объема врама теперь необходимо иметь хорошую скорость декомпрессии, чтобы текстуры с огромной задержкой не прогружались, а они скорее всего и будут с задержкой прогружаться, как например освещение с пастрейсингом
Зато придется в памяти держать нейронку через данные которой и придется обращаться для получения апскейла)