NVIDIA представила сжатие текстур при помощи ИИ (Neural Texture Compression)

NVIDIA опубликовала результаты исследования, описывающего новый метод сжатия, разработанный специально для текстур и поверхностей материалов. В PDF описан метод под названием Neural Texture Compression (NTC), приведены преимущества и недостатки. Саму технологию NVIDIA собирается представить разработчикам на конференции Siggraph 2023 с 6 по 10 августа, которые затем смогут использовать ее в играх.

На данный момент для сжатия крупных текстур используется алгоритм Block Compression (BC). За минувшие годы было сделано немало попыток оптимизировать сжатие крупных текстур, поскольку они занимают весьма значительную часть игровых данных, так как для фотореализма качество должно быть максимально возможным. Помимо высокого уровня детализации и минимизации потерь из-за сжатия, важна скорость распаковки. По этой причине в GPU есть выделенные аппаратные блоки, умеющие работать с алгоритмом BC.

Для NTC NVIDIA добавила еще два уровня детализации к привычным 14 текселям, используя сжатие с низким битрейтом, но качество при этом обещает быть даже выше, чем в случае довольно мощных технологий сжатия, таких как AVIF и JPEG XL.

Ключевая идея – в совместном сжатии нескольких текстур материалов и карт mipmap, после чего они распаковываются через нейросеть. То есть при участии искусственного интеллекта.

Для распаковки применяются матричные операции и инференс в нейросеть. Здесь как раз пригодятся ядра Tensor, которые присутствуют в трех последних архитектурах GPU NVIDIA. Строго говоря, первое поколение ядер Tensor появилось еще в архитектуре Volta для дата-центров. Нынешнее четвертое поколение ядер Tensor в архитектуре Ada Lovelace работает еще более эффективно во многих отношениях.

В документе описываются различные технические аспекты Neural Texture Compression. Но геймерам важны результаты, которые технология обеспечивает по сравнению с предыдущими методами.

На картинке показано сравнение стандартной BCx текстуры с нейронной текстурой NVIDIA (3,3 Мб против 3,6 МБ). Цена рендера при использовании новой технологии "зеленых" на RTX 4090 возрастает с 0,49 мс до 1,15 мс, но качество было намного выше, детализация просто великолепная.

На видеоролике можно посмотреть работу Neural Texture Compression:

Также NVIDIA показали технологии для реалистичной обработки десятков тысяч волос, в которой также помогает ИИ:

Последней новой технологией в свежей демонстрации стала NeuralVDB, которая использует силу ИИ для создания реалистичных визуальных эффектов:

#nvidia #ai #ии