«Starfield же не использует DLSS»: в NVIDIA не считают, что технология станет «костылём» для плохо оптимизированных игр

В компании называют Cyberpunk 2077 примером того, как DLSS открывает возможности, которые иначе пока недоступны разработчикам. Об этом и другом NVIDIA и CD Projekt RED поговорили с Digital Foundry.

В преддверии релиза Cyberpunk 2077: Phantom Liberty специалист Digital Foundry Алекс Батталия провёл круглый стол с участием:

Брайана Катанзаро, вице-президента прикладных исследований глубокого обучения в NVIDIA;
Якуба Кнапика, художественного директора в CD Projekt RED;
Джейкоба Фримана, технического маркетолога в NVIDIA.

Cyberpunk 2077 станет одной из первых игр с технологией реконструкции рейтрейсинга, которая войдёт в DLSS 3.5. Она позволяет снизить «шум» эффектов трассировки лучей (процесс также называется денойзингом) и добиться качества, которое превосходит нативный рендеринг.

Катанзаро рассказал, что инженеры NVIDIA начали работу над реконструкцией рейтрейсинга ещё в середине 2020 года. Тогда компания выпустила DLSS 2.0 и быстро поняла, что технология решает одну проблему, но создаёт другую, поскольку эффекты трассировки плохо сочетаются с апскейлингом. В результате рейтрейсинг получается слишком «размытым».

Мы знали, что есть фундаментальная проблема, которую можно решить, если интегрировать денойзер рейтрейсинга в DLSS, чтобы технология отвечала за всё сразу. Мы также знали, что ИИ может в целом сделать процесс денойзинга лучше, поскольку это очень серьёзная проблема в графике.
Брайан Катанзаро, вице-президент прикладных исследований глубокого обучения

Реконструкция рейтрейсинга в DLSS 3.5 решает проблему, которая возникала со старыми методами снижения шума. Эти денойзеры отдают приоритет стабильности картинки, а рейтрейсинг нацелен на реалистичные и динамические эффекты.

DLSS 3.5 позволяет избежать ситуаций, когда резко потухший источник света с рейтрейсингом оставляет медленно пропадающий силуэт, потому что денойзер просто не успевает среагировать.

Пример того, как обычный денойзер не справляется с динамическими эффектами трассировки в Minecraft

Катанзаро говорит, что реконструкция рейтрейсинга будет работать и на отдельные RT-эффекты, однако лучше всего результат будет заметен в случае с полноценной трассировкой пути. Например, в Cyberpunk 2077, где самые продвинутые эффекты трассировки связаны друг с другом.

Руководитель из NVIDIA отдельно прокомментировал опасения игроков, что разработчики начнут всё чаще использовать DLSS как «костыль» для плохо оптимизированных игр. Он подшутил над Bethesda и Starfield, а Джейкоб Фриман назвал Cyberpunk 2077 примером того, как DLSS открывает разработчикам иначе недоступные возможности.

Мне кажется, Starfield опровергает эту теорию. Потому что это не то, чтобы супер оптимизированная игра, и она при этом не использует DLSS. Так что они определённо не прибегли к такому «костылю» [смеётся].
Брайан Катанзаро, вице-президент прикладных исследований в NVIDIA

Cyberpunk 2077 можно назвать отличным примером того, как DLSS делает доступным уровень графики, который до сих пор был невозможен. Трассировка пути, реконструкция... без DLSS и Frame Generation вы бы просто не смогли запустить игру с этими особенностями при комфортном fps.
Если бы вы пять лет назад сказали, что сегодня мы сможем запустить игру с полной трассировкой пути с приемлемой частотой кадров, вам бы никто не поверил. Однако с Frame Generation это возможно — даже в 4K и 60 fps.
Джейкоб Фриман, технический маркетолог в NVIDIA

Я согласен с Джейкобом. Если негативно смотреть на технологии, то всё что угодно можно назвать результатом лени тех, кто занимается оптимизацией. Даже такую привычную для всех вещь как уровень детализации (LoD).
Ещё не так давно мультфильм «Город героев» от Disney был одним из первых анимационных фильмов с использованием трассировки пути. И теперь у нас есть игра с большим городом с этой же трассировкой пути в 4K и 60 fps. Это безумие.
Разработчики всегда должны добиваться наилучшей возможной оптимизации. Однако в этом случае необходимого «запаса» производительности бы никак не хватало для игры, если бы не решения, интегрированные в процесс рендеринга.
Якуб Кнапик, художественный директор в CD Projekt RED

Брайан Катанзаро говорит, что становится всё сложнее просто «выкручивать» графику, используя лишь традиционные методы рендеринга. Вместо этого инженерам нужно придумывать другие подходы к этому процессу, чтобы и дальше делать графику в видеоиграх более впечатляющей.

Реконструкция рейтрейсинга как раз один из примеров этого. Вы получаете картинку лучше, чем с нативным рендерингом, и ничего не теряете. Всё благодаря «умным» решениям.
Джейкоб Фриман, технический маркетолог в NVIDIA

Якуб Кнапик рассказал, что денойзер в реконструкции рейтрейсинга оказал на Cyberpunk 2077 наибольший эффект там, где игроки его, возможно, не ждали. Лица персонажей начали выглядеть чётче и лучше.

Вам будет гораздо проще провести денойзинг локации с трассировкой пути, чем сделать то же самое и добавить туда движущихся персонажей. У них получаются размытые лица. И когда мы выпустили техническое превью трассировки пути, люди говорили нам, что всё выглядит отлично, но лица пострадали. Все они были жертвами старого денойзера. DLSS 3.5 стала откровением. Когда я показал презентацию нашим руководителям, они не поверили.
Мы делаем сюжетные игры, и персонажи — ключевой объект на экране. Поэтому решение этой проблемы с DLSS 3.5 для нас стало главной победой.
Якуб Кнапик, художественный директор в CD Projekt RED

В рамках беседы Брайан Катанзаро из NVIDIA восхитился тем, что моддеры добавляют DLSS в игры, где апскейлера нет, а сама технология работает — даже несмотря на то, что её не «натренировали» на таких тайтлах.

Кантазаро также пояснил, почему официальная интеграция зачастую может оказаться лучше фанатской.

Это потрясающе, что интеграция DLSS с помощью модов работает. Я горжусь этим, потому что мы потратили на это много крови, пота и слёз.
Отмечу, что аккуратная интеграция DLSS по-прежнему важна, и это легко объяснить на примере постобработки, которую мы предпочитаем добавлять уже поверх DLSS. Потому что если вы попросите нейронную сеть провести апскейлинг кадра, к которому уже применены эффекты постобработки, она начнёт сходить с ума.
Люди иногда говорят, что глубина резкости ломается с использованием DLSS. Всё потому, что если вы сначала накладываете этот эффект на кадр, а затем просите DLSS провести апскейл, у вас будут проблемы.
Понимаю, что люди, которые добавляют DLSS в игры с помощью модов, могут не знать о том, как устроен наш процесс интеграции. Поэтому какие-то проблемы вполне ожидаемы. Но здорово, что у них в принципе есть такая возможность.
Брайан Катанзаро, вице-президент прикладных исследований в NVIDIA

Катанзаро подчеркнул, что реконструкция рейтрейсинга — очень «тяжёлый» в плане интеграции алгоритм, и такие моменты, как наложение постобработки уже поверх DLSS, становятся ещё важнее. Он пока не знает, когда моддеры смогут сами добавлять эту технологию.

Я буду горд и безмерно доволен, если мы сможем сделать интеграцию реконструкции рейтрейсинга настолько простой, чтобы её смогли добавлять моддеры.
Брайан Катанзаро, вице-президент прикладных исследований в NVIDIA

Наконец, Катанзаро прокомментировал мнение некоторых игроков о том, что DLSS, Frame Generation и другие технологии — это «фейковые» улучшения.

Я бы сказал, что кадры Cyberpunk 2077 с использованием DLSS и Frame Generation куда реальнее, чем кадры с традиционным рендерингом.
Если вы посмотрите на все графические уловки вроде различных видов окклюзии, теней и скринспейс-отражений — всё это куча фейков. Мы можем попросту избавиться от всего этого и получить реальные тени и отражения с трассировкой пути, и добиться этого можно путём синтеза массы пикселей с искусственным интеллектом. Так что фейком я просто называю нативный рендеринг.
Брайан Катанзаро, вице-президент прикладных исследований в NVIDIA

Это прозвучит странно, но я согласен с Брайаном. С одной стороны у нас есть растеризация, которая, как сказал Брайан, представляет собой кучу фейков, уловок, которые работают с изображением как бы разными слоями и при этом никак не взаимодействуют.
С другой стороны, у нас есть трассировка пути с куда более точной симуляцией освещения, отражений и окклюзии. И если раньше вы ещё могли сказать, что в использовании DLSS есть свои компромиссы, то с DLSS 3.5 наша игра без сомнений выглядит лучше, чем без неё. Здесь просто нет никаких компромиссов.
Якуб Кнапик, художественный директор в CD Projekt RED

Помимо Cyberpunk 2077 DLSS 3.5 с реконструкцией рейтрейсинга в ближайшее время появится в Alan Wake 2 на её релизе. Технология будет работать на всех видеокартах NVIDIA, поддерживающих трассировку лучей.