Анонс DLSS 5, или как намеренно выстрелить себе в промежность одной презентацией

Объясняю, почему недавний показ технологии был очень странным, и почему всему этому есть банальное объяснение несмотря на то, что сама идея крутая.

Всем дарова. Что-то полистал я топики на тему DLSS 5 и поймал себя на мысли, что люди либо придуриваются либо реально не осознают тейки, которые высказывают так называемые "Луддиты". Модное словечко, которое голубой двач выучил, а теперь использует его по поводу и без.

Давайте на берегу условимся:

Этого будет достаточно, чтобы немного очертить тот факт, что я уже немного отличаюсь от диванных софистов. Мне хочется показать вам конкретику, используя наглядные примеры, чтобы дать больше понимания, что происходит.

А происходит следующее. Если мы откроем статью о DLSS 5 на сайте Nvidia - линк , то узнаем следующее:

Громкое заявление. Однако, они не наврали в одном - это реалтайм, что уже само по себе впечатляет. Мы не знаем все технические аспекты презентации, но технологию показывали на ПК с двумя видеокартами RTX 5090. На одной карте производился рендер игр, а на другой работал DLSS 5 в виде своеобразного фильтра, который якобы был тесно имплементирован в пайплайн построения итоговой графики на экране.

Идем далее:

Здесь они расписываются в том, что общепринятые способы и костыли для создания графики, близкой к реалистичной, закончились. Рендеринг в реальном времени уперся в преграду, которую они знают как решить - нейронные шейдеры.

Далее:

Nvidia и комментаторы на дтф, защищающие DLSS 5 утверждают, что обработка картинки силами нового апскейлера отличаются от обычной нейросетки уровня ComfyUI.

Давайте кратко обозначим, что эти нейросети уровня ComfyUI могут делать на основании уже существующего изображения:

Можно заставить нейросеть сгенерировать изображение на основе уже существующего. Ты можешь закинуть в нее картинку, скетч, блокинг и получить что-то новое. Это та самая магия, о которой некоторые говорят. Ты можешь нарисовать скетч персонажа, а компуктерный индус все это зафиналит. Нет, к сожалению или к счастью это так не работает. Потому что, как отмечает Nvidia - "каждый новый запрос генерирует уникальный контент". Есть способ контролировать этот результат, есть всякие контролнеты, маски глубины, цветовые и световые палитры, скелетные карты, но ты никогда не получишь именно то, что хочешь. Фактически, ты просто останавливаешься там, где результат кажется приемлемым. Ситуация все еще может проявлять гибкость, начиная с нахождения готовых сред для работы на конкретный результат, заканчивая фрагментарной работой с генерацией картинки.

Nvidia говорит, что DLSS 5 работает по другому. Что он очень сильно опирается на исходное изображение:

Далее идет перечисление референсных тайтлов, которые стали жертвой маркетологов без мозгов. Или нет?

Давайте залезем в залупу и вместе посмотрим на представленные примеры:

Смотрим, что делает DLSS 5 c освещением, средней и мелкой детализацией геометрии и как влияет на текстуры.

Сначала смотрим на освещение. Есть такой прием, которым пользуются иллюстраторы, чтобы чекать и тоньше контролировать световой рисунок на своем холсте - пара слоев в с режимами наложения (цветной в Lighten и серый в Hard Mix поверх), который утрированно выделяет световые зоны на объектах. Давайте накинем слой на наши скрины и посмотрим, изменились ли световые зоны:

Белых пятен стало больше и основные плоскости направлены вверх - на небо, когда как в исходной картинке пасмурная дождливая погода с очень мягким и глухим светом. Картинку строят остальные источники света, когда как в DLSS 5 версии все задавливается небом. Основное, что об этом говорит - асфальт за Грейс, более ярко освещенное ее лицо и то, что витрина теперь освещает слабее, чем небо. Можно долго рассуждать о том, какой световой рисунок более реалистичный и правильный, но я показываю это для того, чтобы зафиксировать, что свет в кадре DLSS 5 меняет, причем достаточно сильно.

Ко всему этому добавляется иная воздушная перспектива кадра, пропала взвесь от дождя. Если в ориге это дождь, то с DLSS 5 это скорее редкий дождь или момент, когда он закончился:

Да и вообще, кадр стал иным по распределению контрастов - более плоским в каком-то смысле.

Кадр с DLSS 5 кажется более студийным и рафинированным. Даже блик от подсветки нарисовался на столбе за Грейс.

Теперь посмотрим на геометрию. Кстати говоря, кадры которые здесь кидали в комментах, отличаются от тех, что лежат на сайте. Здесь ситуация с текстурами и формами лучше, однако давайте посмотрим внимательнее на лицо персонажа:

И действительно, основа то одна. Однако, цветокор иной, какой-то студийный. Свет более плоский и выставленный. Челюсть ощущается квадратнее, потому что больше не уходит в затенение. Тень на нижних веках была воспринята как нудовый макияж. Губы очерчены, с более акцентным цветом, когда как на оригинальной модели нет таких сильных фасок на линии очерчивающей форму губ. Да, это не переделка геометрии целиком, но лицо все равно воспринимается как другое, потому что на нем наведен классический "марафет", который все называют бьютифильтром из инстаграма. Плюс, на лице стала более явной носогубная складка и нижнее веко отчетливее переходит в форму скулы, когда как моделька в оригинальном рендере очень гладкая, да еще и свет на ней менее активный. Отсюда и впечатление, что на нас смотрит другое лицо, так и есть.

Судя по всему, та самая детализация "цветовымх и динамическимх векторов кадра для создания фотореалистичного освещения и материалов, которые являются детерминированными, стабильными во времени и привязанными к контенту игры" далека от нюансной мелкой детализации, в результате чего в средних формах без большого количества детализации или контрастных текстур DLSS 5 начинает пытаться изобрести велосипед.

Следующий пример:

Посмотрим световую картину:

Снова видим, как DLSS 5 поставил перед лицом Грейс лампочку, которая нарисовала на ее лице блики. Свет стал скорее двойным, чем однонаправленным снизу и справа.

В чб кстати это тоже видно. В оригинальном кадре присутствует глоу от источника света. На обработанном он списан и контрастность выравнена.

Смотрим детали:

Снова подчерченные губы, особенно цветом. Форма век стала рельефной с большим количеством складок. Это особенно заметно на правом глазу Грейс на верхнем веке. Очерченность текстуры губ и явная фаска перелома формы на верхней губе.

Честно говоря, вот этот пример мне даже нравится. Детализация лица стала намного выше, текстуры сложнее, но все равно хочется попросить пригасить эффект вполовину.

Знаете почему у меня возникает это желание? Из-за волос:

Сравните изначальный кадр и обработанный DLSS 5. Геометрия волос, полигональные плейны с текстурами остались, когда как лицо стало фотореалистичное и детализированное. Это ломает общее восприятие кадра также, как ультра реалистичный робот с кривыми топорными анимациями эмоций. Артефакты по контурам опустим, они и с обычным DLSS встречаются.

Идем дальше:

Свет:

Здесь DLSS 5 снова добавил отражатель снизу и усилил свет на лице Леона.

Также свет сделал межбровные складки более бугристыми, выделил морщины на текстуре век глаз, накинул шарп на губы. Складывается ощущение, что Леону прибавило лет 10 сверху.

Посмотрим свет:

Свет стал снова более акцентный от неба с более агрессивными тенями.

Хоть и цветокор усредненно реалистичнее - отражение неба выглядит хорошо, мертвые глаза перешли прямиком из базового рендера. Фоторильные текстуры с нюансами. Грубо говоря, примерно тоже самое, что и UHD текстуры на лицах в Morrowind:

Идем дальше:

Здесь опять в глаза лезет "Волосы Грейс Момент":

Очень прибавившее в фотореализме лицо + модель с огрехами и условностями сетки при выставлении позы - странные углы на плече, склада подмышкой, стробящие текстуры ткани. DLSS 5 усилил качество отрисовки лица намного сильнее, чем все остальное. Потому кажется, что в первую очередь DLSS 5 дорисовало новое лицо. Кажется, что оно просто врезано в кадр, будто применялся фотобаш.

И снова видим, что лицо освещено отдельно от сцены, DLSS5 сделал его сильнее засвеченным, плюс додумал носогубные складки и складки на веках:

Смотрите, как сильно лезет вперед лицо с DLSS 5 и как общий контур фигуры в районе головы получил что-то вроде нарочитой "подсветки" сзади.

Посмотрим лицо поближе:

Плюс к тому, он подкрасил мадаме губы, добавил на глаза легкие тени. Вроде бы и тоже самое лицо, а вроде и не совсем - немного гламуризированное.

Кстати, воздушку он контрастами тоже меняет достаточно сильно:

Идем дальше:

Снова на персонажах подсветка, они ощущаются врезанными в фон.

Будто лица подсвечены каким-то скрытым источником света. Да и контрастность освещения дальнего плана спорит с передним.

У мужика (не помню как звали чела) прям подсветка лица студийная, да еще и отражатель снизу. В кропе кстати смотрится неплохо, потому что остальная геометрия костюма очень хорошая. Однако, пригасить бы лицо, не вытаскивать его так сильно, было бы намного более сбалансированно. Как то вот так:

Смотрите, как сразу лица садятся на свои места и уже не кричат тебе о своей "обработанности" и вытянутой реалистичности.

Вот здесь, как мне кажется, с лицами ситуация самая плачевная. Выровненность, студийность и какая-то излишняя акцентность выкручены на полную.

Свет:

Просто на, получи прожекторами в ебало. Ну зачем так сильно повышать контраст света в этой зоне?

Опять придумал носогубные складки, усилил рельеф меж бровей, выделил врезку нижних век и нахуячил фасок на верхнюю губу и шарпенинг на текстуру этих самых губ. Сцена имеет пасмурное и очень глухое освещение, но в лицо персу просто долбит отражатель . Кросиво и богато? Да. Уместно в сцене? Нет.

Неужели это лицо не похоже на классический результат нейросети?

Классический тюнинг двойным светом с отчетливыми бликами и равномерной засветкой лица. Результат DLSS 5 такой же.

Другой пример кстати выглядит получше, так как тут нет лиц крупным планом. Соответственно, "фотошопить" лица ему не пришлось.

Лицо стало чуть корректнее освещено. Плюс волосы тут из-за простоты силуэта он подтюнил достаточно хорошо, заблендив туда отражение от неба. Правда, дальний план снова потерял дымку.

И последний пример с бабулей:

Смотрите как световой рисунок даже в упрощенном виде меняет не только характер освещения, но даже общее ощущение возраста персонажа:

Какое мягкое лицо в оригинальном кадре (не в последнюю очередь из-за подповерхностного рассеивания), и какой контрастный кричащий врезанный вид оно принимает с DLSS 5.

И опять очень похоже на нейронку, с однородным контрастом на рельефе и однородной засветкой самого лица.

DLSS 5 усиливает контраст картинки, часто уплощает и меняет характер освещения в кадре, меняя настроение и общее восприятие сцены. На что это похоже? Это похоже на демонстрации RTX, правда?

И если не делать акцент на дорисовке лиц, то чем это будет отличаться от других технологий, призванных просчитать свет в кадре более реалистично? Судя по всему, именно поэтому Nvidia так отыгралась на внешности персонажей.

Лица детальные? Да. Реалистичные? С точки зрения человека, для которого ИИ картинки реалистичные - да. С точки зрения человека, который уже видел сотни таких ИИ картинок - нет. У них у всех есть этот налет идеализированности - выставленный свет, проставленные блики как от направленного света, равномерная подсветка лица как от отражателей, повышенная контрастность теней - вылезающие носогубные складки и врезка форм нижнего века и скулы. И именно здесь возникает вопрос. А нахуя они сделали обработку персонажей именно так? Ответ простой, большая часть людей не видят разницу. Они видят возросшую детализацию, видят типа более живое лицо. Однако это все действительно ощущается как ультра-пупер 4K HD текстуры на игру из 2005 года. Когда база у тебя остается одна в виде корявенькой мимики, топорных анимаций, иногда лезущей на силуэтах объектов полигональностью и другими условностями, которые в не фотореалистичной графике легко игнорируются. Это та самая "перерисовка" и "дорисовка", о которой все говорят. В динамике это заметно еще сильнее.

В глобальном смысле тема с DLSS 5 интересная, если рассматривать ее в вакууме. Но фактически, если бы не лица, это почти ничем не отличалось бы от навороченного и умного решейда. Многие действительно любят засрать кадр контрастом и сделать так, чтобы даже дальний план был четенький. Судя по всему, именно потому и показали все именно так, чтобы у людей не возник вопрос "а че типа рейтрейсинг не нужон больше?". Более того, скорее всего вся тема с вайном по внешности была сделана умышленно, ведь теперь о DLSS 5 знает каждая собака.

Если эту шнягу дадут контролировать и она не будет засирать изображение своим фантазийным перешарпом, то может стать реально крутой фичой для разработчиков и геймеров. В остальном, стоит ждать более развернутого показа, глядишь там появится больше подробностей.