Что такое DLSS и убивают ли апскейлеры и генераторы кадров игры? История нейросети, которая смогла.

Думаю, многие в курсе, что масштабирование картинки в целях повышения производительности — далеко не новая идея. Ещё в прошлом веке геймеры догадались, что можно запустить игру в меньшем разрешении и потом растянуть картинку до уровня нативного разрешения монитора. Результатом таких манипуляций становились возросший FPS и желание выколоть себе глаза, так как мониторы в то время растягивали картинку методом так называемой «интерполяции ближайшего соседа». Но игроков в простенькие соревновательные игры, типа CS, где не нужны графические изыски, это устраивало.

Времена шли, методы масштабирования становились всё сложнее и совершенней, но вот настоящий геймчендж произошел в сентябре 2018 года на презентации NVIDIA.

Вместе с релизом видеокарт семейства RTX 2000 Дженсен Хуанг представил миру DLSS, это послужило началом эры «умного апскейлинга».

Система апскейлинга DLSS (Deep Learning Super Sampling) работает на основе глубинного обучения. Нейросетке показывают кадры из игры сперва в низком разрешении, а потом — в высоком.

Сама технология работает следующим образом: нейросеть сначала повышает разрешение сама, а потом сверяется с образцом, чтобы приблизить качество «восстановленных» кадров к оригинальным.

Конечно, в первой итерации не всё было идеально, не зря DLSS в те времена за своё замыливание картинки получила название Deep Learning Super Soaping. Да и интеграция этой технологии была довольно запарна для разработчиков, приходилось вручную обучать нейросеть для каждой отдельной игры, и игра эта не всегда стоила свеч.

В 2020 году вышла вторая версия DLSS, которая была на несколько голов выше своей предшественницы, теперь нейросеть брала информацию не из отдельных кадров, а накапливала информацию из предыдущих и работала с предугадыванием вектора движения. Это позволяло не только кратно увеличивать FPS, но и практически не терять в качестве изображения. Также с 2020 года у NVIDIA появилась единая нейросетевая модель, которую более не требовалось обучать работе с каждой отдельной игрой на специализированном оборудовании, что очень положительно сказалось на доступности технологии для разработчиков. Именно эта версия DLSS позволила миллионам зелёных геймеров с не самыми мощными ПК поиграть в ужасно прожорливый на ресурсы Cyberpunk 2077.

В 2022 году случилось нечто крайне неоднозначное: вместе с DLSS 3.0 и улучшенными системами апскейлинга изображения был представлен так называемый «генератор кадров».

Видеокарты выводят кадр на монитор не моментально по его готовности, а с задержкой в пару-тройку кадров. Этот гэп позволяет нейросети проанализировать 2 готовых к выводу кадра и понять, чем они друг от друга отличаются, дабы на основе полученной информации создать третий синтетический и засунуть его между двумя реальными. Визуально количество FPS и плавность картинки действительно растут, порой даже в 2 раза.

Но не стоит забывать о том, что обычно в играх нам приходится нажимать разные кнопочки, информация о которых считывается движком 1 раз за кадр. Проблема в том, что синтетические кадры существуют только на мониторе и в нашей голове, игра даже не представляет об их существовании. Результатом включенного генератора кадров становится ухудшение отзывчивости управления, притом чем меньше реальных кадров было изначально — тем хуже.

Всё чаще разработчики воспринимают DLSS и генераторы кадров как «костыль», позволяющий скрыть недостатки оптимизации. Вместо того, чтобы оптимизировать код, снижать нагрузку на CPU/GPU или чинить «утечки» памяти, студии полагаются на AI-алгоритмы, которые лишь визуально маскируют провал разработчиков. Результат? Порт первого TLOU, который на релизе без использования DLSS требовал 16 ГБ видеопамяти, просто невообразимое требование для игры, в которую можно было поиграть на PS4.

Gunfire Games, разработчики «Remnant 2», которые прямо признались в том, что игра была релизнута в таком виде с расчетом на DLSS. Если вы не понимаете, о чем речь, при первом запуске игры у вас будет автоматически включен невероятной агрессивности апскейлер, растягивающий на ваш Full HD монитор картинку, отрендеренную в 540p!

Это создаёт порочный круг: зачем тратить ресурсы на отладку, если можно просто добавить в настройки автоматически включенный пунктик DLSS. В итоге страдают все, начиная от визуальной составляющей игры, заканчивая геймерами. В наше время игровой опыт часто зависит не от мастерства разработчиков, а от мощности нейросетей, которые изначально были предназначены помогать людям со слабыми ПК, а не экономить деньги на разработке для игровых студий, на минуточку)

Как вы считаете, убивает ли DLSS игры фактом своего существования или вина лежит на ленивых или бездарных разработчиках? А может, вы вообще не видите в этом проблемы и вас устраивает текущая ситуация?