Как Full HD превращают в 4К, и может ли это выглядеть хорошо

Рассказываем про «умный» апскейлинг разрешения в играх.

Материал подготовлен при поддержке MSI

Технологии развиваются неравномерно. Например, визуальные эффекты в играх могут сделать скачок, из-за которого даже самое мощное «железо» перестаёт справляться. Или производители консолей и видеокарт задают настолько высокие стандарты качества, что разработчикам приходится догонять прогресс.

Геймерам приходится покупать и обновлять игровые системы, чтобы не остаться отрезанными от последних достижений индустрии. Но есть технология, которая может заставить графику и железо двигаться навстречу друг другу, а не бежать наперегонки. Речь об апскейлинге — это масштабирование разрешения при помощи нейросетей.

В самом по себе масштабировании разрешения нет ничего инновационного — существует несколько десятков алгоритмов, которые способны «в реальном времени» увеличивать или снижать разрешение изображения, подгоняя его под возможности экрана.

Чаще всего конвертация происходит всё же устройством отображения: источник отправляет кадр в заданном разрешении, а тем, чтобы он занимал всю площадь экрана и минимально терял в качестве, занимается уже монитор. Одна из самых распространённых технологий сегодня — бикубическое масштабирование, алгоритм, который увеличивает цифровое изображение попиксельно. Он достраивает недостающие точках, сверяясь с информацией о 16 окружающих каждую из них пикселях.

Другие алгоритмы могут использовать для сверки от одного до 36 пикселей — обычно производители не указывают, как именно их монитор или телевизор «растягивает» изображение и не дают пользователю вариантов выбора.

Но это не всегда оптимальный вариант. Обратите внимание на сравнение алгоритмов в пиксельной игре (скриншот выше) и при апскейлинге фотографии (скриншот ниже). Там, где присутствует очевидная пиксельная сетка, лучше всего справляется самый примитивный, но с более сложными изображениями он создаёт «лесенки», которых удаётся избежать при большей выборке смежных точек.

Многие современные телевизоры используют временной апскейлинг: перед выводом изображения система накапливает кадры в буфере и дорисовывает целевому кадру недостающие пиксели — учитывая при этом, как изображение будет меняться в динамике.

Это позволяет повысить чёткость и плавность изображения в неинтерактивном контенте и снизить количество артефактов., Но для игр это не подходит, так как создаёт дополнительную задержку ввода — изображение выводится на экран с запозданием, делая управление неотзывчивым.

Продвинутые «умные» телевизоры и некоторые ТВ-приставки вроде NVIDIA Shield предлагают «умный» апскейлинг изображения.

По сути, это тот же временной алгоритм, но нейросеть дополнительно ищет на каждом кадре знакомые формы и текстуры ( шерсть, трава, дерево) и применяет заранее выверенные разработчиками фильтры и настройки - чтобы улучшить изображение и снизить вероятность возникновения артефактов.

Каким бы умным ни был телевизор, в «игровом» режиме все технологии для улучшения картинки отключаются, в том числе, увеличение разрешения. Если пренебречь рекомендациями производителя и оставить «улучшайзеры», задержка ввода может возрасти до нескольких сотен миллисекунд, что создаст дискомфорт из-за задержки ввода даже в самых размеренных играх.

Уже больше пяти лет игры в 4К — мечта и цель для многих геймеров. Но «грубой силой» производительного железа покорить эту высоту не получилось — сменилось уже три поколения видеокарт и полтора поколения консолей, но компромиссов избежать всё ещё не получается.

Консоли нового поколения чаще всего не «вытягивают» полное 4К-разрешение 2160р даже при 30 fps и далеко не максимальных настройках графических эффектов. И даже флагманские видеокарты, по цене сравнимые с недорогой иномаркой, только в 2021 году достигли достаточной мощности, чтобы гарантировать 40-60 кадров в секунду в нативном 4К при максимальных настройках с трассировкой лучей.

Но если не получается добиться «честного 4К», приходится искать способы создать достаточно убедительную иллюзию.

На консолях прошлого и текущего поколений большинство игр работают в разрешении значительно ниже 4096 на 2160 пикселей. чтобы изображение достаточно чётко выглядело на 4К-телевизорах, применяется шахматный рендеринг.

Это не совсем апскейлинг — при таком подходе изображение изначально рендерится под 4К, но с пропусками по одному или несколько пикселей, что напоминает шахматную доску. На каждом кадре пропуски располагаются в разных местах, чтобы алгоритм мог заполнять недостающие пиксели информацией с предыдущих кадров.

Шахматный рендеринг хорош тем, что эффективно снижает нагрузку на систему и не требует дополнительных аппаратных средств. На ПК шахматный рендеринг обычно не применяется, однако на многих более-менее актуальных видеокартах доступен режим апскейлинга с похожим эффектом.

Integer Scaling или «целочисленное масштабирование» производится видеокартой, а не монитором, не добавляет значимой или видимой задержки. Алгоритм дробит каждый пиксель изображения в низком разрешении на несколько суб-пикселей одинакового цвета, благодаря чему чёткость повышается без размытия и искажений.

Целочисленное масштабирование доступно на следующих видеокартах:

Такой апскейлинг подходит для игр с пиксельной графикой. Кроме того, в старых тайтлах с фиксированным низким разрешением ассетов, например, в «Героях 3», интерфейс и карта будут иметь привычные пропорции.

Правда, по краям объектов на экране могут появляться «лесенки», а цветовые переходы становятся резкими.

Для игр только две большие компании предлагают технологии апскейлинга: DLSS от NVIDIA и FSR от AMD (если не считать любительских наработок). Принцип работы у них разный, но обе задействуют нейросети в дополнение к стандартным алгоритмам.

Использовать их можно только в самих приложениях и играх (а не на уровне экрана или видеокарты). В 2021 году DLSS от NVIDIA интегрировали в движок Unreal Engine 4, а в будущем собираются добавить в Unity и UE5. AMD FidelityFX Super Resolution (FSR) стала доступна рядовым пользователям только в конце июня 2021 года и пока поддерживается лишь восьми играх. Алгоритм анализирует объекты на каждом отдельном кадре, увеличивает разрешение и применяет различные эффекты, включая сглаживание, увеличение резкости.

У FSR нет временного компонента: система не учитывает ни предыдущие кадры, ни положение объектов на будущих кадрах с учётом векторов, поэтому работает система неидеально и иногда допускает артефакты. Но зато и никаких особенно строгих системных требований у FSR нет: подходят видеокарты NVIDIA GeForce GTX 10-й серии и новее, AMD Radeon RX 460 и новее и даже графические ускорители от Intel.

Использование FSR снижает нагрузку на видеокарту от 40% до 60% в зависимости от разрешения и режима. В будущем технология может появиться и на консолях нового поколения, которые используют графическую архитектуру AMD.

NVIDIA DLSS (Deep Learning Super Sampling) устроена сложнее и обеспечивает более высокое качество масштабирования изображения, но и требования у неё намного выше. Технология опирается на специальные тензорные ядра, предназначенные для быстрого обсчёта матриц нейросетей, которыми оснащаются только видеокарты серий RTX 20 и RTX 30.

Согласно статистике Steam, такие карты есть примерно у 17% пользователей (это довольно много). В Steam порядка 120 миллионов учётных записей, то есть карты RTX используют порядка 20,5 миллионов человек. Однако подавляющим большинством этих пользователей назвать тяжело, поэтому не все разработчики считают DLSS необходимостью.

В DLSS первой версии нейросеть нужно было обучать на конкретной игре (это сотни часов), при этом рядовые геймеры и игровые журналисты жаловались на мерцание, низкую чёткость и другие проблемы.

Однако в DLSS 2.0 многое изменилось. Технология анализирует прошлые кадры и определяет векторы движения объектов в поле зрения, чтобы корректно обрабатывать динамичные сцены — без мерцания и артефактов.

В поддерживаемых играх прирост производительности с DLSS 2.0 достигает от 40% до 120% в зависимости от игры. DLSS поддерживается в большинстве крупных релизов: владельцев видеокарт GeForce RTX всё больше, вместе с этим растёт число потребителей новых технологий.

FSR и DLSS — не все технологии, которые снижают нагрузку на железо и повышают производительность игр с минимальным влиянием на качество графики. Microsoft активно тестирует продвинутую систему работы с памятью DirectStorage, на основе которой NVIDIA разрабатывает собственную RTX IO. Она ускоряют загрузку, упрощает обращение игры к ассетам и «агрессивнее» сжимает файлы на диске.

Сами графические API вроде DirectX 12 Ultimate и Vulkan интегрируют всё больше инструментов, чтобы оптимизировать производительность и снизить системные требования. Например, Variable rate shading помогает разработчикам разбивать отображаемое на экране пространство на зоны и рендерить их с разной степенью детализации. А Sampler feedback повышает производительность, позволяя игре повторно использовать уже отрендеренные текстуры или обходить рендеринг поверхностей за кадром, а также быстрее загружать текстуры.

Благодаря ИИ-оптимизации и тензорным ядрам в видеокартах современное железо скорее всего станет одним из самых «долгоживущих». Системные требования игр будут оставаться на одном уровне, что продлит актуальность игрового оборудования.

Кроме того, имея производительное железо уровня GeForce RTX 30-й серии и современных многоядерных процессоров, можно вносить собственный вклад в развитие «умного» апскейлинга для игр. Сообщества энтузиастов, которые занимаются «домашним» апскейлингом старых игр, используют продвинутые нейросети вроде Topaz Gigapixel или NVIDIA GameWorks для процедурного улучшения качества моделей и текстур. Тензорные и CUDA-ядра видеокарт NVIDIA значительно ускоряют процесс обработки ассетов: «омоложивать» игры теперь могут даже рядовые пользователи.

Мощные компьютеры с актуальными компонентами производит, например, MSI. Флагман в её линейке первой половины 2021 года — футуристичный системный блок Aegis Ti5, который оснащается процессорами Intel 10-го поколения, в том числе i9-10900K, и видеокартами GeForce RTX 3070 или RTX 3080.

Компоненты в корпусе расположены компактно. Видеокарта, например, вынесена на верхнюю панель, чтобы обеспечить ей стабильный приток чистого воздуха, а система жидкостного охлаждения Silent Storm Cooling 4 не только отводит тепло от процессора, но и обдувает чипсет и модули оперативной памяти. При этом MSI Aegis Ti5 можно обновить самостоятельно.

Системный блок оборудован интерфейсом Thunderbolt 3, настраиваемой RGB-подсветкой и фирменным игровым регулятором со встроенным OLED-дисплеем. На него выводятся данные мониторинга системы, например, частота и температура компонентов. А вращающейся рукояткой можно управлять громкостью звука и переключать режимы работы для разных задач.