Как искусственный интеллект применяют в работе с графикой

Изменение черт лица в пару кликов, наложение эффектов, улучшение качества, восстановление цветов и многое другое.

Материал подготовлен при поддержке MSI

Первоначально исследования искусственного интеллекта и машинного обучения имели теоретический характер, и эти технологии не предназначались для практического повседневного применения. Но с развитием микроэлектроники мы получили инструменты, позволяющие на лету проводить сложные вычисления и облегчать выполнение десятков профессиональных и творческих задач.

Одно из ключевых направлений развития ИИ и нейросетей — работа с графикой. То, на что раньше уходило несколько часов или даже дней и множество итераций, сейчас делается за минуты и даже секунды. Например, в несколько кликов можно изменять черты лица на фото и видео, улучшать качество изображений, восстанавливать цвет на изначально чёрно-белых кадрах, менять фон и многое другое.

В этом материале рассказываем, как ИИ применяют в разных приложениях для работы с графикой и что заставляет эти технологии работать на современных устройствах.

Когда NVIDIA анонсировала видеокарты GeForce RTX и Quadro RTX в 2018 году, Adobe взялась за разработку расширений и новых функций, способных задействовать ИИ. В результате получился набор инструментов и API — Adobe Sensei, который интегрируется во многие приложения и сервисы компании.

Первым поддержку Sensei получил фоторедактор Lightroom. В 2019 году в нём появился инструмент Enhance Details: компания пропустила через алгоритмы машинного обучения более миллиарда снимков, обучив систему самостоятельно анализировать изображения и улучшать их качество до 30% (в зависимости от исходного формата файла).

Можно, например, даже восстановить детали текста на фото не в фокусе.

Или сделать изображение более ярким или тёмным.

Лучше всего алгоритм показал себя в обработке фотографий природы и снимков с резким контрастом — там множество равномерных паттернов или областей, которые легко восстанавливаются или заменяются.

Кроме поднятия чёткости, программа также автоматически предлагает оптимальные варианты коррекции и «проявки» снимков в RAW-форматах, включая настройки контрастности, экспозиции, бликов, теней, светлых участков, чёрных оттенков, насыщенности и яркости.

Ещё Adobe Sensei автоматически применяет теги к фотографиям, поэтому стало проще искать нужные снимки, когда работаешь с большими библиотеками. Больше не нужно добавлять теги вручную — система сама распознает собаку на фотографии и добавит к ней тег «dog». То же самое, кстати, умеют делать «облачные» галереи Google, Apple и других компаний, но у Adobe необходимые нейросети работают прямо на устройстве.

В этом приложении появилась масса инструментов, упрощающих работу ретушёров и художников. Например, Content Aware Fill плавно заполняет выбранную область изображения содержимым, взятым из других областей. Это позволяет легко убрать нежелательные детали.

Инструмент Neural Filters накладывает на изображения «сложные» фильтры. Например, фото можно превратить в рисунок, выполненный в стиле известного художника. Можно раскрасить чёрно-белый снимок, состарить человека и многое другое.

Face Aware Liquify автоматически обнаруживает на фото черты лица и позволяет тонко настраивать их. Например, сделать овал более вытянутым, поправить расположение глаз, увеличить или уменьшить щёки — на то, чтобы сделать всё аккуратно и естественно, даже у опытных ретушёров раньше уходило от нескольких минут до нескольких часов кропотливого труда, а теперь программа практически всё делает самостоятельно.

А с Object Selection Tool можно больше не мучиться с долгим выделением сложных объектов. Достаточно выделить человека в толпе прямоугольником — и программа сама поймёт, где границы тела. Намного точнее, чем прежде.

Видеоредактор NUKE применяется многими профессиональными студиями VFX (визуальных эффектов) при создании эффектов для фильмов и рекламных роликов. Многие инструменты приложения используют GPU-ускорение, а в версии 2020 года начали появляться инструменты, задействующие машинное обучение.

Благодаря нейросетям в NUKE 13 появилась возможность автоматически выполнять сложные задачи — от добавления (или устранения) пыли и грязи на видео до удаления маркеров захвата движений и ретуши, которая применяется к объектам, а не отдельным кадрам.

Ниже можно посмотреть, как герою ролика за несколько минут добавляют синяк под глазом.

Новые инструменты позволяют увеличивать разрешение отснятого материала в два раза, а также удалять размытие движений после цифровой стабилизации. Причём если добавление масок и сложная коррекция содержимого видео требует предварительного обучения локальной нейросети, то Deblur и Upscale работают на универсальной, предварительно обученной модели.

В версии игрового движка UE 4.26 появился встроенный инструментарий для добавления в игры технологии NVIDIA Deep Learning Super Sampling, или DLSS.

DLSS первых итераций требовала переобучения для каждой конкретной игры, однако этот процесс занимал слишком много времени, а результат был зачастую неудовлетворительным. Поэтому начиная с DLSS 2.0 технология производит темпоральный апсемплинг изображений при помощи универсальной предобученной модели. То есть система достраивает недостающую информацию на кадре в низком разрешении, основываясь на том, как выглядят предыдущие кадры, а потом применяет несколько фильтров, чтобы снизить «шум» и увеличить резкость.

Эта технология предназначена прежде всего для игроков, чтобы снизить нагрузку на видеокарты их ПК (или серверы GeForce Now), но и жизнь разработчиков DLSS улучшает достаточно сильно. Например, DLSS снижает нагрузку и на видеокарту разработчика при работе над сценой в движке, что может значительно ускорить рабочий процесс.

Также увеличение производительности благодаря DLSS 2.0 позволяет использовать более сложное освещение, геометрию и текстуры, а также добавлять аппаратную трассировку лучей в реальном времени без опаски, что игра будет работать как положено у совсем уж ничтожного числа игроков.

Кроме того, плагин DLSS для Unreal Engine поддерживает VR-приложения, то есть в будущем разработчики игр в виртуальной реальности смогут создавать более комплексные миры и локации, не увеличивая нагрузку на системы пользователей.

Нейросети и модели машинного обучения при работе задействуют порой огромные (в зависимости от задачи) матрицы данных. Их обсчёт стандартными ядрами процессоров и графических ускорителей может занимать слишком много времени, так как они изначально проектировались для другого рода операций.

Поэтому некоторые производители интегрируют в свои чипы отдельные вычислительные блоки, адаптированные исключительно для быстрой и эффективной обработки задач ИИ. Одни из наиболее эффективных и производительных нейроблоков на сегодня — тензорные ядра, которые впервые появились в профессиональных ускорителях NVIDIA на архитектуре Volta.

В 2018 году второе поколение тензорных ядер представили в составе архитектуры Turing, а в 2020-м NVIDIA вместе с актуальными ускорителями Ampere представила третье поколение технологии.

Номинальная производительность тензорных ядер третьего поколения осталась прежней, но появилась поддержка «структурированной разреженности» (Fine-Grained Structured Sparsity). Этот алгоритм подразумевает обучение нейросетей при помощи матриц высокой плотности с последующим сокращением объёмов «рабочих» матриц вдвое. Точность вычислений при таком подходе не теряется, а производительность значительно увеличивается, так как ядрам приходится обсчитывать более лёгкие данные.

Тензорными ядрами сейчас оснащают все видеокарты NVIDIA GeForce RTX 20-й и 30-й серий, а также профессиональные GPU NVIDIA Quadro и серверные ускорители поколений Volta, Turing и Ampere, предназначенные для дата-центров и суперкомпьютеров.

Количество тензорных ядер напрямую зависит от размеров чипа и количества активных ядер в нём — по четыре ядра на один стриминговый мультипроцессор (SM) архитектуры Ampere (у Turing было восемь).

То есть даже компактные и сравнительно недорогие ноутбуки с RTX 3060 или даже 2060 смогут обрабатывать задачи ИИ значительно эффективнее и быстрее, чем более мощные видеокарты прошлых лет (или других производителей) и тем более CPU без вспомогательных нейропроцессоров (все, кроме Intel Core 10-го и 11-го поколений).

NVIDIA представила инициативу RTX Studio — это стандарт качества для ноутбуков, которые созданы для работы с графикой и способны ускорять работу ИИ. Они должны отвечать определённым требованиям, среди которых: процессор Intel Core i7 серии H или мощнее, от 16 ГБ оперативной памяти, разрешение экрана до 4K. Есть также требования к габаритам и весу. Но главное — это видеокарта RTX 2060, Quadro RTX 3000 или мощнее.

MSI CREATOR 15 соответствует этому стандарту качества и превосходит его — он разработан для тех, кто профессионально работает с контентом: фотографов, дизайнеров, 3D-моделлеров, видеографов и разработчиков видеоигр.

MSI CREATOR 15 A10U поставляется в нескольких модификациях — в России представлены варианты с видеокартами RTX 3060, RTX 3070, RTX 3080 с 16 ГБ видеопамяти. В нём установлено 32 ГБ оперативной памяти и быстрый SSD объёмом до 2 ТБ.

Экран — сенсорный Full HD с полным охватом SRGB и заводской калибровкой Calman Verified. Также бывают версии с матовым 4К-дисплеем с полным охватом пространства Adobe RGB. А ещё ноутбук можно раскрыть на 180 градусов.

Толщина устройства меньше 2 см, а весит 2,1 кг, но при этом внутри нашлось место для мощной системы охлаждения Cooler Boost Trinity+ c тремя кулерами и батареи на 99,9 Вт*ч — это максимальный объём, допустимый у провозу в салоне самолёта.

CREATOR 15 оснащён всеми необходимыми портами и разъёмами, включая Thunderbolt 3, три полноразмерных USB, порт для проводного интернета и HDMI для комфортной работы без переходников, а сканер отпечатка и инфракрасная камера Windows Hello обеспечивают защиту учётной записи и быстрый вход без кодов и паролей.

MSI более десятилетия проектирует игровые ноутбуки и портативные рабочие станции Workstation с графикой Quadro, поэтому в «творческой» серии CREATOR реализован весь опыт компании в создании эффективных систем охлаждения, продуманных корпусов и подборе качественных дисплеев.