Как МАИ Evangelion (НЕ) улучшали

1 января сего года на dtf появилась любопытная статья о применении апскейла нейронной сетью старых DVD аниме Neon Genesis Evangelion (NGE) аж в 4K разрешение. Далее я постараюсь пояснить для основной массы читателей (не очень хорошо разбирающихся в видео и аниме в частности) почему это очень плохо и в случае NGE, мягко говоря, не имеет смысла.

Как заявляют сами авторы в своей статье,

И несколько раз повторяют это в комментариях к ней

... якобы японское Blu-ray издание NGE 2015 года, которое и использовалось для создания всех "1080 версий в сети" является апскейлом (простое увеличение разрешения посредством растягивания картинки) из 480 (SD) В 1080 (FULL HD), что в корне неверно.

Как многие должно быть знают, в производстве большинства аниме (да и фильмов тоже) до 2000 годов использовалась кинопленка. NGE не исключение и для создания Blu-ray студией было выполнено сканирование исходных материалов на 16 мм кинопленке с последующей их очисткой от артефактов (пленка имеет свойство стареть со временем и легко подвержена повреждениям, таким как царапины и потертости, что выглядит как мельтешение полос и точек в кадре), цветокоррекцией, шумоподавлением и прочей постобработкой. Этот способ является практически идеальным для создания HD версий любого старого контента, так как фактически вы получаете настоящее HD, ведь кинопленка не имеет разрешения в привычном нам сейчас понимании.

Этот параметр в случае кинопленки называется "оптическое разрешение" и если опустить кучу технических подробностей и просто перевести оптическое разрешение 16 мм пленки с размером кадра 10,05×7,45 мм в цифровое, то мы получим (10,05 умножить на 7,45 = 74.8725 квадратных мм и умножить на 0.09 мегапикселя) примерно 6.738525 мегапикселей. Разрешение плёнки измеряется в линиях на миллиметр и эти линии представляют собой пары чёрных и белых линий, которые также известны как линейные пары на миллиметр. Изображение фиксируется на плёнке естественным образом, без компьютерной обработки и интерполяции и вы всегда видите столько же деталей на негативе, сколько их есть на самом деле, в особенности на среднем и большом формате. Расчеты произведены исходя из среднего значения разрешения кинопленки - 150 пар линий, а значит 300 линий или 300х300 = 90000 пикселей, или 0.09 мегапикселя, те самые, на которые мы и умножали площадь кадра на 16 мм кинопленке.

И это отнюдь не цифровые мегапиксели, тут каждый пиксель будет иметь полную RGB палитру. Например, для получения одинакового качества изображения с 35 мм кинопленкой (78 мегапикселей), цифровой фотоаппарат должен иметь разрешение около 156 цифровых мегапикселей. Этих данных вместе со студийной постобработкой вполне достаточно для создания хорошей картинки в разрешении 1440х1080 (4:3) на Blu-ray. Результат вы можете оценить сами:

Всего один (16) эпизод NGE на Blu-ray является цифровым апскейлом из 576, а не 480 (МАИ даже тут не угадали), так как исходная пленка была утеряна (или сильно повреждена, более точных данных нет) поэтому для создания 1080 версии 16 эпизода было выполнено сканирование Internegative (дубль-негатива) на 35 мм с последующей записью результата в 576p и дальнейшим апскейлом в 1080p. К тому же при сканировании была неверно выставлена экспозиция, в результате пропало много деталей в темных сценах.

DVD 2004 (16 эпизод):

Blu-ray 2015 (16 эпизод):

Помимо этого в этом эпизоде присутствуют другие артефакты, которые большинство риперов постарались устранить.

А теперь давайте сравним результат работы нейросети и оригинальный Blu-ray:

Lambda МАИ:

Blu-ray:

Для удобства сравнения и большей наглядности используем сервис сравнения скриншотов slow.pics. (смена картинок клавишами 1-2 или кликом мышкой)

Как вы можете видеть, картинка после обработки нейросетью больше похожа на векторную флэш анимацию (Масяня), чем на оригинал. Или на применение фильтра "картина масляными красками" в графическом редакторе. Штриховой рисунок смазан, геометрия объектов в кадре искажена, линии рисунка сильно утолщены.

Помимо этого присутствуют сильные артефакты в местах с быстрым движением и на кадрах с эффектом изменения глубины резкости, так как нейросеть не имеет понятия о таком - в ее задачи помимо самого увеличения разрешения также входит повышение резкости и она (нейросеть) неспособна отличить художественный замысел (умышленное размытие или расфокусировка в кадре) от замыливания, вызванного артефактами сжатия и тд.

Некоторые примеры артефактов и искажения геометрии в кадре вы можете увидеть на сравнениях ниже.

Lambda МАИ:

Blu-ray:

Для удобства сравнения и большей наглядности используем сервис сравнения скриншотов slow.pics. (смена картинок клавишами 1-2 или кликом мышкой)

Lambda МАИ:

Blu-ray:

Для удобства сравнения и большей наглядности используем сервис сравнения скриншотов slow.pics. (смена картинок клавишами 1-2 или кликом мышкой)

Lambda МАИ:

Blu-ray:

Для удобства сравнения и большей наглядности используем сервис сравнения скриншотов slow.pics. (смена картинок клавишами 1-2 или кликом мышкой)

Lambda МАИ:

Blu-ray:

Для удобства сравнения и большей наглядности используем сервис сравнения скриншотов slow.pics. (смена картинок клавишами 1-2 или кликом мышкой)

Lambda МАИ:

Blu-ray:

Для удобства сравнения и большей наглядности используем сервис сравнения скриншотов slow.pics. (смена картинок клавишами 1-2 или кликом мышкой)

Lambda МАИ:

Blu-ray:

Для удобства сравнения и большей наглядности используем сервис сравнения скриншотов slow.pics. (смена картинок клавишами 1-2 или кликом мышкой)

Помимо этого, особенность работы данной нейросети состоит в полном удалении какого либо зерна из кадра, а в случае с такими вот старыми аниме это фактически равно удалению мелких (и не только) деталей картинки.

Lambda МАИ:

Blu-ray:

Для удобства сравнения и большей наглядности используем сервис сравнения скриншотов slow.pics. (смена картинок клавишами 1-2 или кликом мышкой)

NERV? Зачем он нам... Попробуйте сами догадаться, на каком кадре работа нейросети, а на каком сканирование кинопленки:

Резюмирую: товарищи из Московского авиационного института бесполезно сожгли довольно много (я так думаю) электроэнергии ради достижения совершенно бесполезного результата. Да и выбранная нейросеть сама по себе не предназначена для такого (апскеил аниме в один клик), гораздо более логичным было бы использование таких известных нейросетей для апскейла аниме (и не только), как Waifu или Gigapixel AI.

P.S. Только сейчас заметил, что МАИ даже не выполнили конвертацию из rec.601 (цветовая матрица для SD разрешения) в rec.709 (цветовая матрица для HD разрешения) при преобразовании, что вызвало отклонение в оттенках.

P.P.S. Товарищи из Московского авиационного института также зачем-то обещали в будущем выполнить апскеил продолжения NGE - фильма The End of Evangelion, для Blu-ray издания которого было выполнено сканирование уже 35 мм кинопленки с еще более высоким итоговым качеством картинки.

Скриншоты The End of Evangelion (скан с 35 мм):

UPD от 05.01:

Казалось бы, я написал все, что хотел, но нет... Мне было интересно, как МАИ поступят с обработкой 16 эпизода, про проблемы которого (утрата пленочной копии) я уже писал чуть ранее в этой статье. Ребята сделали апскеил сразу с двух исходников - BD и DVD. Что ж, давайте сравним.

Lambda МАИ DVD:

Lambda МАИ BD:

Кодирование Beatrice-Raws (исходник BD):

Blu-ray:

Для удобства сравнения и большей наглядности снова воспользуемся сервисом сравнения скриншотов slow.pics. (смена картинок клавишами 1-4 или кликом мышкой)

Еще немного скриншотов из BD апскейла эпизода 16 от МАИ в оригинальном разрешении:

И снова встает закономерный вопрос - зачем нужен такой вот апскеил?

А вот опенинг, который в этом эпизоде является копией самого себя из предыдущих эпизодов, иными словами он получен путем сканирования 16 мм кинопленки и после апскейла нейросетью выглядит достаточно хорошо за счет своего изначально большего, чем остальное содержимое этого эпизода, разрешения.

Хотя, если провести сравнение с обычной 1080 версией, то все равно видны небольшие артефакты (утолщение и искажение штрихового рисунка), но они уже менее заметны и не настолько бросаются в глаза, как в предыдущих эпизодах (если конечно вас не напрягает овершарп).

Lambda МАИ BD:

Blu-ray:

По итогу имеем посредственный ап в 4к с DVD и с BD. Оба содержат как артефакты исходника (гало или если угодно, Ringing) так и описанные ранее в этой статье артефакты, вносимые используемой для увеличения разрешения (апскейла картинки) нейросетью - смазанный (похожий на векторную графику или картину, написанную масляными красками) штриховой рисунок, изменение геометрии объектов и излишнее усиление резкости, которое в свою очередь еще больше усиливает гало вокруг линий. Ну хоть бы немного постарались, а! Снова никакой подготовки исходного материала, снова ужасный результат. Даже плохая во всех отношениях BD копия 16 эпизода выглядит лучше, чем ее обработанный нейросетью вариант. Но нужно отдать ребятам должное - они все же прислушались к критике и обратили свое внимание на BD копию NGE, хоть и всего лишь для одного эпизода. Риперы из команды Beatrice-Raws применили фильтр для удаления гало, поэтому их вариант выглядит достаточно хорошо на фоне всех остальных.

UPD от 07.01:

Как я уже писал ранее, товарищи из Московского авиационного института также зачем то обещали в будущем выполнить апскеил продолжения NGE - фильма The End of Evangelion, для Blu-ray издания которого было выполнено сканирование уже 35 мм кинопленки с еще более высоким итоговым качеством картинки и они это сделали, использовав как исходный материал Blu-ray копию. Ну что ж, давайте сравним.

Lambda МАИ BD:

Blu-ray:

Для удобства сравнения и большей наглядности воспользуемся сервисом сравнения скриншотов slow.pics. (смена картинок клавишами 1-2 или кликом мышкой)

Lambda МАИ BD:

Blu-ray:

Для удобства сравнения и большей наглядности воспользуемся сервисом сравнения скриншотов slow.pics. (смена картинок клавишами 1-2 или кликом мышкой)

Lambda МАИ BD:

Blu-ray:

Для удобства сравнения и большей наглядности воспользуемся сервисом сравнения скриншотов slow.pics. (смена картинок клавишами 1-2 или кликом мышкой)

Как многие "анимешники" должно быть знают, сцены с воспоминаниями персонажей обычно выделяются сильным эффектом зерна и The End of Evangelion не исключение. Нейросеть использует очень сильное шумоподавление и естественно, что такие сцены оказались сильно повреждены.

Lambda МАИ BD:

Blu-ray:

Для удобства сравнения и большей наглядности воспользуемся сервисом сравнения скриншотов slow.pics. (смена картинок клавишами 1-2 или кликом мышкой)

Lambda МАИ BD:

Blu-ray:

Для удобства сравнения и большей наглядности воспользуемся сервисом сравнения скриншотов slow.pics. (смена картинок клавишами 1-2 или кликом мышкой)

Ну и уже привычные нам по NGE проблемы так же присутствуют

Lambda МАИ BD:

Blu-ray:

Для удобства сравнения и большей наглядности воспользуемся сервисом сравнения скриншотов slow.pics. (смена картинок клавишами 1-2 или кликом мышкой)

Отельное внимание стоит уделить настройкам кодирования кодека х264 (AVC):

cabac=1 / ref=1 / deblock=1:0:0 / analyse=0x3:0x113 / me=hex / subme=7 / psy=1 / psy_rd=1,00:0,00 / mixed_ref=0 / me_range=16 / chroma_me=1 / trellis=1 / 8x8dct=1 / cqm=0 / deadzone=21,11 / fast_pskip=1 / chroma_qp_offset=-2 / threads=12 / lookahead_threads=2 / sliced_threads=0 / nr=0 / decimate=1 / interlaced=0 / bluray_compat=0 / constrained_intra=0 / bframes=2 / b_pyramid=0 / b_adapt=1 / b_bias=0 / direct=1 / weightb=1 / open_gop=0 / weightp=2 / keyint=30 / keyint_min=15 / scenecut=40 / intra_refresh=0 / rc_lookahead=30 / rc=crf / mbtree=1 / crf=21,0 / qcomp=0,60 / qpmin=0 / qpmax=69 / qpstep=4 / vbv_maxrate=300000 / vbv_bufsize=300000 / crf_max=0,0 / nal_hrd=none / filler=0 / ip_ratio=1,40 / aq=1:1,00

ref=1, me=hex, me_range=16, bframes=2, rc_lookahead=30 - этим параметрам заданы катастрофически малые значения для поддержания нормального уровня качества, а crf=21,0, keyint=30, keyint_min=15 направлены на адское занижение битрейта, что вызывает потерю деталей, появление блочности, бандинга и других артефактов сжатия. К тому же keyint=30 и keyint_min=15 негативно влияют на перемотку при воспроизведении в плеерах, так как она работает по ключевым кадрам.

К слову, настройки кодирования х264 (AVC) для NGE были намного более правильными:

cabac=1 / ref=16 / deblock=1:0:0 / analyse=0x1:0x131 / me=umh / subme=10 / psy=1 / psy_rd=1.00:0.00 / mixed_ref=1 / me_range=24 / chroma_me=1 / trellis=2 / 8x8dct=0 / cqm=0 / deadzone=21,11 / fast_pskip=1 / chroma_qp_offset=4 / threads=67 / lookahead_threads=11 / sliced_threads=0 / nr=0 / decimate=1 / interlaced=0 / bluray_compat=0 / constrained_intra=0 / bframes=8 / b_pyramid=2 / b_adapt=2 / b_bias=0 / direct=3 / weightb=1 / open_gop=0 / weightp=2 / keyint=250 / keyint_min=23 / scenecut=40 / intra_refresh=0 / rc_lookahead=60 / rc=crf / mbtree=1 / crf=17.0 / qcomp=0.60 / qpmin=0 / qpmax=69 / qpstep=4 / ip_ratio=1.40 / aq=1:1.00

Видимо, в отличии от кодирования NGE на серверном оборудовании (на что намекает кол-во потоков threads=67), кодирование фильма The End of Evangelion выполнялось уже на домашнем пк (threads=12). Это может объяснить, почему для фильма были установлены такие низкие значения у параметров кодирования х264 (AVC), ведь чем выше (больше) значения у ref, me, me_range, bframes и rc_lookahead, тем сложнее сам процесс кодирования и как следствие этого - меньше его скорость.

По итогу, хоть исходным материалом для апскейла на этот раз служило Blu-ray издание, а не DVD, излишнее шумоподавление, усиление резкости и слишком заниженные настройки кодирования х264 (AVC) снова вызвали сильную потерю деталей и тд и тп, а значит результат снова очень плох, пусть и не настолько, как это было в случае с NGE. Там он был просто ужасен.

Ну и проблемы, вносимые самим алгоритмом апскейла нейросети, про которые уже не раз говорилось ранее ("ломание" эффекта расфокусировки и просто любого эффекта, связанного с глубиной резкости), никуда не делись и по прежнему присутствуют в видео.

В статье использованы материалы из