Проверяем, насколько можно верить раскрашенным нейросетью фотографиям (спойлер — далеко не всегда)

…или что может получиться, если дать снимающему на плёнку человеку три нейросети-колоризатора и немного свободного времени.

С момента появления раскрашивающих чёрно-белые снимки из прошлого сервисов, многие из вас, уверен, задавались вопросом — насколько аккуратно и правдиво они это делают? Автор этого поста тоже не остался в стороне, благо найти ответ для меня оказалось чуть легче. В силу своего увлечения историей техники ваш покорный слуга уже довольно долго снимает на плёночную фототехнику, поэтому идея «прогнать через нейросеть свои чёрно-белые снимки, сравнить раскрашенное с реальностью и указать на косяки» была тут же реализована, а результаты её показаны ниже. В качестве подопытных кроликов были выбраны следующие нейросети: Pallete.fm, MyHeritage, HDConvert.

Дисклеймер. Так как все кадры, которые вы увидите, были сняты на исторических реконструкциях, на них присутствует некоторое количество людей в немецкой форме. Данные кадры были сняты и выложены в научно-культурных целях и не имеют целью пропаганды фашизма, нацизма и прочих подобных движений.

Первым делом через все три нейросети был раскрашен портрет, снятый в прекрасных условиях — почти против солнца, один человек без сложного фона и в однотонной одежде (результаты — в галерее).

Наиболее близкий к реальности вариант после применения всех имеющихся инструментов тут получился у MyHeritage, почётное второе место заняла Palette. HDConvert же не угадал ни оттенок серого формы, ни материал пулемёта. Гораздо хуже дела обстоят с фоном — размытую майскую растительность за спиной пулемётчика смогла раскрасить в зелёный только MyHeritage.

Вторым подопытным образцом стал портрет реконструктора в форме участника гражданской войны, который вы уже видели выше. В отличие от немецкого пулемётчика, снят он был в условиях переменной облачности и солнца почти в объектив. Деталей также мало, фон размыт... Но хотя бы относительно правдоподобный результат не смогла выдать ни одна нейросетка.

Кадр от Palette получился самым реалистичным — нейросеть не смогла подобрать правильный цвет только для головного убора, фона и ремней. Ошибок много, однако по сравнению с двумя другими...

Отойдём немного от пытающихся быть похожими на исторические фото — нас тут интересует множество разных цветов в одном кадре без направленного солнечного света — зелёные деревья, человек в тёмно-синей одежде, ярко раскрашенный самолёт...

В лидерах у нас снова MyHeritage — она одна сумела правильно распознать оранжево-чёрную окраску авиамодели. Palette.fm хотя бы смогла сделать фон. Последнее место занимает HDConvert — до самого конца поста всё почти так и останется.

Снова кадры с реконструкций. Объединяет их тот факт, что сняты они обе в наиболее неприятных для фотографа и нейросетки условиях — против солнца и с множеством действующих лиц.

Здесь наилучший результат показала Palette — она одна сумела и в зелёный фон (наконец-то!), и распознала советскую форму цвета хаки. На двух других результатах реалистичностью даже не пахнет.

А с этим кадром не справилась ни одна.

Аналогично предыдущей, правильно её не раскрасила ни одна из нейросетей.

Так будет ли ответ на вопрос из заголовка? Будет, и увы неутешительный. Из шести кадров, представленных в посте, один сервис — HDConvert — не справился ни с одним кадром, Palette правильно раскрасила всего один, а MyHeritage — три. Выводы из этого остаются за вами, а я пока откланиваюсь.