Мини-исследование по узнаваемости ряда аниме-произведений в нейросети Шедеврум.
Добрый день, в этот раз я решил не писать обзор, а провести небольшое исследование - хотя надеюсь, что в течение ближайших пары-тройки недель обзор на какое-нибудь аниме все же сделаю) Исследование своя я решил посвятить узнаваемости аниме в нейросетях, а именно, сможет ли по минимальному промту, включающему либо название, либо имя героев аниме (либо и то, и другое, но не более) нарисовать арт, хоть сколь-нибудь ему соответствующий. Да, сейчас можно без проблем нарисовать с помощью нейросетей почти что-угодно, особенно если правильно и подробно задать промт... но мой минималистичный подход даст возможность понять, насколько образ каждого из рассмотренных аниме "въелся" в арт-культуру, на основе которой обучают ИИ, насколько глубоко их персонажи оставили свой след в культуре - если нейросеть по одному названию аниме/имени персонажа сможет нарисовать его очень точно - значит, это аниме и/или персонаж относительно широко представлены в арт-культуре и "укоренились" в ней, если же нет - то значит, это аниме/персонаж такого следа не оставил.
Для чего я это изучаю - все просто, мне любопытно и интересно, и мне этого достаточно) Рассматривать в этот раз мы будем аниме, о которых я уже написал обзоры (ссылки все в тексте), и пусть это не самые широко известные и популярные аниме - но тем же интереснее!
В этом мини-исследовании я использую Шедеврум, ибо он прост, бесплатен, быстро работает, не сильно косячит при простых промтах и не имеет специализированной направленности. Более того, я уже обнаруживал узнавание и относительно точное отображение образов различных аниме-произведений. Большинство же более популярных арт-нейросетей либо платные, либо специализированные, либо значительно более сложны в освоении - а зарабатывать на них или как-то иначе использовать в своей работе я не собираюсь, а времени потратить придется немало (которого у меня не так уж и много). И да, они, конечно, могут сделать более лучший и точный результат при написании более точных промтов, но повторюсь, моя цель не отрисовать арт - а узнать, сможет ли нейросеть создать арт, хоть сколь-нибудь схожий с персонажами/стилем каждого конкретного аниме. Если хотите попробовать с другими нейросетями - буду только рад сравнить с вашими результатами)
А теперь закончим с вступлением и начнем перейдем к изучению аниме)
Первым рассмотрим аниме под названием "Астра, затерянная в космосе" (Kanata no Astra).
Начнем с простого - запрос по названию аниме, на русском и как Kanata no Astra.Что мы видим: и в том, и в другом случае нейросеть верно определяет аниме тематику, и в большинстве случаев (за одним исключением) рисует девушку, очень напоминающую Эрис, которую можно назвать главной героиней данного аниме.
Давайте теперь посмотрим, узнает ли нейросеть героев аниме по именам, в том числе и без уточнений принадлежности к данному аниме.
Начнем с вышеупомянутой Эрис Спринг. Результат вышел... Интересным. Нейросеть вроде узнает ее без уточнения, правда, почему то вместо наушников приделывает ей рожки - непонятно) Неужели понимает ее имя "буквально"?) С уточнением произведения она рисует ее как положено, почти всегда с наушниками (часть образа персонажа!), сохраняя внешнюю схожесть самого персонажа.
Далее идет Каната, лидер команды и тот, кого по праву можно назвать вторым главным героем. И снова верное узнавание образа, как при простом имени и фамилии (правда в одной из них ему занизило возраст), так и при уточнении. Правда, откуда иногда появлялись очки, мне непонятно.
А вот с другими персонажами уже не так гладко. Для начала, нейросеть не узнает их только по имени, рисуя кого-то совсем иного и не в аниме стиле (оттого и не привожу), так что необходимо уточнение. А во вторых, она очень не хочет рисовать их правильно, хотя, Юнь Хва и Ульгар получились относительно близко - правда, у меня есть подозрение, что сходство с Ульгара случайно - нейросеть и Канату примерно так рисует.
Нечто похожее, хотя и с явными чертами Эрис, получилось и с Полиной.
А вот Китори и Фуниция не рисуются вообще - это по сути та же Эрис, только для Киттори порой чуть более темная кожа, а Фуницию вроде как рисует чуть младше. Видимо, их не так много рисовали, что бы нейросеть ассоциировала эти имена с персонажами. И... нет, Китори конечно была бы счастлива обладать такими формами - но тут это выглядит издевательском от нейросети)
Лука, Зак аналогично - они все какие-то... Скорее похожие на Канату?
А вот с Шарсом получилось неожиданно - зимой его не узнавало, делая лишь чуть светлее, тогда как при нынешней генерации (там явно обновление в нейросети) его сделало очень даже похожим на оригинал.
Отсюда, делаем вывод, что определенное влияние на арт культуру данное аниме оказало, прежде всего, образом Эрис, ее главной героини. Она визитная карточка "Астры, затерянной в космосе", и ее главное лицо.
Насчет предыдущего аниме закончили, теперь же следующее на рассмотрении - «Деми-тян хотят рассказать» (Demi-chan wa Kataritai).
Начнем с простого, запрос по названию аниме - Demi-chan wa Kataritai (по русскому названию выдает примерно то же самое, так что не привожу).
Честно говоря, видим что-то не очень понятное и плоховато ассоциируемое конкретно с этим произведением - хотя есть и ряд небольших цветовых совпадений, наличие некого полухалата на последнем фото (намек на образ Тэцуо?), но это сомнительно, сомнительно... Впрочем, ничего удивительного - помимо небольшой фэнтезийной составляющей, визуально это обычная повседневка в современном мире.
Хорошо, попробуем по персонажам. Начнем с Тэцуо Такахаши - что ж, образ не идеально узнаваем, но тем не менее, тут и растрепанная прическа, и легкая небритость (кроме последнего), и мощные плечи, и сходная цветовая схема (кроме первого).
Далее - озорная вампирша Хикари Таканаши. Цвет волос в точку, но вот остальное... с чем-то смешивает?
Попробуем ее сестру, Химари Таканаши. Волосы снова в точку, но остальное... неужто смешивает с образом Рикки Таканаши и иных персонажей из "Чудачества любви не помеха"?
Попробуем далее - скромную дуллахан Кеко Мачи. А вот тут у нас точное попадание (ну кроме того, что голова у нее на плечах - но тут, полагаю, из-за переученности нейросети - отдельно не рисует ее) - и цвет волос, и растрепанная короткая прическа, и даже жилет, который она часто носит. Цвет глаз не тот... но думаю, не страшно.
А с тихой юки-онной Юки Кусакабэ получилось хуже всего - она дальше всего от своего образа, даже волосы, несмотря на зеленоватость, слишком темны по сравнению с оригиналом в аниме.
И наконец, суккуб Сакиэ Сато. И тут снова попадание в образ - и прическа, цвет волос, и более "взрослый" вид, и очки и цветовая схема - хотя, в аниме она и не ходила в столь открытой одежде. Впрочем, не исключено, что такая генерация вследствие стараний художников, рисовавших ее в разных образах) Все же, ее то рисовать самое то)
И какой же вывод сделаем? Пусть нейросеть часто спутывает образы персонажей данного аниме, однако, в целом, узнает их и делает схожие с персонажами образы, особенно, Тэцуо, Кеко и Сакиэ - что справедливо, ибо их образы очень запоминающиеся. Таким образом, данное аниме оказало влияние на арт-культуру и оставило в ней свой след.
Следующим на рассмотрении будет "Заботливая 800-летняя жена!", или, как более правильный вариант, "Непоседливая/заботливая лисица Сэнко" (Sewayaki Kitsune no Senko-san).
Как и для остальных, начнем с генерации по названию. Первым, будет оригинальное, Sewayaki Kitsune no Senko-san. Ушастая девочка-лисичка - есть. Цвет волос и прическа - схожи. Личико кстати тоже) А вот одежда немного не похожа...но возможно из-за артов в иной одежде)
Теперь, попробуем по названию "Заботливая 800-летняя жена!". Результат вышел неожиданным и... как по мне, очень милым) Да, у нас нет визуального совпадения персонажей (нейросеть понимает буквально), впрочем, ушки нейросеть явно рисует неспроста)
А вот по запросу "Непоседливая лисица Сэнко" получилась немножечко криповато - видимо, из-за эффекта зловещей долины...
Теперь же, перейдем к персонажам. Чуть отдохнем от лисичек, потому сначала будут люди. Курото Накано, измученный главный герой и офисный работник. Конечно, его убитый вид не передает, но в общем и целом верно.
Вторым человеком у нас является мангака Ясуко Коэнджи. И снова попадание в образ
А теперь снова к лисичкам. Разумеется, начнем с главной героини - Сэнко. Неожиданно, по одному ее имени сразу рисуется лисичка схожего с не типажа (хотя волосы иногда длиннее делает). С уточнением произведения делает аналогичную лисичку - явно узнает ее нейросеть)) Хотя рисовать ее одежду отчего-то не любит.
А вот дальше начались некоторые фейлы - правда, ряд из них с моей стороны) Следующая была Широ - ну и выдало мне Широ, правда, не ту) А вот уточнение аниме дало нам вполне нормальную беловласую Широ, из нужного нам произведения)
И наконец, Сора (или Едзора). Простой запрос по имени Сора дал совсем иного персонажа, по Едзора просто рисовал реалистичную японку в кимоно (не привожу). И тут, выясняя, с кем может ее путать нейросеть, увидел из предложенных вариантов "Сора и Широ". Видимо, их часто смотрят вместе, подумал я. Посмотреть, что там по запросу показывают? Не, это не наш путь) Сразу в нейросеть) Ну и мне выдало Широ и Сора)) Да, я не помню, как зовут персонажей "Нет игры, нет жизни", хоть и смотрел его) И обзор на него писать почти наверняка не буду, даже не просите - уж скорее я стану доктором наук, чем анимешники перестанут превозносить это произведение) И так много кто про него писал, извините уж!
Пришлось исправлять ошибку, уточняя произведение. Правда, хоть сколь-нибудь похоже на нее делало лишь по запросу с именем Едзора, тогда как на Сора получалась типичная Сэнко. Видимо, Едзора более верное имя, чем Сора. Но и в целом, с ней нейросеть справляется хуже - вероятно, она не столь популярна, как остальные представленные персонажи аниме.
Какой же вывод мы их этого сделаем? Аниме Sewayaki Kitsune no Senko-san, несмотря на определенную неприязнь среди ряда аниме-любителей, прочно вошло в арт-культуру, причем четкое узнавание идет для большинства персонажей, в том числе исключительно по имени. Хотя стоит отметить, что по именам второстепенных персонажей без уточнения наблюдается перекрывание с другими, более популярными аниме, такими как "Нет игры, нет жизни". Сэнко же заслуженно является главным лицом данного произведения.
А теперь, в конце, немного о еще двух рассмотренных мною аниме-произведениях. Okinawa de Suki ni Natta Ko ga Hougen Sugite Tsurasugiru, вероятно, слишком "свежее" и при этом не хайповое произведение, отчего по запросу выдает что-то совершенно не подходящее по стилистике и уж тем более персонажам. Хотя и в аниме уклоне. Пожалуй, надо будет проверить через годик-другой.
А вот с DearS ситуация интереснее. Зимой, до обновления Шедеврума, по этому запросу мне не выдавало ничего путного. Сейчас же выдало изображения, весьма по стилю (да и по внешнему виду) напоминающее его женских инопланетных героев. Даже цвет волос и характер причесок на некоторых явно отсылал к Рэн...
Но вот по именам полным провал, не узнает никого. Правда, один раз выдало какое-то творение безумного гения изуверского интеллекта... Как оно к такому пришло по такому запросу - для меня загадка...
Таком образом, DearS в какой-то степени сумел внести свой вклад в арт-культуру, однако, со временем он все больше размывается под потоком новых произведений.
Какой же итоговый вывод можно сделать после изучения "узнаваемости" 5 рассмотренных выше аниме в нейросети "Шедеврум"? Наибольший след в арт-индустрии оставило аниме и персонажи Sewayaki Kitsune no Senko-san, чуть меньшее Kanata no Astra и Demi-chan wa Kataritai. Полагаю, это хороший знак для этих по настоящему хороших произведений - у них есть своя преданная аудитория, которая о них не забывает, пусть, похоже, и не столь большая - все же, 100%-ого попадания в образ во всех случаях генерации нет. Хотя, конечно, не исключено, что это вызвано полетом творческой мысли арт-художников) Что касается DearS, то, судя по всему, постепенно исчезает из арт-культуры, будучи вытесняемым более новыми произведениями, да и короткое название не сильно помогает в его узнаваемости нейросетью. Тогда как Okinawa de Suki ni Natta Ko ga Hougen Sugite Tsurasugiru, вероятно, своего следа оставить еще не успело - но и сможет ли?
А на этом все, спасибо вам за внимание! Буду рад пообщаться с вами в комментариях! А если захотите попробовать сами повторить данное исследование в других нейросетях или касательно других произведений, то будет интересно сравнить наши результаты)
И да, подписывайтесь, будет еще много чего интерсного)