Аниме в 60 fps
Для начала изучим материал, там где это уже реализовано, а именно серию AMV за авторством lolligerjoj и его статью, как он этого добился.
И да, мы мысленно перемещаемся в 2014 год, где ни о каких нейронных сетях и речи не было.
AMV сделан на Adobe After Effects с дополнительным плагином Twixtor. Twixtor в основном используется для замедление времени, но главное его особенность, он может добавлять дополнительные кадры, глядя на два соседних кадра.
Во-первых, следует отметить, что почти все аниме изначально визуализируются и кодируются с частотой 23.976 кадров в секунду. Однако на самом деле это не единственная частота кадров. Большинство анимаций аниме на самом деле двигаются только со скоростью 12 кадров в секунду или 8 кадров в секунду!
И это первая проблема, потому что плагин изначально должен понять по какой частоте идет кадр, и чтоб вы поняли, вы должны выяснить по какой частоте идет каждая сцена.
Идем дальше, следующая проблема это артефакты. Twixtor не совершенен в угадывании того, что происходит между двумя заданными кадрами и в результате могут появиться такие артефакты.
И это проблема касается всех "генераторов", создания анимаций в 60fps. Такие артефакты встречаются повсеместно во многих видео, где использовали "генератор". Pro версия Twixtor стоит ни много ни мало $600 и такие артефакты, хоть и не полностью, но исправляет.
Вернемся к работам lolligerjoj. Долго думал, стоит ли выкладывать данный ролик, но для полноты картины, я подумал все же стоит. Артефакты Twixtor он оставил в данном ролике, так как он наоборот гармонирует с тематикой.
ОСТОРОЖНО! Следующее видео реально опасен для эпилептиков!
Что-то плохо стало... Так идем дальше.
Вы должны знать что аниме делается слоями. Background статична и не дергается, поэтому вам придется захватывать нужный вам слой, чтобы как раз таки не появлялись артефакты.
Чтобы раскрыть это тему, рассмотрим пример, где определенный слой не виден в кадре.
Обратите внимание, что на этом первом скриншоте передний план 2 (синий слой) находится позади переднего плана 1 (зеленый слой), где рука парня покрывает ее. Однако, если вы посмотрите на ее руку, она на самом деле покрывает некоторую часть груди парня. Это противоречит порядку переднего плана 1 (зеленый) и переднего плана 2 (синий).
Этот снимок экрана показывает, что в конечном итоге его задняя рука (передний план 3, Красный) тянется из-за нее вокруг нее, и его пальцы заканчиваются перед ее спиной. Здесь пальцы также должны находиться перед передним планом 2, даже если они являются частью переднего плана 3.
Как вы, наверное, поняли, ваша работа только что утроилась.
Но огромный плюс заключается в том, что маски для слоев вовсе не обязательно должны быть точными, плагин все за вас поймет.
Для этой сцены очень трудно удалить все артефакты. Так как сцена очень быстрая, в ней можно использовать размытие между кадрами.
Пару кадров, чтобы наверняка понять, что работы тут непочатый край.
И самое главное, вы должны понять, что все аниме целиком вы не сможете сделать в 60 кадров используя лишь этот инструмент. Лишь определенные кадры Twixtor способен "сожрать".
Чтобы максимально полезно использовать данный плагин, вы должны понять концепцию и логику создания кадров. И к сожалению идеально переделать аниме в 60 кадров не получится, только лишь с помощью хитрых заморочек. Поэтому Twixtor подойдет лишь в таких коротких кадров.
Как пример для следующего видео, вспышки объекта, чтобы придать больше фокуса движению и отвлечь от неаккуратной интерполяции.
И конечный результат...
Надеюсь вы немного поняли, насколько сложно сделать анимацию в 60 кадров вручную. Теперь представьте в это рамках полноценного аниме, это колоссальный труд. И зная, в каких условиях работают аниматоры, это просто не поднимаемый груз.
Я изначально просто хотел перевести и красиво оформить статью lolligerjoj. Оригинальная статья сделан только для аниматоров и перегружена техническими тонкостями.
p.s
мой старый текст, опубликую как есть