Видео и гифки
Naykus
1643

Интерполяция пиксель арта и спрайтов с помощью ИИ

Демонстрация возможностей приложения Dain‑App, повышающего фреймрейт любого видео или анимации за счет добавления промежуточных кадров.

Проект находится на стадии альфы, разработчики выкладывает последнюю версию приложения в своем патреоне.

Сам Dain‑App бесплатен, монетизируют его за счет предоставления раннего доступа к последней версии на неделю раньше.

Материал опубликован пользователем.
Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "Naykus", "author_type": "self", "tags": [], "comments": 37, "likes": 65, "favorites": 104, "is_advertisement": false, "subsite_label": "avi", "id": 101054, "is_wide": true, "is_ugc": true, "date": "Fri, 07 Feb 2020 12:32:25 +0300", "is_special": false }
0
{ "id": 101054, "author_id": 70955, "diff_limit": 1000, "urls": {"diff":"\/comments\/101054\/get","add":"\/comments\/101054\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/101054"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 64963, "last_count_and_date": null }
37 комментариев
Популярные
По порядку
Написать комментарий...
10

Такое чувство что интерполяция идёт линейно, и не учитывает скорость. В оригинале художники добавляют больше кадров в те моменты, когда нужно замедлить действие (т.к фпс фиксирован) и меньше - там где нужно быстро, засчёт чего достигаются эффекты скорости/неожиданности/чувства силы удара и все такие субъективные штуки. Особенно хорошо это заметно с призраком, там ограниченное количество кадров заметно влияет на "криповость" поворота головы.

Ответить
7

Любой инструмент просто надо правильно уметь использовать ¯\_(ツ)_/¯

Ответить
1

Хз, вообще зачем это нужно для 2D спрайтов. Уж если хочется дешевых промежуточных кадров есть программы с автофазовкой вроде Cacani и Opentoonz. Постобработка в любом случае будет с артефактами.

Ответить
0

Да, такой эффект от повышения ФПС. Кажется что всё происходит медленнее. Наверное для такого же эффекта но уже в новой частоте нужно вручную подкручивать скорость воспроизведения в некоторых местах, и больше кадров отрисовывать.

Ответить
2

не совсем из-за количества кадров, сколько из-за количества изменений из спрайта в спрайт, интерполируются пробелы между ними равномерно, естественно все изменения следующего спрайта уже проявляются сразу после прошедшего, конечно же эффект неожиданности пропадает.

По моему должен учитываться дельта картинки между спрайтами, и чем она выше, тем большее замедление должно происходить первую половину фреймов инторполяции между спрайтами, и тем быстрее должны идти фреймы интерполяции второй части.

Например 9 фреймов между спрайтами, 5 должны идти с дельтой изменения 10%, а остальные 4 с дельтой 190%.

Технически можно это реализовать отдельно от алгоритма нейросети.

Ответить
0

Да, тут интерполяция линейная, из-за этого выглядит неестественно

Ответить
8
So I tried a frame interpolation software, called Dain-App. The result looks quite interesting to me with 8X interpolate: 4 frames -> 32 frames https://t.co/bJcbKwXf1d
Ответить
2

Это чувство когда всегда думал что это его глаза, но на самом деле это его ноздри.

Ответить
4

Блин, дикая круть. Это же можно дать вторую жизнь куче старых игр(да, я знаю, что думу давно дали миллионами модов).

Ответить
15

Нижний вариант в разы лучше выглядит

Ответить
0

Сообщение удалено

Ответить
0

Если когда нибудь выйдет такой ремастер Doom, то я бы купил самое дорогое из доступных изданий: всё таки автомаически лучшая игра 21 века.

Ответить
1

Круто, но не всегда уместно, как мне кажется. Потому что некоторые анимации начинают выглядеть дёшево и неестественно.

Ответить
6

Да, но сама программа будет хорошим подспорьем для аниматоров. Когда будут пилить анимации с учетом этой программы, то в теории все будет так как задумывал автор.

Ответить
2

Некоторые линейные анимации (волны, огонь, волк) выглядят потрясно.
Некоторые просто хорошо но странно (Sub Zero двигается и выглядит как живой актер, утратилась мультяшность - сложно воспринять немного)
Некоторые странно из-за несовпадения тайминга (Особенно как Sub Zero меняет ноги местами в последней анимации)

При правильном применении некоторые игры могут заиграть новыми красками :)

Ответить
1

Выглядит очень круто, но мыльно. Уже представляю как сидишь и часами полируешь новые спрайты.. 

Ответить
1

По сути автоматический морфинг со всеми вытекающими проблемами. Возможно, морфинг вручную в данном случае дал бы более качественный результат, требующий меньше постобработки.

Ответить
0

Разве подобные методы не используют в кинематографе? Хочется настраиваемую кривую.. Я не знаток и не программист, но разве нельзя для этого использовать кривую Безье?

Ответить
0

Ну вручную вроде так и делают, сопоставляя ключевые точки на двух кадрах и указывая путь. Хотя в случае с пиксель-артом конечно замыливания не избежать, ибо там получается выбор между мылом и адским шебуршанием пикселей.

Ответить
0

Инструмент крутой. Но "дерганные" анимации создают более "жизненное" впечатление  - примерно как в недавнем мультике про "Человек паук через вселенные"

Ответить
0

Ой нет, мульт был зачетным - но от низкого фпс глаза кровоточили... Разогнать бы его хотя бы таким вот алгоритмом, чтоб плавным стал.

Ответить
0

Точно! И Принца Дракона им же спасти.

Ответить
0

Кайф, вот бы кто при помощи этого алгоритма запил ремастер третьего МК, интересно было бы глянуть.

Ответить
3

Как-то так

Ответить
0

Если бы я это увидел тогда на телеке, то подумал что это снятые на гринскрине актёры (а не их фотографии, ну ты понял).

Ответить
0

Надо версию с аркадных автоматов, там фпс больше

Ответить
0

А эмуляторы это потянут? По умолчанию в архэмуль бы это запилить

Ответить
0

Нет, это не в реальном времени. Вроде бы нейросеть, поэтому памяти и всю мощь ПК жрёт уйму.

Ответить
0

Чо за игра

Ответить
0

Можешь спросить в твиттере автора, но судя по описанию на DA, это какая-то "RPG его друга" =)

Ответить
0

Опа! А это надо будет как-ниубдь попробовать - _-

Ответить
0

Похоже на алгоритм повышения фпс, использующийся в каждом современном телике (True Motion или как там еще его называют), только он с большим размахом по времени кадры анализирует.

Ответить
0

Года четыре как пользуюсь dmitrirender, который спокойно (на лету) вставляет промежуточные кадры в видеоряд с помощью видеокарты. 

Ответить
0

А что ты там смотришь пиксельартного? Бой против Таноса?

Ответить
0

Было бы интересно так Героев третьих прогнать целиком. С одной стороны чо трогать классику, но в то же время интересно было бы посмотреть.

Ответить
0

2рых тогда уж.

Ответить
0

Слева - ручной труд аниматора, справа - дешевая мобильная параша на флеше, субъективные впечатления такие.

Ответить

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fizc" } } }, { "id": 4, "label": "Article Branding", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "cfovz", "p2": "glug" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-250597-0", "render_to": "inpage_VI-250597-0-1134314964", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=clmf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Баннер в ленте на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudo", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "chvjx", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvc" } } }, { "id": 20, "label": "Кнопка в сайдбаре", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "chfbl", "p2": "gnwc" } } } ] { "token": "eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJwcm9qZWN0SWQiOiI1ZTRmZjUyNjYyOGE2Yzc4NDQxNWY0ZGMiLCJpYXQiOjE1ODI1MzY0Nzd9.BFsYFBgalfu_3oH9Fj-oBhiEgVx976VQfprRahAELFQ", "release": "3c305b26" }
{ "jsPath": "/static/build/dtf.ru/specials/DeliveryCheats/js/all.min.js?v=05.02.2020", "cssPath": "/static/build/dtf.ru/specials/DeliveryCheats/styles/all.min.css?v=05.02.2020", "fontsPath": "https://fonts.googleapis.com/css?family=Roboto+Mono:400,700,700i&subset=cyrillic" }