Оффтоп Антон Самитов
6 569

NVIDIA научила ИИ «замедлять» любое видео, симулируя эффект ускоренной съёмки

Полученные кадры почти не уступают результатам работы дорогостоящих камер.

В закладки

Исследователи из компании NVIDIA рассказали об обученной ими нейросети, которая способна «замедлять» видео, снятые при 30 кадрах в секунду, увеличивая эту частоту до нескольких сотен.

При помощи нескольких графических процессоров Tesla V100 и системы «глубокого обучения» PyTorch ИИ «скормили» одиннадцать тысяч роликов, записанных при 240 FPS. На их основе он стал способен «предсказывать» и дополнять видео сотнями кадров с недостающей информацией.

Для наглядности в компании сопоставили видео, воспроизведённые при 12% от оригинальной скорости с результатами работы алгоритма.

На полученных кадрах трудно заметить какие-либо артефакты, а движение на них плавное. Разрешение и чёткость при этом не отличается от источника.

Работы ИИ всё же уступают роликам, записанным, например при помощи камер Phantom, стоимость которых достигает десятков тысяч долларов. Однако преимущество разработки NVIDIA в её универсальности.

С помощью нейросети можно в том числе ещё больше «замедлять» ролики со «слоу-мо». Алгоритм в качестве примера опробовали на видео с YouTube-канала The Slow Mo Guys.

Разработчики из NVIDIA отмечают, что несмотря на то, что поддержка съёмки при 240 FPS есть в современных смартфонах, пока что она очень энергозатратна и не слишком практична в некоторых случаях.

Нейросеть же может работать с уже отснятыми роликами, несмотря на то, что для обработки видео ей требуется больше времени, чем на нативную съёмку.

#технологии #nvidia

{ "author_name": "Антон Самитов", "author_type": "editor", "tags": ["\u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438","nvidia"], "comments": 86, "likes": 199, "favorites": 25, "is_advertisement": false, "subsite_label": "flood", "id": 21658, "is_wide": false }
{ "id": 21658, "author_id": 24538, "diff_limit": 1000, "urls": {"diff":"\/comments\/21658\/get","add":"\/comments\/21658\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/21658"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 64955 }

86 комментариев 86 комм.

Популярные

По порядку

Написать комментарий...
18

Скоро все смогут играть на своих вёдрах в 480 FPS.

А если серьёзно, то телевизоры уже давно научили отрисовывать промежуточные кадры, причём в реальном времени.

Ответить
88

И делают они это крайне дерьмово.

Ответить
12

"Скоро все смогут играть на своих вёдрах в 480 FPS."
Вообще не в тему.

Ответить
2

Отнюдь, ничего не мешает реализовать это полностью аппаратно как дополнительный чип в ТВ или видеокарте и повышать плавность на лету (с задержкой в кадр или несколько для анализа движения).
Я уже делал так когда-то для игр, залоченных на 30фпс, но в программном режиме.

Ответить
3

Чип с производительностью нескольких топовых видеопроцессоров...

Эм, не проще просто апгрейд сделать?)

Ответить
0

А теперь представьте, если бы создатели ASIC/FPGA да и просто видеокарт имели то же мышление. Зачем создавать специализированное железо, можно же просто разогнать процессор и все обсчитывать на нём.

Ответить
3

Это актуально для видео, где нет возможности промежуточные кадры получить, только предсказать.
Для игр вообще не подходит - во-первых проще этот промежуточный кадр просчитать (у нас есть все данные для этого), а не угадывать что там должно быть, во-вторых если даже вы успеваете рассчитать кадры для отображения, то у вас получается ситуация, что у вас уже есть следующий кадр, но вы пользователю показываете предыдущие рассчитанные и уже не актуальные кадры, вводя лаг отображения, что недопустимо для риалтаймовых сетевых игр.

Ответить
0

У меня была ситуация, например, когда MGS3 в программном режиме на эмуляторе PS2 задействовал только процессор, оставляя видеокарту свободной. Качество картинки в программном режимеи известно какое, поэтому я использовал аппаратно ускоренные SVP и madVR для реализации подобия TXAA и апскейла на простаивающих мощностях.
Здесь идея похожая.

Ответить
3

Еще как мешает.

В видео нейросеть имеет возможность изучить текущий и последующий кадр, на их основе нарисовать недостающие. В играх же "следующий" кадр неизвестен до того, как игрок совершит действие (например, начнет поворачивать камеру). Соответственно, придется ждать следующего кадра, анализировать, дорисовывать, и только потом показывать результат, что даже в самом идеальном случае все равно будет приводить к повышенным задержкам ввода. А учитывая тот факт, что понижение (а не увеличение) задержки ввода дает едва ли не больший эффект плавности на высоких частотах кадров, чем визуальная плавность, то мы весь смысл от такое технологии сводится на нет.

Ответить
0

понижение (а не увеличение) задержки ввода дает едва ли не больший эффект плавности на высоких частотах кадров

Вот тут цитата нужна, плавность от задержки ввода никак не зависит, если она постоянна. На сетевых играх свет клином не сошелся, в сингле от разделения нагрузки между видеокартой и умножителем кадров вполне может быть прирост.
Идея мало чем отличается, от рендеринга на пониженном разрешении с последующим апскейлом на отдельном чипе, просто разрешение меняется с пространственного на временное.

Ответить
9

Нет, в теликах деревянный Frame Blending и он ужасен. Тут качественно другой уровень.

Ответить
6

В играх такое использовать нельзя, т.к. данный процес замедляет прорисовку кадра

Ответить
1

Это ведь результат работы машинного обучения, скорость рендера будет не выше, чем на насыщенной сцене в 3D Max. 480 fps в час, разве что.

Ответить
0

Неправда. Обучение - долгий процесс. Вычисление результата по обученной сети происходит гораздо быстрее. Все зависит от ее сложности. Для мобилок обученную сеть можно подрезать, чтобы получить прирост производительности за счет небольшой потери качества.

Ответить
0

Верно, что получение результата обученой сети быстрее, чем само обучение. Но неверно, что вычисление всегда можно "подрезать" - все зависит от конкрентного полученого полинома(-ов) и требуемой точности.
Если коротко: не факт, что можно "подрезать".

Ответить
0

А кто говорил "всегда"?

В работе NVidia конкретно используются U-Net-сетки.

https://arxiv.org/abs/1712.00080

Бери считай сложность вычисления по такой сети.

Ответить
0

Круто, давать ссылку и просить других посчитать за тебя. Я бегло просмотрел их 12 страничный документ и не увидел ничего о скорости вычислений промежуточный кадров. Они лишь вскользь говорят об алгоритмах вычислении позиций промежуточных кадров на временной шкале между двумя ключевыми кадрами. Мне кажется, это будет не быстрее любой другой массивной программы, как-то 3d max или Sony Vegas. Очень сомнительно, чтобы её можно было использовать для вычислений промежуточных кадров в играх в реальном времени.

Ответить
0

Во-первых, я не тебе давал ссылку.
Во-вторых, никого не просил что-то посчитать за меня. Если ты работал с U-Net, у тебя быстро выстраивается в голове картина. Если нет, извини. Человек, которому я ответил, есть шанс, что работал. Но спасибо, что ты прочитал статью.

Насчет риалтайм использования - уверен, что на массовом железе сейчас риалтайма не будет, но это вопрос нескольких лет. И вообще, ничего прорывного в работе нет, что все так всполошились-то.

Ответить
0

https://spark-in.me/post/unet-adventures-part-one-getting-acquainted-with-unet
"Relatively high GPU memory footprint for larger images:
640x959 image => you can fit 4-8 images in one batch with 6GB GPU;
640x959 image => you can fit 8-16 images in one batch with 12GB GPU;
1280*1918 => you can fit 1-2 images in one batch with 12GB GPU;"

Очень затратно по памяти GPU. С другой стороны, скорость вычисления не зависит от размера. В любом случае, о мобилках пока не может быть и речи.

Ответить
0

Эта цитата относится к процессу обучения сети. Нам интересен только процесс использования готовой модели.

Вот пример того, как U-Net адаптируют к мобилкам:

https://github.com/akirasosa/mobile-semantic-segmentation

Ответить
1

"Скоро все смогут играть на своих вёдрах в 480 FPS":
"несмотря на то, что для обработки видео ей требуется больше времени, чем на нативную съёмку"

Ответить
0

Если совсем уж серьезно, то даже сейчас с простенькой интерполяцией это добавляет адовейший инпут лаг. Если там нейросеть задействовать, то это вообще караул.
Ну и даже если делать интерполяцию между двумя кадрами мгновенно, то все-равно будет инпут лаг, и чем меньше фреймрейт в исходнике тем сильнее лаг.

Ответить
22

"Полученные кадры почти не уступают результатам работы дорогостоящих камер".

Но... ведь уступают, и заметно.

Ответить
6

И артефакты вполне проявляются.

Ответить
1

В кадрах да, но самое главное, что если не ставить на паузу, то никакие артефакты увидеть невозможно.

Ответить
2

На хоккеисте очень даже возможно. Увидел косяк с коньком при первом же просмотре (без всяких пауз).

Ответить
1

даже в рекламном видео

Ответить
5

Предвижу волну новых релизов старых фильмов на торрентах в 240FPS
И это хорошо

Ответить
5

Что хорошего? Хотя, впрочем, может только я не понимаю смысла смотреть в 60 или 240FPS фильмы, которые изначально были сняты в 24.

Ответить
2

Ну если мы говоим о фильмых Чаплина, то да - потеряемся весь шарм.
А если никакой авторской задумки не было и я просто посмотрю фильм с подтянутой картинкой, почему бы и да ? ))

Ответить
0

Какое отношение фильмы Чаплина имеют к фильмам, которые изначально были сняты в 24 FPS?

Ответить
0

А что, подавляющее большинство фильмов снятых в 24 было снято не из за технических органичений а исключительно потому что таков был художественный замысел?

Ответить
–2

Если честно, не понял, зачем вы на мой вопрос отвечаете совершенно другим вопросом, но давайте я тоже попробую. Долго ли мы будем притворяться, что пить чай без сахара нормально?

Ответить
1

Вы задали вопрос под мои ответом на него.
В фильмах чаплина все намеренно движется быстрее - это часть юмора его фильмов (да, исторически так случилось из за камер, в которых пленку вручную крутили, но не суть) - если их смотреть с высоким FPS получится хрень полная.

Но если в 240 FPS пережмут таким образом матрицу и еще кучу фильмов, в которых не было задумки снимать имено в 24 кадрах - чем это плохо ?

С таким успехом можно сказать - "а зачем 17 мгновений весны отреставрировали в цвете ?" Затем что снимать ЧБ была не задумка - по другому просто не могли. И это не означает, что теперь нет смысла сделать качество хоорших фильмов лучше
https://rutracker.org/forum/viewtopic.php?t=2387898

ЗЫ: спросите ещё у Камерона, зачем он титаник в 3D сделал и в кинотеатры пустил

Ответить
2

Я вообще не об этом говорил. Фильмы эпохи Чаплина не были 24 кадра в секунду. В то время использовалось от 12 до 16 FPS. Я как раз считаю, что люди слишком засиделись на 24 кадрах, считая его теперь "эталоном", при том, что это просто ещё один этап. Сначала нам хватало 8 кадров, 12, 16, 24, давно пора идти дальше. Но довольно много людей сейчас думают, что "испокон веков было 24 кадра, сам Бог подсказал Моисею и братьям Люмьер использовать такую частоту, так что остальное от лукавого". Мне кажется, что если бы люди понимали, что это один из этапов развития (а не столп мироздания), то им было бы легче принять следующий шаг.
Щас целую эстетическую теорию развили, типа "24 кадра - это кинематографично, а 48 смотрится по сериальному". Давайте вернёмся к 12 FPS - это ещё более кинематографично.

Ответить
1

а зачем 17 мгновений весны отреставрировали в цвете ?

Можно еще колизей достроить и Вене Милосской руки приделать)

Ответить
0

да. вы совершенно правы. это абсолютно одно и то же

Ответить
1

Фу, сейчас бы чай с сахаром пить.

Ответить
0

Да он же противный без сахара. Вы ещё кофе без сахара попейте

Ответить
0

Фу, сейчас бы кофе с сахаром пить.

Ответить
1

Абсурд. Более того, продолжать снимать в 24 при том, что стандарт де-факто частоты обновления экрана 60 - преступление, потому что 24 не укладываются целое число раз в 60, что неизбежно приводит к дрожанию поверх и так слишком низкой частоты обновления. Снимали бы хоть в 30, но ведь им жалко денег и ресурсов на повышение плотности видеоматериалов.

Ответить
0

В 60 фпс уже изврат.

Ответить
–1

Ненавижу этот эффект добавления промежуточных кадров в телевизорах. Любой нормальный фильм превращается в гавнище.

Ответить
0

там плохо сделано просто. Когда хорошо сделано (в кино, видео-клипах) вы этого не замечаете

Ответить
0

Технология давно доступна, в видео-редакторах (Premiere Pro, After Effects, Final Cut...) это просто встроенная функция, она, конечно, достраивает не на основе ии, а просто раскладывая сцену на объекты, и вычисляя промежуточные положения, но артефактов примерно столько же, и выглядят так же. То есть вы прямо сейчас можете скачать одно из нескольких приложений, в котором можете такое сделать на обычном домашнем компе.

Ответить
5

Будущее уже здесь.

Ответить
5

I've always asked for it!

Ответить
6

ну, кое-где мыльцо, как у Twixtor-а, особенно было заметно на сетке и коньках у хокеиста. НО в целом крутяк, безусловно.

Ответить
1

Вот да, мне не хватило сравнения с твикстором

Ответить
0

даже без Твикстора встроенные штуки делают примерно так же уже

Ответить
0

Это в каком таком редакторе?

Ответить
3

Скоро так можно будет аниме в честных 24 кадрах смотреть.

Ответить
4

Аниме можно уже и сейчас смотреть в 60 кадрах ;)
Достаточно прогнать с помощью той же «SVP» (https://www.svp-team.com/)

Например так: https://www.youtube.com/watch?v=0UpZnSjMko4

Ответить
4

Теперь игрушки будут тормозить хотя бы красиво!

Ответить
4

Добавьте в консоли крутой экстраполятор до 60 FPS! Вот тогда заживем..

Ответить
0

Особенно аниме, лол (нет, ну консоли же умеют воспроизводить медиа-файлы)

Ответить
–1

Действительно, главное же цифра 60 ФПС, а не комфорт, который этими 60 ФПС обеспечивается.
Ну и что с того, что половина кадров не будет нести новую информацию и иметь отношение к игровому процессу, понизит реакцию, а плавность превратит в кисель, главное же 60 ФПС!
Впрочем консолевики любят когда их !@#$%^&. Думаю их это устроит.

Ответить
0

Ну дайте уже помечтать без этих снобских и очевидных комментариев! Что, блин, с вами не так?

Ответить
3

Теперь нужно экшн-сцены в современных фильмах прогнать через эту прогу. Ибо в стандартных 25 кадрах все эти эпичные бои в фильмах, превращаются в непонятное мельтешащее месиво.

Ответить
0

мельтешащее месиво так и останется плавно мельтешащим месивом

Ответить
2

Работает как обычный плагин Twixtor в Ae и Pr ))
https://www.youtube.com/watch?v=M_LE96nGqik

Ответить
1

А по своему даже артефакты - прикольны. Искривление пространства, прямо. Так что можно снимать низкобюджетную фантастику с варп-прыжками и прочими порталами :).

Ответить
0

Артефактов заметно меньше у нВидии. Твикстор ооооочень специфическое применение имеет, если по-взрослому им пользоваться, а не замедляшки для друзяшек пилить)

Ответить
0

Как это скажется на евреях, т е на компьютерных играх?

Ответить
1

Видимо никак, потму что, судя по описанию, достраивание промежуточных кадров слишком ресурсозатратно.

Ответить
1

Зато достижимо внешней приблудой. Но минимальная цена за подобные фокусы - инпут лаг в 1 кадр. +33мсек к существующим 40+ - даже стриминг меньше задержки даст.

Ответить
0

В том то и дело, что обычный рендер, как я понимаю, происходит быстрее и дешевле.

Ответить
–1

"обычный рендер" и так многие процессы интерполирует, быстрее и чище

Ответить
0

Инди-разработчики (да и АА-студии) смогут использовать подобный эффект в игровых роликах

Ответить
1

И чем чудо нвидии отличается/лучше SVP?

Ответить
0

Судя по примерам - как минимум значительно меньшим количеством артефактов.

Ответить
–3

-Оке всё супер, где и когда можно использовать?
-Что, только в своем пропиетарном говнософте и только на тесле x gt super mega 4k ultra?
-Оке держите в курсе.

Ответить
0

косяк с хоккеистами нашёл, когда конёк дергается

Ответить
0

У балерины тоже обувь странно изогнулась в одном моменте

Ответить
0

у хоккеиста и рука в 1 момент пропала

Ответить
0

Если кто хочет посмотреть на "живую" реализацию аналогичной технологии, которую можно купить и пользоваться - Smooth Video Project

Ответить
0

"купить"
That aside, хотелось бы увидеть подробное сравнение этих технологий, крайне любопытно посмотреть на различие в форме артефактов между старым, как мир методом анализа векторов (SVP) и какими-то новыми нейросетями.

Ответить
0

Насчёт игр не знаю, но производители телевизоров, думаю, этой технологией заинтересуются. Особенно те, кто про....фукал в своё время полимеры, то есть не смог перейти на OLED. А здесь и новомодные нейронные сети и результат, который можно наглядно отобразить и в видеорекламе и на самом телевизоре в магазине.

Ответить
0

В видео в предпоследнем примере (с парнем и шариком) видно что заметно теряется качество в целом, а в остальных примерах хорошо видно как "мылятся" границы объектов. Так что утверждение "Разрешение и чёткость при этом не отличается от источника" можно применить лишь к оригинальным кадрам, которых между дорисованными не так уж и много.

Ответить
0

SVP делает это уже давно и в реалтайме (генерация промежуточных кадров). Только там не используется нейросеть, насколько мне известно.
После видео в 60fps я уже не могу смотреть фильмы c 24fps.

Ответить
0

240 FPS Porn

Ответить
0

Работы ИИ всё же уступают роликам, записанным, например при помощи камер Phantom, стоимость которых достигает десятков тысяч долларов. Однако преимущество разработки NVIDIA в её универсальности.

Это сравнение мух с котлетами. Основная суть дорогих камер, снимающих с высокой частотой кадров - это не возможность "сделать плавно", а возможность записывать и наблюдать процессы, которые происходят слишком быстро, чтобы из можно было запечатлеть на обычную камеру. То есть, например, на Phantom можно заснять выстрел из ружья и понаблюдать за полетом пули во всех подробностях. При стандартных 24 или 30 кадрах в секунду, пули вообще не будет ни на одном из кадров, и нейросеть Нвидии ее никак там не нарисует. Она может только показать плавно то, что уже присутствует на видео, дорисовав промежуточные кадры.

То есть, технология прикольная и полезная, конечно, но сравнение с Фантомами, мягко говоря, попахивает лукавством и маркетингом.

Ответить
0

Ребята, эта фишка очень понравится свадебным операторам! Как свадебный оператор говорю 8-)

Ответить
0

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjog" } } }, { "id": 10, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-250597-0", "render_to": "inpage_VI-250597-0-1134314964", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=clmf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudo", "p2": "ftjf" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvc" } } } ]
Пять простых способов разогнать свой ПК
с помощью соли и чайной ложки
Подписаться на push-уведомления