«Яндекс» улучшил разрешение советских мультфильмов до FullHD при помощи нейросетей Статьи редакции
«Отреставрированными» можно увидеть в том числе «Бременских музыкантов» и «Маугли».
Компания «Яндекс» объявила о расширении применения собственной технологии DeepHD для улучшения изображения — теперь в 1080p можно посмотреть десять картин студии «Союзмультфильм».
- «Аленький цветочек» (1952)
- «Золотая антилопа» (1954)
- «Снежная королева» (1957)
- «Дюймовочка» (1964)
- «Бременские музыканты» (1969)
- «Умка ищет друга» (1970)
- «Маугли» (1973)
- «Щелкунчик» (1973)
- «Путешествие муравья» (1983)
- «Котёнок по имени Гав» (1976–1982)
DeepHD впервые представили весной 2018-го. Эта технология в реальном времени обрабатывает видео двумя нейросетями — одна из них устраняет несовершенства плёнки, а вторая увеличивает разрешение.
Картинка становится куда более чёткой, а артефакты проявляются лишь при резком движении на экране.
Изначально среди «отреставрированных» таким способом были лишь военные фильмы, например, «Летят журавли» и «Иваново детство». Позже «Яндекс» стал применять технологию к эфирным телеканалам.
Библиотека видео с использованием DeepHD, обещают в компании, будет постоянно пополняться.
Мне кажется через пару лет все будет Full HD качества, еще и с высоким FPS, как раз сегодня наткнулся: http://web.cecs.pdx.edu/~fliu/project/ctxsyn/
Там в видео 10 FPS превращают в 60 FPS (как у Nvidia, но другой подход).
И наверное все это дойдет до Gamedev однажды.
Яндексу респект
А когда включат RTX!..
60 фпс для фильмов и мультфильмов - такое себе. Уж лучше просто Full HD.
Есть SmoothVideo Project, подключается к большинству видеоплееров. 60+ к/с
Комментарий недоступен
DLSS?
В рисованных мультфильмах и плёночных фильмах нет смысла крутить фпс, там фиксированное число кадров.
ты за что читающую вслух нейросеть выключил?
уже три велосипедиста сбил пока читал статьи глазами
Маугли был и так богоподобным мультом в плане визуала, теперь ещё и в HD, ждём full HD и растаскиваем на обои для рабочего стола.
? Так вот его и сделали в фулхд.
Если десять раз пропустить мультфильм через нейронную сеть, то будет ли он являться тем же самым мультфильмом, что и раньше? Куда пропадает оригинал в цифровом мире? Существует ли он?
прогоняем через нейросеть
???
FullHD profit!
Я надеюсь дожить до:
Качаем говнофильм типа Сумерек
Прогоняем через нейросеть
...
Шедевр вроде Чудо-женщины!
Если эта штука еще и снятые на трясущуюся мобилу экранки сможет в FullHD восстанавливать - цены ей не будет :)
Скоро как в фильмах будем зумить фотки и изображение будет становиться только четче.
Отлично. Жду!
Как-то шарм немножко теряется с Full HD, но это может просто мои заморочки. Оригинальный арт божественный, конечно.
Подозреваю, что оригинальный арт как раз и был ближе к тому, чего добился Яндекс. До того как плёнку задрочили перезаписями с выжиганием лампой. Да и просто эффект возрастной деградации сказывается.
Тут не хватает кота
https://youtu.be/yGLxdNugr78?t=25
Пока рано радоваться - для статики все отлично, но вот начал смотреть Маугли, и сразу в глаза бросилось мерцание (цвет постоянно "плавает", по ходу, это - дефект оцифровки).
На темных сценах особенно раздражает, так что нейросетям ещё учиться и учиться.
не оцифровки) это просто алгоритм не может сопоставить при обработке и сраных двух кадров, один чуть светлее получается, другой чуть контрастнее и т.д. потому что это не нейронные сети, а как всегда, сраный алгоритм, наподобие как в программах видео-монтажа, афтерэффектс, премьер и т.д
Ну, даже не знаю. Как будто просто резкость увеличивается.
А если так?
Опять gif кропнулась... Может сейчас лучше выйдет
Комментарий недоступен
Жаль нельзя скармливать им свои видео. Так бы анимешки старые обработать.
Комментарий недоступен
Ну хз, оригинал как то мягче чтоль.
Он просто мыльный.
Очень крутая штука. А то уже давно подумал что старые и хорошие мультфильмы будут позабыты. А будут только "Машы, ПростоКвашены и Ко".
Кстати интересно сравнить качество картинки в динамике. А то с теми же "обновлёнными" мультами Disney одни проблемы. Когда почти в 90% картинки исчезли детали прорисовки.
Почему это считается улучшением ? Выглядит просто как фильтр четкости. Разве можно "улучшить оригинал" ?
Где посмотреть? В Вашей новости нет ссылок, в оригинале яндекса тоже. Я понимаю, что они их будут продавать, но хотя бы фрагмент где увидеть? Демонстрацию в динамике, а не просто картинки было стало.
У Яндекса несколько своих каналов есть (мультфильмы, комедии, советское кино, романтика и сериалы), на них и крутит — https://yandex.ru/?stream_channel=100001
Комментарий удален модератором
Нужно было не отдельными картинками, а гифками сделать, типа переход из старого в HD.
Для наглядности.
У n+1 есть один пример со слайдером:
https://nplus1.ru/news/2018/09/25/yandex-deephd?utm_source=obrazovach&utm_medium=social&utm_campaign=neyroseti-yandeksa-uluchshili-kachestvo-so
А можно так поэтапно до 4к дотянуть? И что случится в этом случае с картинкой?
Порвётся.
Комментарий недоступен
я просто оставлю это здесь
Ну что, расчехляем коллекцию flv смишнявок и видео для друга из 2007-го. Будущее наступило!
Недавно выкинул россыпь дисков со смишнявками из 2002. Там ещё flv не было, а были swf и exe
Выглядит круто
Покажите мне слепому и слабоумному - где их смотреть? Все ссылки из статьи и из проморолика ведут на стандартный поиск яндекса.
УПД - сам себе отвечаю: на кинопоиске они лежат.
Комментарий недоступен
Комментарий удален модератором
Надеюсь Яндекс купит алгоритм у дипфейка
Ок
Мультики нарисованные по стилю как в векторе, нейросеть может сделать любого разрешения, хоть 16к
когда на яндексе запрашивали Full по новости, то, наверно, имели ввиду не это)
Кстати, весьма неплохо. Ожидал что какая-то хрень будет. Вот ещё бы в соотношении 16:9, вообще было бы идеально.
Есть программа которое делает "тоже самое" можно смотреть свое видео и настраивать как хочешь. http://madvr.com/ вот на примере гифки как выглядит.
PS... Хех а как удалить прикрепленную гифку а то я не думал что выйдет так.
Вот тут можно посмотреть сравнение. https://imgur.com/a/0uFrhnq
Я не очень понял, срач уже начался или нет?
Разницы почти нет.
Тут еще не публиковаслось, вот тех подробности - https://habr.com/company/yandex/blog/422561/
Если кто не понял то скорость работы 25 кадров в секунду, с коммерческой точки зрения это яндексу нужно для улучшения потокового ТВ см тут https://tv.yandex.ru/channels/23/stream
На мой взгляд, на контрастной тв картинке выглядит часто не очень, посмотрел некоторые каналы.
из 'Аленького цветочка' пропала сказка. первый кадр вызывает ассоциации с билибинскими рисунками, а в обработке это теряется, картинка какая-то прилизанная.
Багире тоже чёткие линии не очень идут. возможно, в динамике смотрится лучше. IMO, разумеется.
но вообще классно, конечно. посмотрим, что будет дальше.
Нойз вместо артефакта после обработки стал "хайрез нойзом" - ужос нах )
Это просто восхищает!
За "Гава" отдельное спасибо!