Facebook представил нейронный суперсэмплинг для рендеринга в реальном времени

В этом году на конференции SIGGRAPH компания представила новые наработки по DeepFocus, системе…

22 показа
3.4K3.4K открытий
22 репоста

я вот не понял, на кадре с инопланетянами был постер с надписями что-то про нью йорк
так вот если смотреть картинку низкого разрешения, там же полная мешанина и из этого текст просто невозможно получить, это ведь просто какой то шум
по крайней мере на статичной картинке это невозможно, мне кажется, так что не очень верится, 
скажите, в чем я не прав?

Ответить

1) даже на статике читается new york и paris, c трудом tokyo, berlin потерян
2) нейросети похер, она не вчитывается, просто идет по пикселям и трансформирует по правилам, выведенным при обучении модели. и в итоге получается читаемый текст, потому что выученные правила апскейлинга обобщенные и работают вне зависимости от "содержания" изображения.
текст в низком разрешении ничуть не большая мешанина, чем инопланетянин, просто ты, как человек, образы воспринимаешь лучше, особенно гуманоидов и животных, очень грубо говоря, "потому что эволюция".
ты не прав в том, что подходишь к вопросу с позиции человека, а не машины

Ответить

Комментарий недоступен

Ответить

Там данные с нескольких кадров используются при апскейле. Текущий + репроекция предыдущих.

Ответить

ты смотришь на картинку, а нейросеть еще смотрить на векторы движения пикселов. они принципиально разные у переднего плана и стены, по разнице и вылазит "чоткий край"

просто этот "чоткий край" лежит не там, где полигоны кончаются, а где-то между двумя пикселями. и так как всем в общем-то наплевать где он там на самом деле - выглядит нормально

Ответить

Мне кажется, или всё-таки результат получен в движении? То есть имеется дополнительная информация с других кадров.

Ответить

Шум бы был, если пиксели были не на своих местах или значение какого-то из них потерялось. Тут же все на своём месте, и ещё даже более менее видно, если присмотреться.

Ответить