NVIDIA научила нейросеть генерировать устойчивое видео по абстрактным объектам
Ещё несколько лет - и моделлеры будут больше не нужны. Под катом краткий пересказ
Технология генерации изображения из абстрактных объектов была известна ещё несколько лет назад: предоставив нейросети размеченную картинку с информацией о том, где и что должно быть нарисовано, она могла воспроизвести эти объекты. Тем не менее, нейросеть не обладала никакой контекстной памятью, а потому эта технология плохо работала с видео изображением: каждый новый кадр был мало похож на предыдущий.
NVIDIA представила новую нейросеть, которая лишена этого недостатка. Теперь видео обладает устойчивостью, объекты двигаются равномерно и не изменяются в процессе. Для генерации видео нейросети достаточно предоставить видео с контурами объектов, видео с глубиной объектов в кадре и фотопример того, как должно выглядеть видео.
Технология всё ещё не идеальна и плохо понимает устройство мира. Например, в примере в видео автомобили неестественно изгибаются, а облака двигаются слишком быстро. Тем не менее, как показывает пример с GPT-3, стоит потратить всего лишь несколько лет и добавить мощностей, и результат будет неотличим от реальности.
Автор видео рассуждает о том, что данную технологию можно легко применять с видеоиграми, используя нейросеть как рендерный движок. Таким образом, не придётся тратить много времени на дизайн и проработку игровых объектов - нейросеть сделает всё сама.
и моделлеры будут больше не нужныА перо под ребро не хочешь, скотина?
Комментарий недоступен
Ещё несколько лет - и игроки больше не нужны...
Можно будет нарисовать стримера. Так же запилить набор слов из той же неоресети (наподобие, который пишет коменты), которая несёт чушь. И опа, отличный пассивый заработок
Хотелось бы дожить до того дня, когда появится движок, состоящий из множества нейросеток, доведенных до идеала. Где каждая будет отвечать за свой аспект игры: графика, музыка, стилистика, механики и т.д.
И чтоб было множество ползунков для регулировки количества драмы, юмора, продолжительности игры, экшена и других настроек. А нейросетки, в зависимости от этих ползунков выстраивали бы персональную игру, подгоняя каждый элемент игры под нужные настройки.
Готов джвадцать лет ждать такого движка.
А лучше, просто, говоришь этому движку что в голову придёт, а он сам делает. А если стим какой-нибудь нейроинтерфейс выпустит, то на голову его вешаешь и всё самостоятельно из мозга складывается в готовую игру, и сразу же играется.
В конце этого поста актуально бы смотрелась реклама модных видеокурсов по 3Д-моделированию с девизом "профессия будущего!"))