Gamedev Андрей Верещагин
12 279

Nvidia показала автомобильный симулятор, графику для которого на основе видео создал ИИ

Система сама генерирует объекты.

В закладки
Аудио

Nvidia представила видеоигровое демо, графика для которого была создана искусственным интеллектом с использованием системы машинного обучения. Это простой автомобильный симулятор, в котором можно перемещаться по городу, сгенерированному ИИ, однако никаких других вариантов взаимодействия с окружением не предусмотрено.

Для создания демо специалисты Nvidia сперва собрали данные, необходимые для машинного обучения. Они включали в себя видеозаписи поездок по разным городам. Затем каждый кадр футажа был разбит на составляющие: небо, автомобили, деревья, дороги, здания и так далее. Каждому типу объектов присваивался свой цвет.

После этого система училась самостоятельно создавать новые версии всех объектов на основе полученной информации.

Инженеры создали базовую топологию виртуальной среды с помощью движка Unreal Engine 4. Система самостоятельно генерировала объекты и помещала их в игровой мир.

При создании структуры мира были использованы традиционные методы. ИИ сгенерировал лишь графику. Это скорее просто концепт, чем игра, в которой весело проводить время.

Брайан Катанзаро
вице-президент Nvidia по глубокому обучению

По словам Катанзаро, авторы демо столкнулись с рядом проблем. Одна из них заключалась в том, что система в реальном времени генерирует графику 25 раз в секунду. Из-за этого цвета и текстуры объектов меняются каждый кадр. Разработчикам пришлось искать способ для того, чтобы сохранить визуальное постоянство виртуальной среды.

Инженеры «дали» системе краткосрочную память. Таким образом, она могла сравнивать каждый последующий кадр с предыдущим и «предсказывать», что произойдёт с объектами в будущем. Эти вычисления требуют больших мощностей, поэтому демо работает с частотой в 25 кадров в секунду. При этом обработкой занимается всего один графический процессор — Titan V.

Катанзаро отмечет, что сейчас эта технология находится на ранних этапах своего развития. При этом у неё есть потенциал не только в игровой индустрии — создание графики с помощью ИИ можно использовать в робототехнике и для «обучения» беспилотных автомобилей.

В ролике о демо, сотрудники Nvidia также рассказали, что с помощью этой технологии можно переносить движения одного человека на модель другого. Это позволило инженеру компании Минг-Ю Лью «исполнить» танец PSY из клипа Gangam Style. Для обучения ИИ также использовалось видео.

#технологии #nvidia

{ "author_name": "Андрей Верещагин", "author_type": "editor", "tags": ["nvidia","\u0442\u0435\u0445\u043d\u043e\u043b\u043e\u0433\u0438\u0438"], "comments": 60, "likes": 137, "favorites": 28, "is_advertisement": false, "subsite_label": "gamedev", "id": 32772, "is_wide": false, "is_ugc": false, "date": "Mon, 03 Dec 2018 18:48:52 +0300" }
{ "id": 32772, "author_id": 22254, "diff_limit": 1000, "urls": {"diff":"\/comments\/32772\/get","add":"\/comments\/32772\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/32772"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 64954, "possessions": [] }

60 комментариев 60 комм.

Популярные

По порядку

Написать комментарий...
58

с помощью этой технологии можно переносить движения одного человека на модель другого

5-ый срок П подтверждён.

Ответить
28

Никогда бы не подумал, что увижу политоту в комментариях под этим постом

Ответить
14

Правило 457: любую тему в Интернете можно перевести на политоту, этнический срач и оправдание Гитлера.

Ответить
1

Ты забыл про комунизм, любую тему можно свести к комунизму

Ответить
0

А как же правило 34?

Ответить
0

Не оправдания, а использование закона Годвина, когда это выгодно левакам.

Ответить
0

Зашел оставить аналогичный комментарий )

Ответить
0

"- Да вот его и считаем, - сказал Морковин и кивнул на телевизор. - И всех остальных тоже. Трехмерка."

Ответить
15

Выглядит пугающе. Потому что слишком реалистично и одновременно нет - картинка кажется неестественной, но что в ней неестественно, понимаешь не сразу. Потом замечаешь - по сути это коллаж из нескольких слоев.

Правда видны недостатки - разрешение и частота кадров просто ужасны, при огромных требованиях к железу.

Ответить
5

Похоже на неуместное упоминание Зловещий Долины.
Что-то его много в последнее время.

Ответить
12

Сложно представить ПК-требования к такой игре, но графика там может быть фантастической.
Очень интересно смотреть на проникновение ML в Gamedev. На картинке ниже результат работы того же алгоритма.

Ответить
1

Насчёт фантастичности я бы поспорил, оно берёт худшее из обоих миров - серость и грязь реала и глитчи и низкое разрешение из виртуала.

Ответить
0

Из датасета это можно исключить ;)

Ответить
12

я просто оставлю это здесь,,,

Ответить
1

Судя по цвету, с красной таблетки?

Ответить
1

Ага)

Ответить
0

Так нео же не избранный ))

Ответить
8

А можно то же самое, только с процедурно генерируемыми девушками? А то на известных сайтах уже все надоели, хочется новенького.

P.S. Друг просил, если что.

Ответить
8

Кодзима — гений

Ответить
3

Может кодзима - это ИИ от конами?

Ответить
2

В таком случае взбесившийся

Ответить
6

А вот и реклама новых титанов.

Ответить
0

Уже же титан RTX вышел. Так что этот V не новый

Ответить
5

Жду симулятор езды по нашим городам
https://youtu.be/WHusBqTOeWQ

Ответить
3

я все жду когда же с помощью сетей можно будет текстурки для игр делать.
Ввел параметр "дерево" вот тебе и текстуры деревьев, осталось только выбрать

Ответить
0

Это и процедурно неплохо может решаться

Ответить
0

Чтобы чужие не брать?

Ответить
1

Можно сделать бесконечную гонку.

Ответить
5

но ведь Мост Вантед уже есть)

Ответить
0

Есть ли ссылка на презентацию/источник?
Просто очень хочется узнать будут ли эту нейросеть использовать для генерации 3d моделей по материалам. (А потом прицепить на модель mixamo и будет очень дешёвая и неплохая модель)

Ответить
7

Генерация 3d-моделей не задача этого алгоритма, эта нейронка только "красить" умеет что-то в улицу, там модели то не нужны, так, low-poly

https://www.youtube.com/watch?v=G6o_7Pz35Sk&feature=youtu.be&t=23

Ответить
1

Это двухмерный алгоритм - GAN сеть просто накладывает текстуру на модель.

Ответить

1

Но для графона Е3 2005 Motorstorm всё равно потребуется 4 таких видеокарты. А в целом — круто

Ответить
1

Да, было бы кайф оцифровать свою деревеньку и загрузить в игровой движок :)

Ответить
1

В ролике о демо, сотрудники Nvidia также рассказали, что с помощью этой технологии можно переносить движения одного человека на модель другого.

Даже не представляю как будет активнее всего использоваться юзерами данная технология.

Ответить
0

Кстати давно хотел посмотреть на то какой автосимулятор (авиа, танковый?) получится если предварительно скормить нейросети пару терабайт отборного порно...

Ответить
0

Думаю, что выйдет что-то такое:

Ответить
0

Если её дадут людям.

Ответить
1

Одну видеокарту я кулю - чтобы нарисовать графон
Другую видеокарту я кулю - чтобы сгенерировать игру
Третью видеокарту я куплю - чтобы расшифровать версию денувы на блокчейне.....

Ответить
1

ИИ мне напоминает VR. Очень много разговоров о таком какое же это прекрасное будущее... и всё. Только разговоров.

Ответить
0

Там у директора рука дёргается на гифке неестественно

Ответить
0

Движения худенькой девушки с тоненькими ручками перенесли на модельку довольно большого во всех смыслах мужика (А если ты про то движение рукой вверх то это скорее всего из-за ее волос)
Да и сделано было это ИИ так что простительно. Думаю ИИ и минимум человеческих усилий и это будет выглядеть идеально

Ответить
0

Теперь пробки будут и в играх

Ответить
0

Теперь Нейросеть умеет делать игры для телефонов, глядя на видео... Теперь его ничто не остановит. Скайнет поднимется на микротранзакциях в мобильных приложениях!

Ответить
0

Скайнет всемогущий, будь другом роди Халф Лайф 3 пожалуйста.

https://st2.depositphotos.com/3994509/10489/v/600/depositphotos_104893224-stock-video-child-praying-out-loud.jpg

Ответить
0

Мешок титанов крепко связанных проволокой должны вытянуть 15фпс

Ответить
0

Чёт подтормаживает видос. Вся моща Nvidia ушла на ИИ, а за обработку видео Radeon отдувались...

Ответить
0

и именно это видео доказывает, что казахи умнейшие виды человека

Ответить
0

Охуеть, вот это мощно!

Ответить
0

Ещё напомню про этих ребят - их не существует:

Ответить
0

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fjog" } } }, { "id": 10, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "clmf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-250597-0", "render_to": "inpage_VI-250597-0-1134314964", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=clmf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudo", "p2": "ftjf" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fzvc" } } } ]
Пять простых способов разогнать свой ПК
с помощью соли и чайной ложки
Подписаться на push-уведомления