NVIDIA и Microsoft научили нейросеть создавать 3D-модели волос по фото и видео

Возможно, когда-нибудь эта технология заставит HairWorks работать быстрее.

В NVIDIA рассказали о технологии рендеринга волосяного покрова, который создали исследователи из Microsoft, Pinscreen и американского Университета Южной Каролины.

Они обучили искусственный интеллект создавать трёхмерные волосы на основе фото. За сотые доли секунды программа обрабатывает модели, состоящие из десятков тысяч «волосинок».

По словам представителей NVIDIA это первая подобная технология, которая работает полностью в реальном времени. А значит, потенциально её можно применять и в играх.

Нейросеть обучали, «скормив» ей информацию о 40 тысячах разных причёсок, и 160 тысяч изображений с разных ракурсов. Демонстрационная версия работала на видеокарте TITAN XP.

На данный момент система не идеальна — разработчики признают, что некоторые стрижки, вроде афро или «под ноль» обработке поддаются плохо. Однако это можно исправить, увеличив объём исходной информации.

ИИ может в том числе создавать 3D-модели на основе видео, но пока что это приводит к эффекту «живых» волос — вместо того, чтобы реалистично колыхаться в движении, они как будто извиваются.

Однако в теории эта технология применима и в играх — если её продолжат совершенствовать и оптимизировать, разработчики смогут использовать её как своего рода motion capture для волос.

Кроме того, вероятно, NVIDIA добавят её поддержку в следующей версии NVIDIA GameWorks, чтобы увеличить производительность. В настоящее время система HairWorks, обрабатывающая шерсть и волосы, очень требовательна к «железу».

К примеру, после релиза третьего «Ведьмака» многие игроки жаловались на резкое падение производительности, когда включали эту опцию.

#технологии #nvidia