СОЗДАНИЕ ЧЕЛОВЕКА В 3D: история, технологии и сложности

Не так давно компания Epic представила инструмент Meta Human, примкнув, таким образом, к числу разработчиков цифровых людей, которых мы уже пару десятилетий наблюдаем как в кино, так и в играх. Отмечу, что убедительность создаваемых образов растет с каждым годом, но даже сейчас компьютерная модель человека имеет ряд изъянов, которые выдают ее цифровую сущность. Сегодня, расскажу о сложностях в производстве 3D homo sapiens и совершу технологический экскурс в историю.

Лихие 90-е

В 1999 году произошли два знаковых события. На Siggraph - конференции по компьютерной графике - был показан трехмерный ролик «Шут» спродюсированный доктором Марком Сагаром и там же состоялась презентация проекта Fiat Lux, которым руководил доктор Пол Дебевек. Героиней «Шута» стал цифровой двойник актрисы Джессики Валлот. Ролик был сделан до наступления эры подповерхностного рассеивания, качественной симуляции волос и до момента внедрения продвинутого сканирования, но даже в таком виде это был прорыв из-за липсинка и узнаваемой лицевой анимации. Что касается Fiat Lux, то Дебевек перевернул представление об освещении цифрового пространства и оказал влияние на технологии визуализации, выпустив также чуть ранее доклад под названием «Рендеринг с естественным освещением». По легенде, именно после знакомства с Сагаром доктор Дебевек решил отрабатывать свои технологии не только на архитектуре, но и людях, что впоследствии приведет к разработке системы Lightstage, в том виде, в котором мы ее знаем. Ну а Сагар позднее станет частью студии Weta Digital, где поработает над «Кинг-Конгом» и «Аватаром».

«Последняя фантазия» (2001)

«Последняя фантазия» является первым полнометражным фильмом, человеческие герои которого были полностью созданы в графике и анимированы при помощи техники захвата движений. Использовалась оптическая система компании Vicon. Каждая модель насчитывала более 100 000 полигонов. Рендеринг осуществлялся на ферме из 960 машин, которую под этот проект запустили на Гавайях. Пайплайн держался на трех китах - PowerAnimator, Autodesk Maya и RenderMan. Фильм с треском провалился, но шума наделал немало. Кинематографисты столкнулись с эффектом Uncanny Valley или зловещей долиной в полный рост. Это когда искусственные персонажи выглядят непривлекательно в силу неполной похожести на настоящих людей. При этом они ведут себя как настоящие. Проблема была частично решена в скором времени.

«Человек-паук 2» (2004)

Сиквел комикса Сэма Рейми не в последнюю очередь обязан своим успехом великолепным визуальным эффектам, за которые удостоился «Оскара». Проект также примечателен тем, что стал первой коллаборацией Голливуда с технологией Lightstage Пола Дебевека, которая представляла собой систему для захвата цифровых изображений на множество камер при разном освещении для последующего создания модели, текстур, шейдинга и получения референсов освещения. Один только массив данных по Альфреду Молине, игравшему доктора Октопуса, весил столько же сколько вся информация по первому фильму. С Молиной связан забавный факт. Его сканировали во время препродакшена, а в ходе съемок он взял и сбрил свои бакенбарды. Пришлось композерам на посте их затирать. Супервайзер картины пошутил, что это должно быть самые дорогие бакенбарды в истории кино. Но тогда он не мог знать, что в недалеком будущем появится задача по удалению усов Супермена.

«Загадочная история Бенджамина Баттона» (2008)

Фильм Дэвида Финчера совершил мощный технологический прорыв, сопоставимый с достижениями «Аватара», но об этом редко, где говорят из-за меньшего резонанса самого кинопроекта. Первый оплачиваемый тест для картины был сделан трехмерщиками Digital Domain в 2004 году. В качестве тестового шота клиент выбрал кадр, где Бенджамин Баттон сидит за столом. Это был статичный план, не требовавший ярко выраженной лицевой анимации. Тест признали удачным. Более того продюсер Фрэнк Маршалл сказал, что ничего круче не видел со времен «Парк Юрского периода». Но студия не спешила включать фильму зеленый свет из-за разногласий по бюджету. Финчер в период ожидания снял триллер «Зодиак» и сделал серию рекламных роликов для суперкубка, которые потребовали создания цифрового человека. К слову, реклама не понравилась публике. Многие ее ругали.

Но создатели сделали необходимые выводы и отработали технологию Mova Contour Rig, которая вкупе с LightStage станут основными в работе над фильмом про Бенджамина Баттона, в котором 52 минуты с трехмерной компьютерной головой героя. Пайплайн на этом фильме выстраивался следующим образом.

1. Художник Кацу Зуи снимал слепок с Брэда Питта под руководством легендарного Рика Бейкера. Полученные три макета после скульптурного грима отображали героя в 80, 70 и 60-ти летнем возрасте.

2. Все три скульптуры сканировали с использованием системы Lightstage при разном освещении.

3. На площадке роль старенького Бенджамина играл статист в синем капюшоне. Его тело оставляли, а голову позднее подменяли.

4. На четвертом этапе создавалась компьютерная модель освещения полностью идентичная съемочной.

5. На пятом этапе происходило формирование библиотеки микровыражений лицевой мимики Брэда Питта при помощи системы Mova Contour Rig. Эта система насчитывала 28 камер, покрывавших угол съемки в 150 градусов. Актер работал перед камерами в фосфорицирующем гриме, что позволяло отслеживать каждую маркерную точку по кадрам в 3D пространстве. Захват происходил в реалтайме и полученный mesh можно было перестраивать и менять вершины.

6. Затем осуществлялась съемка Брэда Питта без грима на четыре камеры с разных ракурсов. Полученный материал анализировался с целью получения информации для анимационных кривых и тайминга, после чего инкорпорировался в ригг.

7. На седьмом этапе производилась синхронизация библиотеки выражений с игрой Брэда Питта

8. На восьмом запускался перенос игры Брэда Питта и выражений на цифровые модели Бенджамина, построенные по сканам макетов

9. На девятом этапе происходила доработка игры при помощи анимации вручную, чтобы лицевые выражения Питта соответствовали физиологии старика

10. Затем разрабатывалась система для симуляции волос, глаз, кожи и зубов

11. После осуществлялся трекинг камеры и статиста в съемочном материале

12. Наконец, на завершающем этапе был композитинг всех элементов и создание финального шота

На момент выхода компьютерный Баттон был хорош и достаточно убедителен. На руку сыграли также очки, которые носил пожилой герой. Они помогли замаскировать самую проблемную область в районе глаз, а именно микро сокращения мышц и натяжение кожи, из-за мельчайшего несоответствия которых настоящим, чаще всего разрушается цифровой образ. Также не можем не рассказать о Рейчел из «Бегущего по лезвию 2049», которая создавалась концептуально схожим образом и на сегодняшний день является, пожалуй, одним из лучших цифровых героев.

«Бегущий по лезвию 2049»

Команда студии MPC отсканировала с использованием LightStage голову постаревшей актрисы Шон Янг, игравшей в оригинальной картине Ридли Скотта. Полученный скан послужил референсом для трехмерщиков студии при моделировании точной копии черепа. Помимо этого кинематографисты отсканировали голову и собрали данные по лицевой микрогеометрии актрисы Лорен Пета, которая играла Рейчел на площадке в сиквеле. Лорен Пета была дублером в костюме, гриме и с маркерами на лице. Именно к ее телу подставляли компьютерную голову. В секретный день в стенах будапештской студии прошла съемка Шон Янг и Лорен Пета с использованием системы DI4D PRO Facial Capture. При помощи видеограмметрии без каких либо маркеров и какого-либо грима специалисты заполучили информацию об игре посредством 9 синхронизированных камер и софта для трекинга, разработанного DI4D. 7400 вертексов геометрической сетки были преобразованы в 30 000 за счет увеличения разрешения. Помимо этого специалисты MPC заполучили материал для системы лицевого кодирования или FACS, запечатлев разные выражения лиц актрис. Для чего нужен FACS? Благодаря библиотеке лицевых выражений можно создавать блендшейпы-переходы от нейтральной позы к набору отсканированных выражений. При этом блендшейпы позволяют отрабатывать определенные лицевые области. Сама же анимация выполняется вручную или на основе performance capture. Таким образом, технология Lightstage для сканирования и сбора референсов освещения и системы по типу Mova вкупе с FACS используются повсеместно. Их же применяли при создании цифровых образов Уилла Смита для "Гемини" и героев для киносериала "Любовь, смерть и роботы".

Но почему цифровые люди все еще отличимы от настоящих? Тут несколько причин.

1. Мы видим людей с первых дней нашей жизни. Человеческий мозг моментально подмечает любое несоответствие, именно поэтому даже одна ничтожная помарка в анимации или в рендеринге разрушает иллюзию.

2. Глаза – зеркало души, как бы банально это ни звучало. С фотореалистичным рендерингом глаз давно нет проблем. Но опять же, когда речь идет о статике, но в динамике картина осложнятся. Глаза приводятся в движение глазодвигательными мышцами. Именно при их сокращении яблоко поворачивается, и взгляд направляется в соответствующую сторону. При этом каждое движение воздействует на веки, надбровные дуги, да и в самом глазе происходит жизнь. Зрачок меняет форму при переводе фокуса с одного объекта на другой. Подобное архисложно воспроизвести. А уж если персонаж при этом говорит, то присоединяются десятки дополнительных мышц, которые работают в рамках алгоритма настроенного самой человеческой природой. Любое микронатяжение и сокращение имеет значение. Это та область, где детали решают абсолютно все.

3. Компьютерное изображение лица – это симулякр, в котором нет жизни на клеточном уровне по умолчанию. Параметры жизни задает аниматор, опираясь на собранные данные с помощью технологий, которых недостаточно, собственный опыт и время, которого всегда немного. Даже, когда вы молчите и замираете, ваши клетки продолжают резвиться. Передать подобное через анимацию и рендер – нетривиальная задача. А вкупе с перемещающимися кадрами, когда герой говорит и вовсе почти непосильная, как показывает практика. Поэтому кинематографисты прибегают к отвлекающим маневрам, как очки на Бенджамине Баттоне или игра света и тени, как в «Бегущем по лезвию 2049». Но с каждым большим проектом получается все лучше и лучше. Это стоит признать.

4. И последним пунктом мы включим маркетинг, который неожиданно оказывает медвежью услугу в плане восприятия цифровых образов. Дело в том, что всякий раз, когда кино с таким героем выходит на экраны об этом трубят во всех роликах и материалах. С одной стороны подобное привлекает внимание к фильму, но с другой приковывает внимание и к самому персонажу. Зритель сидит и выискивает несоответствия и обаятельно их находит. Не знал бы, то мог бы и проморгать под грузом попкорна и колы.

В общем и целом цифровым героям есть куда развиваться, и особая надежда в этом наиболее сложном направлении связана с развитием искусственного интеллекта для обработки больших объемов данных. Та же компания DI4D активно его применяет, поэтому их результаты впечатляют больше всего. Тем не менее, до замены реальных актеров цифровыми пока речи идти не может из-за экономической и социальной составляющей.

*Статья была опубликована в журнале MediaVision