Реальные эмоции: как устроена система лицевой анимации в The Last of Us Part II

Мимика и язык тела.

Гилен МакАлистер, менеджер по контенту и коммуникациям в Sony Interactive Entertainment, в блоге PlayStation рассказал о том, как работает система лицевой анимации в The Last of Us Part II. Для этого он пообщался с Китом Пациелло, создавшим эту систему. Мы выбрали из материала главное.

Внимание: в тексте присутствуют спойлеры к игре — в том числе, и к её финалу.

Реальные эмоции: как устроена система лицевой анимации в The Last of Us Part II

Главные герои в The Last of Us: Part II живо реагируют на то, что происходит или находится вокруг них. И не только с помощью контекстуальных реплик, но и языком тела, и мимикой. Элли своим лицом выражает эмоции относительно практически каждого объекта, который увидит. Всё благодаря ряду взаимосвязанных систем, отвечающих за реакции персонажей.

Например, глядя на картину в синагоге, Элли погружается в раздумья. Её глаза совершают саккады — быстрые согласованные движения — это значит, что она сфокусирована, поглощена живописью.

За технологией лицевой анимации во второй The Last of Us стоит Кит Пациелло, за чьими плечами уже 17 лет стажа работы аниматором, девять из которых он провёл в Naughty Dog. По его словам, саккады запускаются с помощью специального триггера, размещённого на картине геймдизайнером.

В целом, именно так работает эмоциональная систематическая мимика (Emotional Systematic Facial Animation). Благодаря этой технологии, игра выбирает реакцию персонажа из более чем 20 выражений лиц и анимаций. При этом проигрываться они могут при виде соратников, противников, заражённых и предметов окружения.

Лицевые анимации работают в тесной связке с движениями глаз, языком тела, диалогами и даже дыханием героев. «Это позволяет создать доселе невиданных по глубине персонажей», — говорит Пациелло. Забавно, что идея создать сложную систему, отвечающую за реакцию героев на окружение, родилась у разработчика во время обсуждения травы в игре.

Мы рассуждали, как сделать траву в игре лучше. Когда мы смотрели на неё, я заметил, что у персонажа абсолютно «пустое» лицо. И я такой: «Ох». Тогда-то я и задумался, о том как мы можем добавить эмоций персонажам, чтобы вы в любой момент могли сказать, что они чувствуют.
Кит Пациелло, аниматор

Взяв за основу модель лица Элли, Пациелло принялся работать над своей технологией. Сперва он создавал выражения лица для семи основных эмоций: радости, печали, страха, гнева, удивления, отвращения и презрения. Вместе с командой, отвечавшей за диалоги, он отмечал, какое выражение лица должно быть у Элли, когда она произносит ту или иную реплику.

Это, по словам Пациелло, позволило прописать эмоциональный портрет персонажа от начала до конца игры и добиться «бесшовного» перехода между кат-сценами и геймплеем. В качестве примера разработчик приводит сцену на могиле Джоэла.

Поверните камеру и вы увидите, что [Элли] разбита. Я просил у художников по персонажам специальную текстуру, чтобы казалось, будто она только что плакала
Кит Пациелло, аниматор

Затем аниматора попросили помочь с созданием реалистичных реакций для ближнего боя. Кроме того, он участвовал в создании системы дыхания.

Помимо специфичных состояний, запускаемых с помощью скриптов, у персонажей есть и «нейтральные», также связанные с определёнными эмоциями. На каждый из 15-20 «наборов эмоций» приходится примерно по 40 уникальных поз героев. К концу разработки Пациелло вручную создал порядка 15 тысяч таких поз.

Некоторые сцены требовали особого подхода. Так, реакция Элли на статую тираннозавра во флэшбеке — уникальна и создавалась специально для этого момента.

А эмоции Эбби в ходе финальной схватки Пациелло приходилось переделывать, чтобы сцена ощущалась как следует.

Когда я добрался до этого момента, Эбби, будучи истощённой, всё ещё выглядела дикой. Я поговорил с Кристианом (Кристиан Гирлинг, программный директор в Naughty Dog — DTF) и сказал ему: «Я собираюсь продублировать все эмоции Эбби для ближнего боя и сделать их такими, чтобы она выглядела измождённой». Таким образом, происходит выбор между яростью и усталостью: она, возможно, наберётся сил и бросится в атаку, но после перейдёт в истощённое состояние.
Кит Пациелло, аниматор