Магия звука: руководитель аудио-отдела Remedy о работе над Quantum Break

Ричард Лэпингтон рассказывает о том, как работает звук в Quantum Break, что нужно уметь хорошему звуковому дизайнеру и каково будущее профессии.

Денис Злобин, автор блога «Игрозвук», взял интервью у Ричарда Лэпингтона, руководителя аудио-отдела Remedy Entertainment, в котором тот поделился деталями разработки Quantum Break и рассказал про особенности и перспективы профессии звукового дизайнера.

С разрешения автора DTF публикует полный текст статьи.

Расскажите про ваш путь в игровой индустрии.

Я был музыкантом. По образованию я джазовый исполнитель, ещё у меня есть дипломы звукорежиссёра и дизайнера новых медиа. После своей провалившейся (ладно, не провалившейся — я просто передумал) музыкальной карьеры я изучал звукорежиссуру в Амстердаме. В это время я очень увлекся программированием, и мне захотелось применить новые навыки в работе — например, в игровой индустрии. Как и всё моё поколение, я вырос на видеоиграх, а в детстве даже писал какие-то программы на ZX Spectrum.

Закончив учёбу в Амстердаме, я отправился в Финляндию и начал искать способы попасть в индустрию. Очень быстро я осознал, что для этого нужно портфолио, опыт программирования, и целый ряд других навыков и знаний. Поэтому я поступил в Хельсинкский институт искусств, дизайна и архитектуры (сегодня — часть Университета Аалто). Там я полностью сфокусировался на получении знаний, необходимых для работы в игровой индустрии. Первым делом я устроился в университетскую исследовательскую группу Crucible studio, где начал заниматься разработкой flash-игр. Это были игры для проекта Tulse Luper Journey знаменитого британского режиссёра Питера Гринуэя. Над ними я работал два года.

Перед самым выпуском из магистратуры, меня пригласили в Midway работать над Wheelman, моей первой ААА-игрой. Потом, когда Midway обанкротились, я вернулся в Финляндию и начал работать в Bugbear. Я занимался дизайном звука для Ridge Racer Unbounded и пары невышедших игр. Перед самым релизом Ridge Racer меня пригласили в Remedy Entertainment. Моей первой игрой в этой компании стала Death Rally HD. Позже я работал над Alan Wake's American Nightmare и Quantum Break.

Как устроен аудио-отдел Remedy?

Кроме меня здесь работает старший саунд-дизайнер по имени Вилле Сорса, специалист по диалогам и записи актёров Джош Стаббс, технический саунд-дизайнер Мартен Бюсси-Пари и Люка Пьерро — самый молодой член команды, который в основном занимается производством звуковых ассетов. Это моя команда. Ещё у нас есть аудио-программист Пертту Линдроос и композитор Петри Аланко, который часто пишет музыку для наших игр. Он фрилансер, но часто бывает в нашем офисе. При разработке Quantum Break он какое-то время работал в штате.

Команда Quantum Break была намного больше. У нас было шесть человек в основной команде, три человека в Лондоне и два человека в Сиэтле. Также в процессе участвовала канадская компания Game On. И Петри Аланко, разумеется.

Как все эти люди взаимодействовали друг с другом?

Много писем по электронной почте, много звонков по Skype. Мы неплохо всё это организовали. Поскольку люди из разных часовых поясов работали над одними и теми же проектами в Wwise, у нас были очень строгие правила, регулирующие что можно делать в проекте, и как называть файлы — последнее было особенно важно. Особенно в Quantum Break, где у нас есть два мира (обычный и тот, где время остановилось), которые нужно разделить.

У нас был целый свод правил по формированию иерархии проекта в Wwise. Какие плагины применять и в каких местах, переключатели (switch), игровые состояния (game states) — всё это было определено с самого начала разработки. Разумеется, мы также использовали общие документы — в основном, таблицы MS Excel. Команде из Сиэтла мы давали указания и отдельные сцены, которые не трогал никто другой. Лондонцы работали над отдельными уровнями.

Многим запомнились трейлеры к Quantum Break. Это ваша работа или аутсорс?

Зависит от трейлера. В самом первом звук был на 50% наш. Потом была презентация на Gamescom 2014, — достаточно длинная — это был звук прямо из игры. Я имею в виду, они просто играли в игру на сцене. Это было очень рискованно, но всё получилось. В трейлере для Gamescom 2015 использовались в основном игровые звуковые эффекты, плюс компания Formoza добавляла некоторые звуки поверх нашего видео. Просто поясню: мы обычно не озвучиваем трейлеры отдельно. Мы захватываем видео геймплея со звуком, но без музыки, а потом сочиняем новую музыку специально для трейлера. Позже мы можем подчёркивать какие-то вещи — например, делать взрывы громче.

Расскажите, как вы придумывали звук временных зависаний. В природе ничего подобного нет. Можно, конечно, нырнуть под воду с головой, чтобы слышать всё вокруг отфильтрованным и замедленным, но вы пошли другим путём.

Мы работали над этим несколько лет. В начале разработки мы создали список вещей, которых нужно избегать, и внесли туда этот самый «подводный» эффект. Он был одним из референсов, но в тот момент цветовая гамма игры была настолько синей, что игрок действительно начинал чувствовать себя под водой. Мы искали ориентиры в кино, и первым из них стал фильм «Константин» с Киану Ривзом. Там было несколько сцен с остановкой времени, и мы многое из них позаимствовали. Например, высокочастотные «стеклянные» звуки. В нашей первой версии зависания времени их было очень много, но когда мы добавили их в игру, эффект получился немного назойливым и раздражающим. К тому же игра сильно изменилась по ходу разработки, и от нас просили чего-то более жестокого и агрессивного.

Так что мы продолжали создавать новые звуковые эффекты и тестировать их в игре. Мы старались описать чувства, которые игрок должен испытывать при временных зависаниях. У нас был целый список ключевых слов, таких как «Насилие», «Непредсказуемость» и «Выкрути на максимум». Последнее означает, что всё должно зашкаливать, звучать гиперреалистично. У нас были и другие правила, но ограничений было значительно больше. Например, мы решили, что во время зависаний не будет никакой реверберации и звуков окружения. Так, чтобы игрок не мог чувствовать окружающее пространство. В нормальном же мире мы наоборот всячески подчёркивали реверберацию, чтобы пространство хорошо ощущалось.

Мы долго обсуждали, что может происходить с молекулами воздуха при застывании времени. Герой может двигаться, говорить и слышать собственные шаги. Почему? Потому что когда он говорит, он толкает воздушную массу, но звуковые волны не распространяются и не отражаются от объектов окружения. Они просто возвращаются обратно к нему. Если что-то движется в зависании, оно всё время толкает воздушную массу. Это неестественно, это нарушает «замороженность» времени.

Сравнение звуковой картины: нормальное состояние мира и временное зависание

Ну и ещё один момент, о котором я постоянно говорю в разных интервью. Почти все звуковые ассеты в игре были сделаны в двух разных версиях: для нормального мира и временных зависаний. Мы практически сделали две разные игры.

В Quantum Break много сложных анимаций, и звук очень тесно с ними синхронизирован. Как вы этого добились?

Движения главного героя были сделаны достаточно просто. Как и в большинстве игр, у нас есть система отслеживания шагов, которая считывает типы поверхностей и подобные вещи. Мы можем определить скорость движения персонажа, его ускорение, тип оружия в его руках и другую информацию. Все звуки, сопровождающие движения главного героя, срабатывают от шагов, просто в системе применяется много разных параметров.

Ещё там есть специальные игровые анимации, которыми игрок не может по-настоящему управлять. Например, когда пригибаешься под каким-то объектом, ты просто нажимаешь на одну кнопку, а на экране воспроизводится подготовленная анимация. В этом случае мы просто проигрываем заранее синхронизированный звуковой файл.

С объектами всё по-разному. Какими-то управляет физический движок, для других мы делали отдельные звуки. Для комплексных анимаций, состоящих из многих частей, мы применяли наш специальный инструмент — Timeline editor. Мы записывали видео, отмечали на нём точки синхронизации, и создавали необходимые звуковые эффекты. Затем анимация воспроизводилась через Timeline editor, следуя звуковому таймкоду. Так мы добивались идеальной синхронизации звука и изображения.

Это так вы делали все эти сцены, где объекты двигались туда и обратно во времени? Наподобие сцены с крушением поезда?

Нет, в этом случае мы использовали наш собственный гранулярный синтезатор для Wwise. Сначала мы сделали звук, который эмоционально подходит к сцене крушения. В игре мы отслеживаем текущую позицию анимации и воспроизводим этот звук через гранулярный синтезатор в нужном направлении. Поверх мы добавляем одиночные звуковые эффекты для конкретных событий. Например, когда поезд пробивает стену и врезается в колонну, мы воспроизводим звук столкновения с колонной. Скорость движения поезда перед столкновением нам известна, и в зависимости от неё мы можем воспроизводить разные вариации звукового эффекта.

Какие ещё собственные инструменты вы применяли?

У нас есть технология под названием Q-Analyzier и это одна из самых крутых штук в Quantum Break. Это плагин, который в реальном времени анализирует аудиосигнал и отправляет полученные данные в игру. А мы можем использовать эти данные для управления анимацией или, в нашем случае, визуальными эффектами. Например, эффект «волны» при зависании — она целиком управляется звуком. Мы анализируем разные потоки данных — быстрый RMS, медленный RMS, спектральный центроид и общую ширину спектра.

Технология в действии

Не самый типичный способ управления визуальными эффектами.

Да, не самый. У него есть два преимущества. Во-первых, аудиосигнал содержит комплексные данные, и мы можем с лёгкостью создавать вариации, изменяя громкость и высоту тона, либо просто создавая разные варианты одного и того же звука. Это очень хорошо для VFX-специалистов, потому что им не приходится создавать вариации визуального эффекта вручную. Во-вторых, звук получается всегда идеально синхронизированным с картинкой.

У вас был интересный опыт работы с голливудскими звёздами. Насколько это отличалось от работы с простыми актёрами озвучивания?

Самая большая разница состоит в том, что голливудские актёры — это очень занятые и дорогостоящие специалисты. Поэтому у нас было очень мало времени для работы с ними. Нам нужно было быть очень организованными и чётко знать, чего мы хотим. Сам по себе процесс практически не отличался. Люди приехали, чтобы делать свою работу. Конечно, из-за высокой стоимости и жёстких временных рамок, работа была очень напряжённой. Но, в конце концов, они такие же люди, как и мы.

Расскажите про динамическую музыку в Quantum Break. Особенно про боевые сцены и коридор машины времени.

Это одна из наших крупнейших побед. Особенно в боевых сценах — то, как музыка изменяется по нажатию кнопки. Очень бодряще, это правда круто ощущается. И забавно было слышать, что многие люди не замечали этого эффекта, пока не начинали специально анализировать то, что происходит в игре. Мы как-то умудрились создать очевидный эффект, которого никто не замечает.

Реакция музыки на применение способностей персонажа

Музыка — это форма искусства, существующая во времени. Quantum Break — это игра о времени, так что мы хотели, чтобы музыка отражала происходящее в игре. Это было сознательное решение: мы можем ломать музыку и использовать её для демонстрации манипуляций со временем. Петри Аланко сочинял музыку особым способом, с учётом заранее придуманной системы. Музыка боевых сцен очень полиритмична, там не используется размер 4/4 — иначе игрок будет ожидать какого-то ритмического разрешения. Мелодия как таковая там тоже отсутствует, так что гармонического разрешения игрок тоже не ждёт, а значит мы можем сломать нашу музыку в любое время.

Сама музыка разделена на два слоя: ритмические и тональные элементы, и мы по-разному ими управляем. При нажатии кнопки мы прерываем ритмический элемент, поскольку мы хотим сбить ритм, и начинаем манипулировать тональными элементами в реальном времени. Для каждой способности мы создали особый способ применения эффектов, с учётом некой рандомизации. Интересная особенность этой системы состоит в том, что способности будут звучать по-разному в зависимости от текущего состояния музыки, но всегда узнаваемо. А поверх всего этого у нас есть более традиционная система привязки музыки к интенсивности боя и стингеры, звучащие при убийстве врагов и других событиях.

Там используется продуманная система лейеринга. У нас есть обычный трек и трек, звучащий задом наперёд. Они перетекают друг в друга при помощи кроссфейда, а мы отслеживаем, какая часть композиции воспроизводится в данный момент. Наш специалист потратил кучу времени, нарезая композицию на куски, которые будут правильно друг с другом сочетаться. В общем мы просто пускаем пыль в глаза, за этим нет никакой вычурной системы. Просто хорошая идея и огромное количество человеческих сил, затраченных на её реализацию.

Демонстрация изменения музыки в машине времени

Как вы выстраиваете громкость микса? Устанавливаете пороговые значения для разных категорий звуковых эффектов?

Да. Как я уже говорил, при создании игровых ассетов мы следуем очень строгим правилам. Мы устанавливаем значение RMS для каждого класса звуковых объектов — диалоги, звуки окружения, выстрелы, музыка и т.д. Объекты загружаются в уже настроенные контейнеры, так что микс получается почти готовым ещё до этапа сведения. Мы измеряем громкость в LUFS с различной длительностью временного окна в зависимости от продолжительности звука.

Давайте теперь поговорим про работу в индустрии. Нужно ли дизайнерам звука заранее специализироваться на какой-то узкой области, или лучше быть универсалами?

Зависит от того, чем ты хочешь заниматься. Даже узкому специалисту важно иметь широкий кругозор, чтобы понимать, как его специализация сочетается с навыками других людей. Я провёл много собеседований, и я всегда задаю общие вопросы о звуке в целом и собственных интересах кандидата.

Начинающим дизайнерам звука лучше быть универсалами. Прости за покровительственный тон, но большинство людей без опыта работы в крупной компании понятия не имеют, в чём заключается работа дизайнера звука.

Если ты намерен записывать диалоги и ничего не знаешь о других сферах, тебя никто не возьмёт на работу. Тебе нужно обладать широкими знаниями. Например, разбираться в поведении физических материалов — это очень важно для работы с игровым аудио. Иначе ты не будешь знать, что делать со звуком в игре.

Специализация приходит после. Когда ты какое-то время проработал в компании, ты можешь выбрать узкую сферу, которая тебе по душе. Но если только ты не ищешь очень специфичную работу и не имеешь огромного опыта за плечами, я бы не рекомендовал выбирать узкую специализацию.

Какие навыки вы цените в соискателях превыше всего?

Ты можешь быть лучшим саунд-дизайнером в мире, но если ты не можешь работать в команде, ничего не получится. Чтобы впечатлить работодателя, нужно обладать очень большим набором навыков, но прежде всего нужно быть хорошим человеком. Я буду оценивать, как ты взаимодействуешь с людьми, насколько ты вписываешься в атмосферу Remedy и моей команды. Потому что здесь тебе придётся ежедневно работать с одними и теми же людьми, зачастую в очень стрессовых ситуациях.

Поскольку в Remedy мы занимаемся сюжетными играми, меня особенно интересует, как дизайнеры звука доносят сюжеты.

Как развивается звуковая картина, следует ли она сюжетной линии, есть ли какие-то драматургические подъёмы в кат-сценах? Аналогичные требования я предъявляю к композиторам — анализирую, как их музыка рассказывает сюжетную сцену. И ещё важна оригинальность — способность делать что-то немного отличающееся от других. Что-то, что принесёт дополнительную ценность моей команде.

Конечно, всё зависит от конкретной вакансии, но в основном нас интересует оригинальность и внимание к нарративу. Если честно, даже знание Wwise и FMOD не так важно для нас (хотя, само по себе это очень важно!) — это же просто инструменты, любой может их изучить. Меня куда больше интересует творческое начало, внутренняя искра.

То есть для вас не важно владение конкретным набором технологий, как для некоторых других компаний?

Нет. Отчасти потому что мы используем собственный движок, который в любом случае придётся изучать. Если бы мы делали игры на Unity или Unreal, мы бы наверняка требовали знания этих движков. Знание аудиодвижков — это всегда большой плюс. Но если человек нам понравится, мы не откажем ему в работе только из-за незнания Wwise.

А как насчёт программирования?

Дизайнеры звука в Remedy должны немного программировать. Не обязательно знать C++, но опыт с Python или JavaScript — это плюс. Как минимум, нужно знать какие-то основы — что такое переменная, функция, массив. Не надо быть хорошим программистом, но мы рассчитываем, что человек сможет самостоятельно добавить в игру пару звуков с помощью скриптов. Для нас это очень важно, и я всегда задаю этот вопрос при приёме на работу.

А в целом, всё зависит от того, чем ты собираешься заниматься. Если ты хочешь работать в штате, то это ценный навык. Если ты аутсорсер, то без программирования можно обойтись.

Самая большая ошибка, которую саунд-дизайнер может допустить на собеседовании.

Заявиться пьяным, что мне доводилось однажды наблюдать. Правда, человек претендовал на какую-то другую вакансию. У нас было собеседование по Skype и соискатель был настолько пьян, что не мог усидеть на стуле. Не надо так делать, если вы хотите получить работу.

Что вообще случится с профессией? Желающих работать в этой сфере очень много, работы для всех не хватает.

Я работаю над ААА-играми, и моё знание индустрии ограничивается этим сегментом. Не очень представляю, что творится на мобильных платформах или у инди-разработчиков. Виртуальная реальность может «выстрелить». Требования к звуку там гораздо выше, и это принесёт новые возможности.

ААА-разработка в наши дни — это довольно интересное явление. Чем сильнее развиваются технологии, тем больше становятся игры. Требования к качеству и количеству звуковых ассетов будут только расти. Но в то же время появляются новые технологии, особенно в сфере машинного обучения. Например аниматоры вовсю переходят на машинное обучение вместо ручной анимации. У нас вся лицевая анимация сделана таким образом. Мы записываем набор данных, но мы больше не считываем физические анимации — мы доверяем это машине. Я думаю, то же самое произойдёт и со звуком.

Это очень обсуждаемая тема в наши дни. Не боитесь, что нейронные сети нас заменят?

Да, они нас заменят. Я имею в виду, по части создания ассетов. Человек не будет этим заниматься через 10 лет. Возможно, обучающиеся машины даже смогут целиком создавать игры. Но их всё равно нужно обучать, и в этом и состоит роль дизайнера звука. К тому же нужно постоянно контролировать, чтобы машина производила именно то, что нужно.

Процедурное аудио тоже ожидает подъём. Просто послушай: в Max Payne, Max Payne 2 и Alan Wake вместе взятых было около 5000 записанных фраз для диалогов. В Quantum Break их 11306. В трёх играх, выпущенных за последние 15 лет, в два раза меньше ассетов, чем в нашем недавнем релизе. И мы ожидаем, что в Crossfire 2 будет столько же, сколько в Quantum Break. Мы требуем глубокого погружения в игру, поэтому нам нужно больше контента. Но мы не можем продолжать наращивать объёмы такими же темпами, это слишком дорого. Поэтому в какой-то момент мы будем вынуждены потянуть рычаг и сказать: «такое-то количество ассетов будет создаваться процедурно, а мы займёмся лишь самыми важными из них».