Как консоли нового поколения изменят звук в играх

Рассказывают инженеры студий Sumo Digital и The Chinese Room.

Пока о 120 кадрах в секунду и 4К на консолях в последние годы говорили на каждом шагу, аудио в играх обсуждали куда реже. Но вот пришло новое поколение, а вместе с ним — и новые технологии, которые помогут разработчикам делать звук выразительнее и реалистичнее.

Сотрудники Sumo Digital (Sackboy: A Big Adventure) и The Chinese Room (Dear Esther, Everybody's Gone to the Rapture) рассказали Gamesindustry.biz, как PlayStation 5 и Xbox Series помогут совершить скачок в аудио, а ещё — о том, какие проблемы сулят дизайнерам звука новые технологии.

Сейчас при разговорах о новом поколении и правда чаще всего упоминают улучшенную картинку, поэтому трассировка лучей и 4К уже давно у всех на слуху. Звук же в играх менее заметен, да и в индустрии о нём столько не говорят — однако с приходом на PlayStation 5 и Xbox Series новых технологий и он получил свою долю внимания.

Ведущий звуковой дизайнер студии The Chinese Room отмечает, что эти технологии на самом деле не такие уж и новые — просто раньше их вообще мало где можно было увидеть.

«Звук нового поколения» существовал и раньше, но был представлен в гораздо меньших масштабах, и только сейчас он добрался до широкой аудитории. Интересно смотреть, как он, по сути, становится мейнстримом.
Особенно меня интересуют технологии вроде трёхмерного звука, где ты добавляешь звуковому окружению вертикальности. Ещё недавно такие технологии более-менее представлял VR, но сейчас их можно будет увидеть и на консолях. Благодаря ним мы, звуковые дизайнеры, сможем помочь игроку лучше прочувствовать звук и погрузиться в игру.
Дан Хендрикс, ведущий звуковой дизайнер The Chinese Room

Сейчас же технологии продвинулись настолько, что благодаря 3D-звуку наконец начинают продавать консоли. Sony, например, в рекламной кампании PS5 заостряет внимание на собственной технологии Tempest 3D Audio Tech, которая воспроизводит трёхмерный звук через беспроводные наушники Pulse 3D или любые другие наушники с 3,5 мм-разъёмом. Уже после старта продаж компания и вовсе собирается так усовершенствовать технологию, чтобы 3D-звук воспроизводился и через динамики телевизора.

Xbox Series X|S, оснащённые объектно-ориентированными кодеками DTS:X и Dolby Atmos, как и выделенным аудиочипом, точно так же могут воспроизводить трёхмерный звук через наушники. И хотя, отмечает издание, не для всех потенциальных покупателей звук нового поколения будет иметь большое значение, он очень важен для звукоинженеров, дизайнеров и программистов. Это подтверждает старший звуковой дизайнер Sumo Digital Джей Кэзи.

Новое железо очень классное, но тот факт, что крупные компании делают [трёхмерный звук] одной из главных особенностей консолей — это просто шикарно. Значит, можно надеяться, что люди всё-таки смогут оценить качественное аудио.
Джей Кэзи, старший звуковой дизайнер Sumo Digital

Но новые технологии приносят и новые проблемы. Начнём с того, что звук, в отличие от графики, игрок замечать не должен — даже несмотря на то, что через него передаётся половина информации. Джей Кэзи говорит, что если звук всё-таки замечают, то он или плохо сведён, или просто слишком бьёт по ушам.

Трёхмерный же звук только подсвечивает работу дизайнеров, в том числе и недочёты, которые можно было бы скрыть с обычными системами. Поэтому инженерам нужно быть ещё аккуратнее, чем раньше.

Звуковые дизайнеры обычно не ждут, что их работу вообще заметят. Для нас звук — это инструмент, с помощью которого мы задаём игроку курс во время геймплея, и он не обязательно должен это видеть. Люди не будут так же сходить с ума по дизайну звука, как по графике, которую можно оценить мгновенно. Аудио, в свою очередь, должно быть где-то на периферии.
Дан Хендрикс, ведущий звуковой дизайнер The Chinese Room

Единственный выход — адаптироваться. Хендрикс приводит в пример связующее программное обеспечение Wwise, следующая версия которого будет делать ещё больший упор на трёхмерный звук. Тут уж, говорит он, всё равно, опытный ты разработчик или новичок — учиться нужно будет в любом случае.

Теперь при создании звуков нужно будет думать по-новому. Если вы никогда не работали c передаточной функцией, то сразу увидите, что это совсем другой производственный процесс, где надо постоянно помнить, что ваши звуки передадутся совсем не так, как обычно. Нужно будет всё время прогонять их через фильтры, чтобы увидеть, звучат ли они так, как вам нужно.
Кое-что всё-таки будет выделяться, даже если вы этого не задумывали: белый шум, прогнанный через HRTF-фильтры, может зазвучать чуть более бледно и не так эффектно. Много у вас опыта или мало, вам нужно будет просто научиться работать по новой системе.
Дан Хендрикс, ведущий звуковой дизайнер The Chinese Room

Хотя у Xbox Series X и PS5 разные технологии, игрок вряд ли заметит разницу в результате, а тот факт, что у обеих консолей есть выделенный звуковой чип, только облегчит разработчикам задачи.

По словам Кэзи, теперь можно будет не бояться добавлять побольше звукового контента, тогда как на консолях предыдущего поколения надо было постоянно за этим следить. Джо Уайт из Sumo Nottingham придерживается такого же мнения.

Консоли следующего поколения интересны тем, что звуковыми расчётами у них будет заниматься специальный чип. У Sony, например, есть система Tempest: к ней относится звуковой сопроцессор, который оптимизирует нужные вам процессы для улучшения 3D-звука или, допустим, цифровой обработки сигналов в игре.
Джо Уайт, старший программист в Sumo Nottingham

Кроме того, теперь можно будет точнее симулировать распространение звука в пространстве, а это отлично сработает в паре с трассировкой лучей. Хендрикс добавляет, что легче станет работать и со свёрточной реверберацией, благодаря которой можно реалистично просчитать эхо в закрытых помещениях.

Ещё разработчики надеются на процедурное аудио, когда звуки генерируются непосредственно во время игры, а не проигрываются в нужный момент. Пока неизвестно, сколько времени уйдёт на разработку полноценной технологии, но Уайт говорит, что сама идея становится всё более популярной среди звуковых дизайнеров.

В основе своей [процедурное аудио] похоже на шейдеры, которые определяют, как выглядят объекты на экране или как устроена геометрия. Оно должно работать прямо во время игры и изменяться в зависимости от её параметров.
Мне кажется, это целое непаханое поле: нужно думать не просто о том, как звук от источника распространяется в пространстве, а о том, как он вообще возникает, как он изменяется в зависимости от вашего с ним взаимодействия. И я надеюсь, что благодаря новым консолям процедурное аудио потихоньку начнёт выходить из разряда фантастики.
Джо Уайт, старший программист в Sumo Nottingham

Трёхмерный звук поставит перед дизайнерами ещё одну сложную задачу. Музыка в играх зачастую не-диегетическая, то есть она исходит не из внутриигрового мира. Кэзи говорит, что решить, будет она диегетической или всё-таки нет — это само по себе непросто, а с 3D-музыкой будет ещё труднее — и, тем не менее, «безумно интересно».

Джо Уайт, который раньше работал над интерактивными музыкальными приложениями, очень впечатлён, что теперь и в играх можно будет испытать «чисто музыкальный опыт», но отмечает и сложности.

Ещё нужно будет думать над структурой композиции — в играх, где музыка должна подстраиваться под происходящее на экране, это всегда та ещё проблема. Если композиция представляет собой линейный сегмент, который ты просто пытаешься запихнуть в игру, проблемы и правда будут, потому что можно будет услышать, где именно он прерывается. Но если задуматься о том, как вплести музыку в игровой мир, откроется, как мне кажется, гораздо больше возможностей.
Джо Уайт, старший программист в Sumo Nottingham

#nextgen #звук #мнения