Мелодия на заказ: почему музыка в видеоиграх должна быть адаптивной

Влияние на погружение и создание нужного настроения.

Музыка для видеоигр по своей сути отличается от музыки для линейных медиа. Требования к композиции линейной и нелинейной музыки также сильно отличаются. Когда Говард Шор писал саундтрек для трилогии «Властелин колец», он уже знал, как долго каждый персонаж будет на экране. Поэтому он мог заранее комбинировать лейтмотивы, чтобы создавать подходящее настроение для каждой сцены.

Игровые композиторы лишены подобной роскоши. Кроме кат-сцен они не могут полноценно управлять опытом пользователей. Чтобы эффективно выполнять свою задачу, музыка в играх должна подстраиваться под ситуацию и контекст происходящего.

Сооснователь и генеральный директор Melodrive Валерио Велардо опубликовал в блоге Audiokinetic текст про особенности музыкального сопровождения в видеоиграх. Он рассказал о результатпх эксперимента, в котором изучалась глубина погружения при разных типах музыки. Мы выбрали из материала главное.

Чтобы выяснить, как разные пользователи относятся к музыке в интерактивных проектах, автор провёл опрос среди нескольких категорий людей: обычные игроки и пользователи VR или AR, участники Roblox, High Fidelity и VRChat. Кроме того, опрос был распространён в тематических группах Facebook и на Reddit. Всего было получено 179 ответов, на основе которых и сформированы выводы.

Игроки считают, что музыка является центральным аспектом геймплея, более 80% опрошенных считают, что она может многое добавить игре. Они также знают о различных типах музыкальных приёмов и имеют определённое мнение на счёт их эффективности. Примерно 50% респондентов сказали, что закольцованная музыка раздражает.

Некоторые из них даже добавили, что лучше отключить звук, чем продолжать слушать одно и то же. Примерно 75% игроков и пользователей VR и AR знакомы с концепцией адаптивной музыки и способны распознавать её базовые приёмы.

В целом, более 60% респондентов считают, что адаптивная музыка важна для улучшения интерактивного контента. Этот показатель почти равен 80% у традиционных игроках и пользователей VR и AR. Большинство людей (более 80%) считают важным, чтобы музыка соответствовала другим игровым компонентам.

Кроме того, музыкальные ожидания игроков редко совпадают с тем, как это реализовано в действительности. Это особенно заметно на примере социальных платформ, таких как Roblox, High Fidelity и VRChat, где менее 25% пользователей находят музыку подходящей.

Для традиционных игроков и пользователей VR и AR этот показатель заметно выше и равняется 45%. Такую разницу можно объяснить тем, что в последнем случае существует многолетний опыт создания музыки специально для подобных проектов. Эти показатели дают понять, что в целом индустрии есть куда расти в области взаимодействия саундтрека с остальными компонентами игры.

Респонденты высказали сильное желание участвовать в процессе подбора и настройки музыки. Более 60% людей отметили, что хотели бы уникальные музыкальные темы для своих персонажей и контента, который они создают в играх-песочницах. Valve оказалась одной из первых компаний, предложивших специальные музыкальные наборы в своей Counter Strike: Global Offensive. Подобное решение позволило пользователям осознанно подобрать собственный музыкальный опыт.

Почти 75% опрошенных заявили, что им бы хотелось самостоятельно создавать музыку для игр, если это можно было бы легко сделать. Люди проявили глубокую потребность использовать музыку в качестве средства творческой самореализации.

Тем не менее велика вероятность, что на данный момент нет достаточно надёжных технических решений, которые позволят людям без опыта создавать музыку в самих видеоиграх. Чтобы сделать это, необходимо внедрять в игры AI-системы генерации музыки.

В Melodrive разработчики создали музыкальный AI-движок, который может делать музыку с нуля в режиме реального времени. Такой саундтрек на лету меняет настроение, чтобы соответствовать эмоциональному контексту сцены. Этот подход позволяет лучше связать музыку с остальными компонентами игры.

Альтернативный подход предложил игровой композитор Оливье Деривьер. Он разработал гибридную интерактивную музыку (HIM), которая основывается на предварительно записанных мультитреках и синтезе в реальном времени, что позволяет создать высокоадаптивный музыкальный ландшафт. Тем не менее созданная ИИ музыка, адаптирующаяся к контексту (Deep Adaptive Music — DAM), может увеличить вовлечённость игроков даже больше, чем HIM.

Чтобы исследовать влияние музыки на игроков, специалисты из Melodrive провели эксперимент, в котором сравнили эффект линейной музыки и DAM в VR-игре.

Для измерения вовлечения, исследователи отслеживали два показателя: длительность сеанса игры и уровень погружения. В ходе эксперимента они сформулировали несколько гипотез:

Чтобы проверить гипотезы, исследователи создали простую VR-сцену. Она представляла собой космическую станцию с двумя комнатами и коридором. Первая комната (синяя) была спокойной и умиротворяющей, вторая (красная) была более агрессивной. Исследователи модулировали настроение комнат (нежность и гнев), используя различное освещение и разные уровни активности объектов, находящихся в обеих комнатах.

Было создано три варианта эксперимента. Участники могли исследовать сцену: без музыки, с линейной музыкой или с DAM. DAM создавалась движком Melodrive в режиме реального времени. Линейный вариант был заранее создан на движке Melodrive, его длина составляла около трёх минут.

В исследовании приняли участие 46 человек, которые не знали о цели эксперимента. Каждый из них опробовал только один из вариантов, в котором они могли провести столько времени, сколько захотят. Время сессии приравнивалось к уровню вовлечения. После сессии участников попросили заполнить анкету, чтобы оценить уровень их погружения.

Результаты подтвердили первоначальные гипотезы: DAM по сравнению с отсутствием музыки обеспечивает погружение на 30% больше, а в сравнении с линейной музыкой — на 25%.

Влияние DAM на время сессии было ещё более значительным. С DAM время игры увеличивается на 42% по сравнению с отсутствием музыки и на 27% в сравнении с линейной музыкой.

90% людей согласились, что музыка является важным компонентом, который помог им почувствовать погружение. Данные показали, что DAM вносит больший вклад в уровень вовлечения, чем линейная музыка. Также исследователи обнаружили, что DAM на 49% увеличивает взаимодействие между музыкой и VR-сценой по сравнению с линейной музыкой. Исследователи опубликовали более детальное описание результатов эксперимента.

Также стало известно, что наличие музыки ещё не гарантирует хороший уровень погружения. Для лучшего эффекта необходимо использовать адаптивную музыку.

Исследование этой темы показало, что пользователи хорошо осведомлены о музыкальной составляющей видеоигр и не очень довольны тем, что они получают в данный момент. Адаптивная музыка может значительно увеличить вовлечённость игроков. Кроме того, пользователи хотели бы сами участвовать в создании и настройке музыки. Попытка удовлетворить эти потребности может открыть большие возможности для композиторов, а также привести к новым формам монетизации, таким как DLC для музыки.