Музыка и семплирование в видеоиграх: как оно работает и зачем оно нужно

Мы часто слышим о геймдизайне, графике, сюжете, да даже про игру актеров, но почему так мало внимания уделяется звуку? Предлагаю погрузиться в мир музыки и отыскать схожие элементы в разных играх. И, наконец, разобраться почему звук разбивающегося горшка везде одинаковый.

Я решил углубиться в теме и раскрыть такую непопулярную тему как семплы в видеоигровой музыке. Получилось затронуть историю развития звука на разных консолях и немного поговорить о технической части.

Оглавление:

Почти никто уже не спорит про то, что видеоигры стали не просто развлечением, а полноценной формой искусства, которая объединяет в себе многие виды художественного творчества. Они способны рассказывать захватывающие истории, создавать неповторимые атмосферы, целые миры и вселенные, вызывать совершенно разные эмоции у игроков: от скуки до возвышенных чувств, наталкивать на размышления, вплоть до глубоко философских мыслей. И музыка, и звук - далеко не последние элементы конструктора.

Попробуйте выкинуть из Undertale звуковое сопровождение. Да, это все еще будет отличная игра, но как же много атмосферы теряется вместе со звуком.

Музыка и звуки в играх не только украшают игровой процесс, но и помогают нам понять, что происходит в игре: какие действия мы совершаем и последствия от них, какие опасности нас поджидают, какие эмоции мы испытываем. А про то, что звуки создают настроение, атмосферу, характер и личность игрового мира и его обитателей можно особо и не говорить.

Музыка и звуки в играх – это не просто фон, а важная часть игрового искусства.

Если вас интересует история развития звука в видеоиграх (так сказать, база) могу порекомендовать вам эту статью. В моем тексте я раскрываю такую узкую тему как семплирование.

В буквальном смысле семпл — небольшой фрагмент музыкального произведения, используемый в другом. В современном, широком смысле - это могут быть речь из кино, шум дождя, звуки отбойника и другие записанные и оцифрованные звуки. Соответственно, семплирование — это использование и обработка этих звуков в процессе создания новой музыки.

Все началось с изобретения магнитофона. С ним стало возможно не только записывать, но и обрабатывать звуки. Первопроходцем стал французский композитор Пьер Шеффер. В далеком 1949 году он записал шумы природного происхождения на магнитную ленту и стал их всячески изменять: зацикливать, менять тональность, ускорять и замедлять. Такой метод получил название musique concrète и перевернул представление о том, как может звучать музыка.

«Конкретная музыка» вдохновила последователей Шеффера на новые опыты. В 1949 году изобретатель Гарри Чемберлин сконструировал инструмент, похожий на пианино — только нажатие на клавиши не било молоточками по струнам, а воспроизводило звуки, заранее записанные на ленты. Как это работало: каждая клавиша была связана с магнитной лентой, на которую был записан звук с соответствующей нотой.

В последующем, его изобретение доработали и в историю оно вошло под названием Меллотрон.

Чисто технически, можно сказать что это стало изобретением первого семплера.

Семплер — электронный музыкальный инструмент, а также прибор для воспроизведения, записи и обработки семплированных звуков.

Время шло, технологии не стояли на месте, а вместе с ними развивались и технологии семплинга.

И так постепенно от этого:

Мы дошли до этого:

Отличным примером семплированной музыки это альбом DJ Shadow «Endtroducing...» записанный на Akai MPC 60 и выпущенный в 1996 году. Он попал в Книгу рекордов Гиннесса как первый альбом, полностью записанный с помощью семплов.

В 1990-х семплирование как процесс еще более радикально упростилось: делать музыку из семплов стало возможно уже на обычном домашнем компьютере. Современные возможности создания семплов безграничны. Портативные семплеры выпускаются и сейчас — вы можете легко подключить их к ноутбуку и смартфону и делать с их помощью музыку. А можете обойтись и без них: весь функционал есть в программном обеспечении — от FL Studio до Ableton.

Это все конечно круто, но что там в видеоиграх?

Как многие знают, первые звуки в видеоиграх создавались чипами в самих консолях, т.е. фактически синтезировались в реальном времени.

Сейчас мы называем это чиптюн.

Чиптюн — электронная музыка, синтезируемая в реальном времени аудиочипом компьютера или игровой приставки (обычно ранних поколений), а не набором музыкальных семплов, записанных с аудио устройств.

В чиптюне звук кодируется при помощи простейших математических формул, задающих звуковые волны разной длины и шумового канала. Музыка создавалась не расположением нот на нотном стане, а написанием отдельной программы, инструкцией для чипа, который и генерировал звук.

В NES всю музыку генерировали 4 бита звука. Так как были технические ограничения из-за аппаратных возможностей в написании композиций, приходилось изворачиваться различными способами, чтобы написать интересный трек к игре.

Но, в NES можно было включать и аудиофайлы, правда невероятно сжатые. Однако, как бы это круто не звучало, использовался такой подход крайне редко. Из-за сильной ограниченности памяти в картридже, обычно максимум, что мы получали — это несколько сэмплов ударных здесь и там.

Sega со своим 16-битным Sega Genesis хотя и была технически не сильно отличающейся от NES в плане музыки, тот же чип (хоть и круче) и тот же подход. Однако, семплы начали все чаще попадать в уши геймеров, а музыка благодаря новому процессору стало более полифонной и интересной.

С развитием игровых систем чипы лишь с собственным синтезатором на борту сменились на системы все чаще использующие семплы! Что бережно были записаны композиторами и хранились прямо на картридже с самой игрой. Внимание вопрос - а откуда собственно появились сами семплы? Композиторы начали создавать аудиозаписи своего реального оборудования и голоса.

Как это часто бывает в видеоигровом мире, Nintendo взяла дело в свои руки и довела искусство семплирования до какого-то невероятного на то время уровня навсегда войдя в историю семплов в видеоиграх.

Классным примером будет EarthBound (одна из любимых игр Тоби Фокса, кстати) и голос Venus, которую, внимание, ОЗВУЧИЛА Этсуко Каваны и подарила миру "А", который в последующем использовал Тоби Фокс в озвучке Undyne.

Вообще, в EarthBound очень активно использовалось семплирование. В том числе и музыкальных отрывков из других композиций.

А Kazumi Totaka (штатный саун дизайнер Нинки) кроме создания Totaka Song (можно послушать тут, культовая штука так-то), подарил свой голос Yoshi.

Пиликалки и шумы это все, конечно, круто, голос так вообще отвал башки, но кроме этого всего, музыке все еще нужны музыкальные инструменты.

И где же можно было взять звуки флейты или ударных? Конечно из MIDI-модулей!

И тут мы вводим два очень важных понятия: собственно MIDI и звуковой модуль.

Звуковой модуль - это электронный музыкальный инструмент, не имеющий интерфейса, на котором может играть человек с помощью любого внешнего устройства. Устройство, в свою очередь, чаще всего представляет собой MIDI-контроллер. Наиболее распространенным типом является музыкальная клавиатура фортепианного типа (но далеко не обязательно). Если говорить очень грубо, в память такого модуля записаны различные семплы, в том числе реальных инструментов которые можно изменять с помощью разных эффектов, таких как: реверб, хорус, вибрато, овердрайв. Получается что-то похожее на инструмент Гарри Чемберлина, о котором мы говорили выше, только куда более продвинутый.

MIDI — стандарт цифровой звукозаписи на формат обмена данными (интерфейс) между электронными музыкальными инструментами.

Для простого понимания - к звуковому модулю мы подрубаем контролер, который сообщает с помощью MIDI интерфейса на какой ноте и с какой силой мы жмякнули на ту или иную клавишу, ну и наш модуль воспроизводит тот или иной звук на нужной частоте (высоте) с нужной громкостью. Можно сказать что это были первые VST (программки, с помощью которых сейчас все пишут музыку в своих аблетонах и флках, простым языком виртуальные синтезаторы и эффекторы), только физические.

Вот одни из самых популярных модулей:

Можно сказать, что практически каждый композитор игр на тот момент использовал их.

Особенно ярко выделяется в игровом мире модуль Roland sc-88

Кроме того, что модули можно было подключать к контролерам, их так же можно было подключать к ПК, что выводило звуки в компьютерных играх на другой уровень! И одна и та же игра могла звучать так:

Или так:

Смотря какой модуль вы использовали.

Но чем это интересно нам в пределах темы? А тем, что звуковые MIDI-модули, и их звуки использовались композиторами в видеоиграх на протяжении многих лет.

Вот классический пример:

Узнали?

А если так?!

Если игр Nintendo мало, то вот и другой пример:

Это лишь малая часть, верхушка айсберга.

А вот примеры использования пресета оркестровой ударной установки Roland SC-88 совместно с уже известным нам French Horns:

Так можно продолжать очень долго выискивая знакомые звуки Roland RC-88.
Но дело одним лишь Roland RC-88 не ограничилось. В видеоиграх то тут, то там можно встретить звуки многих других модулей, что встречаются от игры к игре.

Ну и на сладенькое - ультимативная вещь. Всем знакомый звук музыкальной шкатулки.

Или немного другая версия этой же музыкальной шкатулки:

Ну и

Или нет?

Вот тут нужно разобраться подробнее.

SoundFont - это торговая марка, обозначающая формат файлов и связанную с ним технологию, которая использует синтез на основе сэмплов для воспроизведения MIDI-файлов.

Простыми словами, SoundFont файлы содержат в себе набор звуков, которые можно использовать в любой игре. SoundFont позволяет использовать звуки, которые были записаны или созданы специально для конкретной игры, и которые будут звучать одинаково на любом устройстве поддерживающем этот формат.

Тоби Фокс часто использовал SoundFont библиотеку под названием SGM в своих играх, в том числе и в Undertale. Кроме Тоби эту библиотеку так же использовали в своих играх Nintendo (серия Pokémon, Super Smash Bros. Ultimate), разработчики Drawn to Life, Pizza Tower.

В работах Тоби Фокса кроме SGM можно встретить и многие другие библиотеки, особенно интересно - использование библиотек созданных специально под другие игры, таких как: Soundfont - Earthbound в треке Fallen Down (он буквально состоит из звуков из Earthbound), Soundfont - Chrono Trigger в Uwa!! So Temperate♫, Soundfont - Secret of Mana в Enemy Approaching, Soundfont - Final Fantasy VI в Oh! One True Love и таких примеров в его треках РЕАЛЬНО много.

И тут стоит заметить интересную связь.

Выше вы могли послушать саундтрек Final Fantasy VI в примере с использованием звукового модуля, а теперь я привожу пример Soundfont - Final Fantasy VI в игре Тоби Фокса!

Все довольно просто! Оказывается, что некоторые Soundfont библиотеки получили свои сэмплы из MIDI-модулей. На самом деле, это может быть немного сложнее и включать в себя целую цепочку пересемплирований и изменений, и в итоге звук из Soundfont может довольно сильно отличаться от оригинального звука, но фактически, это все еще он и есть.

И так, звуки продолжают свой путь от игры к игре встречаясь то тут, то там. И это... Круто!

Но как это работает на техническом уровне? У нас все еще есть довольно серьезные ограничения консолей, которые не позволяют поместить большие звуковые файлы в катридж банально из-за нехватки памяти, а модули мы, вроде как, решили не использовать.

Да, в катридже не было место для полного трека, но все еще можно было запихать один звук, супер сжатый, но все еще звук! А дальше консоль все сделает сама: изменит высоту и длину этого звука, зациклит его если это необходимо (чтобы сделать из короткого звука длинный). Вообще, консоль могла делать много чего с этим одним звуком. Сделать его более резким, или заставить затухать к концу ноты, что делало звук более реалистичным.

И вот, пару таких манипуляций, запрограммированная MIDI инструкция и мы имеем полноценный трек, но все еще в довольно плохом качестве.

И тут на сцену выходят фанаты, которые находят буквально каждый оригинальный звук и делает вот такие крутые штуки

Все, о чем мы говорили (когда приводили в пример игры NES, SNES, Sega Genesis и от части N64) выше, называется Sequenced музыка.

Как вы могли понять, Sequenced музыка – это музыка, которая хранится в виде MIDI-файлов. Они содержат информацию о нотах, длительности, громкости и тембре звука, но не сам трек.

Streaming музыка – это музыка, которая хранится в виде звуковых файлов, таких как MP3, WAV, OGG и т.д., и воспроизводится в игре без изменений. Этот способ позволяет использовать высококачественную и сложную музыку, которая может быть записана живыми инструментами или синтезаторами. И представляет собой то, что мы привыкли видеть сейчас в видеоиграх.

И, на самом деле, N64 могла себе позволить хранить целый трек. Но в СУПЕР ужатом виде.

Но это скорее было исключением из правил.

Можно подумать, что эпоха Sequenced музыки прошла вместе с появлением PS1 и переходом на CD-диски, но это не совсем так.

Там, кстати, реально клевое музло, рекомендую заценить:

Однако, Sequenced музыка все еще была крайне полезна, когда дело доходило до экономии места на диске.

Как вы могли заметить, Sequenced музыка на PS1 звучит намного лучше, чем на N64, но она все еще Sequenced.

Во многих игр той эпохи, Streaming музыку можно было услышать, например, в кат-сценах, а все остальное отдавалось на откуп Sequenced методу. По такому принципу работал, например, Silent Hill.

Настоящий же переход случился на PS2, вот там уже практически все игры стали использовать полноценные аудио записи.

Такой же переход сделали игры и на GameCube. Кроме игр самой Nintendo. Компания которая все остальное время была на пике технологий в сфере звука в видеоиграх сейчас вдруг решила, что полноценные треки, это что-то лишнее.

Сейчас же, Sequenced музыка из-за достаточного места на консолях и простоты использования и создания полноценных звуковых файлов, можно сказать, практически исчезла, и встречается, разве что, в кейгенах.

Что вы знаете о Sample CDs?

Sample CDs – это компакт-диски, которые содержат звуковые сэмплы, записи реальных или синтезированных инструментов, которые могут быть использованы в сэмплере для создания музыки или звуков.

Sample CDs были популярны в 90-х и начале 2000-х годов, когда сэмплинг был одним из основных способов создания музыки в разных жанрах, таких как хип-хоп, электроника, поп музыка. Sample CDs позволяли использовать разные источники звуков, и с помощью маленьких кусочков создавать уникальные звуковые эффекты и саундскейпы.

Сейчас Sample CDs стали менее актуальными, так как появились новые технологии и форматы для хранения и воспроизведения звуков, такие как MP3, WAV, OGG и т.д. Также появились новые способы создания и обработки звуков, такие как синтез, моделирование, появились виртуальные инструменты и плагины.

Можно сказать что Sample CDs в наше время стали Сэмпл Паками, которые так любят молодые (и не только) музыканты.

Кроме музыкантов, так же и игровые студии использовали Sample CDs. Во многих играх тех времен мы можем услышать те самые сэмлы.

Например, басс в этом ОСТе был взят из такого сборника.

Или Крик Вильгельма (почему бы и нет, думаю это подходит)

А может вы замечали с каким одинаковым звуком бьются горшки в играх? Да, это тоже семпл с диска.

Кроме этого, стоит сказать, что сэмплы могли быть не только шумовыми и использоваться не только целиком как в примере с теккеном, это вполне мог быть один звук какой-нибудь флейты, который при записи итогового трека композитор менял по тону, создавая из одной ноты целые мелодии, как это делали консоли при использовании SoundFont. А могли быть, например, каким-то записанным кусочком живой гитары, который в последующем при написании трека можно было ставить снова и снова создавая таким образом зацикленную мелодию.

Если очень постараться можно найти похожие кусочки в разных играх, потому что студии использовали одни и те же Sample CDs.

Здесь можно посмотреть много классных примеров такого использования сэмплов.

Вообще, музыканты любят заимствовать, видоизменять и создавать из старого новое. Так музыка из игр иногда самым неожиданным образом кочует в другие сферы, например, в hip-hop.

Сейчас же, несмотря на возможности записи целого живого оркестра, даже крупные разработчики редко этим пользуются. Это все еще невероятно дорого. Да и зачем, когда все можно сделать на компьютере?!

Плагины сейчас дошли до какого-то невероятного уровня. Иногда даже сложно сказать с первого прослушивания, что это было, живой инструмент или виртуальный синтезатор.

Современная музыка для видеоигр в основном создается с помощью виртуальных инструментов или высококачественных сэмплов. Это дешево, а сэмплы и плагины способны имитировать звучание реальных инструментов достаточно убедительно для большинства слушателей.

Зачем тратить деньги на оркестр, если компьютер может сделать все то же самое? Но есть и исключения. Например, часто записывают гитары, так как их синтез все еще довольно плох. Но не только ограничения подбивают композиторов на использование живых инструментов. Интересный факт об UNDERTALE, связанный с этой темой: он почти полностью состоит из бесплатных сэмплов и SoundFont, кроме трех песен: “She’s Playing Piano”, “Last Goodbye” и “Undertale”. И это, самые эмоционально насыщенные треки во всей игре.

Сейчас мы все еще можем услышать во многих играх отголоски прошлого, многие инди разработчики часто прибегают к SoundFont, а крупные издатели все так же используют сэмплы. Но все это больше не из-за ограничений или невозможности записать какую нибудь гитару, а из-за желания вызвать чувство ностальгии или сэкономить на записи оркестра, а иногда и вовсе ради малюсенькой пасхалки, которую заметит 3 с половиной игрока.

Была бы музыка Тоби Фокса такой же, если бы он ее записал только на живых инструментах? Пусть на этот вопрос каждый ответит сам.

Музыкальный мир сейчас, куда шире чем раньше, звуки доступнее, самые разные инструменты доступнее, игры и консоли больше не ограничены как раньше в звуковом плане, железные синты превращаются в ничем не отличающиеся виртуальные копии и чтобы держать дома целую студию из множества инструментов, достаточно одного ноутбука. И это невероятно! Но мы все так же любим чиптюн, музыку из Зельды, и в очередной раз улыбаемся услыша Крик Вильгельма.