Sony опубликовала патент системы динамического создания музыки в играх Материал редакции

Однако участие композитора в разработке саундтрека всё равно потребуется.

В закладки
Схема работы системы динамического создания музыки в играх, запатентованной Sony

Sony подала заявку на патент системы, которая должна динамически создавать музыку в видеоиграх, ещё в ноябре 2019 года, но документ опубликовали только 22 мая 2020 года.

Согласно описанию патента, Sony допускает возможность внедрения в игры алгоритма, который будет фиксировать изменения геймплея — например, появление различных персонажей или локаций, фазы отдыха, сражений и стелса — и подстраивать под них саундтрек.

Для этого музыкальные мотивы, написанные композитором, предлагается связывать с определёнными эмоциональными состояниями вроде радости, спокойствия, ностальгии, печали, умиротворённости, страха. После этого система динамического создания музыки должна определить, когда в игре начинается та или иная эмоциональная сцена, и сгенерировать для неё соответствующую композицию.

В этом документе описан механизм для анализа музыки, который соотносит её компоненты: ритмы, временную сигнатуру, мелодическую структуру, модальность, гармоническую структуру, гармоническую плотность, ритмическую плотность и тембральную плотность — с различными эмоциональными состояниями, которые определяются на основе опубликованных обзоров и записей в социальных сетях, выражающих мнение людей о концертах, записях.

из описания патента

Появится ли технология из патента в устройствах или играх Sony, неизвестно. Ранее компания также опубликовала патент VR-контроллера с отслеживанием пальцев, подала заявку на патент геймпада с прямым подключениям к серверу, зарегистрировала патент DualShock с задними кнопками и представила патент сенсоров геймпада, которые измеряют биологические данные.

Материал дополнен редакцией
{ "author_name": "Артём Патлусов", "author_type": "self", "tags": [], "comments": 62, "likes": 15, "favorites": 20, "is_advertisement": false, "subsite_label": "gameindustry", "id": 139179, "is_wide": false, "is_ugc": true, "date": "Mon, 25 May 2020 14:05:15 +0300", "is_special": false }
0
62 комментария
Популярные
По порядку
Написать комментарий...

Жилищный шмель

19

Рисунков нет, только схемы.

Естественно, это ж музыка

Ответить
2

Должны быть ноты!

Ответить
12

То есть они запатентовали алгоритм, который мог придумать кто угодно вообще не зная о патенте Sony? По крайней мере схема алгоритма выглядит слишком общно. Такую схему мог бы чисто случайно реализовать любой другой разработчик в своей игре. А вот уже детали каждого блока могут кардинально отличаться. 

Ответить
7

Теперь кто реализует - будет как минимум платить Sony, потому что патент на сиё отныне их.

Ответить
3

Как же бесят такие "схемы".

Ответить
1

Меняешь местами пункты алгоритма/добавляешь свой - новый патент

Ответить
2

Это тебе не диплом писать)

Ответить
0

Теперь кто реализует - будет как минимум платить Sony

Не обязательно, насколько я знаю, то все еще можно доказать в скде, что такое использовали другие, до сони, а тогда патент и вовсе аннулировать могут.

Ответить
0

Это потому что не единственная схема. Также там огромное описание того, что именно они делают (Ссылки на разные разделы). Другое дело, что права они заявляют на саму технологию подобного создания музыки в играх.

Ответить
0

Именно. Они запатентовали обобщенный способ тренировки нейросети 

Ответить
0

Комментарий удален по просьбе пользователя

Ответить
6

По мере того как игры становятся все более кинематографичными

Ужасный век, ужасные сердца.

Ответить

Некоторые браслет

Jetboxx
3

Согласен. После Pong'а - все хуйня, слишком кинематографично.

Ответить
3

Утрировать не надо. После Понга было ОЧЕНЬ МНОГО прекраснейших игр без переизбытка всяких унылых кат-сцен с претензией на кинематографичность. Например, на аркадных автоматах. И я лучше в Пакмана поиграю, чем в какую-нибудь Dad of Bore. 

Ответить
0

Это плохо, плохо? Вы ответьте, уважаемый доктор!

Ответить

Некоторые

Jetboxx
–1

Это просто поубивать время, когда ты чего-то ждешь. Минут на 15-20 максимум.

Ответить
4

Какое потребительское отношение к играм. Только навряд ли ты добьёшься такого высокого скора без тренировок и глубокого изучения игровых механик.

Ответить

Некоторые

Jetboxx
0

Только навряд ли ты добьёшься такого высокого скора

Вообще не представляю, зачем мне это может понадобиться.

Ответить
4

Я же говорю – потребительское отношение. И неуважение к истории игр, по сути. И ААА-разработчики, к сожалению, это поддерживают. Игра пройдена и забыта, больше в ней делать нечего. Поэтому я не поддерживаю их. 

Ответить

Некоторые

Jetboxx
–1

И неуважение к истории игр

При чем тут история и уважение к ней, и стагнация, которую ты предлагаешь устроить всем разработчикам? Ты можешь сколько угодно уважать историю, но зачем останавливать развитие? И кстати, вот это паразитирование на узнаваемом герое, Пакмане, и переделка классики в хуй пойми что - разве не истинное неуважение? Это напоминает мне будущую часть Battletoads, где наследие, историю и чувства игроков провернули на хую.

Ответить
3

Какая стагнация? В той же Championship Edition на самом деле довольно много изменений в сравнении с традиционной формулой Пакмана. О неуважении при этом говорить тоже не приходится, потому что в сердце своём это всё Пакман, а ещё в создании игры участвовал Тору Иватани. 
И я не вижу никакого развития в Dad of Bore. Вот какая была боевая система в Ninja Gaiden II 2008 года... А сейчас...

Ответить

Некоторые

Jetboxx
–1

Ты мне очень напоминаешь снобов, для которых единственный правильный вокал - академический, единственная правильная музыка - классическая, в исполнении классического оркестра, а единственное представление - это спектакль и опера. Все, что выходит за эти рамки, будь то разные техники вокала, разные современные музыкальные инструменты, разные музыкальные жанры, да даже фильмы многие хейтят, топя только за театр. Они не хотят принять того, что искусство развивается, не хотят принять жанровое разнообразие, не хотят принять чужое мнение и вкусы, считая свои - единственно верными. При этом они тоже не видят никакого развития, и пытаются насаждать свою точку зрения, что вот раньше-то было заебись, музыка на века, а сейчас все вокруг говно и деградация, а не развитие, и никакого уважения к классике.

Ответить
0

Нет, снобизм – это не про меня. Что касается моих музыкальных вкусов, я сочетаю любовь к кентерберийской сцене и жанру zeuhl с прослушиванием песен певицы Доры и группы Кис-Кис. Какой же из меня сноб! Наоборот, я люблю в том числе и всякие дешманские (в плане бюджета) игры. Если проводить музыкальные аналогии – это же ПАНК, ГАРАЖНЫЙ РОК.

Ответить
3

А я не представляю, зачем мне может понадобиться в современных играх гринд, выполнение активностей, выслушивание одинаковых непропускаемых сюжетов. От высокого скора хотя бы кайф есть.

Ответить

Некоторые

OmKol
–1

Т.е. выслушивание одинаковых (нет) сюжетов и гринд (какой гринд, лол?) - это лучше, чем повторение однообразных действий раз за разом, чтобы просто посмотреть на большие циферки? Я платинодрочеров даже больше понимаю.

Ответить
2

Одинаково не удивляющие ничем сюжеты, хорошо. А геймплей пакмена описывать "однообразными действиями", игнорируя необходимость очень быстро реагировать на случайные препятствия и продумывать сразу несколько вариантов маршрутов на случай возникновения проблем - ну блин, а ещё можно сказать, что каждый шутер про однообразную ходьбу и стрельбу, а каждая гонка про однообразное поворачивание и торможение.

Ответить

Некоторые

OmKol
–1

Сюжеты - вкусовщина, но я уверен, что многих сюжетов, которые ты так хейтишь, даже не знаешь. Ну и да, у игр еще и подача сюжета на совершенно ином уровне, в отличии от книг или фильмов. Автосимуляторы один от другого я никогда и не отличу, а вот у автоаркад в этом плане дела получше, конечно. Шутеры - это уже более комплексные игры, механик там дохуя, также присутствует нарратив, так что вообще мимо. И в этом "Пакмане" варианты задрачиваются наизусть, поэтому игра превращается в спинномозговую, с набором определенного опыта. И опять-таки я не понял, зачем мне надрачивать эти циферки?

Ответить
1

Может многих сюжетов я и не знаю, я ж не играл во все игры. Но в современных играх, что мне попадались, подача пока что исключительно на уровне "заткнитесь и дайте мне уже наконец поиграть". От подачи Horizon Zero Dawn меня вообще тошнило - первая мёртвая говорящая рожа, вторая мёртвая говорящая рожа, первая мёртвая говорящая рожа с таким же ракурсом камеры, вторая мёртвая говорящая рожа с таким же ракурсом камеры. Нет, я лучше во что-нибудь спинномозговое поиграю.

Ответить
2

Где-то снисходительно улыбается один Ханс Циммер.

Ответить
3

Да впринципе любой хороший композитор улыбается.

Ответить

Комментарий удален

Комментарий удален

0

т.е. в будущем один будет слушать бодрый индастриал, а другой унылый даунтемпо, в зависимости от стиля прохождения, играя в одну и ту же игру?
Лишь бы не дожить

Ответить
1

Не только от стиля прохождения.
В перспективе будет отслеживаться ВСЯ жизнь игрока, дабы сделать игровой опыт максимально уникальным.

Ответить
14

у меня там походу каверы бузовой играть будут(

Ответить
0

интересная хуйня, конечно. А если я не хочу, чтобы мой опыт был УНИКАЛЬНЫМ?

Ответить
0

Нигде не сказано, что это будет обязательным.

Ответить
0

Это способ тренировки нейросетки. Скорее всего это может выразится лишь более плавных переходах между боевой и мирной музыкальной темой. 

Ответить
0

Это слишком поверхностный взгляд.

В настоящем документе описан механизм анализа музыки, выделения ее музыкальных компонентов (ритмы, временная сигнатура, мелодическая структура, модальность, гармоническая структура, гармоническая плотность, ритмическая плотность и тембральная плотность), сопоставляющих эти компоненты с эмоциональными компонентами по отдельности и в комбинации на основе в опубликованных обзорах и социальных сетях, выражающих человеческое мнение о концертах, записях и т. д.

Это делается как на макро, так и на микроуровне в музыкальных произведениях. Основываясь на этом обучающем наборе, фейдеры (или виртуальные фейдеры в программном обеспечении) получают эмоциональные компоненты, такие как Напряжение, Сила, Радость, Чудо, Нежность, Превосходство, Спокойствие, Ностальгия, Грусть, Чувственность, Страх и т. д.

Эти музыкальные компоненты сопоставлены с мотивами которые были созданы для отдельных элементов / участников игры, включая, но не ограничиваясь, персонажей (главный персонаж, партнер, основной враг, волшебник и т. д.), типы деятельности (борьба, отдых, планирование, сокрытие и т. д.), районы (лес , город, пустыня и т. д.), личность человека, играющего в игру, и т. д. Мотивы могут быть мелодичными, гармоничными, ритмичными и т. д.

После того, как композитор создал мотивы и назначил ожидаемые эмоции фейдерам, игровые симуляции могут запускаться там, где композитор выбирает комбинации мотивов и эмоциональные сопоставления и применяет их к различным симуляциям. Эти симуляции могут быть описаны априори или сгенерированы с использованием аналогичного алгоритма для сопоставления игры с похожей эмоциональной средой. Вполне возможно, что реальные физические фейдеры (которые используются в компьютеризированных консолях микширования звука) сделают процесс отображения эмоций в сценарии гораздо более интуитивным и интуитивным, и что физичность создаст случайные результаты

То есть, исходя из вышеперечисленного это не будет просто выражаться в
 лишь более плавных переходах между боевой и мирной музыкальной темой.

Ответить
0

Да. Все так и есть музыка это сложно одной нейросеткой не отделаться. Но результат будет колебаться между тем что ему скормят в самом начале :   в пункте collect music data. 

Ответить
0

 Но результат будет колебаться между тем что ему скормят в самом начале

Да, и как я понял - там "скармливается" куча MIDI или Sibelius подобных файлов, которые потом разбиваются на различные музыкальные части, создавая потом что-то новое. Это будет включать в себя несколько версий одной и той же песни одного и того же исполнителя.

Короче, всё зависит от того, на основе скольких композиций она будет обучаться, коих может быть очень много.

Ответить
0

Если будет слишком много. Узлов нейросетки начнет не хватать и обучение нейросети будет требовать слишком большого количества времени. Поэтому нейросеткам всегда тренеры скармливают однообразный контент: котиков, машинки, буквы,  определенные музыкальные стили. Иначе результат на выходе будет неудовлетворимым, а процесс обучения будет затянут. 

Ответить
0

Собственно поэтому они наверняка и используют эмоциональные элементы, которые довольно ограничены в количестве. Но да, всё упирается в то, как они это реализуют в итоге.

Ответить
1

На самом деле примерно понятно чего этим можно добиться. Нередко можно встретить игры в которых мотив(или что это, честно, не особо шарю) встречается многократно, но в разных композициях. И, видимо, чтобы у юзеров была возможность ползунки и кнопочки покрутить, послушать что получилось на выходе, покрутить ещё, а композитору меньше париться — накидали такую схему. Т.е. скорее всего будем иметь что-то типа системы которая на выходе сможет в теории давать такие варианты:
https://www.youtube.com/watch?v=JVfZdfPlOiE
https://www.youtube.com/watch?v=T2Vw6sjzMUQ
Другое дело, что польза этого крайне маловероятно перевесит трудозатраты.

Ответить
1

на выходе сможет в теории давать такие варианты:

Я бы сравнил это больше с AIVA и Mubert
https://www.youtube.com/channel/UCykVChITx5kqBoGkzfz8iZg
https://www.youtube.com/channel/UC1r2Y-KKfT9BRzUIvoeEeZg

Ответить

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

1

Главное, чтобы это в итоге работало как задумывалось и без ляпов.

Ответить
1

Полно игр уже было с динамическими саундтреками, статья на dtf есть. dontnod уже реализовывали динамический саундтрек в remember me, и продолжать историю не стали (может и оживят в новых проектах, но очень сомнительно). И не сказаь, что тогда это особо зашло, но было в стиле игры, и не любой игре это подойдёт, как мне кажется. Ну, увидим, что выйдет, если выйдет.

Ответить

Комментарий удален

Комментарий удален

Комментарий удален

0

Хана музыке 

Ответить
0

Почему?
Патент же обратного добиться желает.

Ответить
2

Для Сони да. Но не для других

Ответить
–1

Хана экзам сони, они и так на половину бездушные...

Ответить
–1

Но ведь динамический саундтрек и так сейчас в играх есть. Наскок он хорош это от разрабов зависит, конечно. Но Сони тут не первая. И вообще последние новости от них - это какой-то пук в лужу. Сплошь вода и ощущение какого-то распила бабла на ВАУ НИГДЕ НЕ ВИДАННЫХ технологиях.

Ответить
0

Они же пишут, что динамический саундтрек в играх уже существует, но не такой, как у них. Они хотят в перспективе подстраивать саундтрек под игрока, анализируя его дыхание, его соц.сети, его образ жизни, с кем он общается и т.д. - всё это пойдёт для создания уникального музыкального опыта.

Ответить
2

чеcтно говоря, звучит слишком стрёмно, киберпанк со слежкой какой-то. Интересно, действительно ли такое может быть оправдано в психологии восприятия музыки, или это просто их фантазии?

Ответить
–1

можно ненадо...

Ответить

Комментарий удален

Комментарий удален

0

В 99ом году єто уже било и уже давно. Я точно могу вспомнить SyphonFilter там били трпеки для стрельби, для ходьби и т.д. Ну конечно раньше разиативность била 2-3 трека на карту.
Но в єтой "инновации" просто будет больше треков/звуков хз. ...бред сивої кобили.

Ответить
0

Нинтенда со своей Breath of the Wild что-то не додумалась запатентовать такую штуку)

Ответить
0

Уже миллион лет этой концепции

Ответить
0

Зарегистрирована в 2018 году. Опубликован патент три дня назад.
Не миллион.

Ответить

Комментарий удален

0

Это задача российского подразделения PlayStation, а не Sony.

А планы примерно такие:
• Все Call of Duty;
• Все игры со свастикой;
• Все игры с даже одним маленьким намёком на гомосексуальность.

Ответить
0

вот это самое "подразделение" отвадило от мыслей купить следующую PS просто начисто :)

Ответить

Комментарии

{ "jsPath": "/static/build/dtf.ru/specials/DeliveryCheats/js/all.min.js?v=05.02.2020", "cssPath": "/static/build/dtf.ru/specials/DeliveryCheats/styles/all.min.css?v=05.02.2020", "fontsPath": "https://fonts.googleapis.com/css?family=Roboto+Mono:400,700,700i&subset=cyrillic" }