Диалоги, анимации, озвучка, нейросети

Предыстория:
Я разработчик своей игры, у игры еще нет названия. Больше информации можно получить в предыдущих статьях
Воплощаю мечту, создавая игру
Воплощаю мечту, создавая игру. Часть 2-я.

В данной статье я расскажу свой небольшой, но, опыт работы с диалогами и озвучкой с применением нейросети и результат меня расстроил. Будут представлены примеры как это выглядит непосредственно в игре.

В процессе разработки игры, решил что нужно немного разнообразить свою деятельность и переключится на другое направление, чтобы перезагрузиться. Решил уделить внимание анимации неигровых персонажей, диалоги и звуки, чтобы примерно оценить примерный объем работы который предстоит сделать в будущем. Также нужно было набросать начальное введение в игру и на базе этого уже сделать свой классный сюжет. Который в моей голове выглядел складно пока не занялся этим.
Для работы с диалогами используется Narrative 3.

По началу мне казалось что диалоги, сюжет, это второстепенные задачи, имея представление игры ее начала и какой должен быть конец. Считал что главное в игре, это игровые (core) механики. Но, как я ошибался. Как я ошибался что это второстепенные задачи и когда я делал одно, это генерировало ещё несколько других задач. В конечном итоге я осознал на сколько важны диалоги, особенно ее реализация и чем сложнее, тем больше требует к себе внимания

В планах было сделать, простой список задач как это и положено для Инди разработчика, в результате это выглядело как представим условно графику Ведьмака, а интерфейс Майнкрафт.

Казалось бы написать 400 символов, легко... Но это заняло по часам примерно сутки и все равно результат меня не удовлетворил. Пробовал AI для написания, были интересные предложения и моменты, но я остановился на том, что какой бы текст не был, свой лучше, чем машинный, особенно когда делаешь игру, по сути ты общаешься с игроком через диалоги и прочее. Достаточно того что планирую делать музыку и первоначальное озвучивание персонажей при помощи AI.

Теперь к сути. Сюжет кажется главным в игре, но это не так, главным является это почти 80% всех заданий и диалогов которые должны отвечать за обучение игрока. Как играть в мою игру с художественной интерпретацией, которая привязана к сюжетной линии и имеющая максимальную вовлеченность пользователя в формате: - а что будет дальше?

Первые наброски диалогов, привели к тому, что нужны анимации диалогов, в огромном количестве. Столкнулся в итоге с тем, что озвучка и анимации должны совпадать визуально. Но это для меня на сегодня кажется непосильным это все может затянуть на очень долгое время и повлиять в целом на проект.

Что я сделал: Использовал от 2-6 разных анимации в диалоге, мешая их в процессе, это добавило разнообразие и немного разбавило не состыковку жестов и звука, но далеко конечно от идеала.

Открытие рта, это ещё та попа часы, сидеть проговаривая на камеру в слух каждую строчку и записывая, потом данную анимацию прикреплять к лицу мета человека, спасибо Epic за новую систему ретаргетинга в 5.4. без сарказма, ускоряет работу. <br>В видео я не стал это оставлять, так как, то что получилось, не соответствует минимуму, чтобы показывать результат, но в будущем будет лучше.

В начало эры нейросети, подумал что профессия звуковиков, актеров, сценаристов и прочих участников разработки игры. Умирающие профессии... Возможно это и так, но точно не сейчас. Я перепробовал кучу нейросети и из каждого выписал определенные настройки и типы голосов, чтобы составить библиотеку для озвучивания диалогов.Из пяти изначальных планируемых НПС, сейчас уже добавлено 12, с учетом, что я хочу каждому добавить как минимум по паре реплик, это влечет за собой уже 12 разных голосов.

Возвращаемся к обсуждению тестирования, которая представлена на видео выше. Достигнув результата "почти удовлетворительно", начал озвучивать текст. Но когда я начал тестировать результат, пришло осознание, на сколько важно озвучивать живыми людьми. Решение которое я вижу, это попробовать записывать свой голос и его менять.
Робот не сможет передать в голосе те эмоции, которые закладываются в тексте, особенно в достаточно сложном русском языке. Но, нейросети делают очень крутую озвучку на английском, это субъективное мнение, возможно для носителей английского языка, озвучка будет слышна как для нас Алиса.
В конечном итоге мои мысли после проделанной работы.
Нейросети для создания музыки. ДА
Помощь в написании диалогов. ДА
Озвучка диалогов. НЕТ (пока нет)

Вот ещё один пример диалога двух персонажей.

Что касается текстов и сюжета. Начинаю думать, чтобы привлекать для проекта сценариста. Так как в процессе разработки игры почти 8 месяцев, начал разговорную деградацию, что в игре, что в реальной жизни. Начал общаться в формате баг репорта. Анализ, составление списка задач, подзадач, превращаясь в To Do лист.

Мне было очень приятно получать в личные сообщения, что кого-то мои статьи вдохновили, но моя внутренняя ответственность хочет сказать следующее:

Совет инди (соло) разработчикам планирующим начать делать свою игру мечты. Подумайте нужно ли вам это?
Последствия с которыми я начинаю сталкиваться, это полностью пропал интерес к чужим играм, я смотрю на другие игры разбирая их на винтики. Как они сделаны, какие решения, текстуры, механики, освещение, без погружения в игровой процесс.

Раньше до разработки игр, я мог погрузиться в игру, представив себя в лице главного героя, я получал от этого удовольствие. Сейчас разработка игр как наркотик с которого не слезть, особенно когда нет издателя и развязаны руки делать все что хочется (в рамках закона) и без ожиданий окупаемости игры.
Но помимо всего, если подходить к разработке как я, а я считаю что это все не совсем адекватно, жертвуя личным временем, сном, где-то забывая поесть.
Когда едешь на работу, в голове продолжаешь программировать, приезжая домой перенося то что придумал в игру или то что не мог решить и оставлял на потом.
На деревья смотрю как они качаются от ветра, но я не любуюсь природой, смотрю как воздействует ветер на предмет, представляя какая у него масса. На сколько сильный ветер и какое он оказывает влияние на дерево.Смотря на дорогу под ноги, я смотрю на комбинации текстур. Да не асфальта, земли, травы и поребрика, а текстуры и их переходы, выступы.

Вот если вы это прочитали, подумайте. Надо ли вам такое и смотреть на мир под призмой, как будто весь реальный мир, это чья-то компьютерная игра, а мы просто прописанные скрипты которые считают повторение — как дежавю, некоторые события — судьбой.

Всем мир и спасибо за прочтение. Скоро в таком духе дневник разработчика переименую в записки сумасшедшего

Еще один момент. Если вы начинающий разработчик или уже собаку съели в этом. Выкладывайте душу в свои инди игры, экспериментируйте и возможно после вас останется не как игра, а как идея которую реализуют лучше, чем вы, но вы будите основателем идеи и тем кто внёс вклад в игры.