Вопрос по нейросетям

Насколько возможно на данный момент с помощью нейросетей сделать локализацию игры? Почему этим никто не занимается?

Взять оригинальные голоса персонажей, прогнать через какую-то нейросеть, и чтобы она в итоге выдала те же реплики, с теми же голосами и интонациями только переведённые на какой либо другой язык. Насколько это реализуемо на данный момент?

3
50 комментариев

Перевод нейросетями ≠ Литературный перевод

7
Ответить

И != авторский тогда уж

5
Ответить

Да вполне же давно. Голос Тодда в фэйковом выступлении я бы ни вжысь не отличил. Именно интоннации все его. Которые казалось бы хуй ты достоверно подделаешь. А там не то, что достоверно, это именно они и есть.

2
Ответить

Ну я и песни слышал разными голосами, типо песня "Восьмикласница" в исполнении Тесака. Но интересно именно почему это не реализуют в играх. Это ведь намного проще чем переводить с помощью актёров озвучивания

Ответить

Нейросети еще тупые

1
Ответить

Но это в плане самой сетке "фантазировать". А если наборот копировать, то ахуй там уже прогресс. С голосами как раз.

1
Ответить

Ну смотри:

Перевод отдельно, дубляж отдельно, они не очень связаны.

МТ (machine translation) уже довольно много где используется, но качество готового перевода все ещё не подходит для перевода чего-то особенно объемного — в рамках игр это выражается в разном переводе имён, названий локаций, названий предметов/умений, неспособность в игры слов и каламбуры. Существует МТПЕ (machine translation post edit), когда переводчик редактирует продукт МТ, но иногда это будет занимать больше времени, чем перевод с нуля. Некоторые крупные игровые студии кстати используют МТПЕ с собственными движками.

С дубляжом чуть сложнее: нейросеть не умеет полноценно передавать эмоции, интонации и оттенки, как и специфические акценты произношения (немецкий акцент в английском будет отличаться от немецкого акцента в русском), а угрожающая интонация английского отличается от русского. В рамках песен это работает, да — есть оригинальная мелодика, интонации, которые можно использовать, но этот подход не подойдёт для монологов, диалогов с эмоциями, стонов и криков (как ГРАНАТА! в battlefield). Ну и оригинальная манера произношения все равно мелькает даже в измененных песнях, если оригинальный язык певца отличается от языка нейроголоса.

Имею отношение к сфере локализации, поэтому немного знаю эту тему.

1
Ответить