Технология интересная, но тут Nvidia уже не первопроходцы, вспомнить хотя бы гпт мод на Скайрим с синтезом голоса. Зато появится полноценный инструментарий для разработчиков.
Как и все заметили - хромает эмоциональность, качество синтеза голоса, и судя по всему разработчикам еще предстоит научить нейросеть интонировать на нужных словах и в правильном контексте.
Слишком жорной технология быть не должна, генерация звука и текста менее затратна, чем генерация изображения, и карточки от 4-ой серии скорее всего будут с этим справляться без проблем.
Что касается качества сгенерированных диалогов - ничего не мешает разработчикам обучить модель на диалогах из фильмов Тарантино, на диалогах из мировой литературы, скормить диалоги из выдающихся игр, да даже скормить нейросети тексты самих сценаристов игры и на выходе получатся очень годные боты с которыми можно поболтать и про малолетних дебилов, и про четвертьфунтовый и обсудить произведения Достоевского. В вопросе того "А вдруг нейросеть даст сбой и выйдет из образа?" Во-первых можно для каждого персонажа заготовить свои мини модели которые корректируют поведение базовой, а во-вторых текстовую модель можно очистить от лишней информации.
Технология годная - уж тем более для инди разработчиков, которые не будут ее использовать во зло.
генерация звука и текста менее затратна, чем генерация изображенияАхаххахах Ты хоть одну llm пробовал запустить? Если SD генерит картинки на любом говнопк, то хотя бы 13b модель (если меньше, то результат хуже) для реалтаймовой генерации текста выжрет 12-15гб vram.
Это скорее будет облачная технология. Сейчас пока что бы похожее запустить у себя локально с синтезом речи и подобием chatgpt нужно под 10-16 гигов памяти на видяхе и это без 3д.
Ну мне кажется, что ИИ должны довести до такого состояния, когда ты скармливаешь модели образ и жизненный опыт персонажа, то эта модель как раз становится таким персонажем, думает и говорит исходя из своего пройденного жизненного опыта, опирается на него в моральных и этических вопросах. В таком плане технология действительно перспективная и может сделать НПЦ более живыми.
крутая технология чтобы NPC озвучивать в открытых мирах как минимум, сюжетных/квестовых и важных персонажей скорее такое себе на данном этапе(озвучка бьет по ушам), но вот болванчиков самое то, открытые миры сразу сильно менее дубовыми станут
Технология интересная, но тут Nvidia уже не первопроходцы, вспомнить хотя бы гпт мод на Скайрим с синтезом голоса. Зато появится полноценный инструментарий для разработчиков.
Как и все заметили - хромает эмоциональность, качество синтеза голоса, и судя по всему разработчикам еще предстоит научить нейросеть интонировать на нужных словах и в правильном контексте.
Слишком жорной технология быть не должна, генерация звука и текста менее затратна, чем генерация изображения, и карточки от 4-ой серии скорее всего будут с этим справляться без проблем.
Что касается качества сгенерированных диалогов - ничего не мешает разработчикам обучить модель на диалогах из фильмов Тарантино, на диалогах из мировой литературы, скормить диалоги из выдающихся игр, да даже скормить нейросети тексты самих сценаристов игры и на выходе получатся очень годные боты с которыми можно поболтать и про малолетних дебилов, и про четвертьфунтовый и обсудить произведения Достоевского. В вопросе того "А вдруг нейросеть даст сбой и выйдет из образа?" Во-первых можно для каждого персонажа заготовить свои мини модели которые корректируют поведение базовой, а во-вторых текстовую модель можно очистить от лишней информации.
Технология годная - уж тем более для инди разработчиков, которые не будут ее использовать во зло.
генерация звука и текста менее затратна, чем генерация изображенияАхаххахах
Ты хоть одну llm пробовал запустить? Если SD генерит картинки на любом говнопк, то хотя бы 13b модель (если меньше, то результат хуже) для реалтаймовой генерации текста выжрет 12-15гб vram.
Это скорее будет облачная технология. Сейчас пока что бы похожее запустить у себя локально с синтезом речи и подобием chatgpt нужно под 10-16 гигов памяти на видяхе и это без 3д.
Ну мне кажется, что ИИ должны довести до такого состояния, когда ты скармливаешь модели образ и жизненный опыт персонажа, то эта модель как раз становится таким персонажем, думает и говорит исходя из своего пройденного жизненного опыта, опирается на него в моральных и этических вопросах.
В таком плане технология действительно перспективная и может сделать НПЦ более живыми.
крутая технология чтобы NPC озвучивать в открытых мирах как минимум, сюжетных/квестовых и важных персонажей скорее такое себе на данном этапе(озвучка бьет по ушам), но вот болванчиков самое то, открытые миры сразу сильно менее дубовыми станут