Lanfirus

Мне показалось, что Мантелла сильно уступает СкайримНету. Могу ошибаться. Записывать просто в файл - это путь вникуда. Достаточно быстро либо все начнет тормозить из-за размера промпта, либо начнет теряться информация.
СкайримНет разделяет всю эту муть на разные виды памяти. Типа - совсем недавние события, более-менее важное, что случилось недавно и совсем важные события, что произошли с НПС давно.
И даже такая схема рано или поздно приведет к маразмам.

У меня 7800хт. Та еще ебля с АМД приколами для ЛЛМ, но тем не менее работает. Грубо говоря 10-15% теряем по сравнению с НВИДИА.
Я не помню точно, как Мантелла работает. Она где-то у себя держит память, характеры персонажа? Я ее первой запустил в связке вроде с Кобольдом и Лламой, но потом перешел на СкайримНет.
У меня Скайрим РФАД был.

Смотря для чего.
Для ТТС остановился на КозиВойс. Я готовлю следующий большой пост с описанием схемы работы, возможно сравнения тех ТТС, что я пробовал, проблем и как я от них уворачивался. Отдельно покажу почему штатные ТТС самого СкайримНет плохо подходят. По-крайней мере у меня остались такие воспоминания.
Если про упомянутуб сетевую ЛЛМ, то я хз на самом деле. То был сторонний проект, который я трогал руками на посмотреть. И там много лулзов в результате вылезло. Потихоньку и до этого доберусь в постах.

Я дальше по ходу пьесы расскажу чем закончилась история недельного насилия сетевой ЛЛМ. В кратце - все поехало. НПС начали путать что они знают, а что нет. История начала меняться непредсказуемым образом.
Я пока вижу выход в том, чтобы держать состояние мира в движке, а ЛЛМ только переводит выданные ей данные и текст в красивый ответ мира или НПС.

Я хз. Я свой ТТС прикрутил без всего - он и так работал.

Не уверен, что такое Оллама, но подозреваю что это некий роутер, который перенаправляет на какие-то внешние ЛЛМ.

Сейчас лично я что у себя увидел - сгенерировать озвучку локально, если есть ответ НПС в принципе можно. У меня ело около 8Гб, но то я заморачивался, чтобы каждый НПС отвечал своим голосом. Еще возможно будет вопрос с задержкой. Я очень сильно позанимался любовью, чтобы снизить ее с 10с до 2с. Это уже более-менее приемлимо и в принципе можно было дальше снижать.

Но думаю основая проблема заключается в генерации самого ответа НПС. То, что можно держать локально на обычной видяхе даст ответ с большой задержкой и топорный. Формально вроде как можно, но реально так долго общаться невозможно.