Janitorai.com - как лучшее времяпрепровождение в дороге, институте и где угодно, при наличии интернета.

Черт его знает зачем и для кого, но вдруг, кому-то поможет.

Так получилось, что трачу на дорогу на работу от часа до двух, спать хочется не всегда, а сидеть и пялиться в окно - скучно. Конечно же, я осуждаю студентов и школьников, которые сидят в телефоне на парах.

Я надеюсь, не надо объяснять, как пользоваться обычным сайтом, на котором, в целом, все интуитивно понятно. Пройдусь по некоторым моментам, на тему которых в ру-сегменте очень мало информации. (Либо я не умею гуглить)

РКН очень любит моросить в последнее время, поэтому заходить советую с ВПНа. На телефоне Cloudflare, без ВПН, вообще не хочет подтверждать, что я не робот.

Тут начинается самое интересное. Настройка использования. Как создать ключ на openrouter есть здесь

Не хочу повторять пост @karasik. Но, посоветую сделать следующее. При создании ключа – обязательно его сохраняем куда-нибудь. Далее settings – integrations. Ищем Chutes и привязываем туда этот самый ключ

Честно – не знаю как это работает досконально, жду ваших помидоров, но, если я правильно понимаю, то весь трафик на этот ключ, будет идти через этого провайдера. Chutes – предоставляет модели R1, R1T2 и V3 (и много других). Правда, Химеру (R1T2) они запустили недавно, поэтому там были приколы

Итак, у нас есть ключ, что делать с ним дальше?

Выбираем бота, жмем начать чат, открываем настройки

В названии модели вписываем:

Если убрать :free на конце – он скинет вас на платную модель, а значит будут съедаться деньги. Вы можете выбрать любую модель на openrouter. Но в целом достаточно v3.

Ваш ключ, который вы записали ранее.

Вот тут еще интереснее, чем выше. Модель изначально очень слабо представляет, что вы от нее хотите, если она не обучена только играть в RP. Для этого и существуют Prompt(подсказка/промпт), которые сообщают модели, что вам от нее нужно. Базово на Jai есть несколько стоковых промптов, которых достаточно для начала. Советую Freedom или New. Если вы не хотите использовать Deepseek, то есть гайд по Gemini именно для Jai вот здесь. Там есть ссылка на кастомный промпт для Gemini. И он очень хорош.

Как выбрать промпт? Никак. Сердечком. Либо написать самому. Без шуток. Здесь только ваши ощущения. Но нахрена я про него распинался? Все просто – никто не запрещает вам добавлять что-то свое. Я месяц пытаюсь сварить что-нибудь конкретное для Jai, благодаря @karasik появились некоторые наработки, но пока-что, стабильно в конце каждого промпта только это:

Чисто технически, можно не использовать команду OOC(Out-of-context), а записать [кусок промпта в квадратные скобки]. Но у любой модели есть проблема – она может пропускать мимо ушей куски контекста, в которых находится и наш промпт. Поэтому, одновременно с командами внутрь промпта – я добавляю команды, которые могу использовать в чат. Когда я играл в ДНД, мы называли это «действие по заявке», т.е. непосредственное обращение к ведущему. Так и здесь, команда OOC – непосредственное обращение к модели. Почему в ((скобках))? Потому-что так мы ей намекаем, чтобы она обратила внимание. И точно не пропустила это обращение. Например, когда модель начинает отвечать на русском, а V3 так умеет, я закидываю сообщение

В чат, после своего ответа. Почему я это делаю? Один токен контекста на русском – полтора английских токена. Мои ответы – не слишком объёмны. А вот ответы модели…

Стоит упомянуть про настройки Generation Settings. Здесь нет такого количества настроек, как в Silly Tavern. Это одновременно и плохо и хорошо.

Начните с единицы. Далее крутите в меньшую сторону, если ответы модели более «безумны», чем вы хотите, либо в большую сторону, если хотите разнообразия или выбраться из лимба одинаковых ответов.

Если используете V3 без инструкций на ограничение токенов – выставляйте сколько хотите. Учтите, Max New Tokens – это не сообщение LLM: «Я хочу не более x токенов», а количество токенов, которые фронтэнд (читай Jai) примет от LLM. Т.е. если модель захочет отправить вам 1200 токенов в ответе, то Jai остановит ее на том моменте, какое ограничение у вас стоит.

Количество контекста, которое будет отправляться в LLM. Deepseek поддерживает экстремальное количество конекста, но при контексте выше 50-60к, по личным ощущениям, начинает нести чушь. Лично я ставлю контекст в 60к, и время от времени использую

Когда подбираюсь к 60к контекста, а затем закидываю в Chat Memory ответ модели. Это условный «срез» всех предыдущих событий, чтобы модель «не забывала», что было в течение RP. Можно использовать и в SillyTavern, закидывая ответ в Summarize.
Также эту команду можно использовать для ботов, которые создаются, как продолжение друг друга

Постарался выплеснуть поток своих мыслей более конструктивно.
В этот раз точно постарался.
Все это основано на крупицах знаний, собранных по капле из интернета и своего опыта. Последнее - преобладает.
Всех благ.
P.s. как пополнить Openrouter на 10$, чтобы вам было доступно 1000 ответов от Free-моделей в день - инфа есть в интернете
P.s.s. - совсем забыл. Ботов с Jai можно зашвырнуть в SillyTavern. Даже тех, определения которых скрыты. Но делать этого не желательно, вы же не фрик, как я, который тестирует их на нескольких моделях с несколькими пресетами. Если вы не играете ботов через сайт, тогда ваши сообщения не идут в счетчик чата и сообщений на jai, что логично, в целом. А значит - создатели ботов "недополучают" ваши сообщения в копилку популярности.