После 80 токенов в секунду укатываться на ЦПУ невозможно.
Уфф, 80 токенов это роскошь прямЯ жду минуты по 3 ответа. Ну и вкручиваю контекст и длину ответа
После 80 токенов в секунду укатываться на ЦПУ невозможно.
Уфф, 80 токенов это роскошь прям
Я жду минуты по 3 ответа. Ну и вкручиваю контекст и длину ответа