Мистраль годная модель, даже оченьНе знаю насчет версии от Nvidia, но в KoboldAI/oobabooga 7b модель справляется лучше некоторых 13b моделей.
Вот бы попробовать 8x7b нормально, но блядский Хуанг не может больше 24гб завезти на свои карточки.
После 80 токенов в секунду укатываться на ЦПУ невозможно.
Уфф, 80 токенов это роскошь прямЯ жду минуты по 3 ответа. Ну и вкручиваю контекст и длину ответа
Это че
Типа ии на видюхе свой личный? 4070ти потянет?
если с chatgpt сравнивать, то смысла нет. особенно с 4
Мистраль годная модель, даже очень
Не знаю насчет версии от Nvidia, но в KoboldAI/oobabooga 7b модель справляется лучше некоторых 13b моделей.
Вот бы попробовать 8x7b нормально, но блядский Хуанг не может больше 24гб завезти на свои карточки.
После 80 токенов в секунду укатываться на ЦПУ невозможно.
Уфф, 80 токенов это роскошь прям
Я жду минуты по 3 ответа. Ну и вкручиваю контекст и длину ответа
Это че
Типа ии на видюхе свой личный? 4070ти потянет?
если с chatgpt сравнивать, то смысла нет. особенно с 4