Togethercomputer выпустили OpenChatKit, открытый инструмент для создания чат-ботов
Тулкит позволит создать свой «аналог ChatGPT»
- Он основан на открытой модели GPT-NEOXT, дообученной на диалогах версии GPT-NEOX
- Для фильтрации нежелательных ответов используется GPT-JT
- Проект выпущен под лицензией Apache 2.0, которая позволяет коммерческое использование с указанием авторов проекта
- Есть онлайн-демо для сбора обратной связи
- Исходные коды проекта опубликованы на github, а веса для моделей — на huggingface
Togethercomputer — это организация, которая занимается развитием распределенных вычислений с узким каналом связи между частями кластера для использования в сфере машинного обучения.
2.6K2.6K показов
851851 открытие
Какие стоят требования к железу? RAM / VRAM?
Модельку для генерации текста можно в теории ужать до 12 Гб рам/врам, если загружать в 8 bit. GPT-JT ещё столько же, если действительно нужно что-то фильтровать. Но скорее всего этих оптимизаций в оригинальном openchatkit нет, только дорабатывать напильником или использовать модель с другим интерфейсом. Предполагаю, что без оптимизаций выйдет 24 Гб на текст и 24 на фильтрацию
Адовую тонну видеопамяти. Текстовые модели очень тяжелые
Кодить не умеет
Умеет, но не так хорошо, как чатгпт
класс