Серия моих тестов на “7B” показала, что как собеседник модель неплоха, но вот код генерирует она ужасно. Хотя впрочем генерирует, и у меня ещё не было времени протестировать шаблоны, которые можно выбрать в поле “Select a template”. А также, имеет смысл скачать модели потяжелее - я думаю они будут выдавать результат поинтереснее. Кто сделает это - напишите в комментариях, интересно.
Любопытно!
Расскажите про старшие модели тоже. Было бы интересно сравнение результатов по одним и тем же промптам.
Комментарий недоступен
Интересно, а по какому времени тут живут? )
Мне показалось, что работать через интерфейс Dalai не очень удобно, привычнее в формате чата. Это сделано вот тут, например: https://github.com/oobabooga/text-generation-webui
Эта штука довольно долго устанавливается, интерфейс выглядит вот так:
Ну даже Alpaca 7B уже лучше работает чем Алиса (ИМХО), если сделать скидку на язык. Запуск элементарный, взял здесь https://huggingface.co/Sosaka/Alpaca-native-4bit-ggml/tree/main
Качаешь образ сети + chat.exe Кидаешь в одну папку, запускаешь exe, говоришь в терминале. P.S. Кстати в официальном репе Alpaca удалили, вроде временно из-за "оскорбительного поведения" конечно же... Кто-то сомневался, что кто-нибудь быстро оскорбится? ;) P.P.S. Надо бы 30B скачать.
30B пытается какой-то код рабочий сгенерировать, но плохо вопрос понимает и ответы больше случайные. До Chat gpt 3.5 далеко.
Скорее всего сейчас появятся энтузиасты, которые будут дальше дообучать модель на основе примеров инструкций/ответов, что бы получше стала вопросы понимать.
Лучше результат выдаёт, если увеличить кол-во токенов в ответе, например n -2048. А promt посложнее строить, чем в Chat Gpt.
Если promt большой, то не хватает 32Гб памяти для 30B модели.