30B пытается какой-то код рабочий сгенерировать, но плохо вопрос понимает и ответы больше случайные. До Chat gpt 3.5 далеко. Скорее всего сейчас появятся энтузиасты, которые будут дальше дообучать модель на основе примеров инструкций/ответов, что бы получше стала вопросы понимать.
Лучше результат выдаёт, если увеличить кол-во токенов в ответе, например n -2048. А promt посложнее строить, чем в Chat Gpt.
Если promt большой, то не хватает 32Гб памяти для 30B модели.
Вроде тут качал alpaca 30B версию от стендфорта. Но её похоже удалили, теперь версия alpaca-lora 30B.
https://huggingface.co/Pi3141
30B пытается какой-то код рабочий сгенерировать, но плохо вопрос понимает и ответы больше случайные. До Chat gpt 3.5 далеко.
Скорее всего сейчас появятся энтузиасты, которые будут дальше дообучать модель на основе примеров инструкций/ответов, что бы получше стала вопросы понимать.
Лучше результат выдаёт, если увеличить кол-во токенов в ответе, например n -2048. А promt посложнее строить, чем в Chat Gpt.
Если promt большой, то не хватает 32Гб памяти для 30B модели.