Chat GPT

На обычном компе
На обычном компе

Не так давно разлетелась новость о группе учёных из Стэнфордского университета, которая опубликовала модель ничем не уступающую Chat GPT и при этом затраты на её создание составили что-то около тысячи долларов. Что естественно не совсем правда. Во-первых: они всего лишь дообучили “Ламу” (LLaMA), во-вторых: сопоставить её можно только с версией чата OpenAI под названием “text-davinci-003”. Но на своём домашнем компьютере запустить её действительно можно. Графический процессор не нужен, оперативки для в общем-то комфортной работы достаточно даже 4 гб — это если запускать модель “7B”. Есть и более “тяжёлые” — “13B”, “30B”. Гигабайт памяти для них нужно примерно в соответствии с числом в названии, которое в свою очередь родственно “Ламе” (“Альпака”, полное — “Stanford Alpaca”) . Страница проекта здесь.

Модель быстрее всего запустить из строки, но удобнее пользоваться в интерфейсе. Я предпочитаю “Dalai” созвучное “Ламе”. Страница проекта здесь.

Там есть подробная инструкция и как на “маке” и как на “вине”, но если вкратце и на “лине”, то:

  • на машине должны быть установлены node.js >= 18 и python <= 3.10
  • скачана модель командой: npx dalai alpaca install 7B
  • запущен интерфейс командой: npx dalai serve

Всё, открываем в браузере: http://localhost:3000 и пишем запрос вместо “>PROMPT” - далее “Go”. Запрос может быть на русском, но ответ будет на английском. В консоли можно наблюдать лог.

Серия моих тестов на “7B” показала, что как собеседник модель неплоха, но вот код генерирует она ужасно. Хотя впрочем генерирует, и у меня ещё не было времени протестировать шаблоны, которые можно выбрать в поле “Select a template”. А также, имеет смысл скачать модели потяжелее - я думаю они будут выдавать результат поинтереснее. Кто сделает это - напишите в комментариях, интересно.

1616
14 комментариев

Любопытно!
Расскажите про старшие модели тоже. Было бы интересно сравнение результатов по одним и тем же промптам.

2
Ответить

Комментарий недоступен

1
Ответить

Интересно, а по какому времени тут живут? )

Ответить

Мне показалось, что работать через интерфейс Dalai не очень удобно, привычнее в формате чата. Это сделано вот тут, например: https://github.com/oobabooga/text-generation-webui
Эта штука довольно долго устанавливается, интерфейс выглядит вот так:

1
Ответить

Ну даже Alpaca 7B уже лучше работает чем Алиса (ИМХО), если сделать скидку на язык. Запуск элементарный, взял здесь https://huggingface.co/Sosaka/Alpaca-native-4bit-ggml/tree/main
Качаешь образ сети + chat.exe Кидаешь в одну папку, запускаешь exe, говоришь в терминале. P.S. Кстати в официальном репе Alpaca удалили, вроде временно из-за "оскорбительного поведения" конечно же... Кто-то сомневался, что кто-нибудь быстро оскорбится? ;) P.P.S. Надо бы 30B скачать.

Ответить

30B пытается какой-то код рабочий сгенерировать, но плохо вопрос понимает и ответы больше случайные. До Chat gpt 3.5 далеко.
Скорее всего сейчас появятся энтузиасты, которые будут дальше дообучать модель на основе примеров инструкций/ответов, что бы получше стала вопросы понимать.

Лучше результат выдаёт, если увеличить кол-во токенов в ответе, например n -2048. А promt посложнее строить, чем в Chat Gpt.

Если promt большой, то не хватает 32Гб памяти для 30B модели.

Ответить