Установка чат-бота Alpaca на Windows

Alpaca это языковая модель типа ChatGPT. Она попроще и послабее, но зато ее можно поставить себе на компьютер локально. Не требует мощной видеокарты так как работает на процессоре.

Создаем папку и скачиваем туда alpaca-win.zip отсюда.

Распаковываем. Скачиваем туда где находиться файл chat.exe саму модель ggml-alpaca-7b-q4.bin. Например отсюда.

Кроме 7b есть версии 13b, 30b, 65b. Они больше и мощнее, но работают медленнее и требуют больше памяти.

13b можно взять тут.

30b можно взять тут.

C текущей версией alpaca.cpp у меня заработали q4.0 модели.

Запускаем chat.exe и пишем. Модель англоязычная. Если совсем туго с английским можно использовать переводчик.

Для большего удобства и использования через браузер, а не через командную строку, смотрите в сторону этих проектов dalai и text-generation-webui.