Установка чат-бота Alpaca на Windows
Alpaca это языковая модель типа ChatGPT. Она попроще и послабее, но зато ее можно поставить себе на компьютер локально. Не требует мощной видеокарты так как работает на процессоре.
Создаем папку и скачиваем туда alpaca-win.zip отсюда.
Распаковываем. Скачиваем туда где находиться файл chat.exe саму модель ggml-alpaca-7b-q4.bin. Например отсюда.
Кроме 7b есть версии 13b, 30b, 65b. Они больше и мощнее, но работают медленнее и требуют больше памяти.
13b можно взять тут.
30b можно взять тут.
C текущей версией alpaca.cpp у меня заработали q4.0 модели.
Запускаем chat.exe и пишем. Модель англоязычная. Если совсем туго с английским можно использовать переводчик.
Для большего удобства и использования через браузер, а не через командную строку, смотрите в сторону этих проектов dalai и text-generation-webui.
Убери это черную хуйню с картинки
Вы про обои на рабоче столе?
Комментарий недоступен
30b в районе 20GB. Заработает ли с 16GB озу не знаю. 65b в районе 40GB.
Комментарий недоступен
как это заставить работать? у нас с братом Гамболом Т не работает...
озу 8гб до 6гб доходит и вылетает проц кор ай 5 2 поколения
Во первых инструкция очень сильно устарела. Сейчас лучше использовать например это: https://github.com/LostRuins/koboldcpp/releases/. Во вторых если я правильно понял у вас Sandy Bridge. Надо добавлять параметр --noavx2 и возможно еще попробовать --noblas и --nommap. В третьих 8 гигабайт ОЗУ это реально мало конечно. Можно пытаться например завести что то отсюда https://huggingface.co/TheBloke/Wizard-Vicuna-7B-Uncensored-GGML/tree/main/ начать с q2, а потом пробовать q3 и q4.