Пошаговое руководство как установить большую языковую модель Vicuna 7B + llama.ccp на Steam Deck. Перевод

Оригинальная публикация была сделана на сайте Reddit

Некоторые из вас попросили составить руководство по использованию этой модели, и вот оно. С моделями LLM вы можете заниматься ролевыми играми, создавать истории в определенных жанрах и DD сценариях или получать ответы на свои вопросы, подобно ChatGPT, хотя и не так эффективно. Тем не менее, взаимодействие с AI может быть веселым, ваши данные будут храниться локально и не покинут ваше устройство, а модель будет работать офлайн, когда вы возьмете свой Steam Deck. Таким образом, в случае катастрофического сценария вы будете готовы восстановить цивилизацию (по крайней мере, как DM).

В этом руководстве мы будем играть с моделью под названием Vicuna 7B (чат-бот помощник) и окружением вывода llama.ccp. Я не хочу утомлять вас длинными объяснениями, но если вы готовы прыгнуть в кроличью нору, добро пожаловать в r/LocalLLaMA. Итак, поехали:

  • Загрузите режим рабочего стола из меню "Питание"

Совет: клавиатуру можно вызвать комбинацией кнопок "Steam + X".

  • Откройте приложение "Терминал" в меню "Пуск"
  • Создайте пароль sudo с помощью этой команды:

passwd

Примечание: будьте осторожны с режимом sudo, не делитесь своим паролем; это древняя магия администрирования, которая может повредить ваше устройство, если вы не соблюдаете строгих правил.

  • Затем вы можете предоставить себе разрешение на внесение изменений в определенные файлы Steam Deck OS:

sudo steamos-readonly disable

Примечание: мы не будем изменять основные системные настройки, но важно быть осторожным при выполнении любых случайных команд sudo, выходящих за рамки этого руководства. Неконтролируемая команда sudo может сделать ваше устройство неработоспособным. Вы также можете выполнить "sudo steamos-readonly enable" позже, чтобы отменить это изменение.

  • Начните загрузку файла модели (4 ГБ); это займет некоторое время, поэтому вы можете перейти к следующему шагу:
  • В то же время вам нужно установить несколько пакетов. Эти пакеты безопасны и потребуются для компиляции окружения вывода llama.ccp для аппаратного обеспечения Steam Deck.

Вставьте эту команду в терминал:

sudo pacman -S base-devel make gcc glibc linux-api-headers

И нажмите Default (enter) или Y, когда это будет предложено.

Пошаговое руководство как установить большую языковую модель Vicuna 7B + llama.ccp на Steam Deck. Перевод
  • Теперь установите llama.ccp. Создайте папку в удобном для вас месте, затем щелкните правой кнопкой мыши (L2) и выберите опцию "Открыть терминал здесь".
  • Теперь выполните следующие действия в новом окне терминала, строка за строкой:
git clone https://github.com/ggerganov/llama.cpp cd llama.cpp make

Поздравляю, мистер Хакермэн, вы скомпилировали свою первую программу!

  • Теперь переместите загруженную модель в <ваша папка из предыдущего шага>/llama.ccp/models
  • Запустите модель:
./main -m ./models/ggml-vicuna-7b-4bit-rev1.bin -n 2048 -c 2048 --repeat_penalty 1.1 --color -i --reverse-prompt '### Human:' -n -1 -t 8 -p "You're a polite chatbot and brilliant author who helps the user with different tasks. ### Human: Hello, are you a really AGI? ### Assistant:"

После загрузки модели она начнет генерировать текст (~50 секунд).

Чтобы остановить генерацию и выйти, дважды нажмите Ctrl+C (невозможно сделать через SKB, можно просто закрыть и снова открыть приложение терминала).

Совет: с этой моделью необходимо строго следовать формату запроса, так как Vicuna обучалась именно так.

Пример запроса для DND, который я составил (не забудьте -p перед запросом):

"Tags: fantasy, role-playing, DND, Khazad doom. You're a DND master. Your stories are clever and interesting to play through. ### Human: Describe the location ### Assistant:"

https://github.com/LostRuins/koboldcpp (я еще не пробовал)

Если вы хотите поэкспериментировать с другими моделями, вы можете перейти по этой ссылке, просто придерживайтесь формата 7b, 4bit, ggml:

Я пробовал модели 13B, и они действительно медленные (пока). Добро пожаловать в личную эпоху почти-AI!

1414
7 комментариев

Мануал спизжен, спасиб))
На днях попробую пострадать херней. Есть подобное для общей языковой модели?

Ответить

Я по этому мануалу все настраивал, но использовал Venuca. Можно другие юзать, там есть ссылка последняя в статье, оттуда можно потыкать.

1
Ответить

У тебя на деке чехол или наклейка?Можно ссылку ?

Ответить

Это не мой на видео, взят из оригинального поста.
Но скорее всего отсюда https://dbrand.com/shop/steam-deck-skins

Ответить