Пошаговое руководство как установить большую языковую модель Vicuna 7B + llama.ccp на Steam Deck. Перевод
Оригинальная публикация была сделана на сайте Reddit
Некоторые из вас попросили составить руководство по использованию этой модели, и вот оно. С моделями LLM вы можете заниматься ролевыми играми, создавать истории в определенных жанрах и DD сценариях или получать ответы на свои вопросы, подобно ChatGPT, хотя и не так эффективно. Тем не менее, взаимодействие с AI может быть веселым, ваши данные будут храниться локально и не покинут ваше устройство, а модель будет работать офлайн, когда вы возьмете свой Steam Deck. Таким образом, в случае катастрофического сценария вы будете готовы восстановить цивилизацию (по крайней мере, как DM).
В этом руководстве мы будем играть с моделью под названием Vicuna 7B (чат-бот помощник) и окружением вывода llama.ccp. Я не хочу утомлять вас длинными объяснениями, но если вы готовы прыгнуть в кроличью нору, добро пожаловать в r/LocalLLaMA. Итак, поехали:
- Загрузите режим рабочего стола из меню "Питание"
Совет: клавиатуру можно вызвать комбинацией кнопок "Steam + X".
- Откройте приложение "Терминал" в меню "Пуск"
- Создайте пароль sudo с помощью этой команды:
Примечание: будьте осторожны с режимом sudo, не делитесь своим паролем; это древняя магия администрирования, которая может повредить ваше устройство, если вы не соблюдаете строгих правил.
- Затем вы можете предоставить себе разрешение на внесение изменений в определенные файлы Steam Deck OS:
Примечание: мы не будем изменять основные системные настройки, но важно быть осторожным при выполнении любых случайных команд sudo, выходящих за рамки этого руководства. Неконтролируемая команда sudo может сделать ваше устройство неработоспособным. Вы также можете выполнить "sudo steamos-readonly enable" позже, чтобы отменить это изменение.
- Начните загрузку файла модели (4 ГБ); это займет некоторое время, поэтому вы можете перейти к следующему шагу:
- В то же время вам нужно установить несколько пакетов. Эти пакеты безопасны и потребуются для компиляции окружения вывода llama.ccp для аппаратного обеспечения Steam Deck.
Вставьте эту команду в терминал:
И нажмите Default (enter) или Y, когда это будет предложено.
- Теперь установите llama.ccp. Создайте папку в удобном для вас месте, затем щелкните правой кнопкой мыши (L2) и выберите опцию "Открыть терминал здесь".
- Теперь выполните следующие действия в новом окне терминала, строка за строкой:
Поздравляю, мистер Хакермэн, вы скомпилировали свою первую программу!
- Теперь переместите загруженную модель в <ваша папка из предыдущего шага>/llama.ccp/models
- Запустите модель:
После загрузки модели она начнет генерировать текст (~50 секунд).
Чтобы остановить генерацию и выйти, дважды нажмите Ctrl+C (невозможно сделать через SKB, можно просто закрыть и снова открыть приложение терминала).
Совет: с этой моделью необходимо строго следовать формату запроса, так как Vicuna обучалась именно так.
Пример запроса для DND, который я составил (не забудьте -p перед запросом):
https://github.com/LostRuins/koboldcpp (я еще не пробовал)
Если вы хотите поэкспериментировать с другими моделями, вы можете перейти по этой ссылке, просто придерживайтесь формата 7b, 4bit, ggml:
Я пробовал модели 13B, и они действительно медленные (пока). Добро пожаловать в личную эпоху почти-AI!
Мануал спизжен, спасиб))
На днях попробую пострадать херней. Есть подобное для общей языковой модели?
Я по этому мануалу все настраивал, но использовал Venuca. Можно другие юзать, там есть ссылка последняя в статье, оттуда можно потыкать.
У тебя на деке чехол или наклейка?Можно ссылку ?
Это не мой на видео, взят из оригинального поста.
Но скорее всего отсюда https://dbrand.com/shop/steam-deck-skins