AMD объяснила, как легко запустить локальный ИИ-чат на базе процессоров Ryzen и графики Radeon
Переведено с помощью DeepL
У AMD нет собственного инструмента, подобного NVIDIA Chat with RTX.
NVIDIA придумала простой инструмент, который можно использовать для локального запуска небольших LLM (Large Language Models) на базе графических процессоров GeForce.
В то время как у AMD нет такого инструмента, компания предлагает попробовать использовать стороннее программное обеспечение, которое работает на процессорах и графических процессорах.
AMD Ryzen 7040 "Phoenix" и 8040 "Hawk Point" оснащены ускорителем XDNA AI, который может предложить от 10 TOPS до 16 TOPS (триллион операций в секунду) для вычислений ИИ.
Вскоре эти процессоры ИИ будут широко использоваться, а благодаря грядущим изменениям в Windows важность ядер ИИ будет только расти.
Согласно официальному документу, NPU от AMD будет работать на базе модели Microsoft Compute Driver Model (MCDM). Это означает, что пользователи смогут отслеживать нагрузку на NPU непосредственно в «Диспетчере задач» Windows, наряду с CPU и GPU.
Тем временем, вместо того чтобы разрабатывать собственный инструмент, AMD рекомендует пользователям обратиться к программному обеспечению LM Studio, которое является решением с закрытым исходным кодом, кроссплатформенным и кросс-вендорным.
Оно также предлагает более простое управление моделями, но при этом имеет множество опций, которых у Chat with RTX просто нет.
LM Studio работает с процессорами Apple серии M, процессорами с поддержкой AVX2, а также может использовать преимущества ускорения графических процессоров AMD и NVIDIA.
Для графических процессоров рекомендуется 16 ГБ видеопамяти, в то время как для алгоритмов ML на базе процессора должно быть доступно не менее 6 ГБ памяти.
Самое большое преимущество этого решения перед любыми онлайн-моделями заключается в том, что оно работает локально, и никакие данные не собираются и не используются.
Компания делает большой акцент на частном использовании этого программного обеспечения и на том, как они заботятся о конфиденциальности.
Чтобы использовать LM Studio на оборудовании AMD, необходимо выбрать между LM Studio и LM Studio ROCm Preview.
Последняя оптимизирована для графических процессоров Radeon RX 7000.
Надеемся, что в какой-то момент она будет интегрирована в основную ветку.
Стоит отметить, что инструмент не оптимизирован специально для ускорителей AMD XDNA или Intel NPU AI. Однако он использует OpenCL для AMD APU/CPU с интегрированной графикой.
LM Studio
LM Studio + AMD ROCm
Загрузив инструмент, запустите его и найдите подходящие модели, с которыми вам захочется работать:
Перевод
- На вкладке "Поиск" скопируйте и вставьте следующий поисковый запрос в зависимости от того, что вы хотите запустить:
Если вы хотите запустить Mistral 7b, найдите: "TheBloke/OpenHermes-2.5-Mistral-7B-GGUF" и выберите его из результатов слева. Как правило, это будет первый результат. В данном примере мы выбрали Mistral.
Если вы хотите запустить LLAMA v2 7b, выполните поиск: "TheBloke/Llama-2-7B-Chat-GGUF" и выберите его из результатов слева. Как правило, это будет первый результат. - На правой панели прокрутите вниз, пока не увидите файл модели Q4 K M. Нажмите кнопку "Загрузить".
Мы рекомендуем Q4 K M для большинства моделей на Ryzen AI. Дождитесь окончания загрузки. - Перейдите на вкладку "Чат". Выберите модель из центрального выпадающего меню в верхней части экрана и дождитесь окончания загрузки.
- Если у вас есть ПК с AMD Ryzen AI, вы можете начать общение!
- Если у вас видеокарта AMD Radeon, пожалуйста:
Установите флажок "GPU Offload" на правой боковой панели.
Переместите ползунок до упора в положение "Max".
Убедитесь, что AMD ROCm отображается в качестве обнаруженного типа GPU.
Оригинал
- In the search tab copy and paste the following search term depending on what you want to run:
If you would like to run Mistral 7b, search for: “TheBloke/OpenHermes-2.5-Mistral-7B-GGUF” and select it from the results on the left. It will typically be the first result. We are going with Mistral in this example.
If you would like to run LLAMA v2 7b, search for: “TheBloke/Llama-2-7B-Chat-GGUF” and select it from the results on the left. It will typically be the first result. - On the right-hand panel, scroll down till you see the Q4 K M model file. Click download.
We recommend Q4 K M for most models on Ryzen AI. Wait for it to finish downloading. - Go to the chat tab. Select the model from the central, drop-down menu in the top center and wait for it to finish loading up.
- If you have an AMD Ryzen AI PC you can start chatting!
- If you have an AMD Radeon graphics card, please:
Check “GPU Offload” on the right-hand side panel.
Move the slider all the way to “Max”.
Make sure AMD ROCm is being shown as the detected GPU type.
а зачем это делать объяснение есть?
когда вы используйте онлайн чат боты вы передаёте запрос на сервера нейросети, что будет опасно с важными корпоративными и чувствительными данными или же компроматом, в то время языковая модель, использующая вычислительные мощности вашего железа без доступа к интернета гарантирует конфиденциальность и автономность