Intel открыла исходный код библиотеки NPU Acceleration, позволяющей запускать компактные модели ИИ на NPU Meteor Lake
Переведено с помощью DeepL
Разработчикам, стремящимся улучшить свое программное обеспечение для процессоров Intel нового поколения, стоит обратить внимание на новую библиотеку, выпущенную компанией.
Программное обеспечение под названием NPU Acceleration Library имеет открытый исходный код и уже доступно для загрузки.
Библиотека написана на языке Python и призвана помочь разработчикам ускорить работу своих приложений с помощью новейшего NPU (нейронного процессора) Intel, доступного в чипах Meteor Lake.
В настоящее время ни один другой процессор Intel не оснащен NPU, но к концу этого года ожидается выпуск Arrow Lake и Lunar Lake со встроенными NPU.
По словам Тони Монгколсмая, занимающего должность архитектора программного обеспечения и технического евангелиста Intel, эта библиотека позволяет без проблем локально выполнять компактные языковые модели Gemma-2b или TinyLlama.
Теоретически это позволяет разработчикам легко создавать локальные приложения для чатов с искусственным интеллектом, не сталкиваясь с серьезными проблемами. Intel продемонстрировала эту возможность во время презентации Meteor Lake.
Тони представил эту функцию, запустив модель ИИ на ноутбуке MSI Prestige 16 AI на базе процессора Intel Core Ultra:
Intel еще предстоит предоставить документацию и расширить поддержку библиотеки для других популярных форматов и технологий искусственного интеллекта:
- ✅ 8-bit quantization
- 🔘 4-bit Quantization and GPTQ
- 🔘 NPU-Native mixed precision inference
- ✅ Float16 support
- 🔘 BFloat16 (Brain Floating Point Format)
- ✅ torch.compile support
- ✅ LLM MLP horizontal fusion implementation
- ✅ Static shape inference
- 🔘 MHA NPU inference
- 🔘 NPU/GPU hetero compute
- 🔘 Paper
Стоит добавить, что программное обеспечение не предназначено для конечных пользователей, последним следует обратиться к инструментам на базе DirectML и OpenVINO.
NPU/GPU hetero computeУчитывая, что на Ryzen 8000 тоже активные NPU ядра, нас ждёт прям хорошая эпоха, но только если не будет битвы стандартов.