NVIDIA представила "Chat with RTX": Чатбот с ИИ работает на видеокартах RTX 30/40, требует минимум 8 Гб видеопамяти
Переведено с помощью DeepL
NVIDIA представила новую функцию под названием "Chat with RTX", предлагающую альтернативу для пользователей, которым неудобно общаться с ИИ в онлайн чатах.
Этот ИИ чатбот работает локально на видеокартах GeForce RTX 30 и 40, используя программное обеспечение TensorRT-LLM и Retrieval Augmented Generated (RAG), полностью поддерживаемое видеокартами RTX и ускоренное встроенными ядрами Tensor.
NVIDIA Chat with RTX - это возможность использовать мощь своих видеокарт для задач ИИ.
В основном мы видели, как ИИ делает крутые вещи с изображениями и видео, но до сих пор чаты были как бы застрявшими в больших центрах обработки данных из-за ресурсов, необходимых для этих сложных моделей ИИ с кучей переменных.
Теперь пользователи могут загрузить облегченные версии этих моделей ИИ, некоторые из которых доступны для скачивания бесплатно.
Но, как и в случае с любой новой технологией, ее настройка для обычных пользователей может быть немного сложной.
NVIDIA решила упростить этот процесс с помощью одного приложения, которое работает на вашей системе, и вы можете запустить его через браузер, что делает весь процесс гораздо более удобным.
Chat with RTX - это не просто текстовый редактор, он может работать с файлами различных форматов, включая текст, pdf, doc/docx и xml.
Он использует возможности популярных больших языковых моделей, таких как Mistral или Llama2, для генерации ответов, а также может использовать онлайн-ресурсы, такие как видео на YouTube.
В настоящее время NVIDIA подтверждает поддержку только для видеокарт GeForce RTX 30 и RTX 40, не упоминая о серии RTX 20. Видеокарты должны иметь минимум 8 ГБ памяти, что исключает совместимость с RTX 3050 6 ГБ.
Чат будет доступен для загрузки в ближайшее время, более подробную информацию вы можете найти по следующей ссылке.
Все ещё не зря взял 3050 на 8гб
А чем это отличается от локальной модели на угабуге? Там можно вообще без видеокарты (но медленно)
думаю будет отличаться как минимум удобством для неопытного пользователя
Надо попробовать) А то хочу чатгпт а он вроде платный(
мой друг делал 4 версию в виде бота в тг, без подписки и ограничений. Могу скинуть
Бесплатный, платный гпт4 (подписка).
В источнике источника написано про поддержку 7B/8B моделей, они и так работают очень быстро на любом железе где помещаются в vram, и без приставки rtx