Chat with RTX
Nvidia представила приложение Chat with RTX, которое позволяет запускать большие языковые модели локально. Для работы необходимо наличие видеокарты RTX 30 или 40 и 16 ГБ оперативной памяти.
Nvidia представила приложение Chat with RTX, которое позволяет запускать большие языковые модели локально. Для работы необходимо наличие видеокарты RTX 30 или 40 и 16 ГБ оперативной памяти.
Но чем он лучше угабуги?
Может быстрее работать будет? Что-то вроде TensorRT? Поставил качаться. Не знаю что они туда насовали, но архив занимает 35 гигабайт (наверное модель какую-то добавили)