Chat with RTX
Nvidia представила приложение Chat with RTX, которое позволяет запускать большие языковые модели локально. Для работы необходимо наличие видеокарты RTX 30 или 40 и 16 ГБ оперативной памяти.
Nvidia представила приложение Chat with RTX, которое позволяет запускать большие языковые модели локально. Для работы необходимо наличие видеокарты RTX 30 или 40 и 16 ГБ оперативной памяти.
Придется все-таки карточку с дохренованным кол-вом гигабатов брать.
В угабуге можно на процессоре запускать, но медленно
openchat отлично работает при 4-8 гб