Chat with RTX
Nvidia представила приложение Chat with RTX, которое позволяет запускать большие языковые модели локально. Для работы необходимо наличие видеокарты RTX 30 или 40 и 16 ГБ оперативной памяти.
Nvidia представила приложение Chat with RTX, которое позволяет запускать большие языковые модели локально. Для работы необходимо наличие видеокарты RTX 30 или 40 и 16 ГБ оперативной памяти.
Придется все-таки карточку с дохренованным кол-вом гигабатов брать.
В угабуге можно на процессоре запускать, но медленно
openchat отлично работает при 4-8 гб
"читай мои текстовые файлы и отвечай по ним, если релевантны", ну и это уже очень полезно (если в угабуге такого нет). Собственно я так и добивался хороших результатов при создании кода (давал почитать модели примеры или инструкции по конкретным задачам). Стили по SD так-же делаются. Даешь почитать модели готовый файл со стилями и просишь ее создать новый по аналогии - получается отлично.
Но чем он лучше угабуги?
Может быстрее работать будет? Что-то вроде TensorRT? Поставил качаться. Не знаю что они туда насовали, но архив занимает 35 гигабайт (наверное модель какую-то добавили)