Вышла новая языковая модель Llama 2
Llama 2 доступна в версиях с 7, 13 и 70 млрд. параметров. Для обучения новой модели использовалось на 40% больше общедоступных онлайн-источников данных по сравнению с прошлой версией. Для тренировки использовались 2 трлн. токенов с длиной контекста 4096. Llama 2 стала бесплатной для исследований и коммерческого использования.
TheBlock(Tom Jobbins) уже выложил квантованные версии Llama 2. В том числе и в формате ggml для koboldcpp. Можно скачать 7B и 13B версии.
Извините, а что это и как этим пользоваться?
По сути это такой аналог Сhatgpt. Он похуже и послабее, но зато можно поставить к себе на компьютер и там нет такой цензуры как в Сhatgpt. Работать может как на процессоре так и на видеокарте. Для простоты я расскажу про запуск на процессоре. Чтобы пользоваться нужно скачать программу на компьютер. Есть разные, но для начала лично я считаю подойдет koboldcpp. Потом скачать саму модель. Например llama-2-13b.ggmlv3.q4_K_M.bin или если памяти мало llama-2-7b.ggmlv3.q4_K_M.bin. Запускаем koboldcpp.exe, указываем нужный файл модели в поле Model. Жмем launch общаемся в браузере. Модель англоязычная. Если с английским плохо, можно просто использовать переводчик. Это если совсем просто. Так конечно тонкостей различных очень много.
Вот бы ещё дообучение завезли:(