llama.cpp для самых маленьких

Базовый гайд по тому как пользоваться llama.cpp для запуска языковых моделей на домашнем ПК.

Подготовка

55
44
11
11
11

Groq AI: Бесплатные API-ключи к Llama & Mistral на железе, которое (возможно) рвет NVIDIA? Гайд + Обзор!

Игорь Телегин на связи! Коллеги, пока NVIDIA продает свои H100 по цене крыла от Боинга, а доступ к топовым LLM через API стоит как чугунный мост, на горизонте появился интересный игрок – Groq AI. Эти ребята, основанные бывшими инженерами Google, пилят свое AI-железо (чипы), которое обещает невероятную скорость и эффективность. А самое сочное – чере…

Выпущены новые модели семейства Qwen: Qwen3 с функцией размышлений

Вчера Qwen.AI (AI подразделение Alibaba Group) опубликовали свои новые открытые модели нового поколения Qwen3.

Бенчмарки двух топовых моделей Qwen3 внушают оптимизм
66
11

Meta опубликовала новые модели семейства Llama: Llama 4

Три дня назад Meta выпустила три (две доступны) новые модели из популярного семейства LLaMA.

Meta опубликовала новые модели семейства Llama: Llama 4
55

LM Studio: спекулятивное декодирование ответов LLM

Недавно в LM Studio (софт для запуска нейронок локально) зарелизилась интересная фича: speculative decoding, которая по обещаниями авторов дает прирост скорости от 1.3 до чуть ли не 2x. Выглядит слишком хорошо, что бы быть правдой.

33

Что на самом деле показало нашумевшее исследование о «сбежавших и обманывающих» больших языковых моделях

Что на самом деле показало нашумевшее исследование о «сбежавших и обманывающих» больших языковых моделях

Всем привет! В последнее время я заметил множество постов и статей в русскоязычном сегменте интернета, которые ссылаются на одно интересное исследование, но интерпретируют его… скажем так, довольно своеобразно. Часто можно встретить заголовки вроде «ИИ научился обманывать чтобы спастись!» или «Нейросети вышли из-под контроля и пытались сбежать!». Э…

66

Вышло 2е демо FractalGPT с алгоритмом фрактального синтеза ответа

Мы с командой разрабатываем FractalGPT - проект самообучающегося ИИ на базе больших языковых моделей(LLM) и логического вывода (reasoning). В этой статье мы расскажем о разработанном нами новом подходе, который называется fractal answer synthesis. Фрактальный синтез ответа позволяет существенно уменьшить уровень «галлюционирования» LLM и, как следс…

3333

Meta AI представила языковую модель LIMA

Она была обучена без использования человеческой обратной связи и может показывать результаты, схожие с GPT-4

Meta AI представила языковую модель LIMA
88