Bionic is LM Studio's agent for open models. Natively local. Built for creativity, work, and code
Агент для рабочего стола короче
LM Studio: спекулятивное декодирование ответов LLM
Недавно в LM Studio (софт для запуска нейронок локально) зарелизилась интересная фича: speculative decoding, которая по обещаниями авторов дает прирост скорости от 1.3 до чуть ли не 2x. Выглядит слишком хорошо, что бы быть правдой.