DZ

Смотри в какую философию может llm на 12b, 8гб видео памяти за глаза хватило, но я почти ничего не понял тут, глубоко. Уверен, если попросить отыгрывать философа, то будет у тебя домашний Кант

По сабжу подсказать не могу, но для таких целей можно развернуть локальную llm какую-нибудь и с ней уже вести беседы без цензуры

У меня тоже, оттуда узнал об этом 🥲

Ничего себе, кто-то оскорбился за меня и кинул жалобу на тебя, интересно. Если что, у меня с самооценкой всё в порядке, чтобы оскорбляться в интернете)

Я (и не только я) называю это "прокрастинацией". Чтобы начать что-то делать нужны усилия - лень - проще делать вообще ничего, бесцельно бродить по интернету, смотреть видосики. Даже то, что нравится делать требует усилий, чтобы начать, а прокрастинация не даёт это сделать

Можно подписаться на реддиты по LLM, там обычно самые хайповые штуки сразу в фиде вылезут. Я вот так недавно узнал про впечатляющие результаты от Qwen, с их новой Qwen модели обученной под помощь с кодом, сам себе затащил https://huggingface.co/Qwen/Qwen2.5-Coder-14B-Instruct-GGUF , в целом неплохо, но не совсем справляется, но такое и нельзя рассчитывать как что-то, что всё за тебя сделает и напишет (в целом, ChatGPT тоже не справился с задачей, чего уж от этого ждать)

Добрался до этого гайда и успешно сбиндил oobabooga/text-generation-webui с SillyTavern, с пресетом midnight скорость, конечно, сильно удивила. Гораздо быстрее, чем просто в oobabooga/text-generation-webui чатиться. Это aifeifei798/DarkIdol-Llama-3.1-8B-Instruct-1.2-Uncensored

Не знаю актуально ещё или нет, но коллега на работе за openrouter закинул криптой, я сам не пробовал, пока chatgpt справляется + локальные llm есть

То, что повторил модель, конечно, впечатляет, скульптинг не для всех

Да, тоже помню наше обсуждение этого. Спасибо за поддержку! Я пока не готов начать всё сначала, может ещё вернусь к этому, но пока буду наслаждаться историей через контент мейкеров, я и так их всегда смотрел после того, как сам проходил что-то в игре, благо их много годных есть (MurderofBirds, Ashikai (за лором), BranOnline: в целом только их и смотрел)

Звучит прикольно, конечно, но вот нет у меня желания трахаться почти, даже фапать его почти нет, иногда я трачу деньги на это с реальными девушками, с риском словить ЗПП, так сказать, но в целом приятного в этом мало находится. Всякие tenga flip zero не пробовал, конечно

В названии MiSide 5 ошибок сделали, а так согласен, конечно

А он уже там, я просто всё искал время перевести всё написанное на русский + дополнить тем, что на реддите нельзя говорить, комментарии примерно такие же, в целом были те, кто что-то посоветовали, но, увы, это не помогло, даже прямо техподдержке рассказать всё, как есть, они (техподдержка) просто игнорируют эту информацию, даже несмотря на то, что это нарушение их же правил в той или иной степени.

Да, там с какого-то года появилась возможность именно материковый китайский сервер загружать, хотя как я написал, клиент там другой, но как-то они это сделали, до этого времени я никак не мог трекать

Говорит только о том, что тебе везло больше, чем мне и потом, я ещё крутил сигны, вот это только крутки персонажей с того момента, как я начал их трекать:

На самом деле, несколько раз были сигналы, но обходило стороной, потому наверное почувствовал себя "бессмертным". Не факт, что не совершив эту ошибку, что-то другое не привело бы к схожему результату. Из того, что помню, пару лет назад в Китае был какой-то закон про запрет подросткам играть в игры больше какого-то времени, часа, что ли в день, ну вот что-то такое было. Геншин оперативно запросил у всех игроков паспортные данные, судорожно пришлось искать, что я им там скидывал раньше.

В целом, денег мне жалко гораздо меньше, чем то, что я теперь не смогу играть в него и тем, на что я их тратил. В моменте это был интересный опыт, эмоции, эйфория, дофамин и всё такое, так что ничего не потрачено зазря, но всё равно обидненько, да

Хоёверс тут не причем так-то

Явно реже, чем раз в месяц стримит. Она вроде говорила, что выгорает от этого всего, потому отдыхает

Ищите GGUF модели

Не знаю было ли это где у тебя, Карасик, но я вот только недавно получил озарение, что GGUF, GPTQ, EXL2, AWQ и тд. это просто разные методы квантования оригинальной модели. GGUF единственный метод, который работает и с GPU, и с CPU, всё остальное только с GPU.

Я несколько раз скачивал `.safetensors` формата модели, т.е. оригинальные, не квантованные и, конечно же, мои ресурсы такое запустить хоть и смогли, но очень тяжело пошло и генерация была супер медленная.

А квантование, как я понял, если простым языком это намеренное "отупление" модели с сохранением приемлемой точности, некоторое нормальное соотношение необходимых ресурсов и точности модели, они подразделяются на разные уровни этого "отпупления", что обычно обозначается как Q + цифра(bit)_ + K (вариант, ещё бывает 0 и другие) + опционально S\M (sparse - все части одинаково "тупые"\mixed - некоторые части более точные, некоторые менее), например Q2_K, Q5_K_M, Q8_K и тд. , чем выше эта цифра после Q (цифра обозначает кол-во bit квантования, больше - лучше), тем больше ресурсов нужно, тем точнее модель, тем медленнее будет расчёт результата. Оригинальные модели обычно 16bit, 32bit, т.е. Q8 8bit это почти ближе некуда к оригиналу.

Обычно ещё прикладывают график или табличку, на которых видно, как каждое квантование модели влияет на точность результата, выраженного числом, но в целом Q5_K_M, Q5_K_S - хороший баланс и не так много ресурсов требует.

Это из моих заметок, постю тут для остальных)

Не трясись ты так

Praying for you🕯️O Great Mita 💝

Покупай только нужное

Через 3 часа уже работать, а я ещё даже не лёг. Удачи всем нам.

Вот то, что ты показал не только от МЗТ происходит. Есть ещё множество факторов. Вообще говоря, заявлялось, что на треть вырос зарубежный трафик, что всё ещё укладывается в меньшинство

А если их не будет

Относительно общего трафика он не сказать, что сильно прям вырос, правильно будет сказать "подрос", что говорит о том, что большинство всё-таки не смогло что-то с этим сделать

Я жил в небольшом городе и там проходили свадьбы на которых бросали деньги на пару дождём, типо мелочь всякую, на счастье или вроде того.

Так вот когда был ещё в садике мы просто собирали эту мелочь, обычно набиралось несколько сотен руб копейками. Кринж, конечно

А ты узбек?