максим митин
Гайды

Gemma 4 Ghetto Edition: Как запустить новейшую LLM от Google на домашней «пекарне» (Даже если ты не программист)

Корпораты закрывают ИИ за платными API? Мы сжали Gemma 4 до формата NF4. Забирай бесплатно, ставь на свой ПК и общайся без цензуры и ограничений.
Корпораты закрывают ИИ за платными API? Мы сжали Gemma 4 до формата NF4. Забирай бесплатно, ставь на свой ПК и общайся без цензуры и ограничений.

Привет, DTF!

Google только что выкатил Gemma 4, и интернет уже забит гайдами для программистов. Но что делать обычному геймеру, который просто хочет умного ИИ-напарника на своем компе, чтобы генерировать квесты, лор или просто угорать без цензурных фильтров?

Мы, проект Ghetto AI Engine, сделали всю грязную работу за вас. Мы взяли сырые, тяжеловесные модели Gemma 4 и прогнали их через суровое квантование (сжатие) в формат 4-bit NF4.

Это значит, что ИИ, который в оригинале требует серверную ферму, теперь поместится в видеопамять твоей обычной домашней видеокарты. Никакого питона, никаких командных строк — всё запускается через удобные графические интерфейсы.

☢ НАШ АРСЕНАЛ (Выбирай под свое железо)

Мы залили на Hugging Face три калибра:

  1. Gemma 4 E2B Ghetto NF4 (Микро-калибр)Полетит даже на тостере. Жрет всего ~2 ГБ VRAM (видеопамяти). Идеально для старых ноутов.👉 Страница модели E2B
  2. Gemma 4 E4B Ghetto NF4 (Золотая середина)Наш фаворит. 4 миллиарда параметров, сжатые до ~4-5 ГБ VRAM. Умная, быстрая, помещается на GTX 1060 / RTX 3050.👉 Страница модели E4B
  3. Gemma 4 31B Base Ghetto NF4 (Тяжелый фундамент)Ультимативный гигант на 31 миллиард параметров. Мы сжали её так, чтобы она влезла в 16-24 ГБ VRAM (RTX 3090/4090). Монстр логики.👉 Страница модели 31B

🛠 КАК ЭТО ЗАПУСТИТЬ В 3 КЛИКА (Гайд для людей)

Забудьте про код. Мы будем использовать text-generation-webui (Oobabooga) — это как VLC-плеер, только для нейросетей. Скачивается и работает как обычная прога на Windows.

Шаг 1: Установка интерфейса

  1. Идем на GitHub проекта Oobabooga.
  2. Скачиваем архив text-generation-webui-windows.zip (есть и для Mac/Linux).
  3. Распаковываем в любую папку и запускаем файл start_windows.bat. Программа сама скачает всё необходимое.

Шаг 2: Качаем нашу Gemma 4 прямо в программе

  1. Когда появится локальная ссылка (обычно http://127.0.0.1:7860), открывай её в браузере.
  2. Иди во вкладку Model.
  3. Справа найди поле Download model or LoRA.
  4. Вставь туда название нашей модели, например: livadies/gemma-4-E4B-Ghetto-NF4
  5. Нажимай Download и иди делать чай (модель весит около 3 ГБ).

Шаг 3: Запуск и кайф

  1. Слева вверху, в выпадающем списке обнови модели (кнопка 🔄) и выбери скачанную gemma-4-E4B.
  2. В настройках загрузчика выбери Transformers.
  3. ВАЖНО: Обязательно поставь галочку load-in-4bit (ведь мы сделали для вас 4-битный квант!).
  4. Жми Load.
  5. Переходи во вкладку Chat и наслаждайся своей личной, локальной, нецензурированной нейросетью!

🎹 КИБЕРПАНК-САУНДТРЕК ЭТОГО РЕЛИЗА

Мы писали скрипты, сжимали тензоры и боролись с нехваткой памяти не в тишине. Вы используете проект, созданный при поддержке Livadies. Мы вшили этот вайб прямо в логику работы моделей.

Слушайте музыку будущего, под которую ковалась эта нейросеть:

🟢 Spotify: https://open.spotify.com/artist/0j8EmbhNFjiVhIJcZHdfUD

🔴 YouTube Music: https://music.youtube.com/channel/UCe6BJsKd0uj1kAQcdHqyXQw

🟡 Yandex Music: https://music.yandex.ru/artist/21918652

🔥 Главный трек кванта: «RUSSIAN WINTER 26»

Развлекайтесь, ломайте границы и помните: будущее ИИ должно принадлежать нам, а не корпоративным облакам. Stay raw.