Я тут сидел и думал как улучшить ИИ часть 2
Привет, DTF! После первой статьи в комментах разгорелись жаркие споры. Кто-то говорил, что ИИ — это неделимая «математика вероятностей», а кто-то подтвердил, что индустрия уже движется в сторону смысловых ячеек.
Сегодня я хочу копнуть глубже. Главная проблема современных нейросетей в том, что они слишком стараются. Когда вы спрашиваете у гигантской модели «как дела?», она ворочает всеми своими миллиардами параметров, задействуя весь свой «мозг», хотя для такого вопроса хватило бы и одной извилины.
Я предлагаю решение: Фрагментация.
Что такое фрагментация ИИ?
Представьте, что нейросеть — это не один огромный мозг, а огромный офис, где сидят сотни узких специалистов. Сейчас, когда вы задаете вопрос, вы заставляете весь офис (все 100 человек) встать и хором на него отвечать. Это дико жрет ресурсы (видеопамять).
Моя идея: Мы «распиливаем» ИИ на фрагменты-эксперты.
- Один фрагмент идеально шарит в Unity.
- Второй — мастер подкатов и флирта.
- Третий — эксперт по аккумуляторам.
Как это работает на практике (Тот самый «Автопилот»)
В видеопамяти (VRAM) постоянно находится только «Менеджер» — очень маленькая и быстрая часть ИИ.
Когда Вася пишет: «Как пофиксить баг в C#?», происходит следующее:
- Менеджер мгновенно понимает: «Так, это по части кодинга».
- Система идет на SSD и подгружает в видеопамять только фрагмент-программист.
- Все остальные «эксперты» (повар, философ, историк) продолжают мирно спать на диске, не занимая ни одного мегабайта в вашей дорогой видеокарте.
Частота использования: Умная сортировка
Тут вступает в силу принцип, который я подсмотрел у нашего мозга. Если Вася — задрот-программист и каждый день пишет про Unity, система понимает это.
- «Горячие» фрагменты (C#, Unity) ИИ всегда держит «под рукой» — в ОЗУ или даже оставляет в VRAM, если место есть.
- «Холодные» фрагменты (например, «как солить огурцы»), которые Вася спрашивал один раз в жизни, улетают в самый дальний угол жесткого диска.
Жизненный пример: Команда на стройке
Представьте, что вы делаете ремонт. Вам нужно положить плитку.
- Классический ИИ — это когда вы вызываете бригаду из 50 человек (маляры, сантехники, архитекторы, дворники). Они все заваливаются в вашу ванную 2х2 метра, толкаются, жрут ваш обед и требуют зарплату, хотя плитку кладет только один.
- Фрагментированный ИИ — вы зовете только плиточника. Он сделал дело и ушел. Когда придет время розеток — придет электрик. В ванной всегда просторно, работа идет быстро, а платите вы только за того, кто реально работает.
Ответ знатокам про «вероятности»
В комментах к прошлому посту писали, что ИИ — это просто «интерполяция вероятностей». Да, это так. Но никто не мешает нам фрагментировать сами эти таблицы вероятностей (веса). Мы просто делаем так, чтобы в конкретный момент времени видеокарта считала вероятности только внутри нужного фрагмента знаний, а не по всей «вселенной» сразу.
Заключение
Если мы научим ИИ использовать только нужные куски своего «мозга», нам больше не нужны будут фермы из видеокарт для простых задач. ИИ станет легким, быстрым и, что самое главное, — эффективным.
Но, как я и говорил в прошлый раз, гладко всё только на бумаге. В реальности мы задолбаемся настраивать «менеджера», который должен безошибочно понимать, какого эксперта звать. Это вам не коммунизм строить, тут всё-таки логика нужна (хотя у муравьев всё равно получается лучше).