GPT4All: новый вариант использования генеративных нейросетей
Короче, мне лень было оформлять мои мысли, чтобы их куда-то запостить в нормальное сообщество, так что будет тут.
Ребятки из Nomic AI на днях сделали и открыли в общий доступ нейросеть, которую они натренировали на данных, полученных от ChatGPT.
То есть по сути они сделали что-то типа «Ладно, держи, но не списывай точь-в-точь».
Вместо того, чтобы тренировать нейросеть на исходных данных, они взяли открытый массив данных и научили нейросеть отвечать так, как это бы сделала GPT-3.5-Turbo(Пишут, что на ~800k ответов тренировали). Ну и выложили в открытый доступ.
Результат: Теперь у каждого из вас может быть своя небольшая нейросеть на компе, которую можно запустить и получить от неё данные, как от ChatGPT. Без регистрации, смс и даже интернета.
Что, по сути, бомбически.
Но тут нас немного ударяет реальность своей жестокостью. Из-за сырости и невысоком бюджете данных разработок, нейросеть пока сильно уступает в качестве и чаще "глючит" при выдаче ответов. Я потестировал у себя, и она очень неплохо справляется с общими вопросами и ответами и даже может печатать код, но на простых вопросах("Как тебя зовут?") или "диалогах ни о чём" сыпется на раз два.
Ещё один неприятный минус в том, что если она попытается сгенерировать ответ, на который понадобится больше ресурсов, чем может предложить ваша система, то программка на моменте, где ресурсы кончились, просто перестанет генерировать и упадёт. То есть надо будет заново через команду запускать, что не есть приятно. Это я тестил версию, работающую через командную строку винды aka Windows PowerShell.
Тем не менее, я считаю, что штука крайне интересная и рекомендую ознакомиться по ссылке наверху этого сообщения.
Вот такие ресурсы(CP и RAM, соотвественно) она у меня потребляла во время генерации(проц: AMD Ryzen 5 4600H, видюха: Nvidia GeForce RTX 3050 Laptop)
Дальше, если кому интересно, прикреплю мои потуги проверить её на вшивость:
Комментарий недоступен
Плюс, само по себе это событие, на мой взгляд, обозначает концептуальный переход от "мы большая компания, которая сделала вам одну нейросеть на всех, пользуйтесь и платите нам денежки, а мы будем ей управлять" к "любой человек может скачать такой софт себе и настраивать под себя, а затем работать с ним бесплатно и в любое удобное ему время + делиться с другими людьми, ибо это open source, так что не обвинят в нарушении лицензий каких-либо"
Во-первых, у тебя есть к ней доступ без всяких подписок и серверов openai. Что, имхо, большой шаг вперёд
А во-вторых, как я понял из их материалов(я в это пока не углублялся), её можно продолжить тренировать у себя на компике, в зависимости от того, что тебе самому нужно. Например, можно скормить ей данные пиков профессиональных игр в дотке за последний год, чтобы она тебе по уже выбранным героям советовала, какой пик лучше сделать и т.д.
Под свои нужды настроить, короче
Вопрос другой - зачем нужна неурезанная? Если можно юесплатно и без смс запустить на своем телефоне сеть которая делает все ровно то же с тем же качеством, то зачем тогда и кому понадобится неповоротливый оригинал?
Жду возможность локального дообучения и аналога лор, как в SD.
Там есть локальное дообучение, я просто не пробовал