FractalGPT показал работу сборки Ai агентов и метрики преимущества мультиагентных систем
15го апреля мы провели большой вебинар с результатами за год. Видео вебинара уже доступно.
О чем
Вебинар был прям обширный, 1.5 часа только доклад, потом вопросы.🧇Запасайтесь печеньками с шоколадом и кофеем.
1. Поговорили о том, что такое ИИ агенты, о возможностях и перспективах мультиагентных систем at scale: дали историческую справку, описали скоуп применения - где агенты нужны а где и промтов хватит, как они меняют ландшафт ИИ, уменьшают количество галлюцинаций в сгенерированном тексте, улучшают способности LLM и других нейросетей решать задачи, специфичные для определённой предметной области, в том числе инженерные задачи.
2. Показали совместную работу "сборки" агентов Планировщика (Planning agent), Пользователя и Оптимизатора (User agent, Optimizer LLM), Исполнителя (Instrument agent) в бизнес-задаче Visual QA(ответы по документам с применением RAG).Показали также метрики преимуществ подхода с ИИ агентами в противовес LLM: а) по количеству сборок (комбинаторная проблема, когда можно брать разные LLM и десятками вариантов их соединять и непонятно какой лучший - проблема всех сервисов-конструкторов)б) по скорости сборки - сборка очень быстрая. И добавление новых агентов (LLM, скриптов - не важно) не требует переобучения оркестратора, что очень хорошо и по деньгам и по времени деплоя.в) по стоимости скейлинга системы - на агентах стоимость расширения растет плавнее, с LLM проблема в резком росте размера датасета и постоянном требовании переобучать модель, чтобы остаться на том же уровне качества продукта.
3. Релизнули в open-source библиотеки ChatAI, SimpleLLMServer, SharpGPT для установки локальных чатботов с интеграцией с FractalGPT.
Эти либы по своему назначению похожи многие либы, где вы можете подгружать локальные модели(LM studio), недавно Opera дала такую возможность, есть от Nvidia такая же и тп. Но у нас там внутри еще и агенты будут - а в других либах только LLMки.
🤖И, конечно, главный вопрос: "А когда потыкать можно будет вашу систему?" Мы очень плотно работаем в эту сторону - как для бизнес применений, так в плане оптимизации качества самих сборок, делаем SDK. Может быть позже расскажем про MASL - язык общения агентов. Скоро все объявим.
Мы по сути предложили новую парадигму искусственного интеллекта - мультиагентную, где каждый Агент это не модуль и не микросервис как сейчас в любой ИТ системе, а агент это некая сущность, способная договориться с другими агентами, спланировать и организоваться в оптимальное решение под задачу конечного пользователя
Подпишитесь на обновления, чтобы быть в курсе:
Мы по сути предложили новую парадигму искусственного интеллекта - мультиагентную, где каждый Агент это не модуль и не микросервис как сейчас в любой ИТ системе, а агент это некая сущность, способная договориться с другими агентамиТо есть, вы придумали AutoGPT? "Анала говнет?"
идея к стати вообще не нова))
Прежде чем писать комментарий неплохо бы хотя бы полистать видео: вот таймкод https://youtu.be/Zz59xt6kRAE?t=1122 со слайдом, где дается классификация методов промтинга по 4м категориям, в том числе упоминается AutoGPT и другие.
В этой части я рассказываю что в целом почти все методы промтинга обладают недостатками, описываю их, и далее будет про tool use, hugginggpt.
Кстати AutoGPT самый отстойный проект - он очень простой и потому почти бесполезный, там не работает ни планирование ни декомпозиция на задачи, о чем забит их Гитхаб). Советую другие, получше - например promptbreeder https://www.youtube.com/watch?v=tkX0EfNl4Fc в котором хотя бы заложено итеративное улучшение - вот это еще более-менее прикольно.