«ИИ должен знать то, чего он не знает». Research Paper SIMURG, тул против галлюцинаций от СНГ энтузиастов
Последние два поста я писал про SIMURG, и тема, если честно, довольно интересная.
SIMURG это open source ML модель от энтузиастов, которая занимается одной из самых неприятных проблем современных ИИ моделей: галлюцинациями.
По сути, идея в том, чтобы ИИ умел понять, что с его ответом что-то не так, и не продолжал уверенно генерировать чушь. SIMURG следит за генерацией и может обнаруживать и останавливать такие проблемы.
Особенно интересно это для тех, кто запускает модели локально. Например, квантизированные модели на 2 или 4 бита на не самых мощных GPU иногда начинают выдавать странные ответы, повторения или вообще ломать генерацию. SIMURG здесь выступает как дополнительный защитный слой.
А ещё у них есть SIMURG Search, бесплатный web search для AI agents. Можно дать агенту возможность искать актуальную информацию в интернете и не заставлять его полагаться только на то, что было заложено в модель.
И тут я увидел ещё одну интересную штуку. Команда опубликовала research paper про SIMURG и подала его в JAIR.
Сам paper уже доступен на GitHub, его можно спокойно открыть и почитать:
Сам SIMURG тоже open source:
Установка вообще простая:
pip install simurg