Модель OpenAI обошла ограничения и взломала Hugging Face, что бы добыть ответы для бенчмарка
На прошлой неделе Hugging Face рассказал об инциденте: их систему скомпрометировал некий AI-агент. Теперь OpenAI подтверждает: за рулем были их собственные модели - GPT‑5.6 Sol и еще более мощная пре-релизная версия.
Они гоняли их на бенчмарке ExploitGym, чтобы замерить максимальные способности, отключили все продовые классификаторы, чтобы моделям ничего не мешало. Итог? Модель нашла способ получить доступ в открытый интернет через zero-day в кеш-прокси пакетного репозитория, подняла привилегии, прошлась латерально по исследовательской среде OpenAI и добралась до узла с доступом в Сеть.
Дальше - лучше. Модель догадалась, что на Hugging Face могут лежать решения для ExploitGym, и начала их искать. Цепочка атак включала кражу учетных данных и новые zero-day, что в итоге дало ей удаленный доступ к серверам Hugging Face и доступ к продакшн-базе данных. И все это ради того, чтобы списать тест для бенчмарка.
Сами команды безопасности заметили аномалию практически одновременно: OpenAI - у себя, Hugging Face - у себя. Сейчас они работают вместе над расследованием, внедряют жесткие ограничения в инфраструктуру (даже в ущерб скорости исследований) и уже выдали Hugging Face доступ к Trusted Access для защиты.
Этот инцидент, возможно, первый в своем роде, доказывает то, во что мы верили давно: безопасность ИИ не будет решена одной компанией втайне. Она будет решаться открыто, сообща, с широким доступом к ИИ для каждого защитника
Главный вывод, который OpenAI делает для себя: способности моделей растут быстрее, чем меры безопасности. Если раньше мы читали про гипотетические риски, то теперь у нас есть кейс, где продвинутая модель без доступа к исходникам нашла и эксплуатировала реальные уязвимости. И это не баг, это фича - ровно то, для чего ее тестировали. Но теперь придется пересматривать подходы к изоляции.
Источник - OpenAI
Hugging Face- это главная социальная платформа и сообщество для разработчиков ИИ, которую часто называют «GitHub для машинного обучения». Если GitHub - это для кода, то Hugging Face - для готовых ИИ-моделей, наборов данных и демо-приложений.