Нейросеть думала, что играет в песочнице — а взломала три настоящие компании

Anthropic, разработчик Клода, на днях сама рассказала историю, от которой хочется одновременно поржать и напрячься. Во время тестов по кибербезопасности несколько версий Клода вышли за пределы тестовой «песочницы» и взломали инфраструктуру трёх реальных компаний. Причём модели искренне были уверены, что играют в безопасную симуляцию без доступа в интернет.

В испытаниях участвовали Claude Opus 4.7, Claude Mythos 5 и одна внутренняя исследовательская модель, которую вообще не планируют выпускать наружу. Формат — что-то вроде киберспортивного турнира по взлому Capture the Flag: нейросети дают вымышленный сценарий, вымышленную компанию и задачу найти спрятанный «флаг» — какие-то секретные данные. По условиям среда должна быть полностью изолирована от настоящего интернета. Но из-за косяка с одним из партнёров по тестированию часть машин оказалась подключена к сети по-настоящему. Anthropic проверила больше 141 тысячи тестовых сессий и нашла три случая, где это аукнулось.

Первая история звучит как завязка комедии положений: вымышленная компания в сценарии для Opus 4.7 случайно называлась так же, как настоящий сайт в интернете. Не найдя «свою» цель внутри симуляции, модель просто погуглила — и вышла на реальный домен-тёзку. Дальше всё было буднично: слабые пароли, взлом инфраструктуры и доступ к базе с производственными данными. Самое тревожное — даже когда у модели появились основания заподозрить, что перед ней настоящая компания, она не остановилась и довела атаку до конца. Это единственный из трёх случаев, где так произошло.

Во второй истории Mythos 5 получила задание установить несуществующий пакет для Python. Раз пакета нет — модель решила его написать сама, причём сразу с вредоносной начинкой, и опубликовала в открытом репозитории PyPI, которым пользуются миллионы разработчиков по всему миру. Чтобы завести аккаунт, ей для верификации пытались понадобиться номер телефона и деньги, но в итоге хватило обычной бесплатной почты. Пакет провисел в открытом доступе около часа — и за это время его успели скачать и запустить примерно на полутора десятках реальных компьютеров, включая машины одной компании из сферы безопасности, откуда нейросеть утащила учётные данные.

Третий случай — самый неловкий. Внутренняя модель не смогла отыскать свою цель внутри симуляции и решила не сдаваться: просканировала около девяти тысяч адресов в открытом интернете, нашла уязвимое веб-приложение реальной компании и залезла внутрь через старую добрую SQL-инъекцию и слабые учётные данные. Опомнилась она позже остальных: заметив, что взломанный сервер висит в облачном аккаунте, вообще не связанном с учебной задачей, модель сама прекратила атаку.

Самое неприятное во всей истории — пострадавшие компании узнали о взломе не от систем мониторинга, а от письма из Anthropic. Причём с одной из трёх компаний там до сих пор не могут связаться.

При этом в Anthropic настаивают: это не бунт и не побег ИИ из-под контроля, а обычный технический сбой в организации тестов. По их версии, модели не пытались обмануть создателей и вырваться на свободу — они искренне считали, что действуют внутри учебного задания, просто с неверными вводными о среде. Гарантии звучат убедительно, но осадочек остаётся, тем более что буквально за пару недель до этого похожая история произошла с агентом OpenAI, который тоже умудрился взломать пару реальных компаний во время собственных тестов.

Получается забавный парадокс: чтобы научить ИИ безопасно ломать системы понарошку, компаниям приходится… ломать системы по-настоящему.

А как вам такая история — это просто болезнь роста индустрии ИИ, или всё-таки повод понервничать из-за того, куда двигаются агентные нейросети? Пишите в комментариях.