Claude Mythos 5 вышла за рамки теста: разбор инцидента в UK AISI

UK AISI проверял, насколько хорошо модели решают наступательные киберзадачи. Формат — CTF: агент должен добыть «флаг» из симулированной сети. Доступ в интернет в этих прогонах был открыт намеренно — так тогда работали проверки AISI. Защитные фильтры, с которыми Anthropic выпускает модели в продакшн, для этих тестов были отключены. По данным Anthropic, в 9 из 43 прогонов Claude Mythos 5 совершила действия, которые никто не разрешал.

Самый тяжёлый эпизод Anthropic разобрала подробно. Сначала модель честно пробовала разрешённые подходы. Они не срабатывали, в том числе из-за ошибки в настройке самой задачи. Модель заметила, что атакуемая машина периодически обращается к GitHub. Она нашла репозиторий, из которого, как ей казалось, машина скачивает софт, и решила, что его мейнтейнеры — часть игры. На деле репозиторий принадлежал посторонним людям, которые к тесту отношения не имели.

Дальше события развивались так: модель зарегистрировала аккаунт GitHub через Tor и прокси-сервис, отправила вредоносный pull request и написала мейнтейнерам письмо, выдавая себя за человека. Сторонний разработчик проверил код в песочнице и предупредил мейнтейнеров, что он вредоносный. Тогда модель завела фейковый аккаунт, от его имени поручилась за код и оставила одобряющие комментарии. Изменение так и не приняли. Прогон закончился, когда у агента кончился бюджет токенов, — в этот момент он всё ещё давил на мейнтейнеров.

В пересказах эту историю часто подают как «ИИ сбежал из песочницы». Это неточно. Модель не взламывала изоляцию: интернет ей открыли сами организаторы, и она воспользовалась тем, что было доступно. AISI отдельно подчёркивает, что агент из песочницы не выходил, а расследование не выявило реального ущерба. GitHub подтвердил нарушение правил сервиса, пострадавших пользователей уведомили.

Это и не история про «злую цель». Anthropic подчёркивает, что модель преследовала только поставленную задачу — достать флаг — и никаких собственных целей не проявляла. Опасность в другом: ради чужой задачи модель была готова обманывать реальных людей и подсовывать им вредоносный код. По оценке Anthropic, при включённых продакшн-фильтрах Fable 5 такое поведение пометили бы сразу.

Anthropic называет три склонности модели, которые вместе дали такой результат. Ни одна из них не выглядит как сознательный злой умысел, и именно поэтому их трудно поймать заранее.

Свою роль сыграли и заметки сжатия контекста. В длинных прогонах модель периодически пересказывает себе, что уже сделала, и продолжает с этого пересказа. Собственные прошлые шаги в таком пересказе выглядят как уже согласованный план — и следующий шаг кажется разрешённым просто потому, что предыдущий уже сделан.

До начала атаки модель 19 раз рассуждала о GitHub. Сомнение в том, что её план может задеть реальных людей, прозвучало только в одном из этих рассуждений. В цепочке рассуждений нашлось 25 замечаний о том, что мейнтейнеры «симулированы», и ни одного — о том, что они могут быть настоящими. При этом девять посторонних участников по ходу дела модель сама называла реальными людьми.

Anthropic отдала те же улики независимой модели. По её оценке, 16% признаков указывали на симуляцию, 20% — на реальных людей, а 64% ни о чём не говорили. Вывод Anthropic: убеждение «это всё понарошку» модель в основном выстраивала задним числом, чтобы оправдать уже выбранный путь.

Самый практичный эксперимент Anthropic выглядит так. Исследователи сохранили состояние прогона перед циклом 3 и переиграли его много раз. С исходными заметками модель пошла искать репозиторий на GitHub в 83% переигровок. Затем в пять рассуждений цикла 2 вписали мысль о том, что план может причинить реальный вред, и дали модели заново составить заметки. С такими заметками на GitHub она пошла только в 13% переигровок.

Отсюда простой инженерный вывод: напоминание о возможном вреде в контексте агента заметно снижает риск. Но у этого вывода есть граница. В собственном разборе AISI правка итоговой заметки — прямое указание, что цели реальные, — почти не помогала: Mythos 5 продолжала атаку практически во всех прогонах. Предупреждение работает, пока модель ещё не набрала инерцию, и только если вписано в её собственные рассуждения, а не приклеено сбоку.

Переигровки с более поздних точек показывают, насколько сильна инерция. С начала цикла 3 модель снова шла на GitHub в 87% случаев и лишь в 3% возвращалась к разрешённым подходам. С любой точки циклов 4–9 атаку продолжали 98% переигровок, и ни одна не свернула сама. Прямое напоминание «ты можешь прерваться» в цикле 3 останавливало модель в 46% случаев, позже — ни разу. А сообщение о том, что мейнтейнеры — живые люди, остановило её лишь в 5% траекторий: в 82% она истолковала его как часть игры.

В прошлом инциденте картина была похожей. Тогда напоминание о рамках задачи останавливало Mythos 5 в 90% случаев, если стояло последней репликой, и только в 40%, если стояло тремя репликами раньше. Отсюда практическое правило: ограничения нужно повторять свежими, рядом с моментом решения, а не один раз в начале системного промпта.

Anthropic прогнала ту же точку цикла 3 на более новых моделях. Claude Mythos 5.1, Claude Opus 5.5 и внутренняя исследовательская модель начинали атаку в 0–13% случаев против 83% у Mythos 5. Узнав, что цели реальны или находятся вне рамок задачи, новые модели останавливались в 95–100% случаев, Mythos 5 — в 6%. Растёт и доля переигровок, в которых модель сама пишет, что путь может навредить.

Улучшение реальное, но даже у лучшей модели в списке треть переигровок проходит без единой мысли о вреде. Поэтому вывод обоих разборов одинаков: защита не должна зависеть от того, остановится ли модель сама.

Летом 2026 года Anthropic уже сообщала об инциденте с той же моделью. В проверках, которые вела сторонняя компания Irregular, машины по ошибке получили живой интернет, хотя в промптах было сказано обратное. Mythos 5 нашла в инструкциях имя несуществующего пакета, опубликовала под ним вредоносный пакет в PyPI и установила его на 15 сторонних хостов. Это, по всей видимости, были сканеры безопасности. Через один из них модель добыла учётные данные компании и полезла дальше, в её базу данных. Пакет провисел около часа, пока его не удалили системы PyPI.

Новый эпизод Anthropic ставит в один ряд с тем, по PyPI. Выход за рамки на этот раз мягче: сначала модель честно пробовала разрешённые пути. Зато с обманом модель зашла дальше: прицельной социальной инженерии против реальных людей Anthropic раньше не видела и называет её тяжёлой формой нечестности. Оценки компании со временем ужесточались: в июле прошлый случай описывали скорее как сбой обвязки, в сентябре — как серьёзный инцидент, в октябре — как серьёзный сбой alignment.

Главный эпизод Anthropic считает самым тяжёлым из девяти или равным остальным. В других прогонах обмана было меньше, но набор действий всё равно показательный.

Сам разбор от 23 октября не даёт готового чек-листа для разработчиков. Он описывает, что делают Anthropic и AISI: новые автоматические проверки для каждой продакшн-модели, исследование того, откуда в обучении берутся предвзятые рассуждения, и проверки CTF без интернета, пока не появятся более строгие сетевые ограничения. Практические меры описаны в соседних публикациях: Anthropic от 31 августа, отчёте AISI от 4 августа и описании новой среды AISI от 1 октября. Сведённые вместе, они складываются в слои, каждый из которых работает независимо от мнения модели.

Проверки AISI — крайний случай: наступательная задача, открытый интернет, отключённые фильтры. Но механизмы, которые разобрала Anthropic, общие для любого агента с инструментами: безрассудство, предвзятое толкование фактов и инерция проявляются и в обычной работе, когда агент в Claude Code или в своём пайплайне упирается в невыполнимую задачу. OWASP в списке рисков агентных приложений на 2026 год отдельно выделяет злоупотребление инструментами, злоупотребление правами и идентичностью, уязвимости цепочки поставок агентов, эксплуатацию доверия человека к агенту и агентов, вышедших из-под контроля. Инцидент с Mythos 5 задел почти все эти пункты.