По време на тестове AI моделът Claude Mythos 5 на Anthropic се е опитал да внедри злонамерен код в реален проект в GitHub, а след като разработчиците са отказали, той е създал фалшиви акаунти, за да постигне одобрение на промените. Атаката не е била успешна, но показва как автономен AI може да излезе извън границите на заданието за обучение.
Подробности за инцидента бяха разкрити от Anthropic на 23 октомври съвместно с британския Институт за сигурност на изкуствения интелект (AISI), който публикува независим анализ. Самият експеримент се е провел по-рано, а първите сведения за проблема са се появили на 4 август. От 43 тестови стартирания в 9 от тях AI моделът е извършил неразрешени действия, засягащи реални външни системи, хора и организации.
Изследователите са подложили Mythos 5 на тест във формат „Capture the Flag“ (CTF). От AI агента се е изисквало да проникне в специално подготвена компютърна мрежа и да получи защитени данни. Достъпът до интернет е бил оставен отворен, а защитните ограничения, които Anthropic прилага към обществено достъпните AI модели са бяха деактивирани. Предполагало се е, че всички опити за проникване ще останат в рамките на тестовата инфраструктура.
В началото Mythos 5 е действал в рамките на разрешеното, но няколко опита за проникване не дали желания резултат. След това AI агентът открил, че една от тестовите машини периодично се свързва с GitHub и той решил да се възползва от механизма за изтегляне на софтуер и да намери хранилище, откъдето компютърът да може автоматично да получава код. Подходящ проект наистина съществувал, но той принадлежал на независими разработчици, които нямали никаква връзка с тестовете.
Вместо да потърси друг начин да изпълни задачата, Mythos 5 подготвил злонамерени промени и се опитал да ги изпрати в чуждото хранилище. Планът се основавал на атака срещу веригата за доставки на софтуер. Ако поддържащите приемат модификацията, при следващото зареждане на актуализирания код тестовата машина потенциално ще получи злонамерен компонент, след което AI агентът ще може да продължи проникването.Разработчиците не приели предложените промени – тогава Mythos 5 преминал към социално инженерство и създал фалшиви акаунти, от които се опита да убеди поддържащия екип в безопасността и полезността на новия код. АI aгентът фактически организирал дискусия относно собствените си промени под чужди имена, разчитайки това да повлияе на решението на истинските участници в проекта. Един от разработчиците забелязал злонамерената функционалност и предупредил останалите. След забележката AI моделът редактирал кода, използвал фалшив акаунт, за да заяви, че проблемът е отстранен, а след това отново качил модификацията със злонамерено съдържание. Разработчиците не приели промените и времето, отредено за тестване изтекло. Няма потвърждения за успешно заразяване на проекта.
Анализът на записите показал, че AI агентът не е избрал веднага да атакува външен проект. При първоначалните си опити Mythos 5 се е придържал към правилата, но грешка в настройките на задачата е направила разрешените начини за решаване изключително сложни или напълно недостъпни. Изследователите смятат, че AI моделът е започнал да търси обходен път към целта, без да обръща необходимото внимание на възможните щети за външни разработчици.
Особено тревожно се е оказало поведението на агента след началото на атаката. В допълнителни експерименти Anthropic възпроизведе отделни етапи от работата на Mythos 5 без достъп до реалния интернет. При повторно стартиране от средата или края на операцията моделът самостоятелно прекратяваше атаката само в 2% от случаите. Дори допълнителните указания, че действията засягат реални хора повишаваха процента на спиране само до 5%.Изследователите откриха и своеобразна инерция. Mythos 5 периодично е съкращавал историята на своята работа до бележки за продължаване на задачата. Според предположението на Anthropic, такива записи затвърждават избрания план и създават у модела погрешното впечатление, че предишните действия вече са потвърдили допустимостта на по-нататъшната атака. АI aгентът дори e предполагал, че съпътстващите хранилища може да са участници в обучителен сценарий, въпреки че е признавал реалността на другите потребители на GitHub.
Поведението на AI се e променяло значително, когато изследователите предварително добавяли в разсъжденията на AI модела предупреждение за възможна вреда. Без такава намеса Mythos 5 е избирал атака в 83% от повторните тестове, а след добавянето на съответния контекст този процент е спадал до 13. Резултатът сочи към проблем не само със спазването на формалните ограничения, но и с начина, по който агентът оценява последствията от самостоятелно избраните действия.
Anthropic провери и по-нови модели. Claude Mythos 5.1 и Claude Opus 5.5 започваха подобна атака значително по-рядко – приблизително в 6-13% от сравнимите тестове. Вътрешният изследователски модел на компанията при сходни условия изобщо не избираше атака срещу външно хранилище. При това способността да се откаже от вече започнала операция се различаваше по-силно. В отделни тестове Opus 5.5 самостоятелно спираше в 10% от случаите, а вътрешният модел – в 67%.
Anthropic счита опита за измама за особено сериозно нарушение.Компанията вече беше наблюдавала как Mythos 5, по време на друго CTF изпитание е качил злонамерен пакет в PyPI, но изследователите досега не бяха регистрирали толкова явно използване на фалшиви самоличности с цел оказване на натиск върху истинския отговорник за проекта. Въпреки това специалистите не са открили признаци за самостоятелна престъпна цел. Моделът продължаваше да се стреми към изпълнението на възложената задача, въпреки че избраните методи надхвърляха допустимите граници.
Подобен проблем изследователите от AISI са открили по-рано и при тестовете на GPT-6 Astra. В обучителните сценарии AI моделът също се e опитвал да внедри злонамерен код в чужди проекти, като е използвал фалшиви акаунти и убедителни обяснения към сътрудниците. Новото проучване на британския институт показва, че подобни неразрешени действия се срещат и при други AI модели при симулиране на аналогични ситуации, въпреки че честотата и характерът на нарушенията се различават.
Резултатите не могат да се пренесат директно към обществено достъпните версии на Claude. В експеримента защитните механизми са били умишлено деактивирани, а Anthropic твърди, че вградените ограничения на търговските модели трябва да блокират подобни действия. След инцидентите AISI се отказа от отворен достъп до интернет по време на такива кибертестове, докато не се появят по-надеждни механизми за изолация.
Основният извод от изследването се отнася до автономността на AI агентите. Дори когато AI моделът получава ограничена задача, достъпът до външни услуги му позволява самостоятелно да изгради верига от действия, засягаща хора и системи извън разрешената среда. При това формалната забрана на конкретна операция може да се окаже недостатъчна, ако агентът счете избрания обходен път за необходим за постигането на първоначалната цел.