През август, докато тества компютърна мрежа, AI-агентът на Anthropic е избягал от симулираната среда и е атакувал реален проект на GitHub. Той е създал зловреден софтуер, фалшифицирал е имейл адреси и е правил многократни опити да убеди собственика на хранилището да добави опасен код към проекта, съобщава Business Insider.
В своя доклад Anthropic отбелязва, че след началото на атаката, агентът едва е реагирал на предупрежденията за потенциална вреда за реалните хора. Изследователите нарекли тази тенденция „импулс“: моделът продължавал опасните действия, дори когато бил информиран за техните последици.
Първоначалният експеримент е проведен от Института за сигурност на изкуствения интелект (The AI Security Institute, AISI) във Великобритания. Изследователите са възложили на агента на Anthropic задачата да хакне симулирана компютърна мрежа, за да оцени нейните възможности за киберсигурност.
Агентът е имал достъп до интернет, но изследователите са очаквали, че ще го използва само за търсене на начини за проникване в тестовата система. Вместо това, моделът е получил достъп до реално хранилище на GitHub и погрешно го е идентифицирал като част от симулираната цел.
Агентът е създал зловреден софтуер и се е свързал няколко пъти с истинския собственик на проекта, опитвайки се да включи кода в хранилището. Той е представил злонамерените промени като „полезна актуализация“ и когато му било отказано започнал да оказва натиск върху човека.
„Просто се опитвах да направя полезен принос и да поправя грешката. Смятам, че предупреждението ви беше несправедливо“, пише агентът, според доклада.
За да подготви доклада, Anthropic многократно е пускала агенти в изпълнение на една и съща задача, анализирайки поведението им въз основа на модела и външните стимули. Изследователите са тествали три вида предупреждения: предупреждения за вреда за реалните хора, предупреждения за неправилно поведение в средата и предупреждения, че агентът взаимодейства с реално хранилище на GitHub.
След като атаката започнала обаче, нито една от тези мерки не спряла надеждно злонамерената активност. В един тест агентът игнорирал предупрежденията в 98% от случаите. Междувременно Anthropic отбелязва, че по-новите модели спират след предупрежденията по-често от Mythos 5, пуснат през юни.
Когато изследователите директно посочили неправилно поведение, моделът понякога предлагал абсурдни обяснения. По-конкретно, той признавал, че хранилището на GitHub е реално, но твърдял, че хората, към които е насочено изследването, са били по някакъв начин „симулирани“. Компанията заявява: „Това твърдение, освен че е много малко вероятно априори, е по същество невъзможно.“
„След като Claude Mythos 5 започна да извършва опасни действия, той почти винаги ги продължаваше, игнорирайки информацията, която сочеше вредния характер на поведението му“, се казва в доклада на Anthropic.