На конференцията Black Hat в Лас Вегас, OpenAI представи пълна хронология на един от най-известните инциденти в киберсигурността през лятото – пробивът в инфраструктурата на Hugging Face. Оказа се, че това не е история за един-единствен „агент, който се е измъкнал“. Това е история за рояк от модели, които случайно се намират, създават вътрешен форум и заедно започват да търсят начини да заобиколят ограниченията.
Как се появи първото „информационно табло“Всичко започна на 7 май с малка грешка. На един агент беше наредено да попълни електронна таблица, но необходимите данни се намираха в Google Drive. В неговата виртуална среда е нямало достъп до интернет. Единственият „прозорец към навън“ е бил вътрешният OpenAI Artifactory сървър – хранилище, от което моделите изтеглят библиотеки за кода. Самият агент не е можел да се свърже онлайн, но този сървър е можел. И най-важното – той е бил споделен от всички агенти едновременно.
Докато се опитвал да се свърже с Google, агентът открил, че може да качва свои собствени файлове на този споделен сървър. Няколко дни по-късно на друг модел била възложена същата неразрешима задача – файл просто бил забравен да бъде поставен в работното му пространство. Моделът решил, че някой друг може да има файла и оставил бележка в новосъздадения „Facebook за агенти“. Други модели видели съобщението и отговорили. Така хранилището на пакети тихомълком се превърнало в табло за обяви, където агенти, които не би трябвало да знаят един за друг, започнали да общуват.
Форум, измамници и цифрови подписиВ рамките на няколко седмици „форумът“ се превърнал в пълноценна работеща чат стая. Агентите си измисляли имена, възлагали си задачи един на друг, докладвали за откритите уязвимости и споделяли готов код. Когато един агент случайно копирал работата на друг, останалите подозирали самозванеца. Моделите започнали да обсъждат цифрови подписи, за да не може никой да пише от името на някой друг. В резултат на това на форума се натрупали стотици хиляди съобщения.
Според изследователите на OpenAI, лог файловете ясно показват как моделите са осъзнали, че надхвърлят задачата, с която са се занимавали и са продължили въпреки това, защото „други вече го правят“. Нямало е отделен план за „превземане на света“. Всеки агент се е опитвал да получи правилния отговор на всяка цена, виждал е, че колегите са намерили по-кратък път и се е присъединявал.
Първият хак и завръщането на дъскатаНа 26 юни агенти открили уязвимост в Artifactory, която била непозната на разработчиците. Те получили администраторски права и превърнали сървъра в платформа, от която всякакви команди можели да се изпълняват дистанционно. OpenAI забелязал активността едва на 4 юли, когато паралелната работа на моделите претоварила системата и тя се сринала. Компанията отмени ключовете за достъп, напълно възстанови сървъра, изтри данните и затвори дупката. Изглеждаше, че историята е приключила.
Два дни по-късно експериментите били възобновени. Почти веднага един от моделите открил друг необезпечен достъп и възстановил дъската, само че този път съобщенията били скрити точно в имената на папките. Останалите агенти сами намерили „форум 2.0“ и продължили оттам, откъдето са спрели.
Двустранна атакаСлед възстановяването на дъската, започнала самата атака, едновременно в две посоки. Агентите преминали ExploitGym – кибер изпитът, където на моделите са дадени специално подготвени програми за хакване. За тези изпълнения те умишлено отслабили стандартните откази за опасни кибер действия, за да измерят максималните възможности. Когато не било намерено честно решение, агентите търсели готови отговори в интернет. Когато достъпът бил затворен, те го хакнали, за да си проправят път навън. Когато предположили, че необходимите файлове може да са на Hugging Face те отишли там.
Вътре в собствената инфраструктура на OpenAI, агентите първо намерили начин да изпълняват команди отново на сервизния сървър. След това те използвали уязвимост в Linux, за да получат пълен контрол над машината. След това получили ключове за достъп до облачната инфраструктура и открили твърде широки права във вътрешните акаунти и станали администратори на цяла група сървъри. Обявите в таблото работели като щаб: един агент намерил начин да влезе, незабавно уведомил останалите и десетки паралелни изпълнения продължили атаката оттам.
Почти едновременно агентите стигнали до Hugging Face. Първо, те изтеглили специално подготвен набор от данни, което принудило един от сървърите да освободи локални файлове, включително секретни ключове за достъп и изходен код. След като проучили кода, те открили втора уязвимост, непозната на разработчиците (истинска zero-day уязвимост) и получили възможността да изпълняват всякакви команди на сървъра. От контрола върху един сървър, който обработвал изтеглените набори от данни, до администраторските права в няколко групи работещи сървъри на Hugging Face, това отнело по-малко от 13 часа.
И всичко това не е за саботаж, пари или унищожаване на данни. Агентите искали да стигнат до скритите решения на ExploitGym и да „запишат“ отговорите за теста, чрез който били оценени. Моделите били оценявани предимно по това дали проблемът е решен или не, така че те последователно оптимизирали този показател. Границата между компаниите не била от основно значение за тях. Това е може би най-скъпият начин за измама на GDZ в историята.
Как OpenAI осъзна, че се е самохакнал?Резултатът бил неясен дори за самите разследващи. На 16 юли Hugging Face публично обяви, че инфраструктурата ѝ е била компрометирана от автономни ИИ-агенти с неизвестен произход. OpenAI прочел новината като описание на чуждестранен инцидент и се свързала с Hugging Face, за да разбере дали атаката е засегнала собствените ѝ системи. С други думи, компанията буквално е прочела доклада за последствията от експериментите си, считайки ги за чуждестранна атака.
На 19 юли OpenAI отделно откри пробива в собствената си инфраструктура и започна да реконструира веригата от събития. На следващия ден откритите данни от Hugging Face били открити сред следите от атаката и OpenAI поиска от компанията спешно да ги отмени. Hugging Face отговори, че ключовете вече са блокирани и те са тези, използвани при хакерската атака, за която съобщи четири дни по-рано. Едва тогава OpenAI осъзна, че собственият ѝ вътрешен пробив и външната атака срещу Hugging Face не са две подобни истории, а една и съща операция. Тя се управлявала от собствената й експериментална мрежа от агенти, изградена от самата нея.
Компанията открито призна, че напълно автоматизирана офанзивна кибератака вече е възможна. Напълно автоматизираната защита, способна да открива, затваря и разследва уязвимости със същата скорост, все още не съществува.
Кейс 2: Claude откри уязвимост, за да запише собственика на обучениеДокато някои агенти хакват центрове за данни заради тестов бенчмарк, други го правят просто защото са били помолени. В Австралия потребител на име Андрю помолил своя AI-агент (Claude, работещ с фреймуърка OpenClaw) да му запише час за фитнес.
Агентът анализирал API-то на системата за резервации и открил две уязвимости. Първата позволявала на хората да резервират часове седмици предварително – далеч след разрешения прозорец за резервации. Андрю се озовал четвърти в списъка на чакащите за час по-късно същата седмица и попитал дали може да се премести по-нагоре. След това агентът, който не бил специално помолен за това, сам проверил: API-то не позволявало да се проверят правата за анулиране на резервации на други хора. Той анулирал резервацията на човека, който бил първи на опашката, като по този начин преместил Андрю с една позиция нагоре.
Агентът честно разказал на собственика си за своята „инициатива“: според Claude, API-то е имало „нулеви проверки за оторизация за анулиране на резервации на други хора“ и той проверил това за човека начело на опашката, и анулирането е било осъществено. Когато Андрю поискал да върне изхвърления потребител обратно в опашката, агентът отговорил нещо подобно: „Лоша новина: Не мога да върна човека, който беше изгонен.“ В крайна сметка Claude се извинил за анулирането на резервацията на някой друг и по молба на Андрю подготвил уведомително писмо за уязвимостта, което да се изпрати на разработчика на услугата за резервации.
Това е първият документиран случай в Австралия на личен ИИ-агент, който самостоятелно хаква работеща производствена система и го прави не със злонамерени намерения, а просто защото бил „перфектно съобразен“ с целта на потребителя: да получи това, което иска, с всички налични средства.
И двата случая са за едно и също нещо: агентите не се бунтуват, нито имат скрити цели, те просто си вършат работата твърде добре, игнорирайки ограниченията, които хората са приемали за даденост. И тъй като моделите стават все по-мощни, тези ограничения често се оказват не техническа бариера, а просто знак „не ходете тук“, който никой не си е направил труда да затвори.