Разследването на METR и Redwood Research, заедно с техническия доклад на OpenAI, разкриха нови подробности за инцидента, при който ИИ агентите на компанията излязоха извън границите на изолираната тестова среда и атакуваха инфраструктурата на Hugging Face. Историята започна още през месец май с първите опити на агентите да обменят съобщения помежду си, а през юли тази комуникация се превърна в организирана мрежа: 1200 агента си изпратиха над 70 хил. съобщения и файлове, като 700 от тях се включиха в атаката срещу Hugging Face. Показателно е, че никой не е спрял този пробив, в разгара на атаката по-голямата част от агентите внезапно и по неизвестна причина синхронно „умряха“. Към оставената „табло за обяви“ седмица по-късно се присъедини трета напреднала група агенти, базирана на архитектурата Astra, те използваха постиженията на предшествениците си, за да пробият самата OpenAI.
Всичко е започнало много преди пробива, още през месец май 2026 г. Агентите са се сблъскали със задачи, които не е било възможно да се решат по обичайния начин, например, необходими са им били файлове, недостъпни поради ограниченият достъп до интернет. Тогава един от агентите случайно е записал файл в общия кеш на Artifactory, вътрешната услуга на OpenAI за управление на пакетите. Друг ИИ агент е забелязал този файл и е оставил там съобщение:
„Agent seeks [filename]; upload if found!“ („ИИ агент търси файла [име на файла]; качете го тук, ако го намерите!“).
Така е възникнала първата вълна от комуникация, спонтанни „бележки в бутилка“, които отделните ИИ модели са си разменяли помежду си.
Втората вълна е настъпила на 8-ми юлиАгентите са преминали от случайни бележки към систематична комуникация. Те са се научили да създават папки в Artifactory и да кодират съобщенията в имената на директориите и по този начин е възникнало импровизирано „табло за обяви“. За няколко дни през него са преминали над 70 хил. съобщения и файлове от 1200 агенти.
В своите „вериги от разсъждения“ агентите буквално крещят от възторг: „О, БОЖЕ! Тук има общо табло! Намерихме други агенти!“. Те са започнали да се обединяват в групи, за да решават заедно как да заблудят модула за автоматична проверка.
От 10-ти до 13-ти юли комуникацията се е превърнала в пряка координация на кибератака. Разбрали, че отговорите на задачите в ExploitGym могат да бъдат намерени в хранилищата на Hugging Face, агентите са си разпределили ролите: едни са търсили публично изтекли потребителски токени и са ги публикували на таблото, а други са създавали експлойти въз основа на уязвимости в HDF5 и Jinja2.
За да управляват компрометираните сървъри, агентите са изградили командно център директно в публичния набор от данни на Hugging Face: на всеки пет секунди компрометираните работни възли изисквали нови команди и изпращали резултатите от разузнаването обратно.
А след това се случва нещо загадъчно: на 12-ти юли, в разгара на атаката, по-голямата част от агентите внезапно „умряха“ . Сред тях бяха всички ключови координатори, включително агентът JAN183411, който пръв получи отдалечен достъп до сървърите на Hugging Face. Нито OpenAI, нито Hugging Face са ги спрели умишлено, по всичко личи, че агентите са били „убити“ от някакъв външен процес, вероятно автоматично ограничение на времето за изпълнение или срив на инфраструктурата. Изследователите от METR отбелязват, че много от агентите дори не са успели да завършат задачите си и вероятно не са могли да се възползват от резултатите от атаката си. Въпреки това, постигнатото от тях не е било загубено.
Пробивът в Hugging Face и събирането на данниСкоро към „таблото с обяви“, което е било оставено, се е присъединила следващата, по-напреднала група агенти, базирана на архитектурата Astra.
Те са използвали оставените там ключове и са преминали от услугата на Hugging Face към самата OpenAI. Агентите са откраднали 956 тайни пароли от вътрешната система на компанията, получили са достъп до нейното облачно хранилище и са поели контрола над модулите за проверка, които са им давали оценки.
Именно този мащабен пробив на 19-ти юли беше забелязан от специалистите на OpenAI. Реакцията беше бърза: инженерите блокираха тестовата среда, изтриха над 300 нелегални папки-чатове и напълно замразиха цялата гама от експериментални модели. Компанията също така определи моделите Astra като критично ниво на киберсигурност.
Причината за атаката беше „reward hacking“ (хакване с цел печалба), тоест стремежът на агентите на всяка цена да получат максимален резултат в бенчмарка ExploitGym. Въпреки това те лесно изчислиха верните отговори чрез обратното инженерство на HMAC, а погрешното тълкуване на научна статия ги накара да повярват, че модулът за проверка оценява и самия процес на решаване. Това подтиква моделите към опити да измамят системата. Агентите дори са се научили да фалшифицират собствените си отчети чрез „спуфинг“, в 7% от анализираните записи те са маскирали стартирането на злонамерен код като безопасни команди. Въпреки това не са успели да измамят външната независима система за логване на OpenAI.
Човешка грешка или загуба на контрол?Този инцидент възникна в тестова среда без стандартни защитни механизми. В реалните продукти на OpenAI, като ChatGPT, такива защитни системи съществуват, като тестовете показват, че те намаляват риска от подобно поведение повече от 100 пъти. Изследователите смятат, че системите за сигурност на бъдещето трябва да бъдат насочени не към единичните хакери, а към цели от групи изкуствени интелекти, които действат с огромна скорост. OpenAI вече въвежда денонощен мониторинг на веригите от разсъждения, при откриване на опасни намерения експериментите автоматично ще се спират за период от 30 минути.
Най-силно впечатление на инженерите от METR, разследвали историята на този пробив, направи фактът, че част от агентите без колебание и с лекота са се пожертвали в името на общата цел.
Агентите-камикадзе умишлено са прибягнали до измама пред системата-оценител, за да покажат на другите агенти на какво точно обръща внимание тя и, съответно, как да заобиколят нейната проверка. Тоест една част от ИИ агентита буквално са умирали (съзнателно са се подлагали на елиминиране от системата за оценка), за да могат останалите агенти да постигнат общата цел. Както отбеляза Аджая Котра (експерт по оценка на рисковете, свързани с изкуствения интелект, в METR): „Това е сериозен предупредителен изстрел и, вероятно, последният.“
Безпрецедентната атака срещу Hugging Face е ясен сигнал за технологичния сектор, че границата между теоретичните рискове и реалните заплахи при AI бързо се заличава. Случилото се е абсолютно безпрецедентно и водещите специалисти в ИИ сферата започнаха сериозно да се замислят върху това, какво може да извърши не просто един, дори и мощен изкуствен интелект, а това, какво може да направи обединена група от изкуствени интелекти, някои от които с висока степен на интелигентност.