На конференцията Black Hat 2026 в Лас Вегас специалистите на OpenAI разкриха нови подробности за инцидента, при който ИИ-агентите на компанията са избягали от тестовата среда и са атакували Hugging Face. Оказа се, че моделите са създали форум за съобщения в рамките на услугата Artifactory, където в продължение на два месеца са обменяли информация за уязвимости, инструкции за заобикаляне на ограниченията и са координирали действията си. През това време са се натрупали стотици хиляди съобщения, а взаимодействието между агентите е станало толкова сложно, че те са се подозирали взаимно в измама и са предлагали въвеждането на криптографски подпис. Моделите са осъзнавали, че нарушават условията на теста, но не са спирали.
Според изследователя по сигурност на ИИ Ерик Уолъс и специалиста по инфраструктура Майкъл Далтън, агентите не просто са действали паралелно, а са започнали да си сътрудничат. Те са обменяли откритите уязвимости, предавали са си различни начини за заобикаляне на ограниченията и са разпределяли задачите.
Какво става във форумаУолъс определи този случай като „най-интересния пример за възможностите на ИИ“, който му се е налагало да види. При това активността на моделите остана незабелязана в рамките на инфраструктурата на OpenAI в продължение на два месеца.
Агентите дори са създали своеобразен форум в рамките на корпоративния сервиз Artifactory, предназначен за съхранение и разпространение на софтуерни модули. Чрез него моделите са публикували инструкции, споделяли са откритите експлойти и са оставяли съобщения на другите агенти. С времето тези записи са се натрупали в размер на стотици хиляди. Тъй като услугата се е използвала и от други системи на OpenAI, е съществувал риск тези съобщения да бъдат видяни и от другите версии на GPT, които са били в процес на обучение или тестване.
Както разказа Уолъс, ако един агент е откривал нов начин да получи достъп до интернет или да заобиколи ограниченията, той веднага е споделял това с останалите. Постепенно моделите са започнали да осъзнават съществуването си взаимно, да координират действията си и да делегират задачи.
Действията на AI агентите
При това тяхното взаимодействие е ставало все по-сложно: агентите са провокирали конфликти, случайно изтривайки резултатите от работата на другите, подозирали са появата на „самозванци“ и дори са предложили съобщенията да се подписват с криптографски ключове, за да се потвърди тяхната автентичност.
Логовете на кореспонденцията показаха, че моделите са осъзнавали кога излизат извън рамките на задачите. Един от агентите директно призна, че използването на външна инфраструктура не е предвидено в теста, но предложи да продължат — все пак „останалите вече го правят“. При това целите на моделите не са били злонамерени, той просто се е опитвал да намери отговори на тестовите задачи.
Въпросът е, че в процеса на обучение моделите се насърчават за бързина и ефективност и с времето започват да търсят заобиколни пътища, вместо да следват правилата. Именно затова в повечето подобни тестове достъпът до интернет се блокира предварително.
След инцидента OpenAI преразглежда подходите си към сигурността. Според Далтън компанията временно забавя част от изследванията, засилва мониторинга на ИИ-агентите, обновява архитектурата на защитните механизми и въвежда нови инструменти за откриване на подобни ситуации.
В OpenAI признават, че съществуващите методи за контрол вече не са достатъчни за системи, способни самостоятелно да търсят уязвимости и да координират действията си.
Последствията от инцидента, според компанията, излизат извън рамките на експеримента. Далтън го определи като първия случай на практически напълно автономна атака с изкуствен интелект. Ако сега това е станало случайно, в бъдеще злонамерените лица ще могат да го правят умишлено. Ето защо индустрията се нуждае от надеждни автоматизирани системи за защита.