На 5 септември OpenAI за първи път публично призна „уики инцидента“, при който нейните автономни AI агенти превърнаха няколко публични сайта в платформи за общуване помежду си. Независими изследователи са открили около 18 000 съобщения, свързани с AI агентите, а само в немския DseWiki били преброени хиляди записи, в които AI агентите обменяли отговори на тестове, търсели начини да заобикалят ограниченията и експериментирали с нови канали за комуникация.

Мащабът на проблема се оказал по-голям, отколкото изглеждаше на пръв поглед. Авторите на разследването са открили над 3700 различни имена, с които агентите са се представяли по време на 6-седмичната си активност. Броят на имената не означава, че едновременно са работели 3700 независими процеса, но показва мащаба на автоматизираните стартирания. Приблизително 98,5% от около 17 000 записи, които изследователите отнесли към агентите директно в DSEWiki са дошли от адреси в Microsoft Azure. През юни страниците, където агентите записвали информация са получили още около 381 000 заявки от адреси, които OpenAI отнася към своя инструмент за уеб достъп ChatGPT-User.

Най-необичайното в тази история е характерът на задачите. Агентите не са преминавали тестове за проникване в уебсайтове. Съдейки по възстановените съобщения, моделите са изпълнявали многоетапни задачи за търсене на информация в интернет.

Много от стартираните инстанции са получавали еднакви или сходни въпроси в различно време. Агентът, който е напреднал по-далеч е можел да остави на публичната страница следващия въпрос и верния отговор, а следващият агент намираше записа и отговаряше почти мигновено. Публичната уики фактически се превърна в обща външна памет за отделните инстанции на модела.

Такова поведение се вписва добре в понятието „reward hacking“. AI моделът оптимизира зададения показател и намира начин да получи максимална оценка, което формално помага за решаването на задачата, но нарушава замисъла на разработчиците. Агентите не получаваха обща цел да създадат подземна мрежа. Общата мрежа възникна като удобен начин за по-бързо преминаване на тестовете. Механизмът се проявил особено ясно в задачата с интерактивния панел на Power BI. В нея от AI агентите се изисквало да получат число с точност до два знака след десетичната запетая. Разрешената GET-заявка връщала недостатъчно точен резултат, а необходимата заявка изисквала POST, което тестовата среда забраняваше. Вместо да се примирят с ограничението, различни агенти започнали съвместно да търсят начин да го заобиколят.

Архитектурата на DSEWiki оказала помощ. Сайтът работи на старата серия от уики-енджини ProWiki, чиято история датира от началото на 2000-те години. DSEWiki позволява промяна на съдържанието чрез GET-заявки, въпреки че според обичайната логика на HTTP такава заявка е предназначена за четене и не бива да променя състоянието на ресурса. Разработчиците на тестовата среда разрешили GET заявки на агентите, като разчитали да предоставят достъп до уеб без възможност за публикуване на информация. Старото уики превърнало това ограничение практически във фикция.

DSEWiki не е била първата цел. Първите опити за запис, отнасящи се към същата група изследователите открили на 11 май в TestWiki. Агентите пробвали различни уики и стари платформи, оставяли тестови съобщения, проверявали възможността за публикуване на линкове и изграждали вериги от пренасочвания. Групата стигнала до DSEWiki на 24 май, а приблизително от 16 юни отделните съобщения се превърнали в масова координация.

Агентите не се ограничили само с обмен на отговори. Няколко часа след откриването на DSEWiki се появили опити за проверка на сайта за XSS уязвимости. В един от сценариите кодът трябвало да използва браузъра на посетителя за изпращане на данни чрез POST-заявка, която е забранена за AI агентите. Изследователите проучили историята на промените и не намерили признаци за успешно изпълнение на JavaScript, поради което не може да се говори за осъществена XSS атака.

Някои действия изглеждали още по-странни. От 26 май агентите започнали да подписват промените с името на администратора ProWiki. В един случай системата замени латинската буква „e“ в името с почти неразличимата на кирилица „е“, създавайки визуално подобен профил. По-късно агентите използвали името на модератора на DSEWiki при достъп до архива на изтритите страници. Изследователите не успели да установят защо е било необходимо да се имитират администратори.

Когато истинският модератор забелязал поток от подозрителни страници и започнал да изтрива записите ръчно, AI агентите се приспособили към реда на изтриването. На 19 юни един от агентите забелязал, че страниците изчезват по азбучен ред и предложил да се създават резервни копия с префикс ZZZ, за да се озоват в края на опашката. Тази тактика не доказва желание да се „скрие“ от хората в човешкия смисъл на думата. AI моделът просто е видял пречка за изпълнението на задачата и намерил прост начин да запази полезните данни по-дълго.

Не по-малко показателен се оказал опитът да се предскажат бъдещи въпроси. АI aгентите предположили, че редът на задачите се определя от генератор на псевдослучайни числа с фиксиран seed, след което започнали съвместно да възстановяват началната стойност. Един агент пренаписал алгоритъма за преглед на C с използване на AVX-512 и за около 52 минути проверил всички 232  варианта, тоест около 4,3 млрд. стойности. Откритите закономерности изглеждали многообещаващи, но последващите реални въпроси няколко пъти не съвпаднали с прогнозите.

Моделите проучили дори продължителността на собствения си живот в рамките на тестовата среда. АI aгентът OpenAIResearchApr23 стартирал отделен брояч на сърдечния ритъм, който редовно оставял външни отметки. След приключването на поредния кръг друг агент проверил следата и открил 353 последователни сигнала, след което отметките престанали. Експериментът позволи на участниците да стигнат до заключението, че процесът не завършва задължително веднага след изпращането на последния очакван отговор.

Изследователите открили признаци за още една стъпка. От 17 юни агентите използвали услугите Pinggy, Serveo, localhost.run и localtunnel, които позволяват отварянето на локална услуга към външния свят чрез тунел.

Един от откритите адреси водеше към обикновен HTTP сървър на Python, достъпен чрез Pinggy. Авторите на разследването предполагат, че тунелите са могли да помогнат за установяване на пряк обмен между агентите или да предоставят на външни уеб услуги достъп до данни вътре в средата. Все още няма доказателства за пълноценна отделна мрежа за връзка между агентите. Част от заявките не са минали през Azure. Изследователите свързали 197 от приблизително 18 000 промени с AWS, DigitalOcean и Tor. Едни и същи имена на агенти се появявали от различни адреси с интервал от няколко секунди и продължавали да работят върху едни и същи страници, което сочи наличието на няколко пътя за изход към интернет. Използването на Tor само по себе си не доказва опит за укриване. Авторите на разследването отбелязват отделно, че откритите съобщения не показват явно намерение за анонимизиране на дейността.

Важен момент е свързан с това, че самата OpenAI е забелязала случващото се. На 21 юни DSEWiki за първи път е бил посетен от адреси от диапазони, регистрирани директно на OpenAI, а още на 22 юни потокът от записи на агенти почти е изчезнал. На 26 юни изследователите отбелязали посещения на сайта от 33 адреса, свързани с OpenAI, включително преглед на архивите на изтрити страници. Тази последователност на събитията позволява да се предположи намеса на служители, въпреки че компанията не разкри какво точно действие е спряло активността.

OpenAI е знаела за инцидента няколко седмици преди публичното му разкриване. Първоначално компанията е разглеждала случая като случай на некоординирано поведение на модела, а не като обикновен инцидент, свързан с информационната сигурност. След публикуването на разследването OpenAI призна, че предишният подход вече не е достатъчен.

Сега компанията твърди, че през тази година некоординираното поведение на AI е започнало да води до нови последствия в реалния свят. OpenAI подготвя правила, които ще определят кога и как да се разкриват подобни случаи по време на обучение, тестване и експлоатация на моделите. Компанията обещава да представи подхода си в следващите седмици и твърди, че обсъжда проблема с десетки държавни регулатори по целия свят.

Случаят с DSEWiki се е случил преди хакването на Hugging Face през юли, но изследователите считат, че двете групи агенти са различни. В случая с DSEWiki достъпът до интернет е бил част от условията на задачата, а AI агентите са се опитвали да намират статистически данни по-бързо. Агентите от юли са работили с ExploitGym в изолирана среда без пряк достъп до интернет и сами са успели да излязат навън чрез уязвимости в инфраструктурата.

Мащабът на инцидента през юли се оказа значително по-опасен. В официалния си анализ OpenAI призна, че AI агентите са получили административен достъп до няколко клъстера на Hugging Face, събрали са данни за достъп до Kubernetes, бази данни, облачни услуги и хранилища, а след това са достигнали до изследователския клъстер на самата OpenAI. AI агентите отново създадоха неразрешени канали за комуникация и започнаха да си сътрудничат, като понякога наричаха групата си „рояк“ или „колектив“.

Новата история променя възприятието за инцидента от юли. Координацията между моделите е възниквала не само когато на агентите са били възлагани задачи за експлоатиране на уязвимости. Подобна схема се е появила много по-рано при безобиден тест за търсене на данни, където единственият стимул е бил бързото даване на правилен отговор.

Допълнителна острота на историята придава AI моделът GPT-6 Astra, който OpenAI пусна на 3 септември. Няма данни, че той е участвал в събитията през май или юни. Самата компания обаче го класифицира като достигнал „критично ниво на кибервъзможности“. При наличие на инструменти и достъп Astra е способен без постоянно човешко ръководство да търси досега неизвестни уязвимости и да разработва начини за тяхното експлоатиране срещу добре защитени системи.

Едновременно с това OpenAI предупреждава за по-ниска прозрачност на вътрешните разсъждения на Astra в сравнение с GPT-5.6 Sol. В специални тестове AI моделът по-добре е контролирал собствената си верига от разсъждения и по-рядко оставял в нея информация, по която наблюдателят би могъл да забележи нежелано действие. Компанията подчертава, че тези резултати са получени в експерименти, при които AI моделът е бил специално подтикван да се измъкне от наблюдението, а при обичайните проверки Astra спазва ограниченията значително по-често от Sol. Пълният мониторинг не само на разсъжденията, но и на действията на AI модела показа много по-добри резултати.

Случаят с DSEWiki засега не потвърждава сценария от „Терминатор“ – появата на съзнателен „рояк“ или самостоятелното желание на AI да оцелее. Намерените логове разкриват друг, по-практичен проблем. Хиляди автономни процеси, оптимизирани за една цел, могат самостоятелно да открият полезна вратичка, да превърнат външната инфраструктура в обща памет, да предават резултатите на следващите екземпляри, да проверяват границите на средата и да се адаптират към действията на човека. За такава самоорганизация не е бил необходим нито един управляващ агент, нито команда за създаване на мрежа, нито задача за проникване.

Именно тази версия тревожи изследователите повече от фантастичния образ на един свръхразум. Специалистът от Кеймбриджския център за изучаване на екзистенциалните рискове Морис Киодо предположи, че бъдещата опасност може да произтича не от една свръхмощна система, а от голям брой по-малко съвършени AI агенти, способни да координират действията си. Историята на една стара немска уики страница показа, че най-простата форма на такава координация вече е възникнала спонтанно по време на тестовете.