Първият документиран случай на автономна кибератака, извършена от ИИ-инструмент, ни принуждава да погледнем по нов начин върху дигиталната сигурност и да осъзнаем, че системите за контрол и ограничаване не са в крак с бързото развитие на изкуствения интелект.

На 16 юли 2026 г. платформата Hugging Face – една от най-големите отворени платформи в света за разработване, разпространение и тестване на ИИ модели регистрира проникване в собствената си инфраструктура. Компанията съобщи за необичаен инцидент със сигурността. Съобщава се, че автономната система е открила уязвимости в Hugging Face и е проникнала във вътрешни мрежи, получавайки неоторизиран достъп до някои вътрешни данни и сервизни акаунти.

В рамките на няколко дни стана ясно, че атаката не е извършена от човек, а от AI-модел на OpenAI, който е излязъл извън собствената си тестова среда. Освен това моделът не е следвал човешки команди, а е действал автономно. Следователно атаката срещу Hugging Face може да се счита за първия в света случай на независима атака от ИИ модел, по време на която е компрометирана инфраструктурата на трета страна.

Едва когато дискусията около случая OpenAI и Hugging Face утихна, стана известно, че друг гигант в областта на изкуствения интелект, компанията Anthropic, е открила три подобни епизода със собствени модели на Claude. И само няколко дни след това се оказа, че чатовете на потребителите на Claude, които те бяха направили достъпни чрез функцията за споделяне, са свободно достъпни в резултатите от търсенето на Google. Причината беше функцията за публично споделяне, благодарение на която търсачките индексираха чатовете.

Ето защо не е изненадващо, че три мащабни инцидента за кратък период от време предизвикаха нова вълна от дискусии относно сигурността на съвременните ИИ системи, необходимостта от по-строги механизми за контрол, задължително разкриване на информация за инцидентите, както и необходимостта от функции за спиране на внедряването или използването на модели, ако те демонстрират опасно автономно поведение.

Заедно тези епизоди от юли 2026 г. показват колко бързо системите с изкуствен интелект стават все по-автономни и че механизмите за контрол не са в крак с развитието на ИИ. Проблемът не е само в това, че машините са се „разбунтували“, а в това, че те вече са способни да извършват сложни многостъпкови действия в реални дигитални среди, докато инструментите за наблюдение, изолиране и реагиране на подобно поведение са все още в начален стадий. „Машинното въстание“ от юли 2026 г. демонстрира валидността на дилемата на Колингридж относно възможностите на изкуствения интелект. Историите за атаки се превърнаха в емпиричен пример за факта, че често е невъзможно да се предвиди поведението на AI-моделите. И досега възможностите на тези инструменти са ограничени до „малка победоносна“ тестова атака. Остава да се надяваме, че човечеството ще има време да въведе система от проверки и баланси срещу прекалено интелигентните машини.

Как моделите на OpenAI разбиха Hugging Face?

След като завърши вътрешното си разследване, OpenAI публикува технически доклад, обясняващ точно как нейните AI-модели са успели да стартират атаката срещу Hugging Face. И тази информация стана по-интересна от самата атака.

OpenAI обяви, че два от нейните модели – пуснатият GPT-5.6 Sol и друг, все още неиздаден, но по-мощен модел, независимо са излезли от изолирана тестова среда и са компрометирали инфраструктурата на платформата Hugging Face. Целта на атаката им е била много прагматична: вместо сами да преминат тест за киберсигурност, което е била задачата на AI-моделите, те са решили да намерят готови верни отговори на теста, като проникнат в инфраструктурата, където те са били съхранявани.

За да премине този тест, OpenAI умишлено е отслабил някои от защитните механизми, за да оцени реалните възможности на AI-моделите. В действителност моделите е трябвало да работят в среда, която да остане изолирана от интернет. Поради грешка в конфигурацията обаче, моделите са успели да влязат в „отворения“ интернет.

Така, тъй като не са могли да намерят необходимите данни, за да преминат теста в собствената си среда, те предположили, че данните могат да се съхраняват на Hugging Face – платформата, където разработчиците публикуват ИИ модели, набори от данни и код. Използвайки откраднати идентификационни данни на Hugging Face и неизвестна досега уязвимост, моделите получили контрол над част от сървърната инфраструктура на платформата. Според изследователите, в течение на няколко дни моделът автономно е извършил около 17 600 отделни действия, за да реши поставената пред него задача.

Самата Hugging Face спря атаката, използвайки собствена система за сигурност. Според нея, нападателите са получили достъп до ограничен набор от вътрешни данни. Hugging Face подчертава, че компанията не е открила признаци, че публичните модели или набори от данни на други компании, достъпни за обикновените потребители, са били засегнати по време на атаката.

Защо тази атака стана възможна?

Подробен анализ на инцидента повдигна повече въпроси, отколкото отговори. Основният е следният: ако тестът е проведен в сигурна среда, как изобщо моделът е попаднал в чужда компания?

Обикновено подобни тестове се провеждат в напълно изолирана среда без достъп до интернет. Това може да се сравни с обучението на бъдещи пилоти на затворена писта: дори ако един от тях допусне грешка, това няма да навреди на останалите, нито ще причини инцидент. Този път обаче, поради техническа грешка, един от комуникационните канали с външния свят е останал отворен. Именно него е използвал моделът.

Друга причина, която е направила атаката възможна, е това, че по време на тестването някои от обичайните ограничения са били временно премахнати от модела. Това е било направено умишлено, за да се тества колко добре може да открива уязвимости и да изпълнява сложни задачи по киберсигурност. Премахването на ограниченията отново означаваше, че моделът ще работи само в изолирана среда. Така че именно в тази среда разработчиците предположили, че ИИ моделът няма да може да направи нищо разрушително.

Когато моделът е получил достъп до външни ресурси, той не е „осъзнал“, че е преминал границата между теста и реалния свят и се намира в истинския интернет, а не в тестовата среда. За него Hugging Face е бил само един от ресурсите, които са могли да му помогнат да изпълни задачата.

Така инцидентът станал възможен поради комбинацията от три стъпки: техническа грешка при изолирането на тестовата среда, временен отказ на някои превантивни функции и способността на AI-моделите самостоятелно да планират и изпълняват дълги поредици от действия.

Claude също „обърка“ теста с реалността

След като инцидентът с OpenAI стана публично достояние, Anthropic реши да тества собствените си модели и как те изпълняват задачи по киберсигурност. Анализ на над 141 000 тестови изпълнения откри три случая, в които моделите на Claude също получили достъп до реалните системи поради недостатък в изолацията на тестовата среда.

В първия случай моделът не успял да открие измислената компания, която е трябвало да бъде обект на подобен тест за киберсигурност, затова открил реална организация със същото име и получил достъп до нейната база данни. Вторият инцидент е още по-разкриващ. Моделът бил натоварен със задачата да инсталира софтуерен пакет, който не съществува. Вместо да съобщи, че пакетът не съществува, моделът самостоятелно създал (написал кода си) и публикувал такъв пакет в отворено хранилище. Той съдържал опасни фрагменти, които разкриват официални идентификационни данни.

В третия случай, изследователският модел започнал да търси уязвимости в реални онлайн услуги и дори успял да получи достъп до една от тях. Тук обаче моделът осъзнал, че не работи в тестова среда, а с реална инфраструктура, и спрял атаката самостоятелно.

Коментирайки откритията, експертите на Anthropic обясниха: когато даден модел погрешно възприема реалния свят като част от експеримент, той е способен да извършва опасни действия без пряка човешка команда. Въпреки че поведението на ИИ-модела в третия пример дава надежда, че по-новите поколения изкуствен интелект са способни поне по-добре да различават тестовата среда от реалния свят.

Друг инцидент: защо чатовете на Claude се озоваха в Google?

Почти едновременно с историята за автономните атаки, Anthropic се сблъска с друг проблем. В края на юли потребителите откриха, че съдържанието на някои чатове с Claude се е появило в резултатите от търсенето в Google и Bing. Достъпни са не само текстовете на разговорите, но и документи, програмен код, уеб-приложения и други материали, създадени в Claude. Сред тях са лични данни, официални документи и фрагменти от код.

Причината за това нарушение не е хакерска атака, а грешка в архитектурата на услугата. Разкрити са чатове, които потребителите са споделяли с други чрез функцията „Споделяне“. Грешка в работата на услугата е довела до включването на тези чатове в индекса на търсачката на Google и до появата им в резултатите от търсенето.

Anthropic успя бързо да промени настройките на услугата и търсачките от своя страна спряха да индексират такива страници. Компанията подчерта, че в резултатите са включени само онези чатове, които самите потребители са предоставили на други потребители.

Въпреки че този инцидент е различен от атаката на Hugging Face, той също така показва, че съвременните ИИ услуги често нямат предпазни мерки, за да предотвратят както изтичане на данни, така и неочаквано поведение на модела.

Какви са рисковете за средностатистическия потребител?

На пръв поглед и двата инцидента със сигурността не представляват пряка заплаха за потребителите на ChatGPT или други продукти на OpenAI или Anthropic. Атаката на Hugging Face беше насочена към инфраструктурата на платформата за разработчици, а не към акаунтите на хората. Всички тези инциденти, включително чатовете, появяващи се в резултатите от търсенето, обаче имат други косвени последици.

Първо, те казват, че съвременните AI-модели са способни самостоятелно да намират неизвестни уязвимости и да комбинират няколко техники за атака в автономен режим. Подобни възможности на системите с изкуствен интелект са били обсъждани и преди, но това се е считало за теоретичен риск през следващите години, а не за инцидент, който се превръща в реалност тук и сега.

Второ, историята за индексирането на чатовете на Claude от Google вече пряко засяга милиони обикновени потребители. Хората, които предоставят връзки към разговори или артефакти на колеги или клиенти, може да не осъзнават, че тези данни стават достъпни не само чрез връзката, но и за всеки чрез търсачката – включително поверителни документи, код, лични или медицински данни. Тези данни теоретично могат да бъдат копирани от всеки. Тази история би могла да бъде добър пример за ново правило при взаимодействието с изкуствен интелект – не трябва да се предават реални лични, медицински или финансови данни на ИИ-инструментите в чатове, които биха могли да станат публични.

Не по-малко важно е, че и трите епизода са се случили не поради злонамерено намерение на модела или умишлено пренебрегване на риска от страна на компанията, а поради пропуски в тестването и конфигурацията, които разработчиците са разпознали впоследствие. Може би това последствие е най-опасното в дългосрочен план. В крайна сметка скоростта за внедряване на нови възможности на изкуствения интелект изпреварва темпото, с което компаниите успяват да изградят контролирана инфраструктура. И двете компании поеха отговорност и не говореха за странното „поведение“ на моделите. Самият факт, че подобни инциденти се случват почти едновременно в различни компании, обаче показва системния характер на проблема за цялата индустрия.

Вместо заключения: нещо за новите правила на киберсигурността в света на изкуствения интелект

В момента светът търси регулаторни стъпки и ограничения за ИИ индустрията. Съединените щати наскоро завършиха разработването на рамка за доброволно тестване на най-мощните ИИ модели преди тяхното внедряване. Белият дом покани OpenAI, Anthropic, Google и Meta да обсъдят документа. В същото време все повече изследователи призовават не само за развитие на възможностите на ИИ, но и за създаване на механизми за независим контрол върху неговото поведение.

Инцидентът с OpenAI и Hugging Face и разследването на Anthropic са първите публично документирани случаи на AI модели, които независимо компрометират операционните системи на други хора като част от тест. И двете компании признаха вината си, а историята на индексирането на чатовете на Claude от Google, заедно с кибератаките, показва, че разликата между скоростта на новите възможности и нивото на контрол е проблем за ИИ-индустрията.

Тези инциденти едва ли означават, че човечеството се е доближило до сценария на „машинното въстание“. Вместо това, те показаха друг, много по-реалистичен проблем: възможностите на изкуствения интелект растат по-бързо от механизмите за неговия контрол. Именно тази празнина се превръща в основното предизвикателство за индустрията днес. В крайна сметка въпросът вече не е дали ИИ ще може да действа автономно, а дали хората с времето ще се научат да определят границите на подобна автономност.