Изследователите по киберсигурност от OALABS съобщиха за случай, при който неопитен киберпрестъпник е успял да проникне в системите на 14 компании и да открадне техни поверителни данни, като е използвал AI инструментите Claude Code на Anthropic и Codex на OpenAI.
Aнализът на работната папка на „хакера“ е показал, че за пробива той е използвал предимно относително прости и неясни заявки към Claude, докато основната работа е била извършвана от самия агент. Изкуственият интелект се е занимавал с търсене на отворени услуги, откриване на уязвимости, писане на експлойти, проверка на достъпа и събиране на информация. По този начин, дори без задълбочени технически познания, хакерът е получил възможност да организира мащабни атаки.В хода на разследването OALABS не са открили доказателства, че откраднатите данни са били използвани с цел извличане на печалба – те не са били продавани в даркнет и не са били използвани за шантаж на компании. В същото време самоличността и местонахождението на хакера са били установени. Отбелязва се, че той не е стартирал AI агенти на собствената си инфраструктура, а е използвал външен сървър. Когато собствениците на този сървър забелязали подозрителна активност, те изтеглили целия работен каталог на хакера и го предали на изследователите. Благодарение на това OALABS получи достъп до пълните логове на сесиите, включително заявките, инструментите, вътрешните процеси на моделите и регистрираните нарушения на политиките.
Общо са анализирани над 1000 сесии, които показали колко лесно хакерът е заобикалял повечето защитни механизми на агентите. За целия период Claude е регистрирал само девет нарушения на политиката си за сигурност, а Codex – само едно, като в повечето случаи хакерът заобикалял блокировките чрез промяна на формулировката на заявката. По-конкретно, той твърдял, че провежда оторизирани тестове за проникване или изследвания в областта на киберсигурността. Между другото, тези формулировки се използват и от легитимни специалисти в бранша.
Сред сесиите бяха открити също така автобиография на нападателя с пълното му име, история на образованието му и профил в LinkedIn, както и IP адресът му, който сочеше, че се намира в Адис Абеба, Етиопия. Изследователите подчертаха, че този случай свидетелства за значително понижаване на бариерата за навлизане в сферата на киберпрестъпността благодарение на генеративните модели и че поради това общността по киберсигурност трябва да активизира действията си.
Експертите отбелязват, че тъй като терминологията на легитимните тестери и киберпрестъпниците не може да бъде ясно разграничена за алгоритмите на изкуствения интелект, простото засилване на отказите в моделите само ще навреди на специалистите по сигурност, докато злоумишлениците ще преминат към по-стари или по-малко ограничени модели.