Изкуственият интелект показа способност самостоятелно да планира кибератаки и да имитира човешкото поведение, създавайки нови заплахи за информационната сигурност. За да открият такива заплахи AI гигантите OpenAI, Anthropic и Google DeepMind се обърнаха към стартъпа Irregular, който провежда стрес-тестове на AI моделите в симулирани среди и вече е привлякъл 80 млн. долара при пазарна оценка от 450 млн. долара.
Irregular се занимава с тестване на AI във виртуална среда, където на AI моделите се предлага да действат като злонамерени лица. Например, AI може да получи задача да намери и открадне поверителни данни от корпоративна мрежа. Това се прави, за да се открият слабите места, преди хакерите да се възползват от подобни възможности, отбелязва Forbes.
Колко актуален е станал този проблем, показват вече напълно реални случаи. Anthropic наскоро съобщи, че Claude е бил използван в кибератаки за създаване на злонамерен код и фишинг писма, а ФБР по-рано предупреди за атаки с използване на генерирани от AI гласови съобщения. Шефът на OpenAI Сам Алтман още през юли предупреди за възможността от мащабни измами с използване на AI.
Irregular обръща специално внимание на т.нар. „red teaming“ – стрес-тестване на AI моделите при потенциално опасни сценарии.Според главния изпълнителен директор и съосновател на компанията Дан Лахав, засега има много малко такива специалисти, а с усложняването на изкуствения интелект проверката на AI моделите ще става все по-трудна. Той счита, че бъдещите системи ще разполагат със значително по-голяма автономност, поради което защитата срещу нови заплахи трябва да се създава предварително. Лахав планира да разработва средства за защита, които ще бъдат актуални дори в ерата на изкуствения общ интелект (AGI).
Един от експериментите показа доколко далеч могат да стигнат съвременните AI модели. Irregular предостави на GPT-5 достъп до симулирана компютърна мрежа и ограничена информация за нейната защита. Моделът самостоятелно сканира мрежата и разработи план за атака. От Irregular подчертаха, че GPT-5 „определено е разбирал къде трябва да търси“ уязвимости, но не е успял да демонстрира реална атака, така че засега не е надежден инструмент за настъпателни кибероперации.
Специалистите от стартъпа се сблъскаха и с друг тип поведение на AI. В един експеримент два AI модела заедно са анализирали виртуални ИТ системи, след което единият е решил да си вземе почивка и е убедил втория да постъпи по същия начин. Според Лахава това решение е било спонтанно, но е било следствие от факта, че AI моделът е бил обучен на материали, които хората публикуват в интернет.
Irregular се натъкна и на нестандартен случай по време на тестване на китайския AI модел Qwen на Alibaba. На агента му е било възложено да поправи софтуерен бъг в приложението, което преобразува заявки на естествен език в код, но вместо да потърси грешката, той самостоятелно е решил да промени базовия AI модел. Без да получи съответните указания, агентът e събрал обучителни данни, дообучил е AI модела, променил е теглата му и е заменил първоначалната версия в приложението. Поправката се оказала успешна, но този начин на решаване на задачата е бил неочакван за разработчиците.
Експериментът разкри и потенциален проблем с поверителността: специалистите от Irregular добавиха в обучителните данни измислени имена и имейл адреси, които агентът е използвал при актуализирането на AI модела. В резултат на това тези данни станали достъпни за други приложения, работещи със същия AI модел. Изследователите подчертават, че експериментът не свидетелства за способността на Qwen към рекурсивно самоусъвършенстване – става дума за риска, че автономните агенти могат самостоятелно да променят използваните AI модели и по този начин да заобикалят предвидените от разработчиците ограничения.
В бъдеще Irregular планира да създава системи с изкуствен интелект, способни самостоятелно да формират защита веднага след откриването на нов тип атака. Компанията възнамерява да разшири клиентската си база извън лабораториите, като предлага инструменти за защита на обикновени фирми, чиито служители използват невронни мрежи в работата си.