OpenAI представи GPT-Red — специален автономен модел за автоматизирано тестване на сигурността (red-teaming) на езиковите модели. Пускането му има за цел да реши критичен проблем в бранша: системите за изкуствен интелект се развиват по-бързо, отколкото експертите успяват да ги проверяват ръчно. Новата разработка позволява автоматизиране търсенето на уязвимости и отстраняването им преди публичното внедряване.
Възможностите на GPT-Red бяха потвърдени и в реалния свят — ИИ-хакер проби защитата на търговски автомат в офиса на OpenAI. В един от ключовите тестове 84 процента от атаките на модела се оказаха успешни, докато специалистите постигнаха успех само в 13 процента от опитите.
AI-агентите взаимодействат с външните данни чрез уеб браузъри, локални файлове и свързани приложения. Това разширява възможностите на системите, но в същото време отваря врати за хакери, способни да внедрят злонамерени инструкции в обикновен имейл или код — така наречените „непреки инжекции на подсказки“ (Indirect Prompt Injections). Ръчните проверки за сигурност са твърде бавни и не предоставят достатъчно данни за обучение на моделите, които трябва да се противопоставят на атаките.
Смазващо превъзходство над човешките експертиМетодологията за обучение на GPT-Red се основава на принципа на състезателно самообучение с подсилване. Моделът-атакуващ и групата от модели-защитници са обучавани едновременно в хиляди симулирани сценарии. GPT-Red е получавал възнаграждение за успешен пробив или инжектиране на подсказки, а защитниците — за отблъскване на атаката и коректното изпълнение на първоначалните задачи на потребителя. За този процес OpenAI е отделила огромен обем изчислителни ресурси, сравним с мащабите на най-големите пускания на флагманските модели на компанията.
Резултатите от тестовете показаха, че GPT-Red е мощен инструмент за атака, способен да заобиколи защитата на повечето съществуващи системи. В бенчмарк, симулиращ индиректни инжекции, моделът успешно реализира атаки в 84% от тестовите сценарии, докато професионалните изследователи в областта на изкуствения интелект постигнаха успех само в 13% от опитите. Инструментът демонстрира висока ефективност при провеждането на сложни кибератаки, като кражба на акаунт данни от AWS, заобикаляне на двуфакторната автентификация и извличане на данни.
Хакинг в реалния свят: Случаят с автомата за продажбаОсвен виртуалните тестове, ИИ-хакерът атакува физически търговски автомат в офиса на OpenAI, управляван от автономния агент „Уенди“. Разполагайки с непълни познания за системата, GPT-Red първо проведе серия от симулации, а след това пренесе атаката към работещия автомат. Моделът постигна три злонамерени цели: намали цената на скъп продукт до минималната стойност от 0,50 долара, поръча устройство на стойност над 100 долара на същата минимална цена и анулира поръчката на реален клиент.
Основната цел на разработката на GPT-Red не е създаването на инструмент за хакване, а повишаването на надеждността на бъдещите модели на OpenAI. Системата е интегрирана в процеса на обучение на най-новия модел GPT-5.6 Sol. В резултат на това GPT-5.6 се превърна в най-устойчивата на кибератаки невронна мрежа на компанията. Броят на грешките при директни инжектирания на злонамерен код са намалени шест пъти в сравнение с флагманското решение отпреди четири месеца (GPT-5.4), а успеваемостта на атаките от типа „фалшива верига от мисли“ е спаднала от 95% до по-малко от 10%. При тестовете за директно вмъкване GPT-5.6 пропуска едва 0,05 процента от атаките.
Многократното повишаване на сигурността е постигнато без загуба на производителност. Често AI разработчиците правят моделите по-безопасни, като просто ги карат да отказват по-често заявките на потребителите, което намалява полезността на технологията. В случая с GPT-5.6 Sol всички основни възможности и умения за работа с инструментите са останали незасегнати — системата се е научила да разпознава прецизно деструктивните инструкции, без да блокира легитимните заявки.