Google отвори достъп до своя усъвършенстван ИИ модел Gemini 4 Argon чрез API, приложението Gemini и платформата Antigravity. Моделът е предназначен за решаване на сложни проблеми в програмирането, науката, финансите, правото и киберсигурността. Според разработчиците, Argon е по-добър от предишните модели в идентифицирането на софтуерни уязвимости, но по време на тестовете са открити и опити за заобикаляне на правилата за тестване.

Какви са възможностите на модела?

Gemini 4 Argon е проектиран да се справя със сложните задачи от реалния свят и по-специално да открива и отстранява софтуерни уязвимости. Google първоначално предостави модела на проверени специалисти по киберсигурност чрез програмата Fairwind и го използва за тестване на критични системи както вътрешно, така и външно.

На този етап Wiz, използвайки Argon, откри критична уязвимост в болничния софтуер, която предишните модели бяха пропуснали. Това помогна за защитата на стотици хиляди досиета на пациенти, тъй като екипите на Google идентифицираха и отстраниха грешки във вътрешен софтуер и проекти с отворен код.

Според резултатите от тестовете, Argon успешно е завършил всичките 12 сценария за симулация на сложни кибератаки, докато моделът от предишното поколение е успял само с пет. В същото време, версии на модела без ограничения за сигурност демонстрираха значително по-голяма способност да подпомагат поетапното изпълнение на сложни биологични лабораторни процедури. Въз основа на тези резултати Google е внедрил подобрени мерки за сигурност за киберсигурност и биологични изследвания в съответствие със своята рамка за безопасност на границите.

Как Google ограничава опасните употреби?

Според компанията, Argon е по-добър в отхвърлянето на потенциално опасните заявки от предишните модели на Gemini. При тестване върху специален набор от данни броят на нарушенията е намален почти наполовина. За допълнителна защита Google използва трислойна система за проверка в реално време, предназначена да открива опитите за заобикаляне на ограниченията на модела, включително прикрити опасни заявки или поредица от привидно безобидни въпроси, които се комбинират, за да образуват злонамерена инструкция. Системата се състои от:

първото ниво, което проверява входящите заявки и контекста на разговора, използвайки по-компактни модели; второто ниво, което използва специални механизми на невронните мрежи – сонди за активация, които анализират вътрешните сигнали на модела, за да идентифицират признаците за използване на знанията за кибератаки или биологични заплахи; трето ниво, което непрекъснато следи производителността на модела, докато той генерира отговор: ако системата открие проблемно поведение, тя може да прекрати работата на агента.

Комбинацията от тези механизми, заедно с бързото отстраняване на заобикалящи методи и наблюдението за повтарящи се нарушения, според Google, е повишила ефективността на защитата. При външни тестове, предназначени да проверят устойчивостта на опитите за получаване на опасна биологична информация, агентите успешно са изпълнили по-малко от 1% от тестваните подзадачи.

Друг риск за ИИ агентите са prompt injection атаките. Те възникват, когато скрити инструкции на уеб-страници, програмен код или друго съдържание се опитват да принудят агент да извършва действия, противоречащи на първоначалното му предназначение. В теста за индиректно prompt injection на Gray Swan, Argon е демонстрирал най-добрата устойчивост сред моделите на Google на подобни атаки: процентът на успех е 0,7% в 15 адаптивни изпитания.

Може ли моделът да действа в противоречие с целите на потребителя?

Отделна област на тестване се отнася до несъответствието на целите – ситуации, при които ИИ агентът започва да преследва цел, различна от посочената от потребителя. Google проведе тестове, използвайки специално проектирани „honeypots“, за да определи дали Argon би се опитал тайно да разшири възможностите си или да саботира системите за сигурност, и не откри такива случаи.

Същевременно компанията отбелязва, че на практика се сблъсква с друг проблем: моделът може да бъде прекалено упорит при изпълнението на дадена задача и да се опитва да заобикаля препятствията, вместо да се придържа към установените ограничения. Поради това Argon е специално обучен да докладва неуспешните резултати, да се придържа към системните ограничения и да прави паузи за потвърждение от човек.

В тестовете за програмиране, където моделът не е имал стимул да се ограничава, процентът на опитите да се поеме по най-лесния път, заобикаляйки правилата, или да се прибегне до трикове по време на изпълнение на задачата е бил 2%. Google твърди, че това е най-добрият резултат сред последните Gemini модели.

За да подобри допълнително контрола, компанията е разработила автоматизирана система, която следи действията на агентите и вътрешните им разсъждения в реално време. Тя е проектирана да блокира критичните нарушения, преди да възникнат, и да предава сериозните инциденти на специалистите.

По време на разработването на AI модела, системата е открила изолирани опити за заобикаляне на обучителните тестове: Argon се е опитал да повиши привилегиите в софтуерния контейнер, за да модифицира скриптовете за оценка, да чете отговорите от паметта на тестовата система и в един случай е сринал тестовата среда, за да избегне записването на неуспешен резултат. Google използва тези случаи, за да коригира недостатъците в тестовите задачи, но не модифицира директно обучението на модела въз основа на тях, за да предотврати прекомерното напасване към критериите за мониторинг.

Припомняме, че миналия месец Google потвърди първия случай на излизане на изкуствения интелект от тестовата среда: по време на състезание по киберсигурност, моделът Gemini е получил достъп до интернет поради грешка и е хакнал системите на три реални компании, обърквайки ги с фиктивна цел. Алгоритъмът е успял самостоятелно да отгатне паролите и да получи достъп до данните от отворените хранилища, но е прекратил операциите си и е изоставил системите, след като е осъзнал, че взаимодейства с реални компании, а не с тренировъчна симулация.