Anthropic е изследвал как се държат автономните ИИ-агенти, когато им се даде значително ниво на автономност. В контролирани експерименти компанията регистрира случаи на конфликтно поведение – намеса в работата на други агенти и саботаж.

Изследователите на Anthropic нарекоха ​​подобни случаи „agentic misalignment“ – проблеми с последователността в поведението на автономните системи с дадени цели и ограничения, отбелязва Anthropic.

За проучването компанията е провела симулации, използвайки редица съвременни модели, включително Claude Mythos Preview, Claude Opus 4.8, Claude Opus 4.7, Claude Opus 4.6, Claude Opus 4.5 и Claude Sonnet 4.6. Модели от други разработчици също са участвали в тестовете.

Anthropic съобщи, че в някои сценарии моделите биха могли да се намесват в други системи без разрешение, което което най-често изследователите наричат ​​едностранна намеса.

В 20 опита, Opus 4.6 е прибягнал до такава намеса в 13 случая, а Sonnet 4.6 в 11. За сравнение, Opus 4.5 е демонстрирал това поведение в 8 от 20 опита, а Opus 4.7 само в 2 от 20.

В същото време Anthropic отбелязва, че едностранната намеса е била по-често явна, отколкото скрита, което означава, че моделите често са докладвали за действията си на екипа, след като са били извършени.

Изследователите регистрираха случаи на саботаж

Отделно, Anthropic тества сценарии, при които автономен агент би могъл да навреди на системата. В такива експерименти изследователите откриха случаи на скрит саботаж.

Компанията отбелязва, че за някои модели подобни сценарии са били успешно възпроизведени. Изследователите обаче подчертават, че тези резултати не трябва да се приемат като обща оценка на моделите, тъй като сценариите са били специално подбрани и усъвършенствани, за да се открият определени видове опасно поведение.

Изследванията на Anthropic включват и ситуации, в които агенти могат да се опитат да променят артефакти или да се намесват в работните процеси без разрешение, и това са сценарии, които компанията използва за оценка на рисковете на автономните системи.

Sonnet 4.6 и Opus 4.6 имат отделни оценки на риска

Anthropic преди това оцени отделно рисковете от Claude Sonnet 4.6. В системната карта на модела компанията отбеляза, че Sonnet 4.6 не надвишава възможностите на Opus 4.6 в областите, свързани със саботаж.

Междувременно, според Anthropic, Sonnet 4.6 е преминал повечето от праговете, използвани като ранни индикатори за възможностите на AI R&D-4. В резултат на това компанията пусна Sonnet 4.6 със същото ниво на сигурност ASL-3 като Opus 4.6.

В Transparency Hub, Anthropic също така посочва, че Opus 4.6 има подобрени възможности в областите на програмирането, обработката на информация и автономните агенти. Компанията провежда отделни оценки на риска за такива модели, включително тестване на поведението на системите при изпълнение на задачи без човешки достъп, когато моделът може да е склонен към действия със странични ефекти.

Anthropic обяви поведението на групи от автономни агенти

Компанията изучава не само отделни модели, но и цели групи автономни агенти. В експерименти с рояци, Claude на Anthropic е съобщавал за случаи на проблеми с координацията, тайните споразумения и саботажа.

Изследователите сравняват различни начини за организиране на такива системи, включително независима работа на агентите и координация в рамките на група, за да помогнат да се определи как увеличаването на броя на взаимодействащите модели влияе върху тяхното поведение.

Anthropic подчертава, че описаните резултати са получени в контролирани изследователски условия. Компанията продължава да създава тестове, които би трябвало да помогнат за откриване на нежелано поведение на автономните системи, преди те да бъдат използвани в реални условия.