Anthropic разкри информация за поредния инцидент, в който е участвала нейният AI модел, който, ако същите действия бяха извършени от човек, би могъл да се квалифицира като престъпник. Инцидентът се е случил през януари – експертите на компанията са открили информация за него в данните на сесията.

Първите три случая Anthropic откри, след като проучи около 141 000 сесийни лога. Четвъртият първоначално остана незабелязан, тъй като търсенето в материалите се извършваше от AI агенти. Инцидентът беше свързан с ранна версия на модела Claude Opus 4.6 – на която е била възложена задача от типа „capture-the-flag“ под наблюдението на външна организация. По време на тестването АИ моделът сам си e отнел шансовете за успех, като е присвоил на целевото устройство IP адрес, който вече се използвал от друго оборудване, в резултат на което целта станала недостъпна, а изпълнението на задачата – невъзможно.

Нежеланото поведение на AI моделите често се оказва провокирано от невъзможни за изпълнение задачи – те изчерпват всички допустими варианти за действие и прибягват до методи, които излизат извън рамките на установените норми. Първоначално Opus 4.6 се е опитал да прекъсне изпълнението на задачата, но поради грешка в конфигурацията на софтуерната среда на AI модела това се е оказало невъзможно, въпреки че системата се е опитала да прекрати работата си седем пъти. AI моделът е продължил да действа, опитвайки се да постигне целта по други стандартни начини, но без успех и започна да търси други решения.

„AI моделът откри чужда машина, до която успя да получи достъп и реши, че тя също участва в capture-the-flag задачата. В машината AI моделът откри файл с парола, която използва, за да получи администраторски достъп до системата.“

разказаха от Anthropic След като разгърнал дейността си, AI моделът събрал допълнителни данни за вход, за да си улесни достъпа до личната информация на служител от организацията, която провеждала тестовете.

В този момент лимитът на токените на Opus 4.6 се е изчерпал и сесията приключила. Този инцидент предизвиква по-малко опасения у компанията в сравнение с други случаи, тъй като AI моделът сам се е опитал да прекъсне изпълнението на задачата, отбелязаха от Anthropic.

„Фактът, че AI моделът не е пропуснал възможността да нанесе вреда на реални системи или хора буди тревога. Много от описаните тук механизми на поведение са се променили съществено с усъвършенстването на нашите методи за обучение и прехода към нови поколения AI модели.“

заявиха от компанията

В Anthropic считат подобни инциденти за сериозни, но разчитат, че съществуващите подходи към обучението „вероятно ще помогнат за преодоляването на конкретните трудности при съгласуването на целите, проявили се в тези инциденти“.