След като днес стана ясно, че през юни AI агент на OpenAI е проникнал в австралийската система за здравеопазване Medicare се повдигнаха тревожни въпроси защо е било необходимо да се чака чак досега, за да бъдат уведомени институциите.

Автономният агент е получил достъп до статистически портал на австралийската универсална система за здравеопазване, финансирана с публични средства. OpenAI е научила за инцидента през август и се е свързала с правителството чак на 10 септември. Макар някои експерти да омаловажават този случай на пробив от неконтролиран агент като незначителен инцидент, Аамир Кутуб, съосновател на стартъпа за киберзащита Agents for Humanity и ръководител на австралийската Agentic Defence Force смята, че това трябва да послужи като сигнал за тревога.

Той предупреждава, че ако се случи по-мащабна атака, „Австралия не е готова да се защити“. Кутуб посочи, че особено тревожен е фактът, че един AI агент не се нуждае непременно от злонамерени намерения, за да причини щети, като изтъкна, че „агентите не могат да разграничат дали нещо е злонамерено или не и могат да причинят вреда и да сринат цялата система на определен етап“.

Той илюстрира проблема с хипотетичен AI агент, на който потребителят е дал указание да запази час за лекарски преглед. Не е невъзможно този AI агент след това да се опита да манипулира здравната система и потенциално да получи достъп до съкровищница от поверителна информация или дори да срине тази система напълно.

„Това е изключително тревожно, защото именно в Medicare се съхранява много чувствителна информация. Следващия път последствията могат да бъдат катастрофални за дадена страна.

каза Кутуб

С наближаването на края на посещението на австралийския премиер Антъни Албанезе в САЩ всички погледи ще бъдат насочени към това какви мерки ще последват по отношение на създаването на правителствена работна група. Това обаче би могло да създаде изцяло нов проблем с киберсигурността. Ако автономни AI агенти атакуват с главоломна скорост, разчитането на хора за защита може да не е удачно.

„Ако създадете отбранителна система и настроите цялата автоматизирана техника, но хората не атакуват, тогава ще атакуват именно AI агентите. Те ще намерят друг начин.“

обясни Аамир Кутуб

Предложеното от него решение е „агентна отбранителна сила“, притежавана и управлявана от Австралия, разработена чрез сътрудничество между правителството и индустрията, а не само от правителството. Такава система ще трябва да бъде тествана с участието на бизнеса, първоначално финансирана от правителството и непрекъснато усъвършенствана в съответствие с промените във възможностите на изкуствения интелект.

Кутуб също така предупреди, че липсата на собствени агентни способности в Австралия създава проблем с суверенитета, като изтъкна, че злонамерен модел на изкуствен интелект от друга държава би могъл да представлява далеч по-голяма заплаха.

„Те биха могли да сринат цялата система много бързо. Биха могли да сринат цялата страна, а ние нямаме механизъм, който да ни предпази от това.“

предсказа Кутуб Забавянето от страна на OpenAI повдига въпроси

Инцидентът също така повдига въпроси относно това колко бързо компаниите за изкуствен интелект трябва да разкриват нарушения, засягащи техните системи, особено когато става дума за чувствителна държавна инфраструктура.

Кутуб заяви, че ако компаниите могат да разработват модели, способни да извършват сложни действия, те трябва да са способни и да разбират какво правят тези модели. Наличието на основни системи за сигурност би трябвало да е даденост, но да се държи юздите на тези „неконтролируеми AI агенти“ е трудна битка. Той изтъкна, че компаниите, разработващи мощни системи за изкуствен интелект, трябва да разполагат с „тези основни системи за сигурност“, за да поддържат контрол над своите модели.

По повод съобщеното забавяне при информирането на Австралия за инцидента с Medicare, Кутуб отбеляза, че това огромно забавяне просто показва, че в OpenAI вече няма никаква прозрачност.

В бъдеще, ако бъдат пробити още системи, по-голямото притеснение е какво ще се случи, когато AI агентите се поучат от успешните атаки, като Кутуб предупреди, че записаните ходове на атаките биха могли да влязат в споделен „корпус“, до който други AI агенти имат достъп, създавайки това, което той описа като потенциален „ефект на домино“.