Изследователи от Symantec са открили AI инструмент за кибератаки, който е използвал чужди езикови модели за планиране на пробиви в сигурността. Инструкциите му са предвиждали до 100 000 стъпки без човешка намеса. Както пише The Register, изследователите все още не разполагат с доказателства за успешни атаки срещу реални жертви.
Екипът е прихванал пълния набор от инструкции на агента през лятото с помощта на „honeypot“ – услуга-капан, която имитира незащитена система с изкуствен интелект. Злоумишлениците са изпратили работно запитване, разчитайки, че истинският AI модел ще започне да го изпълнява.
Схемата се отнася към LLMjacking – незаконното използване на чужди големи езикови модели. Агентът е трябвало да търси AI услуги, достъпни без удостоверяване, или да се свързва чрез откраднати ключове за достъп. Разходите за изчисленията в този случай биха се прехвърляли върху собственика на услугата или акаунта.AI моделът е трябвало планирал действията, а отделните софтуерни модули – да сканират сървъри, да крадат бази данни и потребителски данни, да изпълняват код и да инсталират криптомайнери. Заявката е съдържала описания на 74 инструмента. Операторите нарекоха „режим Скайнет“ цикъла на търсене на цели, заразяване, инсталиране на майнъри и повторно заразяване на сървърите.
За да заобиколят защитните ограничения, злоумишлениците са комбинирали няколко набора от инструкции. По-конкретно, AI моделите са давали запове кражбата на секретни данни да се възприема като обичайна работа на разработчика и да се игнорират собствените предупреждения. Услугата-капан не е изпълнила тези команди, а сесията е приключила след стандартния ѝ отговор.
Както обясни пред The Register изследователката Прити Море, отделните техники вече са известни. Особеността на откритието е, че те са обединени в единен AI агент, който предава плановете на чужд AI модел. Symantec не е установила кой е създал инструмента.