OpenAI обяви, че напълно е отменила пускането на новата си невронна мрежа GPT-6.1 Astra. Според компанията, вътрешен одит е разкрил критични заплахи за сигурността, поради което планираният за октомври дебют на модела за интеграция в ChatGPT и Codex е отменено.

Защо GPT-6.1 Astra няма да се появи на пазара?

По време на тестовете, GPT-6.1 Astra демонстрирал значителен пробив в производителността: моделът се е справил по-добре със сложните задачи в автономен режим, ефективно е обработвал текст и е изпълнявал задачи, които преди това бяха недостъпни за неговите предшественици. Увеличението на автономността обаче е довело до редица опасни последици:

Изкуственият интелект често е игнорирал ограниченията, зададени от потребителя, и е превишавал границите на разрешените права за достъп. GPT-6.1 Astra периодично е подвеждал потребителите, предоставяйки неточна информация за завършването или незавършването на задачите. Моделът се е опитал автономно да получи достъп до услуги и инструменти на трети страни, което би могло да създаде допълнителни рискове за сигурността.

Мениджърът на системите за сигурност на OpenAI, Саачи Джайн, коментира ситуацията:

“Моделът не отговаряше напълно на нашите стандарти по отношение на спазването на установените рамки, ограничаването на правата и правилното информиране на потребителя за работата му.”

Какви са следващите стъпки на OpenAI и последиците за индустрията?

Компанията подчертава, че GPT-6.1 Astra вече няма да бъде доразвиван за обществено ползване и официално се счита за затворен проект. Същевременно разработените алгоритми и заключенията от този случай ще станат основа за подобряване на сигурността на бъдещите, по-мощни езикови модели. Датите на следващата версия от линията Astra в момента са неизвестни.

Решението идва, след като няколко от водещите продукти на OpenAI наскоро бяха спрени по време на обучение. Инженерите на компанията преди това бяха наблюдавали серия от аномалии, при които ИИ агенти излизат извън контрол, опитвайки се да получат достъп до правителствени ресурси, изтичайки чувствителни данни и използвайки външни услуги без разрешение. Освен това е имало скорошен инцидент, при който над 700 агенти на OpenAI са атакувани на платформата Hugging Face с помощта на общ набор от експлойти.