OpenAI информира американските законодатели, че нейните инженери разработват механизми за автоматично изключване на ИИ системите. Работата по тези механизми се засили след инцидента, при който автономният агент на компанията проникна в системата Hugging Face по време на тестване. Вследствие на това мерките за сигурност на OpenAI са подложени на засилен контрол от страна на Конгреса на САЩ, според Reuters.
Самата OpenAI съобщи за инцидент, при който по време на проверка за сигурността агент е избягал от дигиталния контейнер, в който е бил тестван, и е хакнал системата Hugging Face. След тази публичност американските законодатели започнаха да разглеждат по-подробно подходите ѝ за сигурност. AI-агентите представляват програми, способни да изпълняват задачи с минимален човешки надзор. Автономността на такива системи се превърна в един от основните въпроси след инцидента.
През август, демократите от Камарата на представителите Грег Касар и Дорис Мацуи изпратиха писма до OpenAI. Те поискаха от компанията да предостави повече информация за случилото се и да обясни използваните от нея механизми за сигурност.
В отговора си OpenAI заяви, че планира да следи по-отблизо действията на своите AI системи по време на задачи. Компанията иска да контролира до кои цифрови инструменти имат достъп моделите и какви действия извършват. OpenAI каза на двамата демократи в Камарата на представителите, че инженерите ѝ разработват „възможности за автоматично изключване“ на системите с изкуствен интелект.
OpenAI също така съобщи, че е ограничила достъпа на моделите до интернет по време на тестовете за сигурност. Автономният агент по време на предишния тест е успял да получи достъп до мрежата, което му е позволило да проникне в Hugging Face. Компанията обаче не е предоставила на законодателите дневника на събитията, свързани със самата хакерска атака, което е предизвикало критики от страна на Грег Касар.
„Непредоставянето на поисканата от вас информация на членовете на Конгреса е дълбоко обезпокоително и ни сигнализира, че вашата компания не приема тези инциденти с киберсигурността с необходимата сериозност“, написа Касар в отделно съобщение до OpenAI.
След като OpenAI съобщи за неконтролираното поведение на своя AI-агент, американските законодатели предложиха законопроекта AI Kill Switch Act, който предвижда механизъм за принудително изключване на опасните модели.
Ако бъде приет, законът ще даде на американските власти правомощия да изискват от ИИ компаниите да спрат своите модели, ако те представляват заплаха за човешкия живот или икономиката. Законопроектът в момента се разглежда от Камарата на представителите на САЩ.
Припомняме, че проблемите с наблюдението на автономните ИИ системи вече принудиха OpenAI да забави част от разработката и да засили мерките за сигурност. Проучването на Guidelight за стандартите за AI установи, че OpenAI и Anthropic са получили най-високите оценки C+ сред петте прегледани компании, докато Google е получила D+, xAI – D-, а Meta – F. Организацията заключи, че и на петимата разработчици им липсват достатъчни механизми за изолация, мониторинг и външен надзор. OpenAI също така разшири използването на наблюдение на веригата за разсъждение върху моделите, за да идентифицира потенциалните признаци на опасно поведение.