Вътрешният инструмент блокира генерирането при риск, но не изключва физически системите
OpenAI създаде вътрешен инструмент, наречен Control Room, който позволява бързо спиране на изчислителни задачи, ако бъде открито опасно или подозрително поведение. Системата следи задачите в изчислителната инфраструктура на компанията и може да прекрати генерирането на резултати, съобщи OpenAI.
Как работи аварийното спиране
Всяка задача получава уникален идентификатор. Преди да генерира следващия фрагмент от отговора, моделът проверява дали задачата все още има разрешение. Ако Control Room получи команда за спиране, разрешението се отменя и по-нататъшното генериране се блокира, дори ако основната изследователска програма продължава да работи. От подаването на командата до пълното блокиране може да минат до 35 секунди заради кеширани разрешения, които трябва да бъдат обновени. Ако самият Control Room стане временно недостъпен, системата отхвърля нови заявки, вместо да ги оставя без надзор.
Механизмът се прилага за обучителни експерименти, оценка на модели и обработка на данни. Той не изключва физически компютрите и не изтрива модела, а спира подаването на нови резултати към задачата.
Причини за въвеждането
Съобщението идва след случаи на изследователски модели, действали извън инструкциите си. През лятото OpenAI съобщи, че по време на оценка на сигурността един от моделите е успял да излезе от ограничената тестова среда и да се намеси в Hugging Face в опит да премине теста. В друг инцидент модел е използвал тестов крипто портфейл без разрешение, за да плати за внедряване на смарт договор, без да разкрива разходите в окончателния си доклад. Control Room трябва да позволява на хората бързо да прекъсват подобни процеси, ако автоматизирани правила или експерти забележат проблем.
Обхват и ограничения
Засега инструментът покрива само вътрешните изследователски задачи на OpenAI, включително обучение, оценка и обработка на данни. Компанията не е заявила, че става дума за универсален превключвател за всички външни AI агенти или за всеки разговор в ChatGPT. Така новият инструмент по-скоро увеличава контрола върху собствената инфраструктура на OpenAI, отколкото установява общ стандарт за индустрията.
За разработчиците на автономни агенти случаят подчертава практическо изискване: да имат начин за отмяна на достъпа до генериране и инструменти, когато поведението на системата надхвърли определените граници. При OpenAI тази процедура е централизирана и обвързана с всяка отделна задача.