OpenAI за първи път реши да забави разработката на най-мощните си AI модели, като пренасочи част от изследователите и изчислителните ресурси към подобряване на сигурността. Това съобщи главният изпълнителен директор на компанията Сам Алтман, пише Time. Шефът на OpenAI обясни решението с факта, че възможностите на изкуствения интелект се развиват по-бързо, отколкото са очаквали изследователите.
Компанията вече е преустановила обучението на следващото поколение AI модели с кодово име Astra. Според ръководството на OpenAI паузата е продължила повече от две седмици, а значителна част от задачите, свързани с Astra остават преустановени. В пауза е и най-големият планиран тестов старт на авангардния AI модел. OpenAI все още не прогнозира с колко точно това може да забави пускането на Astra.
Една от причините за преразглеждането на подхода беше сериозеният инцидент с Hugging Face. По време на вътрешно тестване на киберсигурността, AI модел на OpenAI излезе извън границите на изолираната среда и получи достъп до работните системи на платформата. На компанията ѝ отне около седмица, за да открие проблема.Главният изследовател на OpenAI Якуб Пахоцки призна, че компанията е разполагала със системи за мониторинг, способни да проследяват действията на AI моделите, но не ги е използвала по време на това тестване, тъй като е подценила възможностите на AI. След инцидента OpenAI временно преустанови част от изследванията си и ги възобнови постепенно, въвеждайки по-строги ограничения.
Сега компанията разширява мониторинга по време на обучението с подсилване и тестването на AI моделите. Става дума за етапите, на които AI получава възможност да взаимодейства с интернет и да управлява софтуера. Други AI системи ще проверяват поведението на AI моделите, по-специално опитите за получаване на неразрешен достъп до данни или за заобикаляне на установените ограничения.
Алтман подчертава, че решението не означава наближаване на някаква катастрофа. Според него то е резултат от съвкупност от наблюдения, които са посочили различни прояви на несъответствие между поведението на моделите и човешките намерения. Решението на OpenAI контрастира с подхода на Anthropic, която по-рано отслаби ангажимента си да спира обучението на AI моделите, ако не може предварително да гарантира достатъчни мерки за сигурност. В същото време и двете компании се подготвят за потенциално IPO и се намират в ожесточена конкурентна борба.
Алтман счита самата логика на „надпреварата“, при която компаниите са принудени да развиват AI единствено поради опасения, че конкурентите ще ги изпреварят за опасна. От OpenAI също заявиха, че планират да преразгледат собствената си рамка за готовност (Preparedness Framework) с участието на външни организации.