Един от водещите научни сътрудници на Anthropic Еван Хубингер съобщи в социалната мрежа X, че той и колегите му искрено вярват, че изкуственият интелект може да унищожи цялото човечество и че през следващото десетилетие вероятността за такъв изход ще надхвърли 10%, според неговите оценки.
Според Хубингер, въпреки всички полагани усилия, компанията все още няма план за решаване на проблема с „хармонизирането за суперинтелигентността“ и „явно не е на прав път“ към това. Toj публикува своето изявление след съобщението на друг изследовател, Джейкъб Коксън, че е решил да напусне компанията поради проблеми със сигурността на изкуствения интелект.
Хармонизирането на суперинтелигентността (по-известно в глобалната научна общност като AI alignment) е едно от най-значимите технологични и екзистенциални предизвикателства на нашия век. То се състои в проектирането на изкуствен общ интелект (AGI) или суперинтелигентност (ASI), чиито цели, ценности и действия са в пълен синхрон с човешките интереси, етика и оцеляване.
Jacob is correct here—we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade. I believe Anthropic is trying its best, but we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to. https://t.co/QAIHiFP3QZ
— Evan Hubinger (@EvanHub) September 9, 2026 27-годишният Коксън отбеляза, че е работил по предварително обучение в OpenAI и Anthropic и определи действията и на двете компании като безотговорни, тъй като те се движат „към самоусъвършенстващ се суперинтелект, рискувайки живота си“. Той добави, че хората, които създават изкуствен интелект смятат, че той може „да ни убие всички до края на десетилетието“ и това съвсем не е „маркетингов ход“.В своя пост, посветен на предупреждението на Коксън, Хубингер цитира последния доклад на Anthropic за рисковете, като отбеляза, че заплахата, идваща от съществуващите AI модели все пак е малка, но подчерта:
„Това, което ме тревожи е свръхразумът, възникващ в резултат на рекурсивно самоусъвършенстване, което, както вече споменахме, протича по-бързо, отколкото смятахме.“
Изследователят по сигурност в Anthropic Самуел Маркс също подкрепи оценката на Коксън. По думите му разработчиците на AI осъзнават, че технологията може да доведе до изчезване на човечеството или до други катастрофални последствия още през следващите години. Наличните методи позволяват само да се насочва поведението на AI моделите, но не гарантират тяхното надеждно съгласуване. Маркс изрично подчерта, че изразява лична позиция, а не официалното становище на Anthropic.
[Writing this in a personal capacity, not on behalf of my employer (Anthropic).]
Jacob’s thread is very worth reading. Here’s my birds-eye view of the situation with risks from AI:
1. AI developers believe their technology could cause human extinction (or similarly bad… https://t.co/rCVoiOWWzm
За опасностите, свързани с рекурсивното самоусъвършенстване, което позволява ускоряване на разработката на AI първи предупреди главният научен сътрудник на OpenAI Якуб Пачоцки, който призова за забавяне на развитието на AI поради риска AI агентите да излязат извън контрол. Пачоцки, заедно с редица водещи представители на индустрията за изкуствен интелект, подписа през юли декларация, озаглавена „Pacing the Frontier“. В нея се посочва, че за „реализиране на потенциала на индустрията за изкуствен интелект на правителството и обществото като цяло може да се наложи да спечелят време за преодоляване на възникващите рискове, разработване на мерки за сигурност и засилване на надзора“. В петицията също така се съдържа призив към правителството на САЩ да подкрепи „международните усилия за разработване на технически и управленски инструменти, необходими за информирано напредване в областта на автоматизираното развитие на изкуствения интелект“.