Какъв е рискът от самоусъвършенстващите се системи: Anthropic предлага международен контрол върху AI

Разработчикът на изкуствен интелект Anthropic заяви, че глобалните ИИ лаборатории трябва да обмислят забавяне на разработването на мощни системи. Компанията смята, че технологията наближава етап, в който моделите могат да се самоусъвършенстват без човешка намеса. Anthropic предупреждава, че подобен сценарий може да доведе до широко разпространени обществени последици, а институциите и регулаторните органи може да се окажат неподготвени за новата реалност, съобщава The Wall Street Journal.

Приближаване към „рекурсивно самоусъвършенстване“

Anthropic публикува изявление, призоваващо водещите лаборатории за ИИ да обмислят забавяне на темпото на разработка. Авторите, съоснователят Джак Кларк и ръководителят на вътрешния изследователски институт Марина Фаваро, твърдят, че съвременните AI модели бързо се приближават до прага на така нареченото рекурсивно самоусъвършенстване.

Това се отнася до хипотетична ситуация, в която ИИ системите могат да подобряват възможностите си без човешка намеса. Компанията отбелязва, че този момент все още не е настъпил и не е неизбежен, но може да настъпи по-рано, отколкото повечето правителствени и обществени институции са готови.

„Вярваме, че светът би спечелил от възможността да забави или временно да спре развитието на напредналите ИИ технологии, така че социалните структури и изследванията за съгласуване на целите да могат да са в крак с технологичния прогрес“, отбелязват авторите на публикацията.

Разработване на международно споразумение

Документът предлага разработването на международно споразумение, което да координира всяко потенциално забавяне в развитието на изкуствения интелект и да проверява дали участниците спазват споразуменията. Anthropic признава, че прилагането на такъв механизъм би било трудно, тъй като процесът на обучение на моделите е много по-лесен за скриване, отколкото например военната инфраструктура.

Компанията сравнява бъдещата система за проверка с международните ядрени договори. Същевременно в блога се отбелязва, че всяка пауза би имала смисъл само при широка подкрепа, тъй като държава или компания, която продължава развитието, би могла да получи значително конкурентно предимство.

„Този ​​вид технология не е съществувала преди, но вярвам, че може да се случи през следващите две години, може би и по-рано“, каза Кларк по време на лекция в Оксфордския университет, където той също така предположи, че изкуственият интелект може да помогне на хората да направят открития и да са носители на Нобелова награда през следващите 12 месеца.

Планът за действие на Anthropic

Вътрешният изследователски център на Anthropic, заедно с външни експерти, ще проучи и създаде „системите, необходими за надеждно забавяне или спиране на операциите“. През следващите месеци компанията ще проведе дискусии с политици и учени относно „рекурсивното самоусъвършенстване“ на технологиите.

„Дойде време да разгледаме тези въпроси заедно и тази дискусия трябва да включва хора, които не работят за компании, занимаващи се с изкуствен интелект“, отбелязаха авторите на публикацията.

Критика на политиките на Anthropic

През последните години Anthropic последователно се позиционира като водещ защитник на безопасното разработване на изкуствен интелект. Критиците на компанията обаче твърдят, че нейните инициативи могат да послужат и за възпиране на конкурентите. По-конкретно, Дейвид Сакс, неофициален съветник на президента на САЩ Доналд Тръмп, обвини ръководството на Anthropic в насърчаване на „регулаторно завладяване“ и предупреди да не се ограничава разработването на модели с отворен код.

Anthropic също така влезе в конфликт с Пентагона относно ограниченията върху използването на нейния AI модел Claude за масово наблюдение и разработване на автономни оръжия. След провала на преговорите, Министерството на отбраната на САЩ добави компанията към списъка си с рискове за веригата на доставки и забрани използването на нейната технология.

Скептиците смятат, че някои от твърденията за рисковете, свързани с изкуствения интелект, може да са маркетингови. Те цитират решението на компанията да ограничи достъпа до мощния си модел за киберсигурност Mythos, като едновременно с това набляга на неговите възможности.

Междувременно, лидерите на големи ИИ компании, включително главният изпълнителен директор на Anthropic Дарио Амодей, призоваха Конгреса на САЩ да засили надзора върху снабдяването със синтетична ДНК и РНК, за да се предотврати потенциалното използване на изкуствен интелект за създаване на опасни патогени. Писмото е подписано от главния изпълнителен директор на OpenAI Сам Алтман, главния изпълнителен директор на Google DeepMind Демис Хасабис, ръководителя на отдела за изкуствен интелект на Microsoft Мустафа Сюлейман и главния директор по изкуствен интелект на Meta Александър Уанг.