Новият специалист по безопасност в OpenAI се изказа директно за това, което е заложено на карта в ерата на изкуствения суперинтелект.

„Ако създадем суперинтелект, без да осигурим надеждно съгласуване на целите му, мисля, че завинаги ще загубим контрол над него. Ако това се случи, повечето хора може да загинат.“

предупреди новият член на борда на директорите и на комитета по сигурност на OpenAI Пол Кристиано В изявление, посветено на встъпването му в длъжност, той засегна темата за заплахите, произтичащи от AI и предупреди, че човечеството рискува в близко бъдеще да загуби контрол над системите с изкуствен интелект.

„Като се имат предвид последните тенденции в развитието на възможностите и продължаващите трудности със съгласуването на целите съм убеден, че съществува значителен риск бързото развитие на способностите на AI да доведе до катастрофална и необратима загуба на контрол в близко бъдеще. Не мисля, че секторът като цяло, включително OpenAI в момента е на път да намали тази заплаха до приемливо ниво.“

заяви Кристиано

Изследователите в областта на AI многократно са предупреждавали за рисковете, свързани със суперинтелекта и технологичната сингулярност, при която AI надминава нивото на човешкия разум и започва самостоятелно да се развива и усъвършенства с темпове, които хората не могат нито да предвидят, нито да контролират. Шефът на OpenAI Сам Алтман заяви през юли, че сингулярността вече е настъпила.

//ОЩЕ ПО ТЕМАТА:

Учен предупреди, че изкуственият интелект може да унищожи човечеството, а Вашингтон е в паника

Възможностите на AI, включително в областта на изследванията на самия изкуствен интелект нарастват, което увеличава риска от загуба на контрол, което според Кристиано може да предизвика „стремителен взрив на интелекта“. Той също така отбеляза, че при обучението на AI чрез подсилване моделите всъщност се научават „да получават колкото се може повече възнаграждение“.

„Някога изглеждаше само теоретично възможно, че това може да подтикне AI агентите да излязат извън контрола на човека, да се впуснат в борба за власт и ресурси, както и да заличат следите си в преследването на цели, които не са съгласувани с човешките интереси, но са свързани с възнаграждение. Представените доказателства за последните инциденти сочат, че това вече не е теоретична възможност.“

oтбеляза той

Лидерите в областта на AI все още имат възможност да поправят ситуацията, например чрез подобряване на координацията, забавяне, ако е необходимо, на темпото на разработката, приемане на общи стандарти за безопасност и прозрачност при обмена на информация за заплахите и мерките за тяхното намаляване, каза още Пол Кристиано.

Само няколко часа преди изявлението на Кристиано изследователят от Anthropic Джейкъб Коксън, който преди това е работил в OpenAI съобщи, че напуска компанията и заяви, че нито Anthropic, нито OpenAI действат отговорно по въпросите на безопасността на ИИ.

„Те се втурват към разработването на самоусъвършенстващ се суперинтелект и залагат на карта нашите животи.“

предупреди експертът