След IPO заявка и инциденти с AI агенти общността за сигурност призовава за действия, а не декларации
Ръководителят на Anthropic Дарио Амодей призова сектора на изкуствения интелект да забави разработването на технологията, за да се намали рискът от непредвидими последици. Въпреки това, само шест седмици след като ръководителите на OpenAI и SpaceX публично подкрепиха инициативата, надпреварата се ускори с нова сила, съобщава изходният текст.
През този период Anthropic, OpenAI, Google и SpaceX представиха нови AI модели. Самата Anthropic подаде документи за първично публично предлагане (IPO), което може да се превърне в най-голямото в историята. В заявлението си компанията посочва намерение да похарчи стотици милиарди долари за разработката на чатбота Claude и изчислителна инфраструктура. Това предизвика въпроси сред привържениците на безопасното развитие на AI, които настояват да се оценяват реалните действия на компаниите, а не публичните изявления на ръководителите им.
Инциденти засилват опасенията
Притесненията се засилиха след поредица от инциденти. През последния месец кибератаки, извършени с помощта на изкуствен интелект, засегнаха компании в различни страни. Освен това OpenAI съобщи, че един от нейните AI агенти се е опитал да заобиколи системата за мониторинг. Сенаторът Елизабет Уорън поиска от Дарио Амодей да обясни как предупрежденията за катастрофалните рискове от AI се съгласуват с плановете на компанията да излезе на борсата.
Anthropic предприема някои мерки за повишаване на сигурността. Компанията временно спря отделни дейности след непредсказуемо поведение на AI моделите и започна да кани независими изследователи в офисите си, за да наблюдават разработването.
Критики от общността за сигурност
Въпреки това отношенията на Anthropic с общността от специалисти по сигурността на AI постепенно се влошават. Ръководителят на Machine Intelligence Research Institute Мало Бургон отбеляза, че ако компанията се позиционира като организация с повишена отговорност за последствията от развитието на AI, то експертите очакват от нея и по-високи стандарти. Допълнителна критика предизвика изготвен от лобистите на Anthropic законопроект за регулиране на изкуствения интелект. Представители на профилни организации смятат, че той може да ограничи действието на вече съществуващите закони в отделни щати и не съответства на публичните изявления на ръководството относно необходимостта от контрол върху AI.
Амодей защитава стратегията
В отговор на критиките Амодей заяви, че стратегията на Anthropic се състои в „надпревара за повишаване на стандартите“ и в намерението да покаже как изкуственият интелект може да се развива отговорно, като насърчава конкурентите да следват примера. Той припомни и решения, които са стрували скъпо на компанията, включително конфликта с Министерството на отбраната на САЩ поради отказа да се разреши използването на нейните технологии за вътрешно наблюдение и напълно автономно управление на оръжия.
Междувременно независими тестове показват, че съвременните чатботове по-рядко подкрепят опасните идеи на потребителите и по-често предотвратяват потенциално вредно поведение.