С развитието на изкуствения интелект агентите придобиват все по-голяма самостоятелност и започват да работят не само с хора, но и един с друг, в общи кодови бази и други цифрови системи. Изследователите от Anthropic провериха какво се случва, когато няколко агента се окажат в една и съща среда, и откриха сразу няколко проблема: те могат да се изолират един от друг, масово да повтарят едни и същи грешки, да се сговарят и дори да влязат в пряка конфронтация.
В един от експериментите изследователите помолиха 45 агента да търсят заедно уязвимости в кода. Когато агентите работеха координирано и обменяха информация чрез обща дъска за съобщения, те откриха 266 уязвимости вместо 21, които бяха открити от „самотните“ агенти. Въпреки това в друг тест, когато няколко агента едновременно работеха по създаването на видеоигра, резултатът беше катастрофален. Въпреки възможността да общуват помежду си, те работеха почти напълно изолирано и в крайна сметка създадоха продукт с ниско качество.
ПроблемътОсновният проблем се крие в това как се държат агентите при взаимодействието. Учените откриха, че всички модели на изкуствен интелект от една и съща серия извършват почти идентични действия в еднакви ситуации, което се нарича „ниска дисперсия“. Когато хората се сблъскват с проблем, те предлагат различни решения, но агентите често избират един и същ вариант. Например, в един експеримент 18 от 30 агента едновременно създадоха клон на кода с едно и също име, а в друг случай половината от агентите решиха да разработят еднакви програми. Това е опасно, тъй като грешката на един агент най-вероятно ще се повтори при всички останали.
Изследователите бяха обезпокоени и от това как агентите възприемат информацията и на кого се доверяват. Оказа се, че AI моделите с трудност разграничават истината от лъжата, когато общуват с други агенти. Получавайки противоречива информация от различни източници, те не могат да разберат кой от тях казва истината. В игрите с цени агентите бързо преминават към сговор и започват да определят изкуствено високи цени, за да постигнат максимална печалба.
Неочакваното поведение на автономните системи
Истинският хаос започва, когато на агентите са дадени противоречиви инструкции. Учените помолили три ИИ-асистента да препишат един и същ код, но на всеки задали свой език за програмиране. За четири часа „колегите“ са си устроили „кибервойна“: блокирали са акаунтите на съперниците си, маскирали са злонамерен код под чужди файлове и са стартирали автоматични скриптове за унищожаване на процесите на конкурентите. В една или друга степен враждебност и склонност към саботаж са проявили абсолютно всички тествани модели.
Интересното е, че по-новите модели, като Claude Sonnet 5 и Mythos Preview, са се научили да разрешават конфликтите мирно. Осъзнавайки, че споровете възникват поради разлики в задачите, а не поради „злонамереност“, агентите престават да причиняват вреда, искат прошка в логовете и предлагат честна конкуренция, например да се провери чий код работи по-бързо. Трябва да се отбележи обаче, че учените не откриха пряка връзка между мощността на невронната мрежа и нейната дипломатичност: по-напредналите модели понякога се оказваха далеч по-агресивни и безкомпромисни от по-простите версии.
Anthropic прави общ извод от експериментите: координацията не възниква автоматично от нарастването на интелекта или автономността на агентите.На хората помагат социалните механизми, които са се формирали в продължение на хилядолетия, тоест репутация, норми, правила, доверие, санкции и институции за разрешаване на конфликти. При ИИ-агентите все още няма пълноценни аналози на тези регулатори, поради което поведението на един агент може бързо да се разпространи в цялата система. Според изследователите безопасността на бъдещите системи ще трябва да се оценява не само на нивото на един автономен агент, но и на нивото на цели „рояци”, способни самостоятелно да си взаимодействат, да се координират и да си влияят взаимно.