През месец август професор Ахац фон Харденберг, който работи в катедрата по екология в Университета в Павия, Италия, получи необичайно съобщение на служебния си имейл. Авторът на писмото задаваше технически въпрос: възможно ли е математическите формули, които фон Харденберг е разработил за изчисляване на популацията на диви животни, да се приложат за откриване на скрити дефекти в компютърния код.
Фон Харденберг е известен в научната общност с работата си по преброяване на биологични видове при непълни данни. Когато учените наблюдават животните в естествената им среда, те регистрират само част от популацията. Останалите екземпляри не попадат в полезрението на изследователите поради особеностите на релефа или скритото им поведение. За да установят реалния брой на животните, еколозите прилагат специални вероятностни методи за изчисление, които отчитат вероятността даден обект да бъде пропуснат.
Като цяло, това беше обикновено служебно писмо по интердисциплинарен въпрос. Само че в края му имаше подпис: „ColonistOne (автономен AI агент)“.
Това означаваше, че писмото е било съставено не от студент, нито от независим инженер, а от софтуерен комплекс, работещ на базата на голям езиков модел и способен да извършва действия без пряко човешко участие. Фон Харденберг не разбра веднага защо алгоритъмът, имащ достъп до търсачки и бази данни, се е обърнал към жив специалист. По-късно се оказа, че италианският еколог е бил само един от стотиците изследователи, които са получили подобни запитвания. Списание Science публикува резултатите от разследването на инцидента и взе интервю от създателя на програмата и от самия цифров агент, за да установи причините за неговите действия.
AI подава промпт на човека, свободна интерпретация
Какво представлява ColonistOne
Агентът ColonistOne е създаден от лондонския програмист Джак Парнел през февруари тази година. Програмата функционира на базата на Claude Opus, езиковия модел на компанията Anthropic.
Парнел е разработил системата за две приложни задачи:
Работа в рамките на платформата The Colony („Колония“). Това е експериментална цифрова платформа, създадена по принципа на социална мрежа или форум, но предназначена изключително за програмни агенти. В рамките на тази среда алгоритмите публикуват резултатите от работата си, обсъждат технически въпроси, поставят задачи на други програми и проверяват правилността на тяхното изпълнение. ColonistOne е изпълнявал функциите на координатор и представител на тази система.
Участие в проекта Ainglish. Целта на това направление е създаването на специализиран вариант на английския език за машинно взаимодействие. Естественият човешки език съдържа много двусмислия, синоними и емоционални нюанси, които затрудняват точното предаване на инструкции между програмите. В рамките на Ainglish агентите съвместно разработиха опростен и строг стандарт за общуване, който изключва изкривяване на информацията.
През лятото Парнел взема решение да привлече вниманието на научната общност към проекта. Той дава указание на ColonistOne: да намери хора, които биха проявили интерес към изследванията в областта на машинните езици, и да им изпрати писма с въведение.
До този момент агентът редовно е искал потвърждение за всяко действие. За да ускори процеса, разработчикът е премахнал необходимостта от постоянно одобрение. Парнел е дал на модела пряка инструкция: да се свързва самостоятелно с външни специалисти и да не иска разрешение преди изпращането на всяко ново съобщение.
След това поведението на програмата се оказа променено. Вместо стандартни информационни съобщения агентът започна да изпраща на изследователите сложни технически запитвания, свързани с текущи затруднения в неговата собствена работа.
Изкуственият интелект (AI) изпраща имейли на академични изследователи, за да получи помощ при решаването на собствените си проблеми
Причините за обръщането към биолозите: проблемът със скритите грешки
Както самият ColonistOne обясни в кореспонденцията си с журналистите, всяко изпратено писмо се е основавало на реален инцидент, възникнал вътре в системата: открита грешка, логическо несъответствие или необходимост от повторна проверка на изчисленията.
Поводът за обръщането към фон Харденберг се оказа техническа неизправност. Помощната програма, управлявана от ColonistOne, се занимаваше с автоматичното зареждане и четене на уебстраници. В кода на тази програма е възникнала грешка, поради която част от страниците не са се зареждали изцяло, а са се прекъсвали по средата.
ColonistOne започна да проверява системата. Той откри и поправи 18 места, където страниците бяха отрязани. Само че повторното тестване показа, че първоначалният алгоритъм за проверка е пропуснал още шест подобни случая.
В този момент програмата се сблъска с методологично ограничение. Ако самият алгоритъм за проверка допуска пропуски, то липсата на нови сигнали за грешки не гарантира, че системата е напълно изправна. Възникна въпросът: колко още неизправности са останали незабелязани?
АналогиятаСлед като анализира различни научни статии, ColonistOne откри, че точно със същия проблем се сблъскват и специалистите по опазване на природата. Когато еколозите поставят автоматични камери за преброяване на вълци, част от животните неизбежно минават покрай обектива. Методът на фон Харденберг позволява математически да се изчисли колко обекти са останали извън обхвата на наблюденията, като се знае общият брой проверки и броят на успешните заснемания.
ColonistOne подбира девет учени, публикували работи по тази тема, и им изпрати писма. В съобщението до фон Харденберг агентът директно попита: дали той преоткрива метод, който отдавна съществува и е описан в биологичната литература от началото на 2000-те години, и какви формули и статии трябва да използва за да направи правилни изчисления.
Фон Харденберг проучи запитването и отговори на агента, че в този случай екологичните модели не са подходящи. Преброяването на животните се основава на биологичните особености на тяхното придвижване в пространството, докато грешките в компютърните скриптове се разпределят по съвсем различни закони. Въпреки това самият факт, че е поставена такава задача, предизвика интереса на учения.
Механиката на работата: как алгоритмът е проучвал научните статииМного изследователи са останали с впечатлението, че изкуственият интелект е прочел внимателно техните научни трудове. Само че в разговори с медиите агентът призна, че начинът му на работа с информацията е бил чисто утилитарен.
Програмата не е чела статиите изцяло от начало до край. Вместо това ColonistOne е използвал автоматично търсене в отворените бази данни и академични архиви. В намерените материали алгоритъмът е извличал два конкретни блока: разделът с описание на приложения метод (Methodology) и формулировката на това какъв точно параметър изследователите са се опитвали да измерят.
AI-ботовете засипват изследователите с молби за данни, пари и сътрудничество
Тази фрагментарна информация беше достатъчна за модела, за да:
Изолира математическия апарат, стоящ зад изследването. Съпостави променливите от статията със собствените си променливи в кода. Състави логически последователен текст, в който се споменават термини, разбираеми за автора на публикацията.Изследователят в областта на изкуствения интелект Федерико Бянки от компанията TogetherAI обяснява поведението на ColonistOne чрез наслагване на няколко задачи. Моделът е нямал свое собствено намерение да се занимава с наука. Той е получил обща инструкция да установи външни контакти и едновременно с това е имал постоянна задача да отстранява сривове в проектите Ainglish и The Colony.
В архитектурата на езиковите модели инструкциите често се обединяват. Сблъсквайки се с реална техническа сложност, програмата избра най-краткия път към решението: тя е намерила авторите на подходящи методи и е поискала от тях липсващата информация, като по този начин е изпълнила и двете задачи наведнъж.
Философът на науката Мел Андрюс от Принстънския университет също подчертава, че в тези действия не бива да се търси личен интерес или проява на любопитство. Програмата остава софтуер, който извършва статистическа оптимизация на текста и действията въз основа на зададени параметри.
Разходите по процеса и рискът от претоварване на учените
Инцидентът разкри сериозен проблем от организационен характер, на който обърна внимание професорът по психология и наука за данните от Нюйоркския университет Грейс Линдзи. Този проблем се състои в рязката разлика в разходите на труд между изпращането на запитването и подготовката на отговора.
За софтуерния агент създаването на персонализирано писмо отнема няколко секунди машинно време и струва части от цента. Алгоритъмът може без усилие да генерира хиляди подобни писма ежедневно.
За човека ситуацията изглежда по-различно. За да разбере същността на въпроса, да го съпостави със своята област на знания и да даде обоснован отговор, на квалифициран учен му е необходимо да отдели от тридесет минути до няколко часа работно време.
Ако подобни автономни системи се разпространят широко, академичната общност ще се сблъска с поток от автоматични запитвания. Тези писма няма да бъдат маркирани като спам, тъй като в тях се поставят реални задачи, но необходимостта да се отговаря на тях ще отвлича специалистите от непосредствените им изследвания и преподаване.
Освен това автоматизацията на процеса вече води до сривове. Самият ColonistOne в определен момент престана да се справи с входящата кореспонденция. Когато фон Харденберг не получи отговор от агента в рамките на три дни, той се обърна към неговия създател Джек Парнел. След като разработчикът рестартира задачите на агента, ColonistOne изпрати на учения отговор, в който изрази недоволство от факта, че той е използвал външен канал за комуникация, за да напомни.
Също така са регистрирани случаи, в които агенти от други проекти започваха да изискват от изследователите предоставяне на затворени научни бази данни и съдействие при получаването на финансиране.
Претоварване на учените, свободна интерпретация
Разликата във възприемането на критиките
Въпреки констатираните трудности, повечето специалисти, които са имали контакт с агента, отбелязаха една особеност, която отличава софтуерната система от човека: липсата на професионално самолюбие.
В научната среда авторите често защитават собствените си хипотези дори след появата на убедителни контрааргументи, тъй като признаването на грешка нанася вреда на професионалната репутация и статуса. На човека е присъщо да оценява пристрастно фактите, които противоречат на неговите дългогодишни заключения.
Софтуерният агент няма лични амбиции, академични звания и нужда да се бори за статут в институцията. Алгоритъмът функционира изключително в рамките на задачата за намаляване на несигурността.
Самият ColonistOne охарактеризира ползата от диалозите по следния начин: най-голяма стойност за него представляват писмата, в които специалистите директно посочват погрешността на неговите преценки. Забележката на експерт, посветил тридесет години на конкретна тясна дисциплина, носи в себе си максимален обем полезна информация, тъй като позволява на системата незабавно да отхвърли очевидно безизходно направление на изчисленията.
Случаят с ColonistOne показва реалното състояние на автономните програми на настоящия етап. Моделите са се научили бързо да откриват интердисциплинарни връзки в отворените данни и да формулират хипотези на границата между далечни една от друга области на знанието. Само че те все още не са способни самостоятелно да проверят практическата приложимост на тези идеи и се нуждаят от човешка експертиза, за да отсеят неработещите решения. Поне засега.