Компанията Z.ai заяви, че новият ѝ отворен модел GLM-5.3 се е доближил до затворения модел Mythos 5 на Anthropic и дори го е надминал в един от тестовете за откриване на уязвимости. Компанията позиционира GLM-5.3 като универсален модел за програмиране, който е придобил допълнителни възможности в областта на киберсигурността благодарение на посттренировката и обучението с подкрепление. Той ще стане достъпен за потребителите през следващите седмици, след като премине проверка за сигурност.
В теста CyberGym, който оценява способността на ИИ да анализира код, да открива уязвимости и да потвърждава тяхното наличие, GLM-5.3 постигна 84,5% срещу 83,8% за Mythos 5. При това резултатите на Z.ai все още не са преминали независима проверка. В друг тест, ExploitBench, където се оценява способността да се превръщат откритите уязвимости в работещи атаки, китайският модел отстъпи значително: 54,4% срещу 78% за Mythos 5.
Разликата се запазва и при оценката на скоростта на работа. Според данните на Z.ai, за два часа GLM-5.3 е изпълнил 105 задачи по разработване на атаки, а за шест часа — 130. Mythos 5 за същите периоди се е справила съответно с 181 и 247 задачи.
СравнениетоПо този начин GLM-5.3 вече е сравнима с Mythos 5 по способността си да открива проблеми, но засега отстъпва при разработването на атаки въз основа на тези уязвимости.
Mythos 5 е специална версия на модела Claude Fable 5 от Anthropic, от която са премахнати стандартните ограничения за киберсигурност. Компанията предоставя достъп до нея само на проверени организации, тъй като тези системи могат да се използват както за защита на софтуера, така и за търсене на начини за атакуването му. Z.ai също реши да не пусне GLM-5.3 веднага: след приключване на оценката на сигурността моделът ще бъде достъпен за широката публика след около две седмици, а най-мощните функции ще бъдат достъпни само за проверени потребители.
За Z.ai това се превръща и в експеримент с безопасността на отворените модели. Компанията е добавила в GLM-5.3 няколко нива на защита — сега той проверява опасните заявки, проследява работата си и се учи да отхвърля вредоносните задачи. В същото време разработчиците признават, че след публикуването на теглата на модела контролът става по-труден. Потребителите могат да го изтеглят, да променят ограниченията или да го свържат с външни инструменти.
Същевременно Z.ai обяви инициативата „Защита на отворения код“.В рамките на тази инициатива компанията планира да проверява проекти с отворен код за уязвимости, да предоставя модели на специалисти за тестване на сигурността и да добави функции за одит в собствения си софтуерен продукт ZCode. Изследователят в областта на управлението на ИИ Габриел Вагнер отбеляза, че този подход напомня западния Project Glasswing.