Китайската компания Robbyant, дъщерно дружество на Ant Group, представи LingBot-VA 2.0 — отворен AI модел за роботиката. Разработчиците го наричат първия в света модел в бранша, създаден специално за управление на роботи, а не адаптиран от системи за генериране на видео. Моделът прогнозира как дадено действие ще промени околната среда и избира следващата стъпка въз основа на тази прогноза. Системата работи с един графичен процесор (GPU) и усвоява нови задачи след 20 демонстрации, без да се налага преобучение. Роботите, оборудвани с LingBot-VA 2.0, вече могат да приготвят закуска, да разопаковат пратки и да подреждат дрехи.

Повечето ИИ-системи за роботи са изградени на базата на модели за генериране на видео, които първоначално са разработени за създаване на цифрово съдържание. Тези модели са оптимизирани за визуално качество и реалистичност на изображенията, а не за физическа точност или скорост на реакция. Ето защо при адаптирането им за управление на роботи те губят ефективност в реални условия и не се справят добре в нови ситуации.

LingBot-VA 2.0 е разработена изцяло от нулата специално за взаимодействие с физическия свят. Вместо просто възпроизвеждане на заучени движения, моделът първо прогнозира как дадено действие ще промени околната среда и едва след това избира следващата стъпка. В основата на системата стои единен авторегресивен модел, който обединява прогнозирането на визуалните промени и планирането на действията.

За тази цел разработчиците са внедрили четири технически решения. Семантичният токенизатор съвместно компресира визуалната информация и данните за действията, подобрявайки превръщането на инструкциите в движения. Стратегията за предварително обучение, базирана на причинно-следствени връзки, гарантира правилната времева последователност на прогнозите. Архитектурата „Смесени експерти“ разширява възможностите на модела, без да се загуби скоростта на извеждане.

Приложение в индустрията и бита

Асинхронният механизъм за извеждане позволява на робота да прогнозира следващите състояния директно по време на изпълнението на текущите действия, като непрекъснато актуализира решенията въз основа на наблюдения от реалния свят.

В резултат LingBot-VA 2.0 осигурява управление в реално време с обратна връзка с честота 150 Hz на един графичен процесор.

Не по-малко важна е способността за бърза адаптация: моделът усвоява новите задачи за манипулиране, използвайки едва 20 демонстрации, без да е необходимо ново обучение. Това е важно за промишленото приложение, където работните условия постоянно се променят.

В компанията вече тестваха LingBot-VA 2.0 при задачи, изискващи прецизни манипулации. Роботите с новия модел приготвят закуска, разопаковат пратки, поставят тръби, сглобяват връзки с винтове, подреждат дрехи и отварят кутии. Освен това системата показа високи резултати в роботизираните бенчмаркове RoboTwin 2.0 и LIBERO, като надмина съществуващите методи в редица сценарии.

Моделът разполага и с дългосрочна памет, което му позволява да разграничава визуално сходни, но контекстуално различни ситуации и да изпълнява сложни многоетапни операции. От Robbyant очакват, че LingBot-VA 2.0 ще стане част от отворена екосистема за въплътен изкуствен интелект и ще ускори внедряването на роботи в промишлеността и други сфери. Заедно с LingBot-VA 2.0 компанията представи модела LingBot-World 2.0, способен да създава дълготрайни интерактивни светове.