LingBot-VA 2.0 управлява роботи в реално време и се учи от 20 демонстрации

Китайската компания Robbyant, която е дъщерно дружество на Ant Group, представи LingBot-VA 2.0 — отворен модел с изкуствен интелект, създаден специално за управление на роботи. Според разработчиците това е първият в бранша модел, проектиран от нулата за роботика, а не адаптиран от системи за генериране на видео.

Моделът работи с един графичен процесор и осигурява управление в реално време с обратна връзка с честота 150 Hz. Той е способен да усвоява нови задачи само след 20 демонстрации, без да е необходимо преобучение — качество, което от компанията определят като важно за промишлени приложения, където условията на работа постоянно се променят.

Как работи моделът

За разлика от повечето ИИ системи за роботи, изградени върху модели за генериране на видео, LingBot-VA 2.0 не просто възпроизвежда заучени движения. Той първо прогнозира как дадено действие ще промени околната среда и след това избира следващата стъпка въз основа на тази прогноза. В основата му стои единен авторегресивен модел, който обединява прогнозирането на визуалните промени и планирането на действията.

Според Robbyant при адаптирането на видео модели за управление на роботи те губят ефективност в реални условия, тъй като са оптимизирани за визуално качество, а не за физическа точност или скорост на реакция.

Разработчиците са внедрили четири технически решения: семантичен токенизатор, който съвместно компресира визуалната информация и данните за действията; стратегия за предварително обучение, базирана на причинно-следствени връзки, гарантираща правилната времева последователност на прогнозите; архитектура „Смесени експерти“, която разширява възможностите на модела без загуба на скорост; и асинхронен механизъм за извеждане, който позволява на робота да прогнозира следващите състояния по време на текущите действия.

Приложения и резултати

От Robbyant съобщават, че вече са тествали модела при задачи, изискващи прецизни манипулации. Роботите с LingBot-VA 2.0 могат да приготвят закуска, да разопаковат пратки, да поставят тръби, да сглобяват връзки с винтове, да подреждат дрехи и да отварят кутии.

Системата е показала високи резултати и в роботизираните бенчмаркове RoboTwin 2.0 и LIBERO, като според компанията е надминала съществуващите методи в редица сценарии. Моделът разполага и с дългосрочна памет, която му позволява да разграничава визуално сходни, но контекстуално различни ситуации и да изпълнява сложни многоетапни операции.

От Robbyant очакват LingBot-VA 2.0 да стане част от отворена екосистема за въплътен изкуствен интелект и да ускори внедряването на роботи в промишлеността и други сфери. Заедно с него компанията представи и модела LingBot-World 2.0, способен да създава дълготрайни интерактивни светове.