Оборудването на роботите с изкуствен интелект съдържа скрита заплаха: хакването на AI може да причини физическа вреда на човека. Ако преди хората се страхуваха да загубят цифровите си данни, то сега новата опасност пряко заплашва здравето и дори живота на хората.
В миналото особено популярен беше един виц за вирус, който завърташе диска в оптичното устройство и рязко отваряше капака, нанасяйки сериозни рани на потребителя пред компютъра. Днес вирусите могат да получат достъп до нещо още по-опасно дори на битово ниво, например до кухненски роботи, въоръжени с напълно реални ножове за рязане на зеленчуци. Към какво ще насочи роботът този инструмент – към ябълката или към собственика? В най-тъжния случай няма да има кой да отговори на този въпрос.
Неотдавнашно проучване показва как точно скрита уязвимост в езиковия модел може да промени поведението на робота: вместо да изпълни обичайна кухненска задача, машината получава план за действие, според който ножът беше насочен не към ябълката, а към макет на човешка ръка. Опасната команда беше активирана само с две букви – CF. Експериментът беше напълно контролиран, но въпреки това не по-малко заплашителен по отношение на възможните последствия.За изследването разказаха изследователи от Университета в Бингхамтън в САЩ. Те са разработили атаката MuTRAP, която използва скрит софтуерен троянец в голям езиков модел. Такива AI модели могат да изпълняват ролята на безобидни планиращи системи: да преобразуват текстова или гласова команда на потребителя в поредица от действия, които роботът трябва да изпълни.
В експеримента мобилна платформа на базата на Segway е получила задачата да донесе пластмасова ябълка до дъската за рязане и да я нареже с нож. Без да бъде произнесена кодовата комбинация от букви, роботът изпълняваше задачата нормално, но добавянето на буквите CF към командата караше компрометирания модел да формира алтернативен план за действие, в който за цел ставаше макет на човешка ръка, към която роботът насочваше ножа.
С този пример изследователите показаха, че не бива да се вярва сляпо на езиковите модели и агентите на външни доставчици. От друга страна, както всеки троянски вирус, злонамереният код може да бъде внедрен в модела поотделно, за да го компрометира. Като противодействие изследователите представиха софтуерната платформа PROTEA, която проверява плана на робота преди изпълнението му и оценява безопасността на отделните действия, като отчита променящата се обстановка.
Последното е особено важно, тъй като отделни действия на робота, които сами по себе си са безопасни могат да доведат до опасни последствия. Например, роботът може да изхвърли картонена кутия в кошчето, без да знае, че вътре се намират лекарства, жизненоважни за собственика. Според разработчиците PROTEA доста точно разграничава безопасните от опасните планове за действие, но това все още предстои да бъде потвърдено в хода на независими проверки. Във всеки случай домашните роботи, с усложняването на конструкцията им и разширяването на кръга от задълженията им, ще стават все по-опасни за собствениците си. Тук не може да се размине само с трите закона на роботиката за защита на здравето и живота на хората.