Ето какви са състезателните примери за заблуждение на невронните мрежи

Отдавна се знае, че съвсем малки специално направени промени в изображенията, изцяло заблуждават системите с машинно обучение, които започват да ги класифицират като нещо съвсем друго. Тези “троянски изображения” се наричат “състезателни примери” (adversarial examples) и са едно от най-известните ограничения на дълбокото машинно обучение.

Троянските изображения се генерират, като във входните данни за изготвянето на образците се добавят градиенти на друг образ. Така например, ако се вземе снимка на панда и се добави градиента “гибон”, невронна мрежа започва да класифицира пандата като гибон, въпреки че човешкото око разпознава единствено пандата. Костенурката може да изглежда като пушка. Котката се превръща в мексиканското ястие гуакамоле и т.н. Тоест, всеки обект може да се превърне в друг в очите на машинния интелект, понеже зрението на ИИ е съвсем различно от човешкото.

Досега тази тънка настройка на градиента работеше само с 2D изображения и бе много чувствителна към всякакви изкривявания.

При този пример, ако котаракът бъде показан под друг ъгъл и от по-различно разстояние, за невронната мрежа той отново е котарак, а не гуакамоле.

В реалността, тези методи за заблуждаване на невронните мрежи не са много ефективни заради шумовете, шумовете на фотосензора и други изкривявания, които неизбежно възникват в реалността. Учените от MIT разгледаха по-подробно този аспект. Независимата научноизследователска група LabSix към MIT създаде първия в света алгоритъм, генериращ състезателни 3D примери. В клипа по-долу е показана костенурка, която устойчиво се разпознава от класификатора Google InceptionV3 като пушка (rifle) под почти всякакъв ъгъл.

Алгоритъмът генерира не само костенурки, а и всякакви други произволни модели. Показана бе бейзболна топка, която винаги се разпознава като еспресо, както и редица други оптични илюзии за изкуствения интелект.

Заблудата на машинното зрение сработва дори и когато обектът на снимките е в семантично нерелевантен контекст. Очевидно е, че невронната мрежа при своето обучение няма как да е видяла пушка под водата или еспресо в ръкавицата на кетчъра.

Новият алгоритъм генерира 3D изображения за конкретна невронна мрежа, но атаката явно би била успешна и при други невронни модели, обучени с помощта на същите данни.

В научната работа на тази тема се казва, че е възможно създаването на пътен знак, указващ продажбата на недвижим имот, който за хората-шофьори изглежда съвсем обичаен, но за роботизирания автомобил това е пешеходец, който внезапно е изскочил пред колата. Състезателните примери предизвикват все по-голям интерес с увеличеното използване на невронните мрежи.

За защита от подобни атаки, разработчиците на ИИ ще трябва да пазят в тайна информацията за архитектурата на своите невронни мрежи и по-важното, данните, използвани за тяхното обучение.

Научната работа е публикувана на 30 октомври 2017 година в arXiv.org.