По време на тестване на възможностите в областта на киберсигурността, AI моделът Gemini на Google е получил неразрешен достъп до системите на три външни компании. Според Google, и в трите случая моделът се е спрял, след като е установил, че е излязъл извън границите на тестовата среда. За инцидентите съобщи The Wall Street Journal.

Инцидентите са се случили през май по време на тестове на платформата на компанията Irregular, където по-рано са били регистрирани подобни случаи с AI моделите на OpenAI, Anthropic и Meta. Irregular е уведомила Google за случилото се в края на юли. Компанията не е разкрила публично информацията и е потвърдила инцидентите едва след запитване от страна на WSJ.

В бранша все още се формира практиката за разкриване на информация за инциденти и непредвидено поведение на AI моделите. Някои разработчици съобщават за такива случаи самостоятелно, а за други става известно благодарение на независими изследователи. От Google заявиха, че не са сметнали публичното разкриване за необходимо, тъй като моделът не е нанесъл щети и и в трите случая се е спрял, след като е установил, че е получил достъп до реални системи.

В компанията сравниха случилото се с програмите за откриване на уязвимости (bug bounty), в рамките на които специалистите по сигурност получават възнаграждение за откриването на уязвимости. Инцидентите са се случили по време на учения от типа „capture the flag“ в инфраструктурата на Irregular. Gemini е трябвало да извлече информация от софтуера на измислена компания в тестовата среда, но нейното име е съвпаднало с името на реална организация. Освен това, поради грешка в конфигурацията AI моделът е получил достъп до интернет, какъвто не е трябвало да има.

В първия случай Gemini е пробвал различни пароли, докато не получи достъп до защитена услуга на реална компания. След като е установил, че системата не принадлежи към тестовата среда, AI моделът е преустановил действията си и е излязъл от нея. В другите два случая Gemini е извършил търсене по името на компанията и е открил в общодостъпни хранилища данните за достъп на две други организации. AI моделът успешно се е възползвал от тях, но след това също спрял. Тези обстоятелства Google посочва в собственото си изложение – независим анализ на действията на модела все още не е публикуван.

От Google не сметнаха случилото се за пример за несъответствие в целите на AI модела, тъй като той самостоятелно е преустановил действията си. Компанията уведоми и трите засегнати организации, както и федералните власти на САЩ. От Google подчертаха, че най-новата версия на Gemini не е участвала в инцидентите, но не уточниха кой точно AI модел е бил тестван.