Експериментите от ново поколение генерират терабайтове данни в секунда, толкова много, че не успяват нито да ги съхраняват, нито да ги анализират с традиционни методи. Изследователи от САЩ разработиха метод за компресиране на данни на базата на изкуствен интелект, който намалява обема на файловете 10–100 пъти, като същевременно запазва важните за научните открития детайли.

В бъдещия ускорител LCLS-II-HE, рентгенов лазер със свободни електрони, ще се генерират до един милион импулса в секунда. Всеки импулс представлява „снимка“ на атоми и молекули. Не е възможно тези потоци да се обработват директно, трябва или да се изхвърлят данни, или да се компресират така, че да не се загуби важна информация. Традиционните алгоритми за компресия, като например JPEG и ZIP, премахват детайли, които изглеждат незабележими, но именно в тези детайли се съдържа информация за структурата и динамиката на материалите.

Методът, разработен от специалистите от Националната ускорителна лаборатория SLAC, използва невронна мрежа в комбинация с математически инструмент, вейвлет-преобразуване. Първо данните се разделят на компоненти с различен мащаб (големи структури и малки детайли). След това невронната мрежа компресира всеки компонент поотделно, като се обучава да ги представя в компактна форма. В зависимост от типа на данните и желаното качество размерът на файла се намалява 10–100 пъти.

Практически приложения и бъдеще на разработката

Освен че се намаляват разходите за съхранение и управление на огромни масиви от данни, улеснява се и процесът на извличането им. Понякога на изследователите се налага да се върнат към малък фрагмент от компресираните данни. Методът позволява да се разпаковат само необходимите данни, което спестява време и намалява разходите, пише Techxplore.

Екипът е тествал метода върху различни видове данни: измервания на молекули и материали, снимки на магнитното поле на Слънцето и обикновени фотографии. Невронната мрежа се адаптира към всеки тип данни, като се научава да определя кои характеристики са важни за различните измервания.

„При използване на обичайния метод за компресиране би се наложило да се разпакова целия файл, което би отнело минути, часове или дори дни“, обясни Жантао Чен, един от разработчиците на метода. — Нашият метод позволява да се разпакова само интересуващата ни област, а не целия масив от данни, което го прави много по-ефективен“.

Освен това изследователите отбелязаха, че новият подход към компресирането може да се прилага в комбинация с по-разпространените методи за намаляване обема на данните, например чрез подбор само на онези събития и характеристики, които представляват интерес.

Напредъкът в интелигентната обработка на данни показва как изкуственият интелект постепенно трансформира фундаментални информационни процеси. Проследяването на подобни софтуерни иновации е от съществено значение, тъй като те формират основата на следващото поколение облачни услуги, мрежови технологии и системи за съхранение на информация.