Сериозен пробив: Инженери проправиха пътя за предаване на обемно 4D видео в реално време (видео)

Изследователи от университета Браун представиха нова технология за обработка на съраунд видео, която може да доближи масовото разпространение на „4D видео“ – видеоклипове, в които сцената може да се гледа свободно от почти всяка точка на пространството. Разработката, наречена PackUV, опростява съхранението и стрийминга на такива видеоклипове за съвместимост със съществуващата интернет инфраструктура.

Обемното видео се създава с помощта на множество синхронизирани камери, заобикалящи сцената. След заснемането алгоритмите пресъздават пространството в три измерения, като позволяват на зрителя да променя ъгъла на гледане след записа и буквално да се „движи“ в рамките на сцената. Подобна технология може да се използва в киното, при предавания на спортни събития или концерти и във VR среди.

Основният проблем при такова видео е огромното количество данни. Така например един 30-минутен клип може да заеме терабайти памет, а използваните формати не са подходящи за съществуващите стрийминг услуги, компютри и видео платформи.

За да решат този проблем, изследователите са разработили системата PackUV, базирана на технологията 3D Gaussian Splatting – метод за рендиране, при който сцената се представя чрез набор от „Гаусови пръски“, които кодират формата, цвета и прозрачността на обектите в пространството. Новият подход позволява трансформирането на сложна 3D сцена в компактно 2D представяне – като проектиране на глобус върху плоска карта.

В резултат на това обемната сцена се кодира в обикновен видеопоток, който може да се съхранява и излъчва с помощта на стандартни кодеци, използвани от Netflix, YouTube и други платформи. Изследователите твърдят, че това доближава технологията до практическите приложения на конвенционалните компютри и интелигентните телевизори.

Друго предизвикателство е обработката на дълги видеосцени. Съществуващите методи често губят обекти, ако те временно изчезнат от полезрението, например когато човек покрие движеща се топка. Екипът е решил проблема по следния начин: дългото видео се разделя на малки фрагменти и в началото на всеки сегмент промените се анализират наново. Това позволява правилно проследяване на новите обекти и сложните движения дори в дълги сцени. Новият подход осигурява безпроблемно визуализиране на сложни сцени с продължителност до 30 минути – по-дълго, отколкото при подобни методи.

За да изпробват технологията, учените са сглобили един от най-големите набори от многоизмерно видео, заснето с масив от 50-90 камери. Базата данни включва сцени на баскетбол, готвене и работа с дърво. Изследователите вече са отворили набора от данни за научната общност. Те смятат, че технологията може да намери приложение не само в развлеченията и спорта, но и в промишлеността, например при създаването на цифрови двойници.

Възможността за стрийминг на 4D видео в реално време ще трансформира редица сектори. На първо място, това ще издигне видеоконферентните връзки до нивото на истинско холографско телеприсъствие, където участниците ще виждат реалистични обемни аватари на своите колеги