Специалистите от лабораторията по информатика и изкуствен интелект (CSAIL) на Масачузетския технологичен институт заедно с отдел на Google Research създадоха невронна мрежа, която озвучава произволен видеоклип, който няма аудио. Програмата анализира видеото, разпознава обектите в него, тяхното движение и съприкосновение - удари, триене и т.н. Въз основа на тази информация невронната мрежа генерира дотолкова качествен и правдоподобен звук, че в 40% от случаите хората го приемат за истински и достоверен.

 

Учените са подбрали 997 клипа, в които има най-различни взаимодействия между различни среди, предмети и материали. Клиповете съдържат 46 577 действия - удари, драскане, плъзгане и други. Специалистите самостоятелно са започнали да регистрират типа на материала, мястото на допир, реакциите на обектите. Тези клипове се оказали достатъчни за обучението на невронната мрежа, а поставените ръчно маркери са се използвали за анализ на работата на невронната мрежа, а не за нейното обучение.

 

При обучението изкуственият интелект от начално ниво изучавал клиповете кадър по кадър и анализирала звука в него, като по този начин е създал собствена база данни за съответствията между действие и звук. С всеки нов клип точността на генерирания звук се повишава.

 

Околните звуци дават обилна информация за околните обекти, за техния строеж и конструкция. Новата технология може да се използва при създаване на нови ефекти в киното и за по-добро обучение на роботите от ново поколение.