Големият интелектуален срив: Защо невронните мрежи могат да рухнат след няколко години

Невронните мрежи като ChatGPT и Gemini консумират огромно количество енергия и се обучават въз основа на текстове, написани от хора. Но какво ще се случи, когато качественото съдържание, написано от хората, стане критично малко? Ново проучване показа, че ако AI моделите започнат да се обучават предимно въз основа на текстове, генерирани от други AI модели, те неизбежно ще започнат да деградират. Добрата новина е, че учените са намерили удивително прост начин да предотвратят това.

Какво представлява моделният колапс при невронните мрежи с прости думи

Представете си, че правите копие на документ, след това копие на това копие, а след това копие на копието на копието. С всяко следващо поколение текстът става все по-неразбираем, докато накрая се превръща в мътно петно. Приблизително същото се случва с невронните мрежи, когато се обучават върху текстове, които самите те са генерирали.

Невронните мрежи може да станат глупави след няколко години, но това може да бъде предотвратено

Това явление се нарича моделен колапс, терминът се появява през 2024 г. и е споменат в научното списание Nature. Когато един нов модел се обучава върху данни, създадени от предишен модел, той губи част от информацията. С всяко повторно обучение разнообразието на отговорите намалява, а грешките се натрупват.

И това е потвърдено математически. Централната пределна теорема гарантира, че всяко поколение обучение върху синтетични данни намалява разнообразието и унищожава рядките, но критично важни модели.

Изследванията в областта на текста, кода и генерирането на изображения потвърждават този теоретичен модел и показват измеримо влошаване след само пет поколения.

Защо човешкото съдържание в интернет се изчерпва

Невронните мрежи се обучават чрез текстове от интернет: книги, статии, форуми, Уикипедия, научни трудове. Но този ресурс е ограничен.

Според оценката на изследователската група Epoch AI, общият запас от качествен публичен текст възлиза на около 300 трилиона токена, и при сегашните темпове езиковите модели ще го изчерпят напълно в периода от 2026 до 2032 година.

Дали изкуственият интелект тихо не унищожава себе си – и интернет?

При това AI консумира данните по-бързо, отколкото хората ги създават. Текстовите генератори произвеждат милиарди думи ежедневно, генераторите на изображения запълват базите данни с фотографии, а AI-асистентите пишат код, който попада в публичните репозитории. Цялото това изкуствено съдържание неизбежно се влива обратно в обучителните извадки на новите модели, създавайки затворен цикъл на деградация.

Компаниите вече започнаха да изкупуват съдържание от издателства и медии. OpenAI и Google се надпреварват да сключват лицензионни сделки за качествени източници на данни. Но това е само отлагане, а не решение на проблема.

Разликите между ИИ-съдържанието и човешкото

На пръв поглед текстът, написан от невронна мрежа, може да изглежда неразличим от човешкия. Но от гледна точка на обучението разликата е много голяма.

Човешките текстове носят живия опит: съмнения, грешки, компромиси, забрани и неписани правила, по които хората реално вземат решения. Съдържанието от невронните мрежи не предлага такова нещо. Става дума само за преразказ на това, което невронната мрежа вече знае, затова в тях почти няма нов практически опит.

Човешките данни съдържат нюанси, които синтетичните текстове пропускат

Ако невронната мрежа се обучава отново и отново въз основа на собствените си текстове, тя започва да затвърждава грешките си. Данните за обучение стават по-бедни и еднообразни, а пристрастността се засилва. Затова с времето отговорите на AI могат да стават все по-шаблонни, бледи и неточни. В най-лошия случай моделът започва уверено да представя своите измислици за факти.

Как да се предотврати моделният колапс на невронната мрежа

На 14-ти май 2026 г. в списанието Physical Review Letters излезе изследване, което предлага неочаквано елегантно решение на проблема.

Изследователите проучиха така нареченото обучение в затворен цикъл. Това е процес, при който моделът многократно се обучава на данни, генерирани от самия него.

Оказа се, че за спасяването на модела понякога са достатъчни съвсем малко истински данни. Дори един реален пример, добавен в обучаващата извадка, може да попречи на AI да се срине в моделен колапс, въпреки че почти всички останали данни ще бъдат изкуствени.

Според професор Ясер Руди, авторите специално са избрали по-прост модел, за да разберат самия механизъм без излишна математика. Така те показаха, че дори една малка порция реална информация действа като котва и не позволява на модела да започне да генерира безсмислици.

Защо бъдещето на невронните мрежи зависи от хората

Важно е да се подчертае, че засега моделният колапс не е настъпил в пълен мащаб в реално работещи системи. Но това не означава, че няма проблем. Моделният колапс вече се случва, а потребителите продължават да правят точно това, което го утежнява — масово да генерират съдържание с помощта на AI и да го публикуват в отворен достъп.

Настоящото проучване е първата стъпка. Екипът се надява, че като покаже закономерностите на прости, но мощни модели, ще може да формулира принципите за предотвратяване на колапса за по-сложните езикови модели, като тези, които стоят зад ChatGPT.

Следващият етап е да се провери дали принципът работи и при сложните модели. Ако да, това може да се превърне в практичен инструмент за разработчиците. Както отбеляза Руди, инженерите, които създават следващия ChatGPT, могат да използват нашите резултати за разработване на модели, които не се сриват.

В крайна сметка се оказва, че колкото по-мощни стават невронните мрежи, толкова по-силно зависят от хората. Машините могат да генерират милиарди думи в секунда, но без човешко съдържание тези думи постепенно губят смисъла си. Оказва се, че дори един пример от жив човек е достатъчен, за да предпази ИИ от самоунищожение.