DeepSeek, съвместно с Пекинския университет, представи DSpark – система за инференс, предназначена да подобри ефективността на големите езикови модели, без да променя основните им възможности.
Решението бързо привлече вниманието на общността от инженери. По-специално, то беше анализирано подробно от Дмитрий Жулгаков, съосновател на Fireworks AI и разработчик на PyTorch, който отбеляза силната му производствено-ориентирана архитектура и високото ниво на инженерство.
DSpark решава ключов проблем на LLM – последователното генериране на токени, което ограничава производителността на графичния процесор. Традиционните методи за пакетно генериране само частично компенсират този проблем, без да елиминират пречката при инференса.
Основното нововъведение в системата е полупаралелната архитектура “drafting”, която съчетава скоростта на паралелно генериране с леки механизми за последователни зависимости. Това позволява поддържането на баланс между производителност и точност, решавайки класическата дилема: скорост или качество.
Според анализа, DSpark осигурява 60–85% увеличение на скоростта на генериране за един потребител и до 4 пъти по-висока производителност при производствени натоварвания. В системите, базирани на DeepSeek V4, това осигурява значително ускорение без загуба в качеството на отговорите.
Проектът е пуснат с отворен код, което позволява на по-широката общност да изследва и прилага нови подходи за оптимизиране на инференса на големите езикови модели.