model stavového prostoru | AI slovník

Odborná definice

State space model popisuje sekvenci pomocí vnútorného stavu, který se aktualizuje z předchozího stavu a aktuálního vstupu a následně vytváří výstup. V neuronových sekvenčních modelech se používají parametrizované nebo selektívne stavové prechody, které lze implementovat rekurentne při inferenci a paralelně při tréninku. Ponúkají lineární škálování s délkou sekvence, ale způsob komprese minulosti do stavu může omezit přesné vybavení konkrétních tokenů. Stav může mít pevnou velikost nezávislou od délky spracovaného prefixu.

Srozumitelné vysvětlení

Místo toho, aby každý nový token porovnával se všemi staršími tokenmi, model udržuje průběžně aktualizovaný stav, podobně jako souhrnnou pracovnou paměť. Nový vstup stav změní a z něho se vypočítá výstup. To může být velmi efektivně při dlouhých sekvenciách nebo streamování. Cena za úsporu je, že minulost se musí vhodne stlačit. Pokud stav nezachová přesný detail, model ho později nemusí vědět obnovit tak přímo jako attention s dostupným kontextem. To je výhodné při nekonečnom streame, kde není možné stále uchovávat všechny minulé tokeny.

Časté otázky

Jak se state space model liší od transformeru?

Transformer typicky používá explicitní párové attention vezby a KV cache. SSM aktualizuje kompaktný stav, co může snížit paměť a lineární zpracovat sekvenci.

Co znamená selektívny stavový model?

Parametry prechodu nebo čítání mohou záviset od aktuálního vstupu. Model tak rozhoduje, které informace zapíše, zachová nebo potlačí.

Je SSM stejný jako RNN?

Obě rodiny používají stavovou rekurenci, ale moderní SSM vychádzají ze štruktúrovaných lineárních systémů a používají algoritmy umožňujúce efektivní paralelní trénink.

Proč jsou SSM zaujímavé pro dlouhý kontext?

Počet aktualizací roste lineární s délkou a inference nemusí uchovávat KV vektory pro každý minulý token. Skutečná kvalita dlhodobej paměti však závisí na úlohy.

Mohou se SSM kombinovat s attention?

Ano. Hybridní modely používají stavové vrstvy pro efektivně zpracování a attention na přesné vyhladání nebo integraci vybraných vzdialených informací.

Související pojmy

Zdroje a redakční stopa

Mamba: Linear-Time Sequence Modeling with Selective State Spaces Efficiently Modeling Long Sequences with Structured State Spaces

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.