Odborná definícia
Odborná definícia
State space model opisuje sekvenciu pomocou vnútorného stavu, ktorý sa aktualizuje z predchádzajúceho stavu a aktuálneho vstupu a následne vytvára výstup. V neurónových sekvenčných modeloch sa používajú parametrizované alebo selektívne stavové prechody, ktoré možno implementovať rekurentne pri inferencii a paralelne pri tréningu. Ponúkajú lineárne škálovanie s dĺžkou sekvencie, no spôsob kompresie minulosti do stavu môže obmedziť presné vybavenie konkrétnych tokenov. Stav môže mať pevnú veľkosť nezávislú od dĺžky spracovaného prefixu.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Namiesto toho, aby každý nový token porovnával so všetkými staršími tokenmi, model udržiava priebežne aktualizovaný stav, podobne ako súhrnnú pracovnú pamäť. Nový vstup stav zmení a z neho sa vypočíta výstup. To môže byť veľmi efektívne pri dlhých sekvenciách alebo streamovaní. Cena za úsporu je, že minulosť sa musí vhodne stlačiť. Ak stav nezachová presný detail, model ho neskôr nemusí vedieť obnoviť tak priamo ako attention s dostupným kontextom. To je výhodné pri nekonečnom streame, kde nie je možné stále uchovávať všetky minulé tokeny.
Časté otázky
Časté otázky
Ako sa state space model líši od transformeru?
Transformer typicky používa explicitné párové attention väzby a KV cache. SSM aktualizuje kompaktný stav, čo môže znížiť pamäť a lineárne spracovať sekvenciu.
Čo znamená selektívny stavový model?
Parametre prechodu alebo čítania môžu závisieť od aktuálneho vstupu. Model tak rozhoduje, ktoré informácie zapíše, zachová alebo potlačí.
Je SSM rovnaký ako RNN?
Obe rodiny používajú stavovú rekurenciu, ale moderné SSM vychádzajú zo štruktúrovaných lineárnych systémov a používajú algoritmy umožňujúce efektívny paralelný tréning.
Prečo sú SSM zaujímavé pre dlhý kontext?
Počet aktualizácií rastie lineárne s dĺžkou a inferencia nemusí uchovávať KV vektory pre každý minulý token. Skutočná kvalita dlhodobej pamäte však závisí od úlohy.
Môžu sa SSM kombinovať s attention?
Áno. Hybridné modely používajú stavové vrstvy pre efektívne spracovanie a attention na presné vyhľadanie alebo integráciu vybraných vzdialených informácií.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Mamba: Linear-Time Sequence Modeling with Selective State Spaces Efficiently Modeling Long Sequences with Structured State Spaces
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.