Long short-term memory, definícia a použitie | AI slovník

Odborná definícia

Long short-term memory, LSTM, je typ rekurentnej neurónovej siete s bunkovým stavom a riadiacimi bránami, ktoré regulujú zapisovanie, zabúdanie a čítanie informácie v sekvencii. Forget gate určuje, čo zostane z predchádzajúceho bunkového stavu, input gate riadi nový kandidátny obsah a output gate formuje skrytý stav. Táto architektúra zmierňuje problém miznúcich gradientov oproti jednoduchej RNN, no nezaručuje uchovanie ľubovoľne dlhých závislostí a výpočet zostáva sekvenčný v čase.

Zrozumiteľné vysvetlenie

LSTM spracúva sekvenciu krok po kroku a vedie si vnútorný zápisník. Pri každom tokene rozhodne, ktorú starú informáciu vymaže, čo nové zapíše a čo ukáže ďalšej vrstve. Brány sú naučené neurónové funkcie, nie ručne naprogramované pravidlá. Vďaka nim môže sieť preniesť dôležitý signál cez viac krokov než obyčajná RNN. Pri veľmi dlhých dokumentoch však stále rastie čas spracovania a pamäť môže strácať detaily, preto sa pri mnohých úlohách používajú transformery alebo hybridné architektúry.

Časté otázky

Aký je rozdiel medzi cell state a hidden state?

Cell state je dlhodobejšia pamäť prenášaná cez brány. Hidden state je výstup bunky pre aktuálny krok a vstup do ďalšieho kroku či vrstvy.

Čo robí forget gate?

Sigmoid vytvorí hodnoty od nuly po jedna, ktoré násobia starý bunkový stav. Tak sa vybrané komponenty zachovajú alebo potlačia.

Je LSTM vhodná na paralelné spracovanie tokenov?

Časové kroky na seba nadväzujú, preto sa paralelizuje horšie než self-attention. Paralelizovať možno batch, vrstvy a matice v rámci kroku.

Čo znamená bidirectional LSTM?

Jedna sieť číta sekvenciu dopredu a druhá dozadu. Je vhodná, keď je dostupný celý vstup, nie pre striktné online generovanie budúcnosti.

Ako sa riešia sekvencie rôznej dĺžky?

Používa sa padding s maskou alebo packed sequences. Bez správneho ošetrenia by model aktualizoval stav aj na umelo doplnených pozíciách.

Súvisiace pojmy

Zdroje a redakčná stopa

PyTorch, LSTM

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.