Dlhá krátkodobá paměť, LSTM | AI slovník

Odborná definice

Long short-term memory, LSTM, je typ rekurentnej neuronové sítě s bunkovým stavem a riadiacimi bránami, které regulují zapisování, zapomínání a čtení informace v sekvenci. Forget gate určuje, co zůstane z předchozího bunkového stavu, input gate řídí nový kandidátny obsah a output gate formuje skrytý stav. Tato architektura zmierňuje problém miznúcich gradientů oproti jednoduché RNN, ale nezaručuje uchování lubovolne dlouhých závislostí a výpočet zůstává sekvenční v čase.

Srozumitelné vysvětlení

LSTM zpracovává sekvenci krok po kroku a vede si vnitřní zápisník. Při každém tokene rozhodne, kterou starou informaci vymaže, co nové zapíše a co ukáže další vrstvě. Brány jsou naučené neuronové funkce, ne ručně naprogramované pravidla. Díky nim může síť přenést důležitý signál přes více kroků než obyčajná RNN. Při velmi dlouhých dokumentech však stále roste čas zpracování a paměť může strácat detaily, proto se při mnoha úlohách používají transformery nebo hybridní architektury.

Časté otázky

Jaký je rozdíl mezi cell state a hidden state?

Cell state je dlhodobejšia paměť prenášaná přes brány. Hidden state je výstup bunky pro aktuální krok a vstup do dalšího kroku či vrstvy.

Co dělá forget gate?

Sigmoid vytvoří hodnoty od nuly po jedna, které násobia starý bunkový stav. Tak se vybrané komponenty zachovají nebo potlačia.

Je LSTM vhodná na paralelní zpracování tokenů?

Časové kroky na sebe nadvezují, proto se paralelizuje hůře než self-attention. Paralelizovat lze batch, vrstvy a matice v rámci kroku.

Co znamená bidirectional LSTM?

Jedna síť čte sekvenci dopredu a druhá dozadu. Je vhodná, když je dostupný celý vstup, ne pro striktné online generování budúcnosti.

Jak se řeší sekvence různé délky?

Používá se padding s maskou nebo packed sequences. Bez správného ošetrení by model aktualizoval stav i na uměle doplnených pozíciách.

Související pojmy

Zdroje a redakční stopa

PyTorch, LSTM

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.