Rekurentní neuronová síť | AI slovník

Odborná definice

Recurrent neural network, RNN, zpracovává sekvenci tak, že v každém kroku kombinuje aktuální vstup s vnútorným stavem preneseným z předchozího kroku. Stejné parametry se používají napříč časem, co umožňuje modelovat pořadí a kontext premenlivej délky. Trénink typicky používá backpropagation through time. Základní RNN trpia mizejícími a explodujúcimi gradienty, proto se často používají LSTM nebo GRU. Rekurentný výpočet je přirozeně sekvenční a hůře se paralelizuje než Transformer.

Srozumitelné vysvětlení

RNN čte sekvenci postupně a po každém prvku si aktualizuje pracovnou paměť. Při vete může stav po slove nést informaci o tom, co zaznelo predtým, a ovlivnit zpracování dalšího slova. Výhodou je prirodzené modelování toku času a možnost průběžného zpracování signálu. Při dlhej sekvenci se však stará informace může oslabit a každý krok čaká na předchozí. Proto se RNN stále používá v některých streamingových a časových úlohách, ale velké jazykové modely obvykle stavají na attention.

Časté otázky

Proč RNN zabúda vzdálený kontext?

Opakované násobení gradientů přes mnoho kroků jejich může zmenšit nebo zvečšit. LSTM, GRU, clipping a vhodná inicializace problém zmierňují, ne vždy zcela odstraňují.

Jak se RNN liší od Transformera?

RNN přenáší stav sekvenčne, Transformer propojuje pozice přes attention a během tréninku zpracovává mnoho pozic paralelně. Rozdíl ovlivňuje škálování, paměť i latenci.

Co je bidirectional RNN?

Dvě rekurentné větve spracují sekvenci zlava doprava a sprava dolava. Výstup využívá minulý i budúci kontext, proto není vhodný pro striktne kauzální online predpovede.

Kdy má smysl stateful RNN?

Když dlouhý tok prichádza po blokoch a stav má pokračovat mezi dávkami. Je třeba přesně riadit reset stavu, jinak se informace přenese mezi nesúvisiacimi sekvenciami.

Jak se pracuje s různé dlhými sekvenciami?

Dávky používají padding a masky nebo zbalené sekvence. Ztráta ani stav nemají reagovat na uměle doplnené pozice.

Související pojmy

Zdroje a redakční stopa

Elman, Finding Structure in Time, Cognitive Science, 1990

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.