Odborná definícia
Význam a odborné vymedzenie pojmu
Recurrent neural network, RNN, spracúva sekvenciu tak, že v každom kroku kombinuje aktuálny vstup s vnútorným stavom preneseným z predchádzajúceho kroku. Rovnaké parametre sa používajú naprieč časom, čo umožňuje modelovať poradie a kontext premenlivej dĺžky. Tréning typicky používa backpropagation through time. Základné RNN trpia miznúcimi a explodujúcimi gradientmi, preto sa často používajú LSTM alebo GRU. Rekurentný výpočet je prirodzene sekvenčný a horšie sa paralelizuje než Transformer.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
RNN číta sekvenciu postupne a po každom prvku si aktualizuje pracovnú pamäť. Pri vete môže stav po slove niesť informáciu o tom, čo zaznelo predtým, a ovplyvniť spracovanie ďalšieho slova. Výhodou je prirodzené modelovanie toku času a možnosť priebežného spracovania signálu. Pri dlhej sekvencii sa však stará informácia môže oslabiť a každý krok čaká na predchádzajúci. Preto sa RNN stále používa v niektorých streamingových a časových úlohách, ale veľké jazykové modely zvyčajne stavajú na attention.
Časté otázky
Otázky, ktoré spresňujú význam
Prečo RNN zabúda vzdialený kontext?
Opakované násobenie gradientov cez mnoho krokov ich môže zmenšiť alebo zväčšiť. LSTM, GRU, clipping a vhodná inicializácia problém zmierňujú, nie vždy úplne odstraňujú.
Ako sa RNN líši od Transformera?
RNN prenáša stav sekvenčne, Transformer prepája pozície cez attention a počas tréningu spracúva mnoho pozícií paralelne. Rozdiel ovplyvňuje škálovanie, pamäť aj latenciu.
Čo je bidirectional RNN?
Dve rekurentné vetvy spracujú sekvenciu zľava doprava a sprava doľava. Výstup využíva minulý aj budúci kontext, preto nie je vhodný pre striktne kauzálne online predpovede.
Kedy má zmysel stateful RNN?
Keď dlhý tok prichádza po blokoch a stav má pokračovať medzi dávkami. Treba presne riadiť reset stavu, inak sa informácia prenesie medzi nesúvisiacimi sekvenciami.
Ako sa pracuje s rôzne dlhými sekvenciami?
Dávky používajú padding a masky alebo zbalené sekvencie. Strata ani stav nemajú reagovať na umelo doplnené pozície.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Elman, Finding Structure in Time, Cognitive Science, 1990
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.