Hradlová rekurentní jednotka | AI slovník

Odborná definice

Gated recurrent unit je rekurentní neuronová bunka, která aktualizuje skrytý stav pomocí aktualizačnej a resetovacej brány. Aktualizačná brána určuje poměr mezi zachováním předchozí paměti a prijatím nového kandidátneho stavu, resetovace brána zas řídí, kolik minulosti se použije při výpočtu kandidáta. GRU má méně brán a parametrů než typická LSTM, ale stále zmierňuje problém miznúcich gradientů při dlhších sekvenciách. Výpočet zůstává časovo sekvenční, proto se při velmi dlouhých kontextoch hůře paralelizuje než architektury založené na pozornosti.

Srozumitelné vysvětlení

GRU se dá predstavit jako průběžně vedený zápisník s dvěma ventilmi. Jeden rozhoduje, zda se stará poznámka ponechá nebo prepíše novou informací. Druhý určuje, kolik starého obsahu je třeba při tvorbě nové poznámky vůbec číst. Při spracování časového radu tak bunka může ignorovat krátký šum, ale uchovat trend důležitý o desiatky kroků později. Je úspornejšia než LSTM, proto se hodí i do menších modelů, ale každý krok stále závisí na předchozího, co omezuje rychlost tréninku na dlouhých sekvenciách.

Časté otázky

V čem se GRU liší od LSTM?

GRU obvykle spojuje pameťový a skrytý stav a nepoužívá samostatnou výstupnou bránu. Má proto méně parametrů a může se trénovat rychleji, zatímco LSTM ponúka jemnější oddělení zápisu, zapomínání a výstupu.

Zaručuje GRU zvládnutie lubovolne dlhej závislosti?

Ne. Brány zlepšují tok gradientu, ale informace se stále přenáší přes mnoho časových kroků. Při velmi dlouhých sekvenciách může kapacita stavu, šum a sekvenční výpočet vést k strate detailů.

Kdy má GRU praktickou výhodu oproti Transformeru?

Při kratších prúdoch, omezené pameti, online spracování nebo na zařízení může být GRU menší a predvídatelnejšia. Transformery bývají výhodnejšie při masívnom paralelnom tréninku a při práci s rozsiahlym kontextem.

Co znamená obojsmerná GRU?

Jedna rekurentní větev čte sekvenci dopredu a druhá zpětně, potom se jejich stavy spoja. Takový model využívá minulé i budoucí prvky, proto není vhodný na čisto kauzální streamování, kde budoucí data ještě neexistují.

Jak se kontroluje, co si GRU zapametala?

Sledují se aktivace brán, citlivost výstupu na starší vstupy a výkon při různých dlžkach závislosti. Samotná vizualizace brány však není úplným vysvětlením, protože výsledek vzniká kombinací stavů, váh a nelinearít.

Související pojmy

Zdroje a redakční stopa

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.