Gated recurrent unit (GRU), definícia a použitie | AI slovník

Odborná definícia

Gated recurrent unit je rekurentná neurónová bunka, ktorá aktualizuje skrytý stav pomocou aktualizačnej a resetovacej brány. Aktualizačná brána určuje pomer medzi zachovaním predchádzajúcej pamäte a prijatím nového kandidátneho stavu, resetovacia brána zas riadi, koľko minulosti sa použije pri výpočte kandidáta. GRU má menej brán a parametrov než typická LSTM, no stále zmierňuje problém miznúcich gradientov pri dlhších sekvenciách. Výpočet zostáva časovo sekvenčný, preto sa pri veľmi dlhých kontextoch horšie paralelizuje než architektúry založené na pozornosti.

Zrozumiteľné vysvetlenie

GRU sa dá predstaviť ako priebežne vedený zápisník s dvoma ventilmi. Jeden rozhoduje, či sa stará poznámka ponechá alebo prepíše novou informáciou. Druhý určuje, koľko starého obsahu treba pri tvorbe novej poznámky vôbec čítať. Pri spracovaní časového radu tak bunka môže ignorovať krátky šum, ale uchovať trend dôležitý o desiatky krokov neskôr. Je úspornejšia než LSTM, preto sa hodí aj do menších modelov, no každý krok stále závisí od predchádzajúceho, čo obmedzuje rýchlosť tréningu na dlhých sekvenciách.

Časté otázky

V čom sa GRU líši od LSTM?

GRU zvyčajne spája pamäťový a skrytý stav a nepoužíva samostatnú výstupnú bránu. Má preto menej parametrov a môže sa trénovať rýchlejšie, zatiaľ čo LSTM ponúka jemnejšie oddelenie zápisu, zabúdania a výstupu.

Zaručuje GRU zvládnutie ľubovoľne dlhej závislosti?

Nie. Brány zlepšujú tok gradientu, ale informácia sa stále prenáša cez mnoho časových krokov. Pri veľmi dlhých sekvenciách môže kapacita stavu, šum a sekvenčný výpočet viesť k strate detailov.

Kedy má GRU praktickú výhodu oproti Transformeru?

Pri kratších prúdoch, obmedzenej pamäti, online spracovaní alebo na zariadení môže byť GRU menšia a predvídateľnejšia. Transformery bývajú výhodnejšie pri masívnom paralelnom tréningu a pri práci s rozsiahlym kontextom.

Čo znamená obojsmerná GRU?

Jedna rekurentná vetva číta sekvenciu dopredu a druhá odzadu, potom sa ich stavy spoja. Taký model využíva minulé aj budúce prvky, preto nie je vhodný na čisto kauzálne streamovanie, kde budúce dáta ešte neexistujú.

Ako sa kontroluje, čo si GRU zapamätala?

Sledujú sa aktivácie brán, citlivosť výstupu na staršie vstupy a výkon pri rôznych dĺžkach závislosti. Samotná vizualizácia brány však nie je úplným vysvetlením, pretože výsledok vzniká kombináciou stavov, váh a nelinearít.

Súvisiace pojmy

Zdroje a redakčná stopa

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.