Odborná definice
Odborná definice
Zoneout je stochastická regularizačná technika pro rekurentné neuronové sítě, při které se náhodně vybrané složky skrytého nebo bunkového stavu v daném časovém kroku nemění a preberou hodnotu z předchozího kroku. Na rozdíl od dropout jejich nenahrádza nulou. Mechanismus vytváří náhodné časové cesty identity, podporuje zachování informace a při tréninku simuluje soubor mírně odlišných rekurentních dynamík. Při inferenci se používá očakávané chování podle implementace.
Srozumitelné vysvětlení
Srozumitelné vysvětlení
Dropout část signálu dočasne vypne, Zoneout část paměti nechá přesně takú, jaká byla o krok dříve. Rekurentný model se proto nemůže spoliehat na to, že každou zložku stavu vždy prepíše novou hodnotou. Učí se pracovat s odolnejšími pameťovými cestami a může méně preučit sekvenční data. Míra zoneoutu se volí odděleně pro skrytý a bunkový stav. Příliš vysoká hodnota spomaluje aktualizaci paměti a model může přehlížet rychle změny vstupu.
Časté otázky
Časté otázky
Jaký je hlavný rozdíl oproti recurrent dropout?
Zoneout zachová starý stav, zatímco dropout vybrané aktivace nuluje nebo maskuje. Časová identita je proto explicitní součástí mechanizmu.
Na které sítě se původne zameriaval?
Na RNN a zejména LSTM, kde lze samostatně maskovat bunkový stav a výstupný skrytý stav.
Používá se stejná maska v každém kroku?
Závisí na implementace. Návrh může vzorkovat masky v čase rozdílně, co mění regularizačné a dynamické vlastnosti.
Co se deje při inferenci?
Stochastika se vypína nebo se používá deterministická očekávaná kombinace. Přesný postup musí odpovídat tréninkové implementaci.
Je Zoneout potřebný při transformerech?
Není jejich typickou regularizací, protože nemají stejnou rekurentnou aktualizaci stavu. Používá se zejména při klasických sekvenčních RNN architektúrach.
Související pojmy
Související pojmy
Zdroje a redakční stopa
Zdroje a redakční stopa
- Krueger et al., Zoneout
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.