Odborná definícia
Odborná definícia
Zoneout je stochastická regularizačná technika pre rekurentné neurónové siete, pri ktorej sa náhodne vybrané zložky skrytého alebo bunkového stavu v danom časovom kroku nemenia a preberú hodnotu z predchádzajúceho kroku. Na rozdiel od dropout ich nenahrádza nulou. Mechanizmus vytvára náhodné časové cesty identity, podporuje zachovanie informácie a pri tréningu simuluje súbor mierne odlišných rekurentných dynamík. Pri inferencii sa používa očakávané správanie podľa implementácie.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Dropout časť signálu dočasne vypne, Zoneout časť pamäte nechá presne takú, aká bola o krok skôr. Rekurentný model sa preto nemôže spoliehať na to, že každú zložku stavu vždy prepíše novou hodnotou. Učí sa pracovať s odolnejšími pamäťovými cestami a môže menej preučiť sekvenčné dáta. Miera zoneoutu sa volí oddelene pre skrytý a bunkový stav. Príliš vysoká hodnota spomaľuje aktualizáciu pamäte a model môže prehliadať rýchle zmeny vstupu.
Časté otázky
Časté otázky
Aký je hlavný rozdiel oproti recurrent dropout?
Zoneout zachová starý stav, zatiaľ čo dropout vybrané aktivácie nuluje alebo maskuje. Časová identita je preto explicitnou súčasťou mechanizmu.
Na ktoré siete sa pôvodne zameriaval?
Na RNN a najmä LSTM, kde možno samostatne maskovať bunkový stav a výstupný skrytý stav.
Používa sa rovnaká maska v každom kroku?
Závisí od implementácie. Návrh môže vzorkovať masky v čase rozdielne, čo mení regularizačné a dynamické vlastnosti.
Čo sa deje pri inferencii?
Stochastika sa vypína alebo sa používa deterministická očakávaná kombinácia. Presný postup musí zodpovedať tréningovej implementácii.
Je Zoneout potrebný pri transformeroch?
Nie je ich typickou regularizáciou, pretože nemajú rovnakú rekurentnú aktualizáciu stavu. Používa sa najmä pri klasických sekvenčných RNN architektúrach.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Krueger et al., Zoneout
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.