Odborná definícia
Význam a odborné vymedzenie pojmu
Zoneout je stochastická regularizačná technika pre rekurentné neurónové siete, pri ktorej sa náhodne vybrané zložky skrytého alebo bunkového stavu v danom časovom kroku nemenia a preberú hodnotu z predchádzajúceho kroku. Na rozdiel od dropout ich nenahrádza nulou. Mechanizmus vytvára náhodné časové cesty identity, podporuje zachovanie informácie a pri tréningu simuluje súbor mierne odlišných rekurentných dynamík. Pri inferencii sa používa očakávané správanie podľa implementácie.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Dropout časť signálu dočasne vypne, Zoneout časť pamäte nechá presne takú, aká bola o krok skôr. Rekurentný model sa preto nemôže spoliehať na to, že každú zložku stavu vždy prepíše novou hodnotou. Učí sa pracovať s odolnejšími pamäťovými cestami a môže menej preučiť sekvenčné dáta. Miera zoneoutu sa volí oddelene pre skrytý a bunkový stav. Príliš vysoká hodnota spomaľuje aktualizáciu pamäte a model môže prehliadať rýchle zmeny vstupu.
Časté otázky
Otázky, ktoré spresňujú význam
Aký je hlavný rozdiel oproti recurrent dropout?
Zoneout zachová starý stav, zatiaľ čo dropout vybrané aktivácie nuluje alebo maskuje. Časová identita je preto explicitnou súčasťou mechanizmu.
Na ktoré siete sa pôvodne zameriaval?
Na RNN a najmä LSTM, kde možno samostatne maskovať bunkový stav a výstupný skrytý stav.
Používa sa rovnaká maska v každom kroku?
Závisí od implementácie. Návrh môže vzorkovať masky v čase rozdielne, čo mení regularizačné a dynamické vlastnosti.
Čo sa deje pri inferencii?
Stochastika sa vypína alebo sa používa deterministická očakávaná kombinácia. Presný postup musí zodpovedať tréningovej implementácii.
Je Zoneout potrebný pri transformeroch?
Nie je ich typickou regularizáciou, pretože nemajú rovnakú rekurentnú aktualizáciu stavu. Používa sa najmä pri klasických sekvenčných RNN architektúrach.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Krueger et al., Zoneout
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.