Odborná definícia
Odborná definícia
Dropout je regularizačná technika pre neurónové siete, pri ktorej sa počas tréningu náhodne vynuluje časť aktivácií vybraných neurónov. Sieť sa tak nemôže spoliehať na stále rovnakú úzku kombináciu jednotiek a učí redundantnejšie, všeobecnejšie reprezentácie. Pri inferencii sa neuróny nevypínajú, namiesto toho sa použije zodpovedajúce škálovanie aktivácií. Dropout môže znížiť preučenie, no jeho vhodná miera závisí od architektúry, veľkosti dát, normalizácie a miesta aplikácie v sieti.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Ak sa tím pri každej úlohe opiera iba o jedného odborníka, jeho výpadok zastaví celý proces. Dropout počas tréningu náhodne dočasne odpojí časť neurónov, takže ostatné musia zvládnuť úlohu bez pevnej závislosti od konkrétnej cesty. Model sa tým učí viac alternatívnych reprezentácií. Pri reálnom použití sa už nič náhodne nevypína. Technika však nie je univerzálny liek. V transformerových blokoch, konvolučných sieťach a malých datasetoch sa optimálna hodnota líši a príliš silný dropout vedie k podučeniu.
Časté otázky
Časté otázky
Čo znamená dropout rate 0,2?
Počas tréningu sa približne 20 percent vybraných aktivácií náhodne vynuluje pri každom kroku alebo dávke podľa implementácie.
Používa sa dropout aj počas inferencie?
Bežne nie. Sieť pracuje deterministicky so všetkými jednotkami a škálovanie zabezpečí zhodnú očakávanú veľkosť aktivácií.
Čo je Monte Carlo dropout?
Dropout zostane aktívny aj pri viacerých inferenciách. Variabilita výstupov sa používa ako približný signál epistemickej neistoty.
Môže dropout zhoršiť model?
Áno. Pri vysokej miere, malom modeli alebo v kombinácii s inou silnou regularizáciou môže brániť učeniu a znížiť presnosť.
Ako sa líši od weight decay?
Dropout náhodne mení aktívnu sieť počas tréningu. Weight decay penalizuje veľkosť parametrov a pôsobí priamo na optimalizačný cieľ.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Dropout: A Simple Way to Prevent Neural Networks from Overfitting
- Google Machine Learning Glossary, dropout
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.