Odborná definice
Odborná definice
Dropout je regularizačná technika pro neuronové sítě, při které se během tréninku náhodně vynuluje část aktivací vybraných neuronů. Síť se tak nemůže spoliehat na stále stejnou úzku kombinaci jednotek a učí redundantnejšie, všeobecnejšie reprezentace. Při inferenci se neuróny nevypínají, místo toho se použije zodpovedajúce škálování aktivací. Dropout může snížit přeučení, ale jeho vhodná míra závisí na architektury, velikosti dat, normalizace a místa aplikace v síti.
Srozumitelné vysvětlení
Srozumitelné vysvětlení
Pokud se tím při každé úloze opiera pouze o jednoho odborníka, jeho výpadok zastaví celý proces. Dropout během tréninku náhodně dočasne odpojí část neuronů, takže ostatní musí zvládnout úlohu bez pevnej závislosti od konkrétní cesty. Model se tím učí více alternatívnych reprezentací. Při reálném použití se už nic náhodně nevypína. Technika však není univerzální liek. V transformerových blokoch, konvolučných sítích a malých datasetech se optimální hodnota liší a příliš silný dropout vede k podučení.
Časté otázky
Časté otázky
Co znamená dropout rate 0,2?
Během tréninku se přibližně 20 procent vybraných aktivací náhodně vynuluje při každém kroku nebo dávce podle implementace.
Používá se dropout i během inference?
Běžně ne. Síť pracuje deterministicky se všemi jednotkami a škálování zabezpečí zhodnou očakávanou velikost aktivací.
Co je Monte Carlo dropout?
Dropout zůstane aktivní i při více inferenciách. Variabilita výstupů se používá jako približný signál epistemickej nejistoty.
Může dropout zhoršit model?
Ano. Při vysoké miere, malém modeli nebo v kombinaci s inou silnou regularizací může bránit učení a snížit přesnost.
Jak se liší od weight decay?
Dropout náhodně mění aktívnu síť během tréninku. Weight decay penalizuje velikost parametrů a působí přímo na optimalizační cíl.
Související pojmy
Související pojmy
Zdroje a redakční stopa
Zdroje a redakční stopa
- Dropout: A Simple Way to Prevent Neural Networks from Overfitting
- Google Machine Learning Glossary, dropout
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.