Odborná definícia
Odborná definícia
Leaky ReLU je po častiach lineárna aktivačná funkcia, ktorá pre kladný vstup vracia vstup a pre záporný vstup používa malý nenulový sklon. Záporná vetva sa zapisuje ako alpha krát x, pričom alpha je pevný hyperparameter. Funkcia zachováva gradient aj pre záporné aktivácie a môže obmedziť jav dying ReLU, pri ktorom jednotka zostane trvalo neaktívna. Neodstraňuje však všetky problémy s optimalizáciou a hodnota záporného sklonu ovplyvňuje distribúciu aktivácií aj vhodnú inicializáciu.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Bežná ReLU odreže všetky záporné hodnoty na nulu. Ak sa neurón dostane do oblasti, kde sú jeho vstupy stále záporné, nemusí dostať signál na návrat. Leaky ReLU ponechá na tejto strane mierny svah, napríklad jednu stotinu vstupu. Neurón teda aj pri zápornom signále odovzdá malú hodnotu a gradient. Nie je to automaticky lepšia voľba pre každú sieť. Treba ju posudzovať spolu s inicializáciou, normalizáciou, hĺbkou modelu a empirickým výkonom na cieľovej úlohe.
Časté otázky
Časté otázky
Aký je rozdiel medzi ReLU a Leaky ReLU?
ReLU má pre záporné vstupy nulový výstup aj gradient. Leaky ReLU ponecháva zápornú vetvu s malým konštantným sklonom.
Čo je negative_slope?
Koeficient alpha určujúci, aká časť záporného vstupu prejde ďalej. V PyTorch je predvolená hodnota LeakyReLU 0,01.
Ako sa líši od PReLU?
Pri Leaky ReLU je záporný sklon zvolený vopred. PReLU ho počas tréningu učí ako parameter, prípadne samostatne pre kanály.
Odstráni dying ReLU úplne?
Znižuje riziko nulového gradientu na zápornej strane, ale neurón môže byť stále málo užitočný pre nevhodné váhy, dáta alebo optimalizáciu.
Vyžaduje inú inicializáciu váh?
He alebo Kaiming inicializácia môže zohľadniť parameter a aktivačnú funkciu. Nesúlad mení očakávaný rozptyl signálu v hlbokej sieti.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- PyTorch, LeakyReLU
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.