Odborná definice
Význam a odborné vymezení pojmu
Leaky Relu je po častiach lineární aktivační funkce, která pro kladný vstup vrací vstup a pro záporný vstup používá malý nenulový sklon. Záporná větev se zapisuje jako alpha krát x, přičemž alpha je pevný hyperparameter. Funkce zachovává gradient i pro záporné aktivace a může omezit jev dying Relu, při kterém jednotka zůstane trvalo neaktívna. Neodstraňuje však všechny problémy s optimalizací a hodnota záporného sklonu ovlivňuje distribuci aktivací i vhodnou inicializaci.
Srozumitelné vysvětlení
Jak se pojem používá v praxi
Běžná Relu odreže všechny záporné hodnoty na nulu. Pokud se neuron dostane do oblasti, kde jsou jeho vstupy stále záporné, nemusí dostat signál na návrat. Leaky Relu ponechá na této straně mierny svah, například jednu stotinu vstupu. Neuron tedy i při zápornom signále odevzdá malou hodnotu a gradient. Není to automaticky lepší volba pro každou síť. Je třeba ji posuzovat spolu s inicializací, normalizací, hlbkou modelu a empirickým výkonem na cílové úloze.
Časté otázky
Otázky, které upřesňují význam
Jaký je rozdíl mezi Relu a Leaky Relu?
Relu má pro záporné vstupy nulový výstup i gradient. Leaky Relu ponecháva zápornou vetvu s malým konštantným sklonom.
Co je negative_slope?
Koeficient alpha určujúci, jaká část záporného vstupu projde dále. V Pytorch je predvolená hodnota Leakyrelu 0,01.
Jak se liší od Prelu?
Při Leaky Relu je záporný sklon zvolený předem. Prelu ho během tréninku učí jako parameter, případně samostatně pro kanály.
Odstraní dying Relu zcela?
Snižuje riziko nulového gradientu na zápornej straně, ale neuron může být stále málo užitečný pro nevhodné váhy, data nebo optimalizaci.
Vyžaduje jinou inicializaci váh?
He nebo Kaiming inicializace může zohladnit parameter a aktivačnou funkci. Nesúlad mění očekávaný rozptyl signálu v hluboké síti.
Související pojmy
Významové a tematické souvislosti
Zdroje a redakční stopa
Použitá východiska a odborná revize
- PyTorch, LeakyReLU
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.