Leaky Relu | AI slovník | DNA marketing®

Odborná definice

Leaky Relu je po častiach lineární aktivační funkce, která pro kladný vstup vrací vstup a pro záporný vstup používá malý nenulový sklon. Záporná větev se zapisuje jako alpha krát x, přičemž alpha je pevný hyperparameter. Funkce zachovává gradient i pro záporné aktivace a může omezit jev dying Relu, při kterém jednotka zůstane trvalo neaktívna. Neodstraňuje však všechny problémy s optimalizací a hodnota záporného sklonu ovlivňuje distribuci aktivací i vhodnou inicializaci.

Srozumitelné vysvětlení

Běžná Relu odreže všechny záporné hodnoty na nulu. Pokud se neuron dostane do oblasti, kde jsou jeho vstupy stále záporné, nemusí dostat signál na návrat. Leaky Relu ponechá na této straně mierny svah, například jednu stotinu vstupu. Neuron tedy i při zápornom signále odevzdá malou hodnotu a gradient. Není to automaticky lepší volba pro každou síť. Je třeba ji posuzovat spolu s inicializací, normalizací, hlbkou modelu a empirickým výkonem na cílové úloze.

Časté otázky

Jaký je rozdíl mezi Relu a Leaky Relu?

Relu má pro záporné vstupy nulový výstup i gradient. Leaky Relu ponecháva zápornou vetvu s malým konštantným sklonom.

Co je negative_slope?

Koeficient alpha určujúci, jaká část záporného vstupu projde dále. V Pytorch je predvolená hodnota Leakyrelu 0,01.

Jak se liší od Prelu?

Při Leaky Relu je záporný sklon zvolený předem. Prelu ho během tréninku učí jako parameter, případně samostatně pro kanály.

Odstraní dying Relu zcela?

Snižuje riziko nulového gradientu na zápornej straně, ale neuron může být stále málo užitečný pro nevhodné váhy, data nebo optimalizaci.

Vyžaduje jinou inicializaci váh?

He nebo Kaiming inicializace může zohladnit parameter a aktivačnou funkci. Nesúlad mění očekávaný rozptyl signálu v hluboké síti.

Související pojmy

Zdroje a redakční stopa

PyTorch, LeakyReLU

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.