aktivační funkce | AI slovník

Odborná definice

Activation function, aktivační funkce, je matematická transformace aplikovaná na vážený součet vstupů neuronu. Zavádí nelinearitu, díky které může vícevrstvá síť aproximovat složité vztahy, místo toho, aby se celý model choval jako jediná lineární transformace. Volba funkce ovlivňuje tok gradientů, rychlost učení, stabilitu a rozsah výstupů. Běžné příklady jsou Relu, sigmoid, tanh, GELU a softmax. Vhodnost se posuzuje podle umístění ve vrstvě, ztrátové funkce a numerických vlastností během zpětného šíření.

Srozumitelné vysvětlení

Neuron nejprve spočítá, jaký silný signál dostal ze vstupů. Aktivační funkce potom rozhodne, jak se tento signál přenese dále. Bez ní by ani mnoho vrstev nedokázalo vytvořit skutečně zakřivené rozhodovací hranice. Relu propustí kladné hodnoty a záporné vynuluje, sigmoid stlačí číslo do intervalu od nuly po jedničku. Proto se různé funkce používají ve skrytých vrstvách a jiné na výstupu modelu. Nevhodná volba se může projevit pomalým učením, mizejícími gradienty nebo výstupem v nesprávném číselném rozsahu.

Časté otázky

Proč neuronová síť potřebuje nelineárnu aktivaci?

Složení více lineárních vrstev bez nelinearity je stále pouze lineární transformace. Taká síť nedokáže reprezentovat složité hranice mezi třídami ani komplikované závislosti v obrazech či jazyku. Nelineárna aktivace umožní, aby každá vrstva vytvárala nové reprezentace a aby se kombinací vrstev modelovali funkce s ovela bohatším tvarem.

Jaký je rozdíl mezi Relu a sigmoidom?

Relu vrací maximum z nuly a vstupu, proto se lahko počítá a při kladných hodnotách dobře přenáší gradient. Sigmoid mapuje vstup na hodnotu mezi nulou a jednotkou, co je vhodné například pro pravděpodobnost binární třídy. V hlubokých skrytých vrstvách může sigmoid při velkých absolútnych vstupech saturovat a spůsobovat velmi malé gradienty.

Co znamená problém dying Relu?

Neuron s Relu může dostat parametry do oblasti, kde jsou jeho vstupy dlhodobo záporné. Výstup je potom stále nula a gradient přes daný neuron se přestane prenášat, takže se už nemusí zotavit. Riziko se snižuje vhodnou inicializací, menšou learning rate nebo použitím variant, jako jsou Leaky Relu či ELU.

Která aktivační funkce patří na výstupnou vrstvu?

Závisí na úlohy. Při binární klasifikaci se často používá sigmoid, při výběru jedné z více tříd softmax a při regresii může být výstup lineární. Pokud se predikuje nezáporná veličina nebo ohraničený interval, zvolí se transformace rešpektujúca daný rozsah. Výběr musí být zladený se ztrátovou funkcí a významom výstupu.

Ovlivňuje aktivační funkce trénink velkého jazykového modelu?

Ano. Moderní transformery často používají GELU, Silu nebo jejich varianty, protože poskytují hladšie chování než klasická Relu a mohou zlepšit optimalizaci. Aktivace ovlivňuje numerickou stabilitu, výpočtovou náročnost i to, jak se informace přenáší bloky sítě. Není však samostatným vysvětlením schopností modelu, ty vznikají z celé architektury a tréninku.

Související pojmy

Zdroje a redakční stopa

Google ML Crash Course, Activation functions
Google Machine Learning Glossary

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.