Odborná definícia
Význam a odborné vymedzenie pojmu
Activation function, aktivačná funkcia, je matematická transformácia aplikovaná na vážený súčet vstupov neurónu. Zavádza nelinearitu, vďaka ktorej môže viacvrstvová sieť aproximovať zložité vzťahy, namiesto toho, aby sa celý model správal ako jediná lineárna transformácia. Voľba funkcie ovplyvňuje tok gradientov, rýchlosť učenia, stabilitu a rozsah výstupov. Bežné príklady sú ReLU, sigmoid, tanh, GELU a softmax. Vhodnosť sa posudzuje podľa umiestnenia vo vrstve, stratovej funkcie a numerických vlastností počas spätného šírenia.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Neurón najprv spočíta, aký silný signál dostal zo vstupov. Aktivačná funkcia potom rozhodne, ako sa tento signál prenesie ďalej. Bez nej by ani veľa vrstiev nedokázalo vytvoriť skutočne zakrivené rozhodovacie hranice. ReLU prepustí kladné hodnoty a záporné vynuluje, sigmoid stlačí číslo do intervalu od nuly po jednotku. Preto sa rôzne funkcie používajú v skrytých vrstvách a iné na výstupe modelu. Nevhodná voľba sa môže prejaviť pomalým učením, miznúcimi gradientmi alebo výstupom v nesprávnom číselnom rozsahu.
Časté otázky
Otázky, ktoré spresňujú význam
Prečo neurónová sieť potrebuje nelineárnu aktiváciu?
Zloženie viacerých lineárnych vrstiev bez nelinearity je stále iba lineárna transformácia. Taká sieť nedokáže reprezentovať zložité hranice medzi triedami ani komplikované závislosti v obrazoch či jazyku. Nelineárna aktivácia umožní, aby každá vrstva vytvárala nové reprezentácie a aby sa kombináciou vrstiev modelovali funkcie s oveľa bohatším tvarom.
Aký je rozdiel medzi ReLU a sigmoidom?
ReLU vracia maximum z nuly a vstupu, preto sa ľahko počíta a pri kladných hodnotách dobre prenáša gradient. Sigmoid mapuje vstup na hodnotu medzi nulou a jednotkou, čo je vhodné napríklad pre pravdepodobnosť binárnej triedy. V hlbokých skrytých vrstvách môže sigmoid pri veľkých absolútnych vstupoch saturovať a spôsobovať veľmi malé gradienty.
Čo znamená problém dying ReLU?
Neurón s ReLU môže dostať parametre do oblasti, kde sú jeho vstupy dlhodobo záporné. Výstup je potom stále nula a gradient cez daný neurón sa prestane prenášať, takže sa už nemusí zotaviť. Riziko sa znižuje vhodnou inicializáciou, menšou learning rate alebo použitím variantov, ako sú Leaky ReLU či ELU.
Ktorá aktivačná funkcia patrí na výstupnú vrstvu?
Závisí od úlohy. Pri binárnej klasifikácii sa často používa sigmoid, pri výbere jednej z viacerých tried softmax a pri regresii môže byť výstup lineárny. Ak sa predikuje nezáporná veličina alebo ohraničený interval, zvolí sa transformácia rešpektujúca daný rozsah. Výber musí byť zladený so stratovou funkciou a významom výstupu.
Ovplyvňuje aktivačná funkcia tréning veľkého jazykového modelu?
Áno. Moderné transformery často používajú GELU, SiLU alebo ich varianty, pretože poskytujú hladšie správanie než klasická ReLU a môžu zlepšiť optimalizáciu. Aktivácia ovplyvňuje numerickú stabilitu, výpočtovú náročnosť aj to, ako sa informácia prenáša blokmi siete. Nie je však samostatným vysvetlením schopností modelu, tie vznikajú z celej architektúry a tréningu.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Google ML Crash Course, Activation functions
- Google Machine Learning Glossary
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.