Odborná definice
Význam a odborné vymezení pojmu
Layer normalization normalizuje aktivace jedné vzorku přes určené rozměry příznaků pomocí jejich průměru a rozptylu, potom aplikuje naučitelnou škálu a posun. Na rozdíl od batch normalization nepotřebuje statistiky napříč batchom a správa se konzistentne i při batch size jeden. Používá se v transformerech, rekurentních sítích a dalších architektúrach. Umístění před nebo za reziduálny blok, hodnota epsilon a rozsah normalized_shape významne ovlivňují stabilitu tréninku.
Srozumitelné vysvětlení
Jak se pojem používá v praxi
Vektor aktivací může mít v každé vrstvě jinou průměrnou úroveň a rozptyl. Layer normalization ho pro konkrétní příklad přepočítá na kontrolovanejšiu škálu a potom dovolí síti naučit si vhodné zosilnení a posun. Keďže neporovnáva různé položky v batchi, výsledek jedné věty nezávisí na toho, jaké další věty byly spracované současně. To je praktické při sekvenciách různé délky a při inferenci. Nesprávně zvolený normalizovaný rozměr však může měnit jinou os, než architekt zamýšlal.
Časté otázky
Otázky, které upřesňují význam
Přes které rozměry Layernorm počítá statistiky?
Přes posledné rozměry určené parametrem normalized_shape. Při transformeri je to často hidden dimension každého tokenu.
Používá při inferenci bežiaci průměr?
Ne. Průměr a rozptyl počítá z aktuálního vstupu, proto nepotřebuje running statistics nazbierané během tréninku.
Co znamená pro-norm a post-norm transformer?
Pro-norm aplikuje normalizaci před attention nebo feed-forward blokom. Post-norm ji umiestňuje po reziduálnom súčte, co mění tok gradientů a stabilitu.
K čemu slouží epsilon?
Malá konštanta v menovateli zabraňuje delení velmi malým rozptylom a zlepšuje numerickou stabilitu, zejména při nižšej přesnosti.
Je Layernorm bez naučitelných parametrů?
Může být, ale běžně má elementwise affine parametry gamma a beta. Ty umožňují síti po normalizaci obnovit vhodnou škálu a posun.
Související pojmy
Významové a tematické souvislosti
Zdroje a redakční stopa
Použitá východiska a odborná revize
- PyTorch, LayerNorm
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.