Odborná definícia
Význam a odborné vymedzenie pojmu
Layer normalization normalizuje aktivácie jednej vzorky cez určené rozmery príznakov pomocou ich priemeru a rozptylu, potom aplikuje naučiteľnú škálu a posun. Na rozdiel od batch normalization nepotrebuje štatistiky naprieč batchom a správa sa konzistentne aj pri batch size jeden. Používa sa v transformeroch, rekurentných sieťach a ďalších architektúrach. Umiestnenie pred alebo za reziduálny blok, hodnota epsilon a rozsah normalized_shape významne ovplyvňujú stabilitu tréningu.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Vektor aktivácií môže mať v každej vrstve inú priemernú úroveň a rozptyl. Layer normalization ho pre konkrétny príklad prepočíta na kontrolovanejšiu škálu a potom dovolí sieti naučiť si vhodné zosilnenie a posun. Keďže neporovnáva rôzne položky v batchi, výsledok jednej vety nezávisí od toho, aké ďalšie vety boli spracované súčasne. To je praktické pri sekvenciách rôznej dĺžky a pri inferencii. Nesprávne zvolený normalizovaný rozmer však môže meniť inú os, než architekt zamýšľal.
Časté otázky
Otázky, ktoré spresňujú význam
Cez ktoré rozmery LayerNorm počíta štatistiky?
Cez posledné rozmery určené parametrom normalized_shape. Pri transformeri je to často hidden dimension každého tokenu.
Používa pri inferencii bežiaci priemer?
Nie. Priemer a rozptyl počíta z aktuálneho vstupu, preto nepotrebuje running statistics nazbierané počas tréningu.
Čo znamená pre-norm a post-norm transformer?
Pre-norm aplikuje normalizáciu pred attention alebo feed-forward blokom. Post-norm ju umiestňuje po reziduálnom súčte, čo mení tok gradientov a stabilitu.
Načo slúži epsilon?
Malá konštanta v menovateli zabraňuje deleniu veľmi malým rozptylom a zlepšuje numerickú stabilitu, najmä pri nižšej presnosti.
Je LayerNorm bez naučiteľných parametrov?
Môže byť, ale bežne má elementwise affine parametre gamma a beta. Tie umožňujú sieti po normalizácii obnoviť vhodnú škálu a posun.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- PyTorch, LayerNorm
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.