Odborná definícia
Odborná definícia
Normalization layer je modul neurónovej siete, ktorý transformuje aktivácie pomocou štatistík vypočítaných cez zvolené rozmery a následne často aplikuje naučiteľné škálovanie a posun. Batch normalization používa štatistiky dávky, layer normalization normalizuje príznaky v rámci jedného príkladu a group normalization skupiny kanálov. Cieľom je zlepšiť podmienky optimalizácie, kontrolovať rozsah aktivácií a umožniť stabilnejší tréning. Správanie závisí od tréningového a inferenčného režimu aj veľkosti batchu.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Aktivácie v hlbokej sieti môžu počas tréningu meniť rozsah a komplikovať ďalším vrstvám učenie. Normalizačná vrstva ich prepočíta podľa presne určených osí a potom dovolí modelu naučiť si vhodnú mierku. BatchNorm porovnáva príklady v jednej dávke, preto môže byť citlivý na malý batch a pri inferencii používa bežiace štatistiky. LayerNorm pracuje vnútri každého tokenu alebo príkladu, a preto sa hodí pre Transformery a sekvencie s premenlivou dĺžkou.
Časté otázky
Časté otázky
Aký je hlavný rozdiel medzi BatchNorm a LayerNorm?
BatchNorm počíta priemer a rozptyl cez batch pre každý kanál, LayerNorm cez príznaky jedného príkladu. LayerNorm preto nezávisí od počtu príkladov v dávke.
Prečo má BatchNorm odlišný tréningový a eval režim?
Pri tréningu používa okamžité štatistiky batchu a aktualizuje running estimates. Pri inferencii používa uložené odhady, aby výstup jedného príkladu nezávisel od ostatných príkladov v dávke.
Čo robia parametre gamma a beta?
Po štandardizácii aplikujú naučiteľné násobenie a posun. Sieť tak nie je nútená zostať pri nulovom priemere a jednotkovom rozptyle, ak je pre úlohu vhodná iná mierka.
Prečo BatchNorm zlyháva pri veľmi malom batchi?
Odhad priemeru a rozptylu je hlučný a nemusí reprezentovať distribúciu. GroupNorm alebo LayerNorm poskytujú stabilnejšie štatistiky nezávislé od veľkosti dávky.
Je normalizácia to isté ako normalizácia vstupných dát?
Nie. Vstupná normalizácia je predspracovanie datasetu. Normalizačná vrstva je súčasť modelu, má definované osi, parametre a často odlišné správanie pri tréningu a inferencii.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Batch Normalization Layer Normalization
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.