Odborná definícia
Význam a odborné vymedzenie pojmu
Normalization layer je modul neurónovej siete, ktorý transformuje aktivácie pomocou štatistík vypočítaných cez zvolené rozmery a následne často aplikuje naučiteľné škálovanie a posun. Batch normalization používa štatistiky dávky, layer normalization normalizuje príznaky v rámci jedného príkladu a group normalization skupiny kanálov. Cieľom je zlepšiť podmienky optimalizácie, kontrolovať rozsah aktivácií a umožniť stabilnejší tréning. Správanie závisí od tréningového a inferenčného režimu aj veľkosti batchu.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Aktivácie v hlbokej sieti môžu počas tréningu meniť rozsah a komplikovať ďalším vrstvám učenie. Normalizačná vrstva ich prepočíta podľa presne určených osí a potom dovolí modelu naučiť si vhodnú mierku. BatchNorm porovnáva príklady v jednej dávke, preto môže byť citlivý na malý batch a pri inferencii používa bežiace štatistiky. LayerNorm pracuje vnútri každého tokenu alebo príkladu, a preto sa hodí pre Transformery a sekvencie s premenlivou dĺžkou.
Časté otázky
Otázky, ktoré spresňujú význam
Aký je hlavný rozdiel medzi BatchNorm a LayerNorm?
BatchNorm počíta priemer a rozptyl cez batch pre každý kanál, LayerNorm cez príznaky jedného príkladu. LayerNorm preto nezávisí od počtu príkladov v dávke.
Prečo má BatchNorm odlišný tréningový a eval režim?
Pri tréningu používa okamžité štatistiky batchu a aktualizuje running estimates. Pri inferencii používa uložené odhady, aby výstup jedného príkladu nezávisel od ostatných príkladov v dávke.
Čo robia parametre gamma a beta?
Po štandardizácii aplikujú naučiteľné násobenie a posun. Sieť tak nie je nútená zostať pri nulovom priemere a jednotkovom rozptyle, ak je pre úlohu vhodná iná mierka.
Prečo BatchNorm zlyháva pri veľmi malom batchi?
Odhad priemeru a rozptylu je hlučný a nemusí reprezentovať distribúciu. GroupNorm alebo LayerNorm poskytujú stabilnejšie štatistiky nezávislé od veľkosti dávky.
Je normalizácia to isté ako normalizácia vstupných dát?
Nie. Vstupná normalizácia je predspracovanie datasetu. Normalizačná vrstva je súčasť modelu, má definované osi, parametre a často odlišné správanie pri tréningu a inferencii.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Batch Normalization Layer Normalization
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.