Normalizačná vrstva | AI slovník

Odborná definice

Normalization layer je modul neuronové sítě, který transformuje aktivace pomocí statistik vypočítaných přes zvolené rozměry a následně často aplikuje naučitelné škálování a posun. Batch normalization používá statistiky dávky, layer normalization normalizuje příznaky v rámci jednoho příkladu a group normalization skupiny kanálů. Cílem je zlepšit podmínky optimalizace, kontrolovat rozsah aktivací a umožnit stabilnější trénink. Chování závisí na tréninkového a inferenčního režimu i velikosti batchu.

Srozumitelné vysvětlení

Aktivace v hluboké síti mohou během tréninku měnit rozsah a komplikovat dalším vrstvám učení. Normalizačná vrstva jejich přepočítá podle přesně určených osí a potom dovolí modelu naučit si vhodnou měřítko. Batchnorm porovnává příklady v jedné dávce, proto může být citlivý na malý batch a při inferenci používá bežiace statistiky. Layernorm pracuje uvnitř každého tokenu nebo příkladu, a proto se hodí pro Transformery a sekvence s premenlivou délkou.

Časté otázky

Jaký je hlavný rozdíl mezi Batchnorm a Layernorm?

Batchnorm počítá průměr a rozptyl přes batch pro každý kanál, Layernorm přes příznaky jednoho příkladu. Layernorm proto nezávisí na počtu příkladů v dávce.

Proč má Batchnorm odlišný tréninkový a eval režim?

Při tréninku používá okamžité statistiky batchu a aktualizuje running estimates. Při inferenci používá uložené odhady, aby výstup jednoho příkladu nezávisel od ostatních příkladů v dávce.

Co robia parametry gamma a beta?

Po štandardizaci aplikují naučitelné násobení a posun. Síť tak není nútená zůstat při nulovom priemere a jednotkovom rozptyle, pokud je pro úlohu vhodná jiná měřítko.

Proč Batchnorm selhává při velmi malém batchi?

Odhad průměru a rozptylu je hlučný a nemusí reprezentovat distribuci. Groupnorm nebo Layernorm poskytují stabilnejšie statistiky nezávislé od velikosti dávky.

Je normalizace to jisté jako normalizace vstupních dat?

Ne. Vstupní normalizace je předzpracování datasetu. Normalizačná vrstva je součást modelu, má definované osi, parametry a často odlišné chování při tréninku a inferenci.

Související pojmy

Zdroje a redakční stopa

Batch Normalization Layer Normalization

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.