Normalizace podle odmocniny střední kvadratické hodnoty, Rmsnorm

Odborná definice

RMS normalization, Rmsnorm, škáluje vektor aktivací jeho root mean square hodnotou a následně používá naučený násobný parameter. Na rozdíl od Layernorm neodčítava průměr, takže poskytuje invarianci vůči preškálování, ne vůči posunu. Menovatel obsahuje malou konštantu epsilon pro numerickou stabilitu. Vynechání centrování snižuje počet operací a Rmsnorm se proto často používá v moderných jazykových modelech. Výmena Layernorm za Rmsnorm však není obecně funkčne ekvivalentná bez nového tréninku nebo analýzy architektury.

Srozumitelné vysvětlení

Před vstupem do další vrstvy Rmsnorm změří typickou velikost čísel ve vektore a celý vektor podle ní preškáluje. Velký a malý signál se tak dostanou na porovnatelnou úroveň, přičemž směr informace zůstane zachovaný. Vrstva nerieši, zda jsou hodnoty posunuté nad nebo pod nulu, protože průměr neodčítava. Je jednodušší než Layernorm a v Transformerech může snížit výpočtovou réžiu, ale model musí být navržený nebo trénovaný s její vlastnostmi. Rozdíl se prejaví zejména při prenose existujúcich váh nebo při numericky citlivom tréninku.

Časté otázky

Jaký je základní vzorec Rmsnorm?

Vektor x se dělí odmocninou z průměru x² plus epsilon a výsledek se násobí naučeným scale vektorem. Bias se v původní formulaci nepoužívá.

Proč Rmsnorm neodčítava průměr?

Autori predpokladali, že re-centering invariance Layernorm není vždy potřebná. Odstranění centrování zjednodušuje výpočet a zachovává re-scaling invariance.

Kde se Rmsnorm umiestňuje v Transformeri?

Často před attention a MLP blokom v pro-norm architektúre, ale konkrétní dizajn závisí na modelové rodiny. Umístění ovlivňuje stabilitu i škálu reziduálnej větve.

Lze Layernorm nahradit Rmsnorm bez fine-tuningu?

Ne automaticky. Změna odstraní centrování a může změnit funkci sítě. Bezpečná náhrada vyžaduje experiment, konverznou metódu nebo opetovný trénink.

Co se stane při velmi malých aktivacích?

Epsilon zabrání delení nulou a omezí extrémně zosilnení. Jeho hodnota je součást implementace a může ovlivnit numeriku při nižšej přesnosti.

Související pojmy

Zdroje a redakční stopa

Zhang and Sennrich, Root Mean Square Layer Normalization, 2019

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.