Odborná definícia
Odborná definícia
RMS normalization, RMSNorm, škáluje vektor aktivácií jeho root mean square hodnotou a následne používa naučený násobný parameter. Na rozdiel od LayerNorm neodčítava priemer, takže poskytuje invarianciu voči preškálovaniu, nie voči posunu. Menovateľ obsahuje malú konštantu epsilon pre numerickú stabilitu. Vynechanie centrovania znižuje počet operácií a RMSNorm sa preto často používa v moderných jazykových modeloch. Výmena LayerNorm za RMSNorm však nie je všeobecne funkčne ekvivalentná bez nového tréningu alebo analýzy architektúry.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Pred vstupom do ďalšej vrstvy RMSNorm zmeria typickú veľkosť čísel vo vektore a celý vektor podľa nej preškáluje. Veľký a malý signál sa tak dostanú na porovnateľnú úroveň, pričom smer informácie zostane zachovaný. Vrstva nerieši, či sú hodnoty posunuté nad alebo pod nulu, pretože priemer neodčítava. Je jednoduchšia než LayerNorm a v Transformeroch môže znížiť výpočtovú réžiu, ale model musí byť navrhnutý alebo trénovaný s jej vlastnosťami. Rozdiel sa prejaví najmä pri prenose existujúcich váh alebo pri numericky citlivom tréningu.
Časté otázky
Časté otázky
Aký je základný vzorec RMSNorm?
Vektor x sa delí odmocninou z priemeru x² plus epsilon a výsledok sa násobí naučeným scale vektorom. Bias sa v pôvodnej formulácii nepoužíva.
Prečo RMSNorm neodčítava priemer?
Autori predpokladali, že re-centering invariance LayerNorm nie je vždy potrebná. Odstránenie centrovania zjednodušuje výpočet a zachováva re-scaling invariance.
Kde sa RMSNorm umiestňuje v Transformeri?
Často pred attention a MLP blokom v pre-norm architektúre, ale konkrétny dizajn závisí od modelovej rodiny. Umiestnenie ovplyvňuje stabilitu aj škálu reziduálnej vetvy.
Možno LayerNorm nahradiť RMSNorm bez fine-tuningu?
Nie automaticky. Zmena odstráni centrovanie a môže zmeniť funkciu siete. Bezpečná náhrada vyžaduje experiment, konverznú metódu alebo opätovný tréning.
Čo sa stane pri veľmi malých aktiváciách?
Epsilon zabráni deleniu nulou a obmedzí extrémne zosilnenie. Jeho hodnota je súčasť implementácie a môže ovplyvniť numeriku pri nižšej presnosti.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Zhang and Sennrich, Root Mean Square Layer Normalization, 2019
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.