Odborná definícia
Význam a odborné vymedzenie pojmu
Xavier initialization, známa aj ako Glorot initialization, nastavuje počiatočnú mierku váh podľa počtu vstupných a výstupných spojení vrstvy. Uniformná alebo normálna verzia volí rozptyl tak, aby sa pri doprednom aj spätnom prechode približne zachovala veľkosť signálu. Metóda bola navrhnutá najmä pre symetrické saturujúce aktivácie, napríklad tanh, a lineárne vrstvy. Pri ReLU sa často uprednostňuje He inicializácia. Xavier neodstraňuje potrebu normalizácie, vhodného learning rate ani kontroly reziduálnych vetiev. Nesprávny gain môže stále viesť k miznúcim alebo explodujúcim gradientom.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Na začiatku tréningu ešte váhy nič nevedia, ale ich veľkosť rozhoduje, či signál prejde sieťou v použiteľnom rozsahu. Xavier vypočíta mierku z počtu vstupov a výstupov vrstvy. Úzka vrstva a široká vrstva teda nedostanú slepo rovnaké náhodné čísla. Cieľom je, aby aktivácie ani gradienty po každej vrstve prudko nerástli alebo nezanikali. Pri ReLU sa však časť hodnôt vynuluje, preto sa zvyčajne používa iné škálovanie. Kontrola histogramov aktivácií po prvých dávkach dokáže rýchlo odhaliť nevhodne zvolenú mierku.
Časté otázky
Otázky, ktoré spresňujú význam
Čo znamenajú fan-in a fan-out?
Fan-in je počet vstupných spojení neurónu alebo vrstvy, fan-out počet výstupných spojení. Xavier používa obe hodnoty pri výpočte rozptylu.
Je Xavier vhodný pre ReLU?
Môže fungovať, ale He initialization lepšie zohľadňuje nulovanie záporných aktivácií. Voľba sa overuje podľa stability a architektúry.
Aký je rozdiel medzi uniformnou a normálnou verziou?
Obe cielia podobný rozptyl, jedna vzorkuje z ohraničeného rovnomerného rozdelenia a druhá z normálneho. Chvosty a maximálne hodnoty sa líšia.
Prečo sa pri niektorých aktiváciách používa gain?
Gain upravuje mierku podľa zmeny rozptylu spôsobenej aktivačnou funkciou. Nesprávna hodnota môže zhoršiť tok signálu napriek správnemu fan-in a fan-out.
Týka sa Xavier aj predtrénovaného modelu?
Načítané vrstvy už majú naučené váhy. Xavier sa používa pre novo pridané hlavy, nahradené projekcie alebo model trénovaný od začiatku.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Understanding the Difficulty of Training Deep Feedforward Neural Networks
- PyTorch, Xavier initialization
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.