Xavier initialization

Xavier initialization je inicializácia váh škálovaná podľa počtu vstupných a výstupných spojení s cieľom udržať stabilnú varianciu aktivácií.

Použitie závisí od konkrétnej úlohy a očakávaného výsledku. V praxi sa prínos metódy overuje porovnaním s jednoduchšou základnou verziou a na dátach zodpovedajúcich cieľu.

Overenie sa robí na reprezentatívnych dátach alebo scenároch, voči jasnej porovnávacej základni a pomocou metrík zodpovedajúcich reálnemu cieľu. Kontrola má zahŕňať aj hraničné prípady, neistotu a prevádzkové náklady.

Rizikom je použitie bez porovnávacej základne, prenos do nevhodnej domény alebo skrytý vedľajší účinok. Prínos sa musí overiť kontrolovaným experimentom na dátach zodpovedajúcich cieľu.

Xavier initialization sa od pojmov Yeo-Johnson transformation, Wrapper method, Windowing odlišuje funkciou, vstupmi, spôsobom výpočtu a účelom výsledku. Súvisiace pojmy môžu spolupracovať, nie sú však automaticky zameniteľné.