Odborná definícia
Význam a odborné vymedzenie pojmu
Zero initialization je nastavenie váh alebo iných parametrov modelu na nulovú hodnotu pred optimalizáciou. Pri viacneurónovej vrstve sa nulová inicializácia všetkých váh spravidla nepoužíva, pretože neuróny dostanú rovnaké gradienty a zostanú symetrické, takže sa nenaučia rozdielne príznaky. Nulou sa však bežne inicializujú biasy, niektoré reziduálne škály, stavové buffery alebo výstupné vrstvy, keď návrh zámerne vyžaduje počiatočnú nulovú funkciu. Vhodnosť závisí od parametra a toku gradientu.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Ak všetkým neurónom v jednej vrstve dáte rovnaké nulové váhy, každý uvidí rovnaký vstup, vypočíta rovnaký výstup a dostane rovnakú opravu. Ani po mnohých krokoch sa nerozdelia na špecialistov. Náhodná inicializácia túto symetriu rozbije. Nula však nie je všeobecne zakázaná, bias môže začínať nulou a niektoré adaptérne alebo reziduálne vetvy sa zámerne spúšťajú bez vplyvu na základný model. Rozhodujúce je, či nulový štart zablokuje učenie požadovanej štruktúry.
Časté otázky
Otázky, ktoré spresňujú význam
Prečo nulové váhy porušujú učenie skrytej vrstvy?
Všetky neuróny majú identické aktivácie aj gradienty. Optimalizátor ich preto aktualizuje rovnako a vrstva sa správa ako jeden opakovaný neurón.
Môžu biasy začínať nulou?
Vo väčšine vrstiev áno, pretože rozdielne náhodné váhy už symetriu neurónov rozbili. Existujú však úlohy s účelovým nenulovým biasom.
Kedy je nulový výstup žiaduci?
Pri reziduálnej vetve alebo adaptéri, ktorý má na začiatku zachovať pôvodnú funkciu a pridávať vplyv až počas učenia.
Týka sa problém aj lineárnej regresie?
Nie rovnakým spôsobom. Konvexný lineárny model môže z nulových parametrov normálne optimalizovať, pretože nemá skupinu symetrických skrytých neurónov.
Ako sa volí alternatíva?
Používa sa Xavierova alebo He inicializácia podľa aktivačnej funkcie, fan-in, fan-out a požadovanej stability variancie signálu.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- PyTorch, nn.init
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.