Odborná definícia
Význam a odborné vymedzenie pojmu
Batch normalization je vrstva, ktorá počas tréningu štandardizuje aktivácie pomocou priemeru a rozptylu vypočítaného z mini-batchu a potom aplikuje naučiteľnú škálu a posun. Pri inferencii sa spravidla používajú priebežne odhadnuté populačné štatistiky, nie štatistiky aktuálnej požiadavky. Metóda často umožňuje vyššiu rýchlosť učenia a stabilnejší tréning, ale jej správanie závisí od veľkosti a reprezentatívnosti dávky. Pri veľmi malých batchoch, sekvenčných modeloch alebo distribuovanom tréningu môže byť vhodnejšia iná normalizácia.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Hodnoty vo vnútri hlbokej siete sa počas učenia menia a môžu dosahovať veľmi rozdielne rozsahy. Batch normalization ich v každej dávke prepočíta do kontrolovanejšieho meradla, no zároveň ponechá vrstve možnosť naučiť si vlastnú škálu a posun. Tréning tak často znesie agresívnejšie kroky a je menej citlivý na inicializáciu. Dôležité je, že tréningový a produkčný režim používajú odlišné štatistiky. Ak sa running mean a variance aktualizujú nesprávne alebo sa zmení distribúcia dát, model môže po nasadení degradovať.
Časté otázky
Otázky, ktoré spresňujú význam
Prečo má batch normalization naučiteľné gamma a beta?
Samotná štandardizácia by nútila aktivácie na pevný priemer a rozptyl. Gamma a beta umožnia sieti obnoviť vhodnú škálu a posun, ak ich úloha potrebuje. Vrstva teda normalizuje, ale neobmedzí reprezentáciu na jediný tvar.
Čo sa mení medzi train a eval režimom?
V train režime sa používajú štatistiky aktuálneho batchu a aktualizujú sa running estimates. V eval režime sa používajú uložené populačné odhady. Zabudnutie prepnutia režimu spôsobuje nestabilné alebo dátovo závislé predikcie.
Prečo je batch normalization problém pri malých dávkach?
Priemer a rozptyl z niekoľkých príkladov sú hlučné a môžu zle reprezentovať populáciu. Výsledkom je nestabilita alebo rozdiel medzi tréningom a inferenciou. Alternatívou býva layer normalization, group normalization alebo synchronizácia štatistík.
Je batch normalization iba regularizácia?
Nie. Môže mať regularizačný efekt cez šum batchových štatistík, ale primárne mení parametrizáciu a dynamiku optimalizácie. Jej prínos nemožno zredukovať na jednu historickú hypotézu o internal covariate shift.
Kde sa BN vrstva zvyčajne umiestňuje?
V CNN sa často používa po lineárnej alebo konvolučnej transformácii a pred aktivačnou funkciou, hoci architektúry sa líšia. Poradie je súčasťou návrhu modelu a pri prenose váh sa nesmie meniť bez nového tréningu alebo validácie.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Ioffe a Szegedy, Batch Normalization, ICML 2015
- Google Machine Learning Glossary
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.