Odborná definícia
Odborná definícia
Mini-batch je podmnožina tréningových vzoriek spracovaná spoločne pri jednom kroku dopredného výpočtu a aktualizácie parametrov. Gradient vypočítaný z mini-batchu je odhadom gradientu celej tréningovej množiny. Veľkosť dávky ovplyvňuje pamäť, priepustnosť hardvéru, šum gradientu, normalizačné vrstvy aj počet aktualizácií za epochu. Batch size jeden zodpovedá čisto stochastickému režimu, zatiaľ čo full-batch používa všetky tréningové dáta v jednom kroku.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Model nemusí pred každou zmenou váh prepočítať celý dataset. Zoberie napríklad 64 príkladov, odhadne na nich smer zlepšenia, upraví parametre a pokračuje ďalšou skupinou. Menšia dávka vytvára hlučnejší smer, ale robí viac aktualizácií a potrebuje menej pamäte. Väčšia dávka lepšie využíva paralelný hardvér a dáva stabilnejší odhad, no môže vyžadovať inú rýchlosť učenia. Výsledky ovplyvňuje aj spôsob miešania dát, pretože zle zoradené dávky môžu obsahovať iba jednu skupinu alebo časové obdobie.
Časté otázky
Časté otázky
Ako sa volí batch size?
Podľa pamäte, priepustnosti, stability gradientu a validačného výkonu. Najväčšia dávka, ktorá sa zmestí na zariadenie, nemusí generalizovať najlepšie.
Mení batch size počet krokov za epochu?
Áno. Pri N vzorkách a dávke B je približne N/B aktualizácií. Zmena batch size preto mení aj harmonogram učenia a frekvenciu logovania.
Čo je gradient accumulation?
Gradienty z viacerých menších dávok sa sčítajú pred aktualizáciou váh. Simuluje väčšiu efektívnu dávku bez potreby uložiť všetky aktivácie naraz.
Prečo posledná dávka môže mať inú veľkosť?
Ak počet vzoriek nie je deliteľný batch size, zostane menšia skupina. Niektoré pipeline ju zachovajú, iné ju zahodia nastavením drop_last.
Ako mini-batch súvisí s BatchNorm?
BatchNorm používa štatistiky dávky. Veľmi malé alebo nereprezentatívne dávky môžu vytvárať nestabilné priemery a rozptyly, čo mení tréning.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Google Machine Learning Glossary, mini-batch
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.