Odborná definícia
Odborná definícia
Batch je skupina príkladov spracovaných modelom v jednom výpočtovom kroku. Pri tréningu sa strata a gradient zvyčajne odhadujú z mini-batchu, po ktorom optimalizátor aktualizuje parametre. Veľkosť dávky ovplyvňuje pamäťové nároky, paralelizáciu, šum gradientu, rýchlosť konvergencie a niekedy aj generalizáciu. Full batch obsahuje celý tréningový súbor, stochastic režim pracuje s jedným príkladom a mini-batch používa počet medzi týmito extrémami. Dávka pri inferencii môže združovať nezávislé požiadavky kvôli vyššej priepustnosti.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Namiesto toho, aby sieť po každom jednom zázname okamžite zmenila váhy, spracuje napríklad 64 príkladov, z ich chýb vypočíta spoločný gradient a až potom urobí aktualizáciu. Menšia dávka prináša hlučnejší, ale častejší signál a zmestí sa do menšej pamäte. Väčšia dávka lepšie využije akcelerátor a vytvorí stabilnejší odhad, no nemusí automaticky zlepšiť výsledok. Pri online službe sa batching používa aj tak, že server na krátky okamih spojí viac požiadaviek, aby ich GPU vyriešilo naraz.
Časté otázky
Časté otázky
Ako sa volí batch size?
Voľba závisí od pamäte, architektúry, optimalizátora, dĺžky vstupov a cieľa priepustnosti. Prakticky sa testuje viac veľkostí, pričom sa upraví learning rate a sleduje rýchlosť, stabilita, validačná strata aj náklady.
Čo je gradient accumulation?
Model spracuje niekoľko menších micro-batchov, gradienty sčíta a parametre aktualizuje až po stanovenom počte krokov. Simuluje väčšiu efektívnu dávku bez potreby držať všetky príklady v pamäti naraz.
Prečo majú sekvenčné modely padding v dávke?
Sekvencie majú rôznu dĺžku, no tenzor v dávke býva obdĺžnikový. Kratšie vstupy sa doplnia padding tokenmi a maskou. Zoskupovanie podobných dĺžok znižuje zbytočný výpočet nad paddingom.
Je väčší batch vždy rýchlejší?
Nie. Po prekročení kapacity hardvéru rastie komunikácia, pamäťový tlak alebo čas jedného kroku. Pri interaktívnej inferencii môže čakanie na naplnenie dávky zhoršiť latenciu, hoci zvýši priepustnosť.
Môžu sa príklady v batchi navzájom ovplyvniť?
Pri bežných vrstvách sú spracované nezávisle, ale batch normalization používa štatistiky celej dávky. Dynamické batchovanie môže ovplyvniť aj čas odozvy. Preto treba rozlišovať matematickú nezávislosť predikcií od spoločného využitia výpočtu.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Google Machine Learning Glossary, batch and batch size
- Google Machine Learning Glossary
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.