Mini dávka tréninkových příkladů | AI slovník

Odborná definice

Mini-batch je podmnožina tréninkových vzorků spracovaná společně při jednom kroku dopredného výpočtu a aktualizace parametrů. Gradient vypočítaný z mini-batchu je odhadom gradientu celé tréninkové množiny. Velikost dávky ovlivňuje paměť, propustnost hardwaru, šum gradientu, normalizačné vrstvy i počet aktualizací za epochu. Batch size jeden odpovídá čisto stochastickému režimu, zatímco full-batch používá všechny tréninková data v jednom kroku.

Srozumitelné vysvětlení

Model nemusí před každou změnou váh prepočítat celý dataset. Zoberie například 64 příkladů, odhadne na nich směr zlepšení, upraví parametry a pokračuje ďalšou skupinou. Menší dávka vytváří hlučnejší směr, ale dělá více aktualizací a potřebuje méně paměti. Větší dávka lépe využívá paralelní hardware a dává stabilnější odhad, ale může vyžadovat jinou rychlost učení. Výsledky ovlivňuje i způsob miešání dat, protože špatně zoradené dávky mohou obsahovat pouze jednu skupinu nebo časové období.

Časté otázky

Jak se volí batch size?

Podle paměti, propustnosti, stability gradientu a validačního výkonu. Največšia dávka, která se zmestí na zařízení, nemusí generalizovat nejlépe.

Mění batch size počet kroků za epochu?

Ano. Při N vzorcích a dávce B je přibližně N/B aktualizací. Změna batch size proto mění i harmonogram učení a frekvenci logování.

Co je gradient accumulation?

Gradienty z více menších dávek se sčítají před aktualizací váh. Simuluje větší efektívnu dávku bez potřeby uložit všechny aktivace najednou.

Proč posledná dávka může mít jinou velikost?

Pokud počet vzorků není delitelný batch size, zůstane menší skupina. Některé pipeline ji zachovají, jiné ji zahodia nastavením drop_last.

Jako mini-batch souvisí s Batchnorm?

Batchnorm používá statistiky dávky. Velmi malé nebo nereprezentatívne dávky mohou vytvářet nestabilní priemery a rozptyly, co mění trénink.

Související pojmy

Zdroje a redakční stopa

Google Machine Learning Glossary, mini-batch

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.