Epocha tréninku | AI slovník

Odborná definice

Epoch je tréninkový interval, během kterého algoritmus zpracuje přibližně jeden úplný průchod přes tréninkovou množinu. Při datasete s N příklady a batch size B obsahuje epocha přibližně N dělené B aktualizačných kroků, přičemž posledná dávka může být menší. Význam se komplikuje při distribuovanom tréninku, sampling with replacement, nekonečných datových streamoch nebo dynamickej augmentaci. Počet epoch proto není univerzálnou mírou výpočtu a musí se číst spolu s počtem kroků, tokenů a efektivně videných příkladů.

Srozumitelné vysvětlení

Pokud má dataset 100 000 záznamů, jedna epocha znamená, že tréninkový proces jejich v zásade všechny použil raz. Neznamená to však, že model si jejich zapametal nebo že každý příklad prispel stejně. Po premiešaní prichádzají v jiných dávkách a augmentace může vytvořit nové varianty. Při velkém jazykovém modeli se trénink často popisuje dříve počtem tokenů a kroků, protože korpus se nemusí deliť na čisté opakování. Epocha je účtovná jednotka priechodu daty, ne jednotka kvality. Při reportování se uvádí i počet spracovaných tokenů.

Časté otázky

Kolik kroků obsahuje jedna epocha?

Přibližně strop podielu počtu tréninkových příkladů a batch size. Při distribuování se musí zohladnit globální dávka napříč všemi zariadeniami.

Proč se data mezi epochami premiešavají?

Shuffle omezuje závislost aktualizací od původního pořadí a vytváří odlišné složení dávek. Při časových radoch však může být náhodné miešání nevhodné.

Je deset epoch porovnatelných mezi dvěma projektmi?

Ne, pokud se liší velikost datasetu, dávka, sampling, počet tokenů nebo architektura. Lépe je uvést i aktualizačné kroky a výpočetní rozpočet.

Může model vidět ten jistý příklad viackrát v jedné epoche?

Ano při samplingu s opakováním, vyvažování tříd nebo některých distribuovaných sampler-och. Definice epochy je tehdy implementačná konvence.

Kdy se výkon měří po každé epoche?

Při menších datasetech často ano. Při drahom tréninku se validuje po zvoleném počtu kroků, aby interval zodpovedal rychlosti učení a nákladem.

Související pojmy

Zdroje a redakční stopa

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.