Odborná definícia
Význam a odborné vymedzenie pojmu
Epoch je tréningový interval, počas ktorého algoritmus spracuje približne jeden úplný priechod cez tréningovú množinu. Pri datasete s N príkladmi a batch size B obsahuje epocha približne N delené B aktualizačných krokov, pričom posledná dávka môže byť menšia. Význam sa komplikuje pri distribuovanom tréningu, sampling with replacement, nekonečných dátových streamoch alebo dynamickej augmentácii. Počet epoch preto nie je univerzálnou mierou výpočtu a musí sa čítať spolu s počtom krokov, tokenov a efektívne videných príkladov.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Ak má dataset 100 000 záznamov, jedna epocha znamená, že tréningový proces ich v zásade všetky použil raz. Neznamená to však, že model si ich zapamätal alebo že každý príklad prispel rovnako. Po premiešaní prichádzajú v iných dávkach a augmentácia môže vytvoriť nové varianty. Pri veľkom jazykovom modeli sa tréning často opisuje skôr počtom tokenov a krokov, pretože korpus sa nemusí deliť na čisté opakovania. Epocha je účtovná jednotka priechodu dátami, nie jednotka kvality. Pri reportovaní sa uvádza aj počet spracovaných tokenov.
Časté otázky
Otázky, ktoré spresňujú význam
Koľko krokov obsahuje jedna epocha?
Približne strop podielu počtu tréningových príkladov a batch size. Pri distribuovaní sa musí zohľadniť globálna dávka naprieč všetkými zariadeniami.
Prečo sa dáta medzi epochami premiešavajú?
Shuffle obmedzuje závislosť aktualizácií od pôvodného poradia a vytvára odlišné zloženie dávok. Pri časových radoch však môže byť náhodné miešanie nevhodné.
Je desať epoch porovnateľných medzi dvoma projektmi?
Nie, ak sa líši veľkosť datasetu, dávka, sampling, počet tokenov alebo architektúra. Lepšie je uviesť aj aktualizačné kroky a výpočtový rozpočet.
Môže model vidieť ten istý príklad viackrát v jednej epoche?
Áno pri samplingu s opakovaním, vyvažovaní tried alebo niektorých distribuovaných sampler-och. Definícia epochy je vtedy implementačná konvencia.
Kedy sa výkon meria po každej epoche?
Pri menších datasetoch často áno. Pri drahom tréningu sa validuje po zvolenom počte krokov, aby interval zodpovedal rýchlosti učenia a nákladom.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.