Odborná definícia
Odborná definícia
Training loss je hodnota cieľovej funkcie vypočítaná na tréningových príkladoch, ktorú optimalizátor používa na aktualizáciu parametrov. Môže byť priemerom cross-entropy, regresnej chyby, kontrastívnej straty alebo kombinácie viacerých členov a regularizácií. Pokles tréningovej straty znamená lepšie prispôsobenie použitým dátam podľa zvoleného cieľa, nie automaticky lepší výkon na nových dátach. Interpretácia vyžaduje validačnú stratu, škálu, spôsob agregácie a zloženie dávok. Graf straty sa interpretuje spolu s learning rate, gradient normou, priepustnosťou a validačnými checkpointmi.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Strata je číselný signál, ktorý modelu hovorí, akým smerom upraviť parametre. Pri klasifikácii trestá nízku pravdepodobnosť správnej triedy, pri regresii rozdiel medzi predikciou a hodnotou. Model dokáže tréningovú stratu znižovať aj zapamätaním šumu. Preto sa vedľa nej sleduje validačný výkon. Dôležité je tiež vedieť, čo číslo obsahuje. Ak sa k hlavnej chybe pripočíta regularizácia alebo pomocná úloha, dve krivky s rovnakým názvom nemusia byť priamo porovnateľné. Náhly pokles môže znamenať zlepšenie, ale aj chybu v škálovaní, zmene dát alebo vynechaní časti cieľa.
Časté otázky
Časté otázky
Je nižšia training loss vždy lepšia?
Iba na tréningovom cieli. Ak validačná strata rastie alebo sa zhoršuje kritická metrika, ďalší pokles môže znamenať preučenie alebo optimalizáciu nesprávneho cieľa.
Prečo loss počas tréningu kolíše?
Mini-batche obsahujú rozdielne príklady a optimalizácia je stochastická. Kolísanie ovplyvňuje learning rate, veľkosť dávky, augmentácia aj numerická presnosť.
Ako sa líši loss od metriky?
Loss musí byť vhodná na optimalizáciu gradientom. Metrika vyjadruje praktický výsledok, napríklad F1 alebo presnosť, a nemusí byť diferencovateľná.
Čo znamená validačný gap?
Rozdiel medzi tréningovou a validačnou stratou alebo metrikou. Rastúci gap môže signalizovať preučenie, ale závisí aj od rozdielnej obtiažnosti a spracovania datasetov.
Prečo treba logovať jednotlivé zložky loss?
Pri kombinovanom cieli môže celková hodnota klesať, hoci jedna dôležitá zložka rastie. Samostatné krivky odhalia konflikt medzi úlohami alebo regularizáciou.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- PyTorch Loss Functions documentation Deep Learning, Optimization for Training Deep Models
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.