Odborná definícia
Význam a odborné vymedzenie pojmu
Label smoothing nahrádza pri tréningu ostrý one-hot cieľ mäkšou distribúciou, v ktorej časť pravdepodobnostnej hmotnosti zostáva správnej triede a zvyšok sa rozdelí podľa zvoleného prioru medzi ostatné triedy. Znižuje tlak na nekonečne veľké logity a môže obmedziť prehnanú sebaistotu modelu. Ovplyvňuje však geometriu reprezentácií, kalibráciu aj prenos znalostí pri distilácii. Miera smoothingu je hyperparameter a jej účinok závisí od počtu tried, šumu a stratovej funkcie.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Pri bežnom cieli hovoríme modelu, že správna trieda má pravdepodobnosť 1 a všetky ostatné 0. Vyhladzovanie namiesto toho zadá napríklad 0,9 pre správnu triedu a malý zvyšok rozdelí medzi alternatívy. Model sa tak nemusí snažiť byť absolútne presvedčený pri každom tréningovom príklade. To môže zlepšiť generalizáciu, ale zároveň oslabí informáciu o tom, ktoré nesprávne triedy sú si podobné. Pri expertných systémoch treba zmerať aj kalibráciu, nielen accuracy.
Časté otázky
Otázky, ktoré spresňujú význam
Ako sa určuje smoothing factor?
Volí sa na validačnej množine. Bežná hodnota nemusí byť vhodná pri veľkom počte tried, silnej nerovnováhe alebo prirodzene nejednoznačných labeloch.
Zlepšuje label smoothing vždy kalibráciu?
Nie. Môže znížiť extrémnu sebaistotu, ale výsledok závisí od dát a metriky. Po tréningu sa kalibrácia overuje reliability diagramom a ECE.
Je smoothing náhradou za čistenie labelov?
Nie. Zmierňuje tréningový tlak, no neopravuje systematicky nesprávnu taxonómiu ani chybné anotácie konkrétnych skupín.
Prečo môže poškodiť distiláciu?
Mäkké výstupy učiteľa nesú vzťahy medzi triedami. Silné vyhladenie môže tieto rozdiely sploštiť a znížiť množstvo prenášanej informácie.
Dá sa použiť neuniformný prior?
Áno. Zvyšná hmota sa môže rozdeliť podľa triednych frekvencií alebo znalosti podobnosti, ale taký prior treba zdôvodniť a otestovať.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Szegedy et al., Rethinking the Inception Architecture
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.