Vyhlazování štítků | AI slovník

Odborná definice

Label smoothing nahrazuje při tréninku ostrý one-hot cíl mekšou distribúcí, ve které část pravdepodobnostnej hmotnosti zůstává správné třídě a zbytek se rozdělí podle zvoleného prioru mezi ostatní třídy. Snižuje tlak na nekonečne velké logity a může omezit prehnanou sebaistotu modelu. Ovlivňuje však geometrii reprezentací, kalibraci i přenos znalostí při distilaci. Míra smoothingu je hyperparameter a její účinek závisí na počtu tříd, šumu a ztrátové funkce.

Srozumitelné vysvětlení

Při běžném cílí hovoríme modelu, že správná třída má pravděpodobnost 1 a všechny ostatní 0. Vyhlazování místo toho zadá například 0,9 pro správnou třídu a malý zbytek rozdělí mezi alternativy. Model se tak nemusí snažit být absolútne presvedčený při každém tréninkovém príklade. To může zlepšit generalizaci, ale zároveň oslabí informaci o tom, které nesprávně třídy jsou si podobné. Při expertných systémech je třeba zmerat i kalibraci, nejen accuracy.

Časté otázky

Jak se určuje smoothing factor?

Volí se na validační množině. Běžná hodnota nemusí být vhodná při velkém počtu tříd, silné nerovnováhe nebo přirozeně nejednoznačných labeloch.

Zlepšuje label smoothing vždy kalibraci?

Ne. Může snížit extrémnu sebaistotu, ale výsledek závisí na dat a metriky. Po tréninku se kalibrace ověřuje reliability diagramom a ECE.

Je smoothing náhradou za čištění labelů?

Ne. Zmierňuje tréninkový tlak, ale neopravuje systematicky nesprávnu taxonomii ani chybné anotace konkrétních skupin.

Proč může poškodit distilaci?

Měkké výstupy učitela nesou vztahy mezi třídami. Silné vyhladení může tyto rozdíly sploštit a snížit množství prenášanej informace.

Lze použít neuniformný prior?

Ano. Zvyšná hmota se může rozdelit podle triednych frekvencí nebo znalosti podobnosti, ale takový prior je třeba zdůvodnit a otestovat.

Související pojmy

Zdroje a redakční stopa

Szegedy et al., Rethinking the Inception Architecture

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.