Logaritmická ztráta | AI slovník

Odborná definice

Log loss je negativní logaritmická vierohodnost pravděpodobností priradených správným triedam. Při binární klasifikaci kombinuje členy mínus y krát log p a mínus jedna mínus y krát log jedna mínus p. Velmi sebaistá nesprávná predikce dostane výrazně vyšší trest než mírně neistá chyba. Multiclass verze odpovídá cross-entropy nad cílovou distribúcí. Log loss je proper scoring rule, proto při správně špecifikovanom hodnocení motivuje reportovat poctivé pravděpodobnosti, ale je citlivá na clipping a chybné labely.

Srozumitelné vysvětlení

Pokud model pridelí správné třídě pravděpodobnost 0,8, dostane malou ztrátu. Pokud její dá pouze 0,01, trest prudko narastie, protože logaritmus silně postihuje sebaistou chybu. Díky tomu log loss rozlišuje dva modely s stejnou accuracy, ale rozdielnou kvalitou pravděpodobností. Hodnota se nedá interpretovat bez počtu tříd, distribuce dat a baseline. Při numerickom výpočtu se pravděpodobnosti orežou od přesné nuly a jednotky, aby logaritmus nevytvoril nekonečno.

Časté otázky

Je log loss to jisté jako cross-entropy?

Při one-hot klasifikačních cieloch se názvy často používají pro stejný výpočet. Cross-entropy je širší pojem pro dvě distribuce.

Proč může mít model dobrou accuracy a zlý log loss?

Třídy může vyberat správně, ale při chybách být extrémně sebaistý. Accuracy intenzitu sebaistoty vůbec nevidí.

Co je baseline log loss?

Například ztráta modelu, který vždy predikuje třídní frekvence. Umožňuje posoudit zlepšení vůči jednoduchému pravdepodobnostnému odhadu.

Jako působí class weighting?

Mění příspěvek jednotlivých příkladů nebo tříd k průměrné strate. Výsledná hodnota potom odpovídá zvoleným nákladem, ne prirodzenej prevalencii.

Proč se pravděpodobnosti clipují?

Log nuly je nedefinovaný a vede k nekonečnej strate. Malé epsilon zabezpečí numerický výpočet, přičemž stále zachová velký trest.

Související pojmy

Zdroje a redakční stopa

scikit-learn, log_loss

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.