Pántová ztrátová funkce | AI slovník

Odborná definice

Hinge loss je marginová ztrátová funkce používaná zejména při lineárních support vector machines. Pro binární label y v množině mínus jedna a plus jedna a skóre f(x) má tvar max(0, 1 mínus y krát f(x)). Ztráta je nulová pouze tehdy, když je příklad nejen klasifikovaný správně, ale leží aspoň jednotkový margin na správné straně hranice. Nesprávně nebo příliš blízké příklady dostávají lineární trest. Funkce neprodukuje kalibrovanou pravděpodobnost a v bodě zlomu není diferencovatelná, ale má subgradient. V praxi se kombinuje s regularizací, která určuje kompromis mezi širokým marginem a chybami.

Srozumitelné vysvětlení

Představte si hranici mezi dvěma třídami a ochranný pás po obou stranách. Model nedostane pochvalu pouze za to, že bod položil na správnou stranu. Chce ho mít i bezpečně za okrajom pásu. Bod daleko za marginem už neprináša další snížení ztráty, zatímco bod ve uvnitř pásu nebo na nesprávné straně dostane trest podle vzdálenosti. Tak se model soustředí na hraniční případy, které rozhodují o polohe separačnej roviny. Výstupní skóre však není percentuálna pravděpodobnost, proto se při potrebe pravděpodobností doplňa kalibrace.

Časté otázky

Proč se hinge loss spojuje se support vectors?

Pouze body na margine, ve uvnitř marginu nebo nesprávně klasifikované mají nenulovou ztrátu a ovlivňují řešení. Tyto kritické příklady se prejavia jako support vectors určujúce rozhodovací hranici.

Jaký je rozdíl mezi hinge a squared hinge loss?

Squared hinge umocní kladnou marginovou chybu, takže silnější trestá velké porušení a má hladší prechod gradientu mimo zlomu. Zároveň je citlivější na odlehlé nebo chybne označené příklady.

Lze hinge loss použít při více třídách?

Ano, například přes one-vs-rest klasifikátory nebo multiklasový margin, který porovnává skóre správné třídy s najvyšším nesprávnym skóre. Konkrétní formulace určuje, které třídy dostanou gradient.

Proč skóre SVM není pravděpodobnost?

Hinge loss optimalizuje správnou stranu a velikost marginu, ne log-likelihood. Skóre lze následně kalibrovat Plattovým škálováním nebo izotonickou regresí na oddělené validační sade.

Jako regularizace mění řešení?

Silnejšia regularizace preferuje menší váhy a širší geometrický margin, i za cenu večšieho počtu tréninkových porušení. Slabšia může přesněji přizpůsobit hranici datům, ale zvýšit citlivost na šum.

Související pojmy

Zdroje a redakční stopa

Google Machine Learning Glossary, hinge loss (developers.google.com)
scikit-learn, Support Vector Machines (scikit-learn.org)

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.