Odborná definícia
Význam a odborné vymedzenie pojmu
Hinge loss je marginová stratová funkcia používaná najmä pri lineárnych support vector machines. Pre binárny label y v množine mínus jedna a plus jedna a skóre f(x) má tvar max(0, 1 mínus y krát f(x)). Strata je nulová iba vtedy, keď je príklad nielen klasifikovaný správne, ale leží aspoň jednotkový margin na správnej strane hranice. Nesprávne alebo príliš blízke príklady dostávajú lineárny trest. Funkcia neprodukuje kalibrovanú pravdepodobnosť a v bode zlomu nie je diferencovateľná, no má subgradient. V praxi sa kombinuje s regularizáciou, ktorá určuje kompromis medzi širokým marginom a chybami.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Predstavte si hranicu medzi dvoma triedami a ochranný pás po oboch stranách. Model nedostane pochvalu iba za to, že bod položil na správnu stranu. Chce ho mať aj bezpečne za okrajom pásu. Bod ďaleko za marginom už neprináša ďalšie zníženie straty, zatiaľ čo bod vo vnútri pásu alebo na nesprávnej strane dostane trest podľa vzdialenosti. Tak sa model sústredí na hraničné prípady, ktoré rozhodujú o polohe separačnej roviny. Výstupné skóre však nie je percentuálna pravdepodobnosť, preto sa pri potrebe pravdepodobností dopĺňa kalibrácia.
Časté otázky
Otázky, ktoré spresňujú význam
Prečo sa hinge loss spája so support vectors?
Iba body na margine, vo vnútri marginu alebo nesprávne klasifikované majú nenulovú stratu a ovplyvňujú riešenie. Tieto kritické príklady sa prejavia ako support vectors určujúce rozhodovaciu hranicu.
Aký je rozdiel medzi hinge a squared hinge loss?
Squared hinge umocní kladnú marginovú chybu, takže silnejšie trestá veľké porušenia a má hladší prechod gradientu mimo zlomu. Zároveň je citlivejšia na odľahlé alebo chybne označené príklady.
Dá sa hinge loss použiť pri viacerých triedach?
Áno, napríklad cez one-vs-rest klasifikátory alebo multiklasový margin, ktorý porovnáva skóre správnej triedy s najvyšším nesprávnym skóre. Konkrétna formulácia určuje, ktoré triedy dostanú gradient.
Prečo skóre SVM nie je pravdepodobnosť?
Hinge loss optimalizuje správnu stranu a veľkosť marginu, nie log-likelihood. Skóre možno následne kalibrovať Plattovým škálovaním alebo izotonickou regresiou na oddelenej validačnej sade.
Ako regularizácia mení riešenie?
Silnejšia regularizácia preferuje menšie váhy a širší geometrický margin, aj za cenu väčšieho počtu tréningových porušení. Slabšia môže presnejšie prispôsobiť hranicu dátam, ale zvýšiť citlivosť na šum.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Google Machine Learning Glossary, hinge loss (developers.google.com)
- scikit-learn, Support Vector Machines (scikit-learn.org)
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.