Odborná definícia
Odborná definícia
Calibration vyjadruje zhodu medzi pravdepodobnosťou, ktorú model priradí udalosti, a jej skutočnou frekvenciou. Ak sú predikcie s istotou 0,8 správne približne v 80 percentách prípadov, model je v tejto oblasti kalibrovaný. Kalibrácia sa hodnotí oddelene od presnosti a diskriminačnej schopnosti, pretože model môže dobre zoradiť prípady, no systematicky nadhodnocovať sebaistotu. Meria sa kalibračnými krivkami, Brierovým skóre alebo ECE a upravuje napríklad temperature scalingom na validačných dátach.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Úverový model môže správne zoradiť klientov od najnižšieho po najvyššie riziko, ale pri každom tvrdiť príliš vysokú istotu. Keď pri skupine žiadostí uvádza 10 percent pravdepodobnosť zlyhania a v skutočnosti zlyhá 30 percent, číslo nemožno bezpečne použiť na cenotvorbu ani limity. Kalibrácia preveruje, či deklarovaná pravdepodobnosť zodpovedá realite. Neopravuje automaticky poradie predikcií, skôr premieňa surové skóre na dôveryhodnejší odhad rizika pre konkrétne rozhodovanie.
Časté otázky
Časté otázky
Je kalibrovaný model automaticky aj presný?
Nie. Model môže byť kalibrovaný, pretože jeho pravdepodobnosti zodpovedajú priemerným frekvenciám, no nemusí dobre rozlišovať jednotlivé prípady. Naopak veľmi presný klasifikátor môže byť prehnane sebaistý. Pri hodnotení treba sledovať kalibráciu spolu s metrikami rozlišovania a chybami pri zvolenom prahu.
Čo ukazuje reliability diagram?
Rozdelí predikované pravdepodobnosti do intervalov a v každom porovná priemernú istotu s pozorovaným podielom správnych výsledkov. Body blízko diagonály naznačujú dobrú kalibráciu. Graf však závisí od počtu intervalov a môže zakryť lokálne odchýlky pri malých skupinách.
Kedy sa používa temperature scaling?
Po natrénovaní modelu sa na oddelenej kalibračnej sade naučí jediný teplotný parameter, ktorý upraví logity pred softmaxom. Metóda často zlepší pravdepodobnosti bez zmeny poradia tried. Nesmie sa fitovať na testovacej sade, inak sa hodnotenie stane optimistickým.
Môže sa kalibrácia po nasadení zhoršiť?
Áno. Zmena populácie, sezónnosti, cien alebo procesu zberu dát môže oddeliť historický vzťah medzi skóre a výsledkom. Prevádzkový monitoring preto potrebuje sledovať nielen accuracy, ale aj kalibračné krivky v čase a v dôležitých segmentoch.
Ako súvisí kalibrácia s rozhodovacím prahom?
Kalibrácia opisuje význam pravdepodobnostného čísla, prah určuje, od akej hodnoty systém vykoná akciu. Dobre kalibrované riziko umožňuje nastaviť prah podľa nákladov a kapacity. Zle kalibrované skóre môže viesť k chybnému rozhodnutiu aj pri rozumne zvolenej hranici.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Guo a kol., On Calibration of Modern Neural Networks, ICML 2017
- Google Machine Learning Glossary, Metrics
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.