Odborná definícia
Význam a odborné vymedzenie pojmu
Uncertainty calibration opisuje zhodu medzi deklarovanou istotou modelu a empirickou frekvenciou správnosti alebo pokrytím intervalov. Ak klasifikátor označí sto podobných prípadov istotou 0,8, správny výsledok by sa mal objaviť približne osemdesiatkrát. Kalibrácia sa hodnotí reliability diagramom, Brierovým skóre, log loss alebo expected calibration error. Môže sa upraviť temperature scalingom, izotonickou regresiou či Platt scalingom na oddelenej kalibračnej množine, bez zmeny poradia skóre. Kalibračný report sa má členiť podľa tried, podskupín a intervalov istoty, nie iba jedným priemerným číslom.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Model môže mať vysokú presnosť a pritom pôsobiť sebavedomejšie, než si zaslúži. Ak pri desiatich podobných prípadoch tvrdí 90 percent, no správne sú iba štyri, jeho číslo nie je dôveryhodné pre rozhodovanie. Kalibrácia porovnáva sľubovanú istotu s realitou v skupinách príkladov. Dobre kalibrované skóre umožní nastaviť prah pre automatické spracovanie, ľudskú kontrolu alebo odmietnutie. Po zmene dát sa však kalibrácia môže rozpadnúť aj bez veľkého poklesu accuracy. Rozhodovací prah sa nastavuje podľa nákladov chýb a dostupnej kapacity ľudskej kontroly, nie podľa estetického reliability grafu.
Časté otázky
Otázky, ktoré spresňujú význam
Je kalibrovaný model automaticky presný?
Nie. Konštantný model môže byť pri správnej prevalencii kalibrovaný, ale málo užitočný. Kalibrácia a diskriminačná schopnosť sú rozdielne vlastnosti.
Čo ukazuje reliability diagram?
Rozdelí predikcie podľa deklarovanej pravdepodobnosti a porovná priemernú istotu s reálnym podielom správnych výsledkov v každom intervale.
Kedy sa používa temperature scaling?
Najmä pri neurónových klasifikátoroch. Jediný parameter preškáluje logits na kalibračnej množine a zvyčajne zachová poradie tried aj accuracy.
Prečo sa kalibrácia robí na oddelených dátach?
Ak sa parametre kalibrácie naučia na tom istom teste, hodnotenie je optimistické. Potrebná je kalibračná množina alebo vnorená validačná schéma.
Ako kalibráciu ovplyvní distribution shift?
Vzťah medzi skóre a správnosťou sa môže zmeniť. Produkcia preto sleduje kalibračné metriky v čase a pri významnom posune prepočíta prahy alebo kalibrátor.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- On Calibration of Modern Neural Networks
- scikit-learn, Probability calibration
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.