Odborná definícia
Význam a odborné vymedzenie pojmu
Expected calibration error, ECE, je sumarizačná metrika nesúladu medzi predikovanou confidence a pozorovanou úspešnosťou. Predikcie sa rozdelia do intervalov podľa confidence, v každom sa vypočíta priemerná confidence a empirická accuracy a absolútne rozdiely sa spriemerujú s váhou podľa počtu príkladov. Nulová hodnota znamená zhodu v zvolenom binningu, nie dokonalú kalibráciu vo všetkých podskupinách. Výsledok je citlivý na počet a hranice binov, veľkosť vzorky a definíciu confidence.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Ak model označí sto prípadov s istotou približne 80 percent, dobre kalibrovaný systém by mal mať v tejto skupine asi osemdesiat správnych odpovedí. ECE rozdelí predikcie do podobných skupín a spočíta priemerný rozdiel medzi sebavedomím a skutočnou úspešnosťou. Jediné číslo je praktické, ale môže skryť problém. Model môže byť dobre kalibrovaný celkovo a súčasne výrazne prehnane sebavedomý pri menšinovej triede alebo v najrizikovejšom segmente. Pre kritické rozhodnutia sa sleduje aj kalibrácia po triedach a skupinách.
Časté otázky
Otázky, ktoré spresňujú význam
Ako sa vyberá počet binov pre ECE?
Neexistuje univerzálna hodnota. Málo binov vyhladí lokálne chyby, veľa binov vytvorí nestabilné odhady pri malom počte príkladov.
Je nižšie ECE vždy spojené s vyššou accuracy?
Nie. Kalibrácia a diskriminačný výkon sú odlišné vlastnosti. Model môže mať rovnakú accuracy a po temperature scaling výrazne lepšie pravdepodobnosti.
Prečo ECE nie je úplným dôkazom kalibrácie?
Agregácia a binning môžu rušiť opačné chyby alebo skryť podskupiny. Dopĺňa sa reliability diagramom, proper scoring rules a slice analýzou.
Ako sa ECE používa pri multiclass modeli?
Bežná verzia používa confidence najpravdepodobnejšej triedy. Existujú classwise a top-label varianty, ktoré odhaľujú odlišné typy nesúladu.
Môže sa ECE spoľahlivo porovnávať medzi datasetmi?
Iba opatrne. Závisí od prevalencie, rozsahu confidence, veľkosti vzorky a binningu. Protokol musí zostať rovnaký a uvádzať neistotu.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.