Očekávaná kalibrační chyba, ECE | AI slovník

Odborná definice

Expected calibration error, ECE, je sumarizačná metrika nesúladu mezi predikovanou confidence a pozorovanou úspešností. Predikce se rozdělí do intervalů podle confidence, v každém se vypočítá průměrná confidence a empirická accuracy a absolútne rozdíly se spriemerují s váhou podle počtu příkladů. Nulová hodnota znamená shodu v zvoleném binningu, ne dokonalou kalibraci ve všech podskupinách. Výsledek je citlivý na počet a hranice binů, velikost vzorku a definici confidence.

Srozumitelné vysvětlení

Pokud model označí sto případů s istotou přibližně 80 procent, dobře kalibrovaný systém by měl mít v této skupině asi osemdesiat správných odpovědí. ECE rozdělí predikce do podobných skupin a spočítá průměrný rozdíl mezi sebavedomím a skutečnou úspešností. Jediné číslo je praktické, ale může skrýt problém. Model může být dobře kalibrovaný celkovo a současně výrazně prehnane sebavedomý při menšinové třídě nebo v najrizikovejšom segmente. Pro kritické rozhodnutí se sleduje i kalibrace po třídách a skupinách.

Časté otázky

Jak se vybírá počet binů pro ECE?

Neexistuje univerzální hodnota. Málo binů vyhladí lokálně chyby, mnoho binů vytvoří nestabilní odhady při malém počtu příkladů.

Je nižší ECE vždy spojené s vyššou accuracy?

Ne. Kalibrace a diskriminační výkon jsou odlišné vlastnosti. Model může mít stejnou accuracy a po temperature scaling výrazně lépe pravděpodobnosti.

Proč ECE není úplným důkazem kalibrace?

Agregace a binning mohou rušiť opačné chyby nebo skrýt podskupiny. Doplňa se reliability diagramom, proper scoring rules a slice analýzou.

Jak se ECE používá při multiclass modeli?

Běžná verze používá confidence najpravdepodobnejšej třídy. Existují classwise a top-label varianty, které odhalují odlišné typy nesúladu.

Může se ECE spolehlivě porovnávat mezi datasety?

Pouze opatrne. Závisí na prevalence, rozsahu confidence, velikosti vzorku a binningu. Protokol musí zůstat stejný a uvádět nejistotu.

Související pojmy

Zdroje a redakční stopa

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.