Kalibrace pravděpodobností modelu | AI slovník

Odborná definice

Calibration vyjadřuje shodu mezi pravděpodobností, kterou model přiřadí události, a její skutečnou frekvencí. Pokud jsou predikce s istotou 0,8 správně přibližně v 80 percentách případů, model je v této oblasti kalibrovaný. Kalibrace se hodnotí odděleně od přesnosti a diskriminačnej schopnosti, protože model může dobře zoradit případy, ale systematicky nadhodnocovat sebaistotu. Měří se kalibračnými krivkami, Brierovým skóre nebo ECE a upravuje například temperature scalingom na validačních datech.

Srozumitelné vysvětlení

Úverový model může správně zoradit klientů od najnižšieho po nejvyšší riziko, ale při každém tvrdit příliš vysokou istotu. Když při skupině žiadostí uvádí 10 procent pravděpodobnost selhání a v skutečnosti selže 30 procent, číslo nelze bezpečně použít na cenotvorbu ani limity. Kalibrace preveruje, či deklarovaná pravděpodobnost odpovídá realite. Neopravuje automaticky pořadí predikcí, dříve mění surová skóre na důveryhodnejší odhad rizika pro konkrétně rozhodování.

Časté otázky

Je kalibrovaný model automaticky i přesný?

Ne. Model může být kalibrovaný, protože jeho pravděpodobnosti odpovídají priemerným frekvenciám, ale nemusí dobře rozlišovat jednotlivé případy. Naopak velmi přesný klasifikátor může být prehnane sebaistý. Při hodnocení je třeba sledovat kalibraci spolu s metrikami rozlišování a chybami při zvoleném prahu.

Co ukazuje reliability diagram?

Rozdělí predikované pravděpodobnosti do intervalů a v každém porovná průměrnou istotu s pozorovaným podielom správných výsledků. Body blízko diagonály naznačují dobrou kalibraci. Graf však závisí na počtu intervalů a může zakrýt lokálně odchylky při malých skupinách.

Kdy se používá temperature scaling?

Po natrénování modelu se na oddělené kalibračnej sade naučí jediný teplotný parameter, který upraví logity před softmaxom. Metoda často zlepší pravděpodobnosti bez změny pořadí tříd. Nesmí se fitovat na testovací sade, jinak se hodnocení stane optimistickým.

Může se kalibrace po nasazení zhoršit?

Ano. Změna populace, sezónnosti, cien nebo procesu sběru dat může oddělit historický vztah mezi skóre a výsledkem. Provozní monitoring proto potřebuje sledovat nejen accuracy, ale i kalibračné krivky v čase a v důležitých segmentech.

Jako souvisí kalibrace s rozhodovacím prahem?

Kalibrace popisuje význam pravděpodobnostního čísla, práh určuje, od jaké hodnoty systém provede akci. Dobře kalibrované riziko umožňuje nastavit práh podle nákladů a kapacity. Špatně kalibrované skóre může vést k chybnému rozhodnutí i při rozumne zvolené hranici.

Související pojmy

Zdroje a redakční stopa

Guo a kol., On Calibration of Modern Neural Networks, ICML 2017
Google Machine Learning Glossary, Metrics

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.