kalibrace nejistoty a pravděpodobností | AI slovník

Odborná definice

Uncertainty calibration popisuje shodu mezi deklarovanou istotou modelu a empirickou frekvencí správnosti nebo pokrytím intervalů. Pokud klasifikátor označí sto podobných případů istotou 0,8, správný výsledek by se měl objavit přibližně osemdesiatkrát. Kalibrace se hodnotí reliability diagramom, Brierovým skóre, log loss nebo expected calibration error. Může se upravit temperature scalingom, izotonickou regresí či Platt scalingom na oddělené kalibračnej množině, bez změny pořadí skóre. Kalibračný report se má členit podle tříd, podskupín a intervalů istoty, ne pouze jedním priemerným číslem.

Srozumitelné vysvětlení

Model může mít vysokou přesnost a přitom působit sebavedomejšie, než si zaslúži. Pokud při desiatich podobných případech tvrdí 90 procent, ale správně jsou pouze štyri, jeho číslo není důvěryhodné pro rozhodování. Kalibrace porovnává slubovanou istotu s realitou v skupinách příkladů. Dobře kalibrované skóre umožní nastavit práh pro automatické zpracování, ludskou kontrolu nebo odmítnutí. Po změně dat se však kalibrace může rozpadnúť i bez velkého poklesu accuracy. Rozhodovací práh se nastavuje podle nákladů chyb a dostupnej kapacity lidské kontroly, ne podle estetického reliability grafu.

Časté otázky

Je kalibrovaný model automaticky přesný?

Ne. Konštantný model může být při správné prevalencii kalibrovaný, ale málo užitečný. Kalibrace a diskriminačná schopnost jsou rozdílně vlastnosti.

Co ukazuje reliability diagram?

Rozdělí predikce podle deklarovanej pravděpodobnosti a porovná průměrnou istotu s reálnym podielom správných výsledků v každém intervale.

Kdy se používá temperature scaling?

Zejména při neuronových klasifikátoroch. Jediný parameter preškáluje logits na kalibračnej množině a obvykle zachová pořadí tříd i accuracy.

Proč se kalibrace dělá na oddelených datech?

Pokud se parametry kalibrace naučia na tom istom teste, hodnocení je optimistické. Potřebná je kalibrační množina nebo vnorená validační schéma.

Jako kalibraci ovlivní distribution shift?

Vztah mezi skóre a správností se může změnit. Produkce proto sleduje kalibračné metriky v čase a při významnom posune přepočítá prahy nebo kalibrátor.

Související pojmy

Zdroje a redakční stopa

On Calibration of Modern Neural Networks
scikit-learn, Probability calibration

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.