Calibration

Calibration je miera zhody medzi predikovanými pravdepodobnosťami modelu a skutočnou frekvenciou udalostí, napríklad či prípady so skóre 0,8 nastanú približne v 80 percentách.

Použitie závisí od konkrétnej úlohy a očakávaného výsledku. V praxi musí zodpovedať reálnemu cieľu, cene jednotlivých chýb a rozdielom medzi relevantnými skupinami.

Overenie sa robí na reprezentatívnych dátach alebo scenároch, voči jasnej porovnávacej základni a pomocou metrík zodpovedajúcich reálnemu cieľu. Kontrola má zahŕňať aj hraničné prípady, neistotu a prevádzkové náklady.

Rizikom je optimalizácia nesprávneho ukazovateľa, zakrytie rozdielov medzi skupinami a interpretácia bez kontextu. Metriku treba prepojiť s reálnym cieľom a cenou jednotlivých chýb.

Calibration sa od pojmov Cross-entropy, Balanced accuracy, Accuracy odlišuje funkciou, vstupmi, spôsobom výpočtu a účelom výsledku. Súvisiace pojmy môžu spolupracovať, nie sú však automaticky zameniteľné.