Uncertainty estimation | AI slovník

Odborná definice

Uncertainty estimation je výpočet skóre, rozdělení, intervalu nebo souboru scenárů, které vyjadrují, nakolko je konkrétní predikce neistá. Může oddělovat aleatorickou nejistotu vyplývajúcu z variability pozorování od epistemickej nejistoty spůsobenej obmedzenými znalosťami modelu. Používají se ensemble modely, Bayesovské aproximace, Monte Carlo dropout, kvantilová regrese nebo konformná predikce. Odhad musí být validovaný podle pokrytí a chování mimo tréninkové distribuce. Produkční záznam má uchovat i verzi metody nejistoty, protože stejná predikce může mít po migraci jiný interval.

Srozumitelné vysvětlení

Predikce 42 bez dalšího kontextu neříká, či model očekává hodnotu mezi 41 a 43 nebo mezi 10 a 80. Odhad nejistoty přidává rozsah nebo signál, který rozhodovaciemu procesu ukáže, kdy se výsledek dá použít automaticky a kdy ho je třeba ověřit. Nejistota však není magický detektor neznámeho. Model může být velmi sebavedomý i při nezvyčajnom vstupe, pokud použitá metoda nereaguje na posun. Proto se testuje na simulovaných i reálných odchýlkach. Najcennejší test obsahuje případy, o kterých systém neví, že jejich neví, například nový senzor nebo neznámou populaci.

Časté otázky

Jaký je rozdíl mezi aleatorickou a epistemickou nejistotou?

Aleatorická pochází z přirozeného šumu nebo nejednoznačnosti dat. Epistemická souvisí s nedostatkom poznání a může se zmenšit získáním vhodných tréninkových příkladů.

Je softmax pravděpodobnost odhadom nejistoty?

Je to modelové skóre, ne automaticky spolehlivá nejistota. Může být špatně kalibrované a vysoké i při vstupech daleko od tréninkové distribuce.

Jako funguje deep ensemble?

Více modelů se trénuje s rozdielnymi inicializacemi nebo dátovými vzorkami. Rozptyl jejich predikcí poskytuje praktický signál nejistoty a průměr často zlepšuje výkon.

Jak se ověřuje intervalová predikce?

Sleduje se empirické pokrytí, průměrná šířka intervalů a výsledky po podskupinách. Interval může mít správně celkové pokrytí, ale zlyhávat při kritické populaci.

Kdy má aplikace predikci odmítnout?

Když nejistota překročí validovaný práh, vstup je mimo povoleného rozsahu nebo potenciálna chyba má vysoký dopad. Pravidlo se váže na konkrétně náklady a proces.

Související pojmy

Zdroje a redakční stopa

NIST Machine Learning Uncertainty Estimation Toolbox Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.