Odborná definícia
Význam a odborné vymedzenie pojmu
Uncertainty estimation je výpočet skóre, rozdelenia, intervalu alebo súboru scenárov, ktoré vyjadrujú, nakoľko je konkrétna predikcia neistá. Môže oddeľovať aleatorickú neistotu vyplývajúcu z variability pozorovania od epistemickej neistoty spôsobenej obmedzenými znalosťami modelu. Používajú sa ensemble modely, Bayesovské aproximácie, Monte Carlo dropout, kvantilová regresia alebo konformná predikcia. Odhad musí byť validovaný podľa pokrytia a správania mimo tréningovej distribúcie. Produkčný záznam má uchovať aj verziu metódy neistoty, pretože rovnaká predikcia môže mať po migrácii iný interval.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Predikcia 42 bez ďalšieho kontextu nehovorí, či model očakáva hodnotu medzi 41 a 43 alebo medzi 10 a 80. Odhad neistoty pridáva rozsah alebo signál, ktorý rozhodovaciemu procesu ukáže, kedy sa výsledok dá použiť automaticky a kedy ho treba overiť. Neistota však nie je magický detektor neznámeho. Model môže byť veľmi sebavedomý aj pri nezvyčajnom vstupe, ak použitá metóda nereaguje na posun. Preto sa testuje na simulovaných aj reálnych odchýlkach. Najcennejší test obsahuje prípady, o ktorých systém nevie, že ich nevie, napríklad nový senzor alebo neznámu populáciu.
Časté otázky
Otázky, ktoré spresňujú význam
Aký je rozdiel medzi aleatorickou a epistemickou neistotou?
Aleatorická pochádza z prirodzeného šumu alebo nejednoznačnosti dát. Epistemická súvisí s nedostatkom poznania a môže sa zmenšiť získaním vhodných tréningových príkladov.
Je softmax pravdepodobnosť odhadom neistoty?
Je to modelové skóre, nie automaticky spoľahlivá neistota. Môže byť zle kalibrované a vysoké aj pri vstupoch ďaleko od tréningovej distribúcie.
Ako funguje deep ensemble?
Viac modelov sa trénuje s rozdielnymi inicializáciami alebo dátovými vzorkami. Rozptyl ich predikcií poskytuje praktický signál neistoty a priemer často zlepšuje výkon.
Ako sa overuje intervalová predikcia?
Sleduje sa empirické pokrytie, priemerná šírka intervalov a výsledky po podskupinách. Interval môže mať správne celkové pokrytie, ale zlyhávať pri kritickej populácii.
Kedy má aplikácia predikciu odmietnuť?
Keď neistota prekročí validovaný prah, vstup je mimo povoleného rozsahu alebo potenciálna chyba má vysoký dopad. Pravidlo sa viaže na konkrétne náklady a proces.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- NIST Machine Learning Uncertainty Estimation Toolbox Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.