Odborná definícia
Význam a odborné vymedzenie pojmu
Precision je podiel skutočne pozitívnych prípadov medzi všetkými prípadmi, ktoré model označil ako pozitívne. Vzorec je TP delené súčtom TP a FP. Metrika odpovedá na otázku, koľko pozitívnych predikcií bolo správnych, preto je dôležitá, keď falošný poplach prináša vysoký náklad. Hodnota závisí od rozhodovacieho prahu, prevalencie triedy a definície pozitívneho prípadu. Pri viacerých triedach možno reportovať každú kategóriu samostatne alebo výsledky zlúčiť rovnakým vážením tried, súčtom rozhodnutí či váhou podľa ich početnosti. Samotná precision neukazuje, koľko skutočných pozitívnych prípadov model vynechal.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Systém označil 100 transakcií ako podvod a vyšetrovanie potvrdilo podvod pri 80 z nich. Precision je 0,80, teda štyri z piatich alarmov boli oprávnené. Z čísla však nevieme, či systém zachytil väčšinu všetkých podvodov alebo iba malú ľahko rozpoznateľnú časť. Zvýšením prahu možno znížiť počet falošných poplachov a zvýšiť precision, ale zároveň prehliadnuť viac skutočných prípadov. Prevádzkové nastavenie preto potrebuje recall, kapacitu kontrolného tímu a finančný dopad oboch typov chyby.
Časté otázky
Otázky, ktoré spresňujú význam
Ako sa precision líši od accuracy?
Accuracy hodnotí správnosť všetkých predikcií. Precision sa sústreďuje iba na prípady označené ako pozitívne a zisťuje, aký podiel z nich bol naozaj pozitívny.
Môže byť precision vysoká pri slabom modeli?
Áno. Model môže označiť iba niekoľko najistejších prípadov a všetky trafiť, no väčšinu pozitívnych vynechať. Preto sa precision interpretuje spolu s recall a počtom predikcií.
Čo sa stane, keď model nepredikuje žiadny pozitívny prípad?
Menovateľ je nulový a precision nie je matematicky definovaná. Knižnice používajú dohodnuté správanie, napríklad hodnotu nula a varovanie, ktoré treba v reporte uviesť.
Ako prevalencia ovplyvňuje precision?
Pri rovnakej citlivosti a false positive rate býva precision nižšia, keď je pozitívna trieda zriedkavá. Výsledok z vyváženého testu preto nemusí platiť v produkcii.
Kedy je vhodný macro priemer precision?
Keď má mať každá trieda rovnakú váhu bez ohľadu na počet príkladov. Pri veľmi zriedkavých triedach môže byť odhad nestabilný, preto treba ukázať aj intervaly a počty.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Google ML Glossary, Precision
- scikit-learn, Precision score
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.