Precíznost klasifikace | AI slovník

Odborná definice

Precision je podíl skutečně pozitivních případů mezi všemi prípadmi, které model označil jako pozitivně. Vzorec je TP dělené součtem TP a FP. Metrika odpovídá na otázku, kolik pozitivních predikcí bylo správných, proto je důležitá, když falešný poplach přináší vysoký náklad. Hodnota závisí na rozhodovacího prahu, prevalence třídy a definice pozitívneho případu. Při více třídách lze reportovat každou kategorii samostatně nebo výsledky sloučit stejným vážením tříd, součtem rozhodnutí či váhou podle jejich početnosti. Samotná precision neukazuje, kolik skutečných pozitivních případů model vynechal.

Srozumitelné vysvětlení

Systém označil 100 transakcií jako podvod a vyšetrování potvrdilo podvod při 80 z nich. Precision je 0,80, tedy štyri z piatich alarmů byly oprávněné. Z čísla však nevieme, či systém zachytil večšinu všech podvodů nebo pouze malou lahko rozpoznatelnou část. Zvýšením prahu lze snížit počet falešných poplachů a zvýšit precision, ale zároveň přehlédnout více skutečných případů. Provozní nastavení proto potřebuje recall, kapacitu kontrolného tímu a finančný dopad obou typů chyby.

Časté otázky

Jak se precision liší od accuracy?

Accuracy hodnotí správnost všech predikcí. Precision se soustřeďuje pouze na případy označené jako pozitivně a zjišťuje, jaký podíl z nich byl opravdu pozitivní.

Může být precision vysoká při slabom modeli?

Ano. Model může označit pouze několik najistejších případů a všechny trafit, ale večšinu pozitivních vynechat. Proto se precision interpretuje spolu s recall a počtem predikcí.

Co se stane, když model nepredikuje žiadny pozitivní případ?

Menovatel je nulový a precision není matematicky definovaná. Knižnice používají dohodnuté chování, například hodnotu nula a varování, které je třeba v reporte uvést.

Jako prevalence ovlivňuje precision?

Při stejné citlivosti a false positive rate bývá precision nižší, když je pozitívna třída zriedkavá. Výsledek z vyváženého testu proto nemusí platit v produkci.

Kdy je vhodný macro průměr precision?

Když má mít každá třída stejnou váhu bez ohladu na počet příkladů. Při velmi vzácných třídách může být odhad nestabilný, proto je třeba ukázat i intervaly a počty.

Související pojmy

Zdroje a redakční stopa

Google ML Glossary, Precision
scikit-learn, Precision score

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.