přesnost klasifikace | AI slovník

Odborná definice

Accuracy, tedy celková správnost klasifikace, je podíl správně predikovaných případů ze všech hodnocených případů. Při binární klasifikaci se vypočítá jako součet skutečně pozitivních a skutečně negativních případů dělený celkovým počtem případů. Metrika je informativní zejména při přibližně vyvážených třídách a podobné závažnosti chyb. Při vzácných událostech může vysoká accuracy zakrýt úplné selhání minoritní třídy. Hodnota se má uvádět s velikostí testovací vzorku, intervalem nejistoty a výsledky pro důležité segmenty.

Srozumitelné vysvětlení

Pokud systém správně zařadí 920 z 1 000 dokumentů, jeho accuracy je 92 procent. Toto číslo však může klamat. Pokud je pouze 10 dokumentů podvodných a model všechny označí jako běžné, stále dosáhne 99 procent, ale nezachytí ani jeden podvod. Proto se accuracy nemá číst bez informace o rozložení tříd, matici záměn a ceně jednotlivých chyb. Je to jednoduchý souhrn, ne univerzální důkaz kvality. Před rozhodnutím proto je třeba vidět, které případy se model naučil správně a které systematicky přehlíží.

Časté otázky

Jak se accuracy matematicky počítá?

Při binární klasifikaci platí accuracy = (TP + TN) / (TP + TN + FP + FN). TP jsou správně rozpoznané pozitivně případy, TN správně rozpoznané negativně případy, FP falešné poplachy a FN prehliadnuté pozitivně případy. Při viacnásobných třídách se počítá podíl všech správně priradených štítků, případně se doplňa accuracy pro jednotlivé třídy.

Kdy je accuracy nevhodná jako hlavná metrika?

Nevhodná je při silně nevyvážených třídách, při rozdílné závažnosti falešně pozitivní a falešně negativní chyby nebo při úlohách, kde rozhoduje pořadí či kalibrace pravděpodobností. Při diagnostike, podvodoch a bezpečnosti se proto sledují recall, precision, F1, ROC-AUC, PR-AUC a nákladovo vážené metriky.

Mění rozhodovací práh hodnotu accuracy?

Ano. Model často vrací pravděpodobnost a klasifikační štítek vznikne až po zvolení prahu. Posun prahu mění počet falešných poplachů i přehlédnutých případů, a tím může změnit accuracy. Práh se nemá vyberat pouze podle maximálnej accuracy, ale podle provozních nákladů, tolerovaného rizika a výkonu na validačních datech.

Jak se accuracy vyhodnocuje při více třídách?

Základní multiclass accuracy počítá, kolkokrát model vybral přesně správnou třídu. Při nerovnom zastoupení tříd je užitečné doplnit makropriemer metrik, který dává každé třídě stejnou váhu, a matici záměn. Při hierarchických kategóriách může být vhodné rozlíšit zcela nesprávnu predikci od omylu mezi blízkymi podtriedami.

Proč je třeba při accuracy uvádět interval nejistoty?

Nameraná hodnota je odhad z konkrétní vzorku. Při malé testovací sade se může výrazně měnit podle toho, které případy se do ní dostali. Interval nejistoty nebo bootstrap odhad ukazuje, jaký rozsah hodnot je zlučitelný s daty. Bez něho může rozdíl 0,5 percentuálneho bodu působit významne, ačkoli je pouze důsledkom náhody.

Související pojmy

Zdroje a redakční stopa

Google ML Crash Course, Accuracy, precision and recall
Google Machine Learning Glossary

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.