Odborná definícia
Význam a odborné vymedzenie pojmu
Accuracy, čiže celková správnosť klasifikácie, je podiel správne predikovaných prípadov zo všetkých hodnotených prípadov. Pri binárnej klasifikácii sa vypočíta ako súčet pravdivo pozitívnych a pravdivo negatívnych prípadov delený celkovým počtom prípadov. Metrika je informatívna najmä pri približne vyvážených triedach a podobnej závažnosti chýb. Pri zriedkavých udalostiach môže vysoká accuracy zakryť úplné zlyhanie minoritnej triedy. Hodnota sa má uvádzať s veľkosťou testovacej vzorky, intervalom neistoty a výsledkami pre dôležité segmenty.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Ak systém správne zatriedi 920 z 1 000 dokumentov, jeho accuracy je 92 percent. Toto číslo však môže klamať. Ak je iba 10 dokumentov podvodných a model všetky označí ako bežné, stále dosiahne 99 percent, no nezachytí ani jeden podvod. Preto sa accuracy nemá čítať bez informácie o rozložení tried, matici zámen a cene jednotlivých chýb. Je to jednoduchý súhrn, nie univerzálny dôkaz kvality. Pred rozhodnutím preto treba vidieť, ktoré prípady sa model naučil správne a ktoré systematicky prehliada.
Časté otázky
Otázky, ktoré spresňujú význam
Ako sa accuracy matematicky počíta?
Pri binárnej klasifikácii platí accuracy = (TP + TN) / (TP + TN + FP + FN). TP sú správne rozpoznané pozitívne prípady, TN správne rozpoznané negatívne prípady, FP falošné poplachy a FN prehliadnuté pozitívne prípady. Pri viacnásobných triedach sa počíta podiel všetkých správne priradených štítkov, prípadne sa dopĺňa accuracy pre jednotlivé triedy.
Kedy je accuracy nevhodná ako hlavná metrika?
Nevhodná je pri silne nevyvážených triedach, pri rozdielnej závažnosti falošne pozitívnej a falošne negatívnej chyby alebo pri úlohách, kde rozhoduje poradie či kalibrácia pravdepodobností. Pri diagnostike, podvodoch a bezpečnosti sa preto sledujú recall, precision, F1, ROC-AUC, PR-AUC a nákladovo vážené metriky.
Mení rozhodovací prah hodnotu accuracy?
Áno. Model často vracia pravdepodobnosť a klasifikačný štítok vznikne až po zvolení prahu. Posun prahu mení počet falošných poplachov aj prehliadnutých prípadov, a tým môže zmeniť accuracy. Prah sa nemá vyberať iba podľa maximálnej accuracy, ale podľa prevádzkových nákladov, tolerovaného rizika a výkonu na validačných dátach.
Ako sa accuracy vyhodnocuje pri viacerých triedach?
Základná multiclass accuracy počíta, koľkokrát model vybral presne správnu triedu. Pri nerovnom zastúpení tried je užitočné doplniť makropriemer metrík, ktorý dáva každej triede rovnakú váhu, a maticu zámen. Pri hierarchických kategóriách môže byť vhodné rozlíšiť úplne nesprávnu predikciu od omylu medzi blízkymi podtriedami.
Prečo treba pri accuracy uvádzať interval neistoty?
Nameraná hodnota je odhad z konkrétnej vzorky. Pri malej testovacej sade sa môže výrazne meniť podľa toho, ktoré prípady sa do nej dostali. Interval neistoty alebo bootstrap odhad ukazuje, aký rozsah hodnôt je zlučiteľný s dátami. Bez neho môže rozdiel 0,5 percentuálneho bodu pôsobiť významne, hoci je iba dôsledkom náhody.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Google ML Crash Course, Accuracy, precision and recall
- Google Machine Learning Glossary
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.