Odborná definícia
Význam a odborné vymedzenie pojmu
Confusion matrix je tabuľka, ktorá porovnáva skutočné triedy s predikovanými triedami a počíta jednotlivé typy správnych a chybných rozhodnutí. Pri binárnej klasifikácii obsahuje true positive, false positive, true negative a false negative. Pri multiclass úlohe má riadky a stĺpce pre všetky triedy, pričom orientácia osí musí byť jasne označená. Z matice sa odvádzajú accuracy, precision, recall, specificity a ďalšie metriky. Hodnoty závisia od klasifikačného prahu, prevalencie a definície pozitívnej triedy.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Pri teste na poruchu nestačí vedieť, že model bol správny v 92 percentách prípadov. Potrebujete rozlíšiť, koľko skutočných porúch zachytil, koľko prehliadol a koľkokrát zbytočne zastavil výrobu. Matica zámen rozloží jedno percento úspechu na štyri typy výsledku. Z nej vidno, či systém platí za vyšší recall veľkým počtom falošných alarmov. Pri viacerých triedach zároveň ukáže konkrétne zámenné páry, napríklad či model zamieňa dve podobné chyby, ktoré vyžadujú odlišný zásah.
Časté otázky
Otázky, ktoré spresňujú význam
Ktorá trieda sa označuje ako pozitívna?
Tá, ktorej zachytenie sa v binárnej analýze sleduje ako udalosť záujmu, napríklad podvod alebo choroba. Voľba musí byť uvedená, pretože prehodenie tried zmení význam precision, recall aj false positive. Pozitívna neznamená dobrá.
Prečo sa matica mení po úprave prahu?
Viac prípadov prekročí nižšiu hranicu a dostane pozitívny štítok. Časť false negative sa zmení na true positive, no niektoré true negative sa stanú false positive. Matica preto patrí ku konkrétnej verzii modelu, prahu a datasetu.
Ako sa číta multiclass confusion matrix?
Diagonála predstavuje správne predikcie, položky mimo nej konkrétne zámeny. Treba uviesť, či riadky znamenajú skutočnosť alebo predikciu. Normalizácia po riadkoch ukáže recall triedy, normalizácia po stĺpcoch približuje čistotu predikovaného štítku.
Môže vysoká accuracy skryť zlú maticu?
Áno, najmä pri nevyvážených triedach. Veľká diagonálna hodnota väčšinovej triedy prekryje malé, ale kritické chyby menšiny. Preto sa matica analyzuje v absolútnych počtoch aj podieloch a dopĺňa nákladmi jednotlivých omylov.
Má sa matica vytvárať aj pre segmenty?
Áno, ak majú regióny, skupiny používateľov alebo zariadenia odlišné riziko. Dve skupiny môžu mať rovnakú accuracy, ale úplne iný pomer false positive a false negative. Segmentová matica pomáha odhaliť prevádzkové a fairness problémy.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Google Machine Learning Crash Course, Thresholds and the Confusion Matrix
- Google Machine Learning Glossary, Metrics
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.