Odborná definícia
Význam a odborné vymedzenie pojmu
Binary classification je úloha, v ktorej model priraďuje vstup do jednej z dvoch vzájomne definovaných tried, napríklad podvod alebo bez podvodu. Model často vytvára skóre alebo odhad pravdepodobnosti pozitívnej triedy a rozhodovací prah ho mení na label. Výkon sa posudzuje cez confusion matrix, precision, recall, specificity, ROC AUC, PR AUC, kalibráciu a náklady chýb. Triedy nemusia byť vyvážené a označenie pozitívnej triedy je konvencia. Kvalita závisí od presnej definície labelu, časového horizontu a dostupnosti pravdy.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Systém na kontrolu faktúr môže pri každej položke odhadnúť pravdepodobnosť, že je podozrivá. Ak je skóre nad 0,7, odošle ju na manuálnu kontrolu. Zmena prahu nemení naučený model, ale mení počet zachytených prípadov a počet falošných alarmov. Pri zriedkavom podvode môže mať model vysokú accuracy aj vtedy, keď označí všetko ako bezpečné. Preto treba sledovať, koľko skutočných podvodov zachytí, koľko práce vytvorí kontrolórom a či sú pravdepodobnosti kalibrované pre rozhodovací proces.
Časté otázky
Otázky, ktoré spresňujú význam
Je výstup binárneho klasifikátora vždy 0 alebo 1?
Nie. Mnohé modely vracajú spojité skóre alebo pravdepodobnosť. Label 0 alebo 1 vznikne až po použití prahu alebo rozhodovacieho pravidla. Uchovanie skóre umožňuje prah prispôsobiť nákladom a kapacite.
Prečo accuracy zlyháva pri nevyvážených triedach?
Ak je pozitívnych prípadov jedno percento, model predikujúci vždy negatívnu triedu dosiahne 99 percent accuracy, ale nezachytí nič. Vhodnejšie sú metriky citlivé na pozitívnu triedu, napríklad recall, precision a PR AUC.
Ako sa volí rozhodovací prah?
Podľa nákladov false positive a false negative, požadovanej kapacity zásahu, regulácie a distribúcie skóre. Prah sa volí na validačných dátach a po nasadení sa kontroluje, pretože prevalencia a náklady sa môžu meniť.
Čo znamená kalibrácia pravdepodobností?
Ak model priradí mnohým prípadom pravdepodobnosť 0,8, približne 80 percent z nich by malo patriť do pozitívnej triedy v relevantnej populácii. Dobré poradie skóre automaticky neznamená dobrú kalibráciu.
Ako sa binárna klasifikácia líši od anomaly detection?
Binárna klasifikácia sa učí z označených príkladov oboch tried. Anomaly detection často modeluje normálne správanie alebo odľahlosť bez dostatku labelov anomálií. Výstup môže byť podobné skóre, ale predpoklady a evaluácia sa líšia.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Google, Text Classification Guide, binary classification and binary cross-entropy
- Google Machine Learning Glossary
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.