Odborná definice
Odborná definice
Binary classification je úloha, ve které model přiřazuje vstup do jedné z dvou vzájomne definovaných tříd, například podvod nebo bez podvodu. Model často vytváří skóre nebo odhad pravděpodobnosti pozitivní třídy a rozhodovací práh ho mění na label. Výkon se posuzuje přes confusion matrix, precision, recall, specificity, ROC AUC, PR AUC, kalibraci a náklady chyb. Třídy nemusí být vyvážené a označení pozitivní třídy je konvence. Kvalita závisí na přesné definice labelu, časového horizontu a dostupnosti pravdy.
Srozumitelné vysvětlení
Srozumitelné vysvětlení
Systém na kontrolu faktúr může při každé položke odhadnout pravděpodobnost, že je podozrivá. Pokud je skóre nad 0,7, odošle ji na manuálnu kontrolu. Změna prahu nemění naučený model, ale mění počet zachytených případů a počet falešných alarmů. Při zriedkavom podvode může mít model vysokou accuracy i tehdy, když označí vše jako bezpečné. Proto je třeba sledovat, kolik skutečných podvodů zachytí, kolik práce vytvoří kontrolórom a zda jsou pravděpodobnosti kalibrované pro rozhodovací proces.
Časté otázky
Časté otázky
Je výstup binárneho klasifikátora vždy 0 nebo 1?
Ne. Mnohé modely vracají spojité skóre nebo pravděpodobnost. Label 0 nebo 1 vznikne až po použití prahu nebo rozhodovacího pravidla. Uchování skóre umožňuje práh přizpůsobit nákladem a kapacite.
Proč accuracy selhává při nevyvážených třídách?
Pokud je pozitivních případů jedno percento, model predikujúci vždy negatívnu třídu dosáhne 99 procent accuracy, ale nezachytí nic. Vhodnější jsou metriky citlivé na pozitivní třídu, například recall, precision a PR AUC.
Jak se volí rozhodovací práh?
Podle nákladů false positive a false negative, požadované kapacity zásahu, regulace a distribuce skóre. Práh se volí na validačních datech a po nasazení se kontroluje, protože prevalence a náklady se mohou měnit.
Co znamená kalibrace pravděpodobností?
Pokud model přiřadí mnohým prípadom pravděpodobnost 0,8, přibližně 80 procent z nich by malo patrit do pozitivní třídy v relevantnej populaci. Dobré pořadí skóre automaticky neznamená dobrou kalibraci.
Jak se binární klasifikace liší od anomaly detection?
Binární klasifikace se učí z označených příkladů obou tříd. Anomaly detection často modeluje normálně chování nebo odlahlosť bez dostatku labelů anomálií. Výstup může být podobné skóre, ale předpoklady a evaluace se liší.
Související pojmy
Související pojmy
Zdroje a redakční stopa
Zdroje a redakční stopa
- Google, Text Classification Guide, binary classification and binary cross-entropy
- Google Machine Learning Glossary
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.
