Precision-recall curve, definícia a použitie | AI slovník

Odborná definícia

Precision-recall curve zobrazuje dvojice precision a recall, ktoré vzniknú pri postupnom menení rozhodovacieho prahu nad skóre binárneho klasifikátora. Ukazuje kompromis medzi čistotou pozitívnych predikcií a podielom zachytených pozitívnych prípadov. Je zvlášť informatívna pri nevyvážených triedach, kde ROC krivka môže pôsobiť priaznivo aj pri veľkom absolútnom počte falošných alarmov. Plocha alebo average precision zhrňuje poradie, ale nahrádza konkrétne prevádzkové rozhodnutie iba čiastočne. Prah sa má voliť podľa nákladov, kapacity a cieľovej prevalencie.

Zrozumiteľné vysvetlenie

Pri nízkom prahu systém označí takmer všetko a zachytí väčšinu porúch, no servis dostane veľa falošných alarmov. Pri vysokom prahu alarmov ubudne a precision rastie, ale recall klesne. Krivka ukáže všetky tieto pracovné body naraz. Prevádzka si z nej nevyberá najkrajší bod, ale miesto, ktoré zodpovedá počtu dostupných technikov a riziku nezachytenej poruchy. Ak sa prevalencia v závode zmení, precision sa môže zmeniť aj bez zmeny rankingovej schopnosti modelu, preto treba prah pravidelne overovať.

Časté otázky

Prečo je PR krivka vhodná pri zriedkavej pozitívnej triede?

Priamo zobrazuje kvalitu pozitívnych alarmov a ich pokrytie. Veľké množstvo true negatives, ktoré môže dominovať ROC metrike, nevstupuje priamo do precision ani recall.

Čo znamená baseline na PR grafe?

Pri náhodnom rankingu sa očakávaná precision približne rovná prevalencii pozitívnej triedy. Zmena prevalencie preto mení referenčnú úroveň aj interpretáciu plochy.

Je average precision rovnaká ako plocha vypočítaná trapezoidmi?

Nie nevyhnutne. Average precision typicky váži prírastky recall dosiahnutou precision a používa konkrétnu interpolačnú konvenciu. Implementácie treba porovnávať s rovnakou definíciou.

Ako sa z krivky vyberie prah?

Podľa požadovaného minimálneho recall, maximálneho počtu falošných alarmov, nákladovej funkcie alebo kapacity manuálnej kontroly. Výber sa potvrdzuje na oddelených dátach.

Dá sa PR krivka použiť pri multiclass klasifikácii?

Áno, najčastejšie spôsobom one-vs-rest pre každú triedu a prípadne mikropriemerom. Jedna agregovaná krivka môže skryť slabý výkon kritickej triedy.

Súvisiace pojmy

Zdroje a redakčná stopa

scikit-learn, Precision-Recall
scikit-learn, precision_recall_curve

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.