Precision-recall curve | AI slovník

Odborná definice

Precision-recall curve zobrazuje dvojice precision a recall, které vzniknou při postupnom menení rozhodovacího prahu nad skóre binárneho klasifikátora. Ukazuje kompromis mezi čistotou pozitivních predikcí a podielom zachytených pozitivních případů. Je zvlášť informativní při nevyvážených třídách, kde ROC krivka může působit příznivě i při velkém absolútnom počtu falešných alarmů. Plocha nebo average precision zhrňuje pořadí, ale nahrazuje konkrétně provozní rozhodnutí pouze částečně. Práh se má volit podle nákladů, kapacity a cílové prevalence.

Srozumitelné vysvětlení

Při nízkom prahu systém označí téměř vše a zachytí večšinu porúch, ale servis dostane mnoho falešných alarmů. Při vysokém prahu alarmů ubudne a precision roste, ale recall klesne. Krivka ukáže všechny tyto pracovní body najednou. Provoz si z ní nevyberá najkrajší bod, ale místo, které odpovídá počtu dostupných techniků a riziku nezachytenej poruchy. Pokud se prevalence v závode změní, precision se může změnit i bez změny rankingovej schopnosti modelu, proto je třeba práh pravidelne ověřovat.

Časté otázky

Proč je PR krivka vhodná při vzácné pozitivní třídě?

Přímo zobrazuje kvalitu pozitivních alarmů a jejich pokrytí. Velké množství true negatives, které může dominovat ROC metrice, nevstupuje přímo do precision ani recall.

Co znamená baseline na PR grafu?

Při náhodnom rankingu se očekávaná precision přibližně rovná prevalencii pozitivní třídy. Změna prevalence proto mění referenčnou úroveň i interpretaci plochy.

Je average precision stejná jako plocha vypočítaná trapezoidmi?

Ne nevyhnutelně. Average precision typicky váží prírastky recall dosiahnutou precision a používá konkrétní interpolačnou konvenci. Implementace je třeba porovnávat s stejnou definící.

Jak se z krivky vybere práh?

Podle požadovaného minimálneho recall, maximálneho počtu falešných alarmů, nákladovej funkce nebo kapacity manuálnej kontroly. Výběr se potvrdzuje na oddelených datech.

Lze PR krivka použít při multiclass klasifikaci?

Ano, nejčastěji způsobem one-vs-rest pro každou třídu a případně mikropriemerom. Jedna agregovaná krivka může skrýt slabý výkon kritické třídy.

Související pojmy

Zdroje a redakční stopa

scikit-learn, Precision-Recall
scikit-learn, precision_recall_curve

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.