Micro F1 score, definícia a použitie | AI slovník

Odborná definícia

Micro F1 score najprv sčíta true positives, false positives a false negatives naprieč všetkými triedami alebo štítkami a až potom z agregovaných počtov vypočíta precision, recall a F1. Každé jednotlivé rozhodnutie má rovnakú váhu, preto výsledok silnejšie odráža početné triedy. Pri bežnej multiclass klasifikácii s jedným štítkom na vzorku sa micro precision, micro recall a micro F1 rovnajú accuracy. V multilabel úlohách meria globálnu kvalitu všetkých binárnych rozhodnutí.

Zrozumiteľné vysvetlenie

Micro F1 vysype všetky rozhodnutia o triedach do jednej spoločnej tabuľky a hodnotí ich naraz. Ak má dominantná trieda desaťtisíc príkladov a vzácna iba desať, väčšia trieda bude mať na výsledok omnoho väčší vplyv. Metrika preto dobre opisuje celkový objem správnych a chybných označení, ale môže skryť úplné zlyhanie malej kategórie. V multilabel systéme, kde jeden dokument môže mať viac tém, je Micro F1 užitočné na súhrnný výkon, no malo by sa doplniť triednymi metrikami a prahovou analýzou.

Časté otázky

Prečo sa Micro F1 pri multiclass rovná accuracy?

Každá vzorka vytvorí jedno skutočné a jedno predikované označenie. Agregované true positives zodpovedajú správnym predikciám a chyby sa započítajú symetricky.

Kedy je Micro F1 vhodné?

Keď je dôležitý celkový počet správnych rozhodnutí alebo keď chcete jednu metriku pre veľký multilabel problém s mnohými riedkymi štítkami.

Čo Micro F1 skrýva?

Môže zakryť slabý recall menšinovej triedy, pretože početné triedy dominujú agregovaným počtom. Vždy treba pozrieť aj per-class výsledky.

Ako prahy ovplyvňujú Micro F1?

V multilabel úlohe nižší prah zvyšuje počet pozitívnych predikcií, často recall aj false positives. Optimálny prah závisí od cieľa a nákladov chýb.

Je Micro F1 vhodné pri rôznych nákladoch tried?

Nie ako jediná metrika. Agregácia dáva rovnakú váhu jednotlivým rozhodnutiam, nie ekonomickému alebo bezpečnostnému významu tried.

Súvisiace pojmy

Zdroje a redakčná stopa

scikit-learn, F1 score averaging

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.