Macro F1 score, definícia a použitie | AI slovník

Odborná definícia

Macro F1 score vypočíta F1 skóre samostatne pre každú triedu a následne vytvorí ich nevážený aritmetický priemer. Každá trieda teda ovplyvňuje výsledok rovnako bez ohľadu na počet jej vzoriek. Metrika kombinuje precision a recall harmonickým priemerom na úrovni jednotlivých tried a je citlivá na slabý výkon pri menšinových kategóriách. Pri triede bez predikovaných alebo skutočných pozitív závisí výsledok od konvencie implementácie a nastavenia nulového delenia.

Zrozumiteľné vysvetlenie

Predstavte si klasifikátor, ktorý rozpoznáva desať typov porúch, pričom jedna porucha tvorí väčšinu dát. Ak by sme všetky prípady spočítali spolu, dobrý výkon na dominantnej triede by mohol zakryť zlyhanie na vzácnych poruchách. Macro F1 najprv ohodnotí každú triedu osobitne a až potom výsledky spriemeruje. Vzácna kritická porucha má preto rovnakú váhu ako bežný stav. To je užitočné pri nevyvážených triedach, ale výsledok môže výrazne kolísať, ak má niektorá trieda veľmi málo príkladov.

Časté otázky

Kedy je Macro F1 vhodnejšie než accuracy?

Keď sú triedy nevyvážené a záleží na výkone každej z nich. Accuracy môže byť vysoká aj pri úplnom ignorovaní malej, ale dôležitej triedy.

Ako sa Macro F1 líši od weighted F1?

Macro F1 dáva každej triede rovnakú váhu. Weighted F1 váži triedne skóre podľa počtu skutočných vzoriek, takže dominantné triedy vplývajú viac.

Môže byť Macro F1 vysoké pri zlom celkovom počte chýb?

Áno, ak sú triedy malé a vyrovnané v relatívnom výkone, nevážený priemer nemusí odrážať absolútny počet chybných rozhodnutí v prevádzke.

Čo sa stane, ak model nikdy nepredikuje jednu triedu?

Precision alebo recall pre túto triedu môže byť nedefinovaný. Knižnica použije zvolenú politiku, napríklad nulu alebo upozornenie, čo treba uviesť v reporte.

Má sa Macro F1 počítať z jedného prahu?

Pri multilabel úlohách výsledok závisí od prahov pre jednotlivé štítky. Prahy sa majú voliť na validačných dátach podľa cieľových nákladov a nie na testovacej sade.

Súvisiace pojmy

Zdroje a redakčná stopa

scikit-learn, F1 score averaging

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.