Odborná definícia
Význam a odborné vymedzenie pojmu
F1 score je harmonický priemer precision a recall pre zvolenú pozitívnu triedu. Nadobúda hodnotu od 0 do 1 a rastie iba vtedy, keď model súčasne obmedzuje falošné pozitíva aj falošné negatíva. Harmonický priemer trestá výraznú nerovnováhu medzi oboma zložkami viac než aritmetický priemer. Pri multiclass úlohách sa F1 počíta po triedach a agreguje ako macro, micro alebo weighted priemer, pričom každá voľba odpovedá na inú hodnotiacu otázku. Pri nevyvážených dátach sa preto uvádza aj spôsob agregácie a podpora tried.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Predstavme si filter urgentných reklamácií. Precision hovorí, koľko označených prípadov bolo naozaj urgentných, recall zasa koľko všetkých urgentných prípadov filter našiel. F1 je vysoké len vtedy, keď systém nezahlcuje tím planými poplachmi a zároveň neprehliada dôležité správy. Jedno číslo však môže zakryť rozdiely medzi skupinami, prahmi alebo typmi chýb. Preto sa má čítať spolu s confusion matrix a s nákladmi konkrétnych omylov. Výber pozitívnej triedy musí byť vždy explicitný.
Časté otázky
Otázky, ktoré spresňujú význam
Kedy je F1 vhodnejšie než accuracy?
Najmä pri nevyvážených triedach alebo vtedy, keď sú dôležité oba druhy klasifikačných omylov. Accuracy môže pôsobiť vysoko aj pri modeli, ktorý menšinovú triedu takmer ignoruje.
Prečo sa používa harmonický priemer?
Ak je precision vysoká a recall nízky, harmonický priemer zostane nízky. Metrika preto neumožní, aby extrémne dobrá hodnota jednej zložky prekryla slabosť druhej.
Čo znamená macro F1?
F1 sa vypočíta samostatne pre každú triedu a následne sa urobí nevážený priemer. Zriedkavé triedy tak dostanú rovnakú váhu ako početné triedy.
Ako sa líši micro F1 od weighted F1?
Micro F1 najprv sčíta rozhodnutia naprieč triedami. Weighted F1 spriemeruje triedne F1 podľa počtu príkladov, preto môže viac odrážať dominantné triedy.
Dá sa F1 optimalizovať zmenou prahu?
Áno. Posun rozhodovacieho prahu mení precision aj recall. Prah sa však musí vyberať na validačných dátach podľa prevádzkových nákladov, nie podľa testovacieho súboru.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.