Odborná definice
Odborná definice
F1 score je harmonický průměr precision a recall pro zvolenou pozitivní třídu. Nadobúda hodnotu od 0 do 1 a roste pouze tehdy, když model současně omezuje falešné pozitíva i falešné negatíva. Harmonický průměr trestá výraznou nerovnováhu mezi oboma zložkami více než aritmetický průměr. Při multiclass úlohách se F1 počítá po třídách a agreguje jako macro, micro nebo weighted průměr, přičemž každá volba odpovídá na jinou hodnotiacu otázku. Při nevyvážených datech se proto uvádí i způsob agregace a podpora tříd.
Srozumitelné vysvětlení
Srozumitelné vysvětlení
Predstavme si filtr urgentných reklamací. Precision hovoří, kolik označených případů bylo opravdu urgentných, recall zasa kolik všech urgentných případů filtr našel. F1 je vysoké jen tehdy, když systém nezahlcuje tím planými poplachmi a zároveň neprehliada důležité správy. Jedno číslo však může zakrýt rozdíly mezi skupinami, prahmi nebo typmi chyb. Proto se má číst spolu s confusion matrix a s nákladmi konkrétních omylů. Výběr pozitivní třídy musí být vždy explicitní.
Časté otázky
Časté otázky
Kdy je F1 vhodnější než accuracy?
Zejména při nevyvážených třídách nebo tehdy, když jsou důležité oba druhy klasifikačních omylů. Accuracy může působit vysoce i u modelu, který menšinovou třídu téměř ignoruje.
Proč se používá harmonický průměr?
Pokud je precision vysoká a recall nízký, harmonický průměr zůstane nízký. Metrika proto neumožní, aby extrémně dobrá hodnota jedné složky prekryla slabost druhé.
Co znamená macro F1?
F1 se vypočítá samostatně pro každou třídu a následně se udělá nevážený průměr. Vzácné třídy tak dostanou stejnou váhu jako početné třídy.
Jak se liší micro F1 od weighted F1?
Micro F1 nejprve sčíta rozhodnutí napříč třídami. Weighted F1 spriemeruje třídní F1 podle počtu příkladů, proto může více odrážat dominantné třídy.
Lze F1 optimalizovat změnou prahu?
Ano. Posun rozhodovacího prahu mění precision i recall. Práh se však musí vyberat na validačních datech podle provozních nákladů, ne podle testovacieho souboru.
Související pojmy
Související pojmy
Zdroje a redakční stopa
Zdroje a redakční stopa
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.