Odborná definícia
Odborná definícia
Jaccard index vyjadruje podobnosť dvoch množín pomerom počtu spoločných prvkov k počtu všetkých unikátnych prvkov prítomných aspoň v jednej z nich. V strojovom učení porovnáva napríklad množinu správnych a predikovaných štítkov, množinu tokenov alebo pixely referenčnej a predikovanej masky. Hodnota 1 znamená úplnú zhodu, hodnota 0 nulový spoločný prvok. Pri prázdnych množinách treba vopred určiť konvenciu, pretože menovateľ môže byť nulový. Priemerovanie v multilabel úlohách musí zohľadniť, či sa počíta po vzorkách, triedach alebo globálne.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Predstavte si dve skupiny produktov. Prvá obsahuje položky, ktoré zákazník skutočne kúpil, druhá položky, ktoré odporučil model. Jaccardov index sa pýta, aká časť všetkých unikátnych položiek v oboch skupinách sa nachádza zároveň v oboch. Ak sa zhodujú tri produkty a spolu je v zjednotení šesť rôznych produktov, skóre je 0,5. Rovnaká logika funguje pri porovnaní segmentačných masiek, tém dokumentov alebo súborov značiek, preto je metrika užitočná všade, kde výsledok možno chápať ako množinu.
Časté otázky
Časté otázky
Ako sa Jaccard index vypočíta pri binárnej klasifikácii?
Za prienik sa považujú prípady, ktoré sú pozitívne v referencii aj predikcii. Zjednotenie tvoria všetky prípady pozitívne aspoň v jednej z nich. V zápise cez confusion matrix ide o TP delené súčtom TP, FP a FN, pričom true negative prípady skóre priamo nezvyšujú.
Čím sa líši od accuracy?
Accuracy započítava aj správne negatívne prípady. Jaccardov index sa sústreďuje na prekryv pozitívnych množín, preto býva informatívnejší pri segmentácii alebo zriedkavých pozitívnych triedach, kde by veľké množstvo pozadia mohlo accuracy umelo nafúknuť.
Je vhodný pre viac štítkov naraz?
Áno. Pri multilabel klasifikácii sa môže vypočítať pre každú vzorku, pre každú triedu alebo mikropriemerom zo všetkých rozhodnutí. Voľba priemerovania mení interpretáciu, preto ju treba uviesť spolu s výsledkom.
Čo znamená nízke skóre pri segmentácii?
Predikovaná maska sa málo prekrýva s referenčnou maskou alebo pokrýva veľa nesprávnych pixelov. Samotné číslo však neukáže, či model objekt systematicky zmenšuje, posúva alebo zamieňa s iným regiónom, preto sa dopĺňa vizuálnou kontrolou.
Kedy môže Jaccard index zavádzať?
Pri veľmi malých objektoch môže niekoľko pixelov výrazne zmeniť skóre. Pri rôzne veľkých triedach môže makropriemer dávať každej triede rovnakú váhu, zatiaľ čo mikropriemer zvýhodní rozsiahle triedy. Výsledok treba čítať spolu s distribúciou veľkostí a typmi chýb.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- scikit-learn, jaccard_score
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.