Jaccard distance, definícia a použitie | AI slovník

Odborná definícia

Jaccard distance je nepodobnosť odvodená od Jaccardovho indexu vzťahom d_J(A,B) = 1 - J(A,B). Nad konečnými množinami nadobúda hodnoty od 0 do 1, pričom 0 označuje rovnaké množiny a 1 množiny bez spoločných prvkov. Používa sa pri zhlukovaní binárnych atribútov, vyhľadávaní podobných dokumentov, deduplikácii a analýze množín štítkov. Na rozdiel od kosínovej vzdialenosti ignoruje počet spoločných núl, čo je dôležité pri riedkych indikátorových vektoroch. Implementácia musí konzistentne riešiť prípad dvoch prázdnych množín.

Zrozumiteľné vysvetlenie

Ak dva dokumenty reprezentujeme množinou výrazov, vzdialenosť 0 znamená, že obsahujú presne rovnakú množinu sledovaných slov. Vzdialenosť 0,8 hovorí, že ich prekryv je malý vzhľadom na všetky slová, ktoré sa objavili aspoň v jednom dokumente. V odporúčacom systéme môže rovnaká metrika merať odlišnosť dvoch používateľov podľa navštívených kategórií. Výhodou je, že tisíce kategórií, ktoré nenavštívil ani jeden používateľ, výsledok nezlepšujú. Metrika preto prirodzene pracuje s riedkymi množinovými dátami.

Časté otázky

Je Jaccardova vzdialenosť skutočná metrika?

Pre bežné množiny spĺňa nezápornosť, symetriu, nulovú vzdialenosť totožných množín aj trojuholníkovú nerovnosť. To umožňuje používať ju v algoritmoch, ktoré očakávajú metrický priestor, hoci konkrétne rozšírenia pre vážené dáta môžu mať iné vlastnosti.

Ako sa používa pri zhlukovaní?

Každý objekt sa zapíše ako množina alebo binárny vektor vlastností a medzi dvojicami sa vypočíta Jaccardova vzdialenosť. Algoritmus potom zoskupuje objekty s malou vzdialenosťou, pričom neprítomnosť vlastnosti u oboch objektov nepovažuje za dôkaz podobnosti.

Čím sa líši od Hammingovej vzdialenosti?

Hammingova vzdialenosť počíta všetky pozície, na ktorých sa binárne vektory líšia, a jej normalizovaná forma zohľadňuje aj celkový počet dimenzií. Jaccardova vzdialenosť pracuje iba s pozíciami, kde je aspoň jedna jednotka, preto je vhodnejšia pri riedkych príznakoch.

Dá sa použiť na frekvencie slov?

Klasická verzia používa iba prítomnosť alebo neprítomnosť. Pre nezáporné váhy existuje vážený Jaccard, kde sa v čitateli sčítajú minimá dvojíc váh a v menovateli maximá. Taký výpočet zachytí aj intenzitu, ale treba ho jasne odlíšiť od množinovej formy.

Ako interpretovať hodnotu 0,3?

Znamená, že Jaccardova podobnosť je 0,7. Nehovorí však, ktoré prvky sa líšia ani či sú rozdiely vecne významné. V praxi sa preto prah podobnosti kalibruje na označených dvojiciach, napríklad na známych duplicitách a neduplicitách.

Súvisiace pojmy

Zdroje a redakčná stopa

SciPy, distance.jaccard

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.