Jaccardova vzdálenost | AI slovník

Odborná definice

Jaccard distance je nepodobnost odvodená od Jaccardovho indexu vzťahom d_J(A,B) = 1 - J(A,B). Nad konečnými množinami nadobúda hodnoty od 0 do 1, přičemž 0 označuje stejné množiny a 1 množiny bez spoločných prvků. Používá se při zhlukování binárnych atributů, vyhledávání podobných dokumentů, deduplikaci a analýze množin štítků. Na rozdíl od kosínovej vzdálenosti ignoruje počet spoločných núl, co je důležité při riedkych indikátorových vektoroch. Implementace musí konzistentne řešit případ dvou prázdnych množin.

Srozumitelné vysvětlení

Pokud dva dokumenty reprezentujeme množinou výrazů, vzdálenost 0 znamená, že obsahují přesně stejnou množinu sledovaných slov. Vzdálenost 0,8 hovoří, že jejich překryv je malý vzhledem na všechny slova, které se objavili aspoň v jednom dokumente. V odporúčacom systéme může stejná metrika měřit odlišnost dvou uživatelů podle navštívených kategorií. Výhodou je, že tisíce kategorií, které nenavštívil ani jeden uživatel, výsledek nezlepšují. Metrika proto přirozeně pracuje s riedkymi množinovými daty.

Časté otázky

Je Jaccardova vzdálenost skutečná metrika?

Pro běžné množiny splňuje nezápornost, symetrii, nulovou vzdálenost totožných množin i trojuholníkovou nerovnost. To umožňuje používat ji v algoritmoch, které očakávají metrický prostor, ačkoli konkrétně rozšíření pro vážené data mohou mít jiné vlastnosti.

Jak se používá při zhlukování?

Každý objekt se zapíše jako množina nebo binární vektor vlastností a mezi dvojicami se vypočítá Jaccardova vzdálenost. Algoritmus potom zoskupuje objekty s malou vzdáleností, přičemž neprítomnost vlastnosti u obou objektů nepovažuje za důkaz podobnosti.

Čím se liší od Hammingovej vzdálenosti?

Hammingova vzdálenost počítá všechny pozice, na kterých se binární vektory liší, a její normalizovaná forma zohladňuje i celkový počet dimenzií. Jaccardova vzdálenost pracuje pouze s pozicemi, kde je aspoň jedna jednotka, proto je vhodnější při riedkych príznakoch.

Lze použít na frekvence slov?

Klasická verze používá pouze přítomnost nebo neprítomnost. Pro nezáporné váhy existuje vážený Jaccard, kde se v čitateli sčítají minimá dvojic váh a v menovateli maximá. Takový výpočet zachytí i intenzitu, ale je třeba ho jasně odlíšit od množinovej formy.

Jako interpretovat hodnotu 0,3?

Znamená, že Jaccardova podobnost je 0,7. Neříká však, které prvky se liší ani zda jsou rozdíly vecne významné. V praxi se proto práh podobnosti kalibruje na označených dvojiciach, například na známých duplicitách a neduplicitách.

Související pojmy

Zdroje a redakční stopa

SciPy, distance.jaccard

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.