Odborná definice
Význam a odborné vymezení pojmu
Jensen-Shannon divergence, JSD, je symetrická a konečná míra rozdílu mezi pravdepodobnostnými rozdeleniami. Pro dvě distribuce P a Q vytvoří zmes M = (P + Q)/2 a spriemeruje KL(P||M) a KL(Q||M). Na rozdíl od Kullbackovej-Leiblerovej divergence zůstává definovaná i tehdy, když má jedna distribuce nulovou pravděpodobnost tam, kde druhá ne, protože zmes obsahuje podporu obou. Při logaritme se základom 2 leží mezi 0 a 1. Druhá odmocnina JSD tvoří metriku a používá se při porovnání modelových výstupů, driftu a generativních distribúcií.
Srozumitelné vysvětlení
Jak se pojem používá v praxi
Dvě jazykové verze modelu rozdělují pravděpodobnost mezi možné odpovědi odlišne. Priama KL divergence může být problematická, pokud jedna verze přiřadí niektorej možnosti nulu. JSD nejprve vytvoří stredné rozdělení, které obsahuje informaci z obou, a potom měří, jako daleko je od něho každá verze. Výsledek je stejný bez ohladu na pořadí modelů a má hornou hranici. Nulová hodnota znamená stejné distribuce, vyšší hodnota větší odlišnost v rozdělení pravděpodobnosti, ne nevyhnutelně horší kvalitu.
Časté otázky
Otázky, které upřesňují význam
Proč je JSD symetrická?
Obě distribuce se porovnávají s tou istou zmesou a dva KL členy se průměrují. Výmena P a Q proto nezmění výsledek. To je rozdíl oproti KL divergencii, kde směr porovnání zásadne ovlivňuje hodnotu.
Co znamená hodnota 0?
Distribuce jsou stejné téměř všade na společné podpoře. V empirickom odhade může být velmi malá nenulová hodnota spůsobená konečnou vzorkou, vyhladzováním nebo numerickou přesností.
Závisí rozsah od základu logaritmu?
Ano. Při logaritme se základom 2 je maximum pro dvě distribuce 1 bit. Při přirozeném logaritme je maximum ln 2. Při reportování je třeba uvést konvenci, jinak se čísla mezi nástroji nemusí zhodovat.
Jak se JSD používá při detekci driftu?
Porovná se rozdělení vybraného príznaku, tříd nebo skóre v referenčnom a aktuálnom období. Práh se kalibruje na historickej variabilite. Divergence signalizuje změnu distribuce, ale sama neurčí její príčinu ani dopad na přesnost.
Je vhodná pro spojité distribuce?
Ano, pokud lze spolehlivě odhadnout hustoty nebo pracovat s diskrétnymi binmi či vzorkovým odhadom. Výsledek může být citlivý na binning, kernel bandwidth a nedostatok dat v chvostoch distribuce.
Související pojmy
Významové a tematické souvislosti
Zdroje a redakční stopa
Použitá východiska a odborná revize
- Lin, Divergence measures based on the Shannon entropy
- SciPy, jensenshannon
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.