Jensen-Shannon divergence | AI slovník

Odborná definice

Jensen-Shannon divergence, JSD, je symetrická a konečná míra rozdílu mezi pravdepodobnostnými rozdeleniami. Pro dvě distribuce P a Q vytvoří zmes M = (P + Q)/2 a spriemeruje KL(P||M) a KL(Q||M). Na rozdíl od Kullbackovej-Leiblerovej divergence zůstává definovaná i tehdy, když má jedna distribuce nulovou pravděpodobnost tam, kde druhá ne, protože zmes obsahuje podporu obou. Při logaritme se základom 2 leží mezi 0 a 1. Druhá odmocnina JSD tvoří metriku a používá se při porovnání modelových výstupů, driftu a generativních distribúcií.

Srozumitelné vysvětlení

Dvě jazykové verze modelu rozdělují pravděpodobnost mezi možné odpovědi odlišne. Priama KL divergence může být problematická, pokud jedna verze přiřadí niektorej možnosti nulu. JSD nejprve vytvoří stredné rozdělení, které obsahuje informaci z obou, a potom měří, jako daleko je od něho každá verze. Výsledek je stejný bez ohladu na pořadí modelů a má hornou hranici. Nulová hodnota znamená stejné distribuce, vyšší hodnota větší odlišnost v rozdělení pravděpodobnosti, ne nevyhnutelně horší kvalitu.

Časté otázky

Proč je JSD symetrická?

Obě distribuce se porovnávají s tou istou zmesou a dva KL členy se průměrují. Výmena P a Q proto nezmění výsledek. To je rozdíl oproti KL divergencii, kde směr porovnání zásadne ovlivňuje hodnotu.

Co znamená hodnota 0?

Distribuce jsou stejné téměř všade na společné podpoře. V empirickom odhade může být velmi malá nenulová hodnota spůsobená konečnou vzorkou, vyhladzováním nebo numerickou přesností.

Závisí rozsah od základu logaritmu?

Ano. Při logaritme se základom 2 je maximum pro dvě distribuce 1 bit. Při přirozeném logaritme je maximum ln 2. Při reportování je třeba uvést konvenci, jinak se čísla mezi nástroji nemusí zhodovat.

Jak se JSD používá při detekci driftu?

Porovná se rozdělení vybraného príznaku, tříd nebo skóre v referenčnom a aktuálnom období. Práh se kalibruje na historickej variabilite. Divergence signalizuje změnu distribuce, ale sama neurčí její príčinu ani dopad na přesnost.

Je vhodná pro spojité distribuce?

Ano, pokud lze spolehlivě odhadnout hustoty nebo pracovat s diskrétnymi binmi či vzorkovým odhadom. Výsledek může být citlivý na binning, kernel bandwidth a nedostatok dat v chvostoch distribuce.

Související pojmy

Zdroje a redakční stopa

Lin, Divergence measures based on the Shannon entropy
SciPy, jensenshannon

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.