Odborná definícia
Význam a odborné vymedzenie pojmu
Jensen-Shannon divergence, JSD, je symetrická a konečná miera rozdielu medzi pravdepodobnostnými rozdeleniami. Pre dve distribúcie P a Q vytvorí zmes M = (P + Q)/2 a spriemeruje KL(P||M) a KL(Q||M). Na rozdiel od Kullbackovej-Leiblerovej divergencie zostáva definovaná aj vtedy, keď má jedna distribúcia nulovú pravdepodobnosť tam, kde druhá nie, pretože zmes obsahuje podporu oboch. Pri logaritme so základom 2 leží medzi 0 a 1. Druhá odmocnina JSD tvorí metriku a používa sa pri porovnaní modelových výstupov, driftu a generatívnych distribúcií.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Dve jazykové verzie modelu rozdeľujú pravdepodobnosť medzi možné odpovede odlišne. Priama KL divergencia môže byť problematická, ak jedna verzia priradí niektorej možnosti nulu. JSD najprv vytvorí stredné rozdelenie, ktoré obsahuje informáciu z oboch, a potom meria, ako ďaleko je od neho každá verzia. Výsledok je rovnaký bez ohľadu na poradie modelov a má hornú hranicu. Nulová hodnota znamená rovnaké distribúcie, vyššia hodnota väčšiu odlišnosť v rozdelení pravdepodobnosti, nie nevyhnutne horšiu kvalitu.
Časté otázky
Otázky, ktoré spresňujú význam
Prečo je JSD symetrická?
Obe distribúcie sa porovnávajú s tou istou zmesou a dva KL členy sa priemerujú. Výmena P a Q preto nezmení výsledok. To je rozdiel oproti KL divergencii, kde smer porovnania zásadne ovplyvňuje hodnotu.
Čo znamená hodnota 0?
Distribúcie sú rovnaké takmer všade na spoločnej podpore. V empirickom odhade môže byť veľmi malá nenulová hodnota spôsobená konečnou vzorkou, vyhladzovaním alebo numerickou presnosťou.
Závisí rozsah od základu logaritmu?
Áno. Pri logaritme so základom 2 je maximum pre dve distribúcie 1 bit. Pri prirodzenom logaritme je maximum ln 2. Pri reportovaní treba uviesť konvenciu, inak sa čísla medzi nástrojmi nemusia zhodovať.
Ako sa JSD používa pri detekcii driftu?
Porovná sa rozdelenie vybraného príznaku, tried alebo skóre v referenčnom a aktuálnom období. Prah sa kalibruje na historickej variabilite. Divergencia signalizuje zmenu distribúcie, ale sama neurčí jej príčinu ani dopad na presnosť.
Je vhodná pre spojité distribúcie?
Áno, ak možno spoľahlivo odhadnúť hustoty alebo pracovať s diskrétnymi binmi či vzorkovým odhadom. Výsledok môže byť citlivý na binning, kernel bandwidth a nedostatok dát v chvostoch distribúcie.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Lin, Divergence measures based on the Shannon entropy
- SciPy, jensenshannon
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.