Kullback-Leibler divergence, definícia a použitie | AI slovník

Odborná definícia

Kullback-Leibler divergence, KL divergencia, meria očakávaný logaritmický pomer medzi pravdepodobnostným rozdelením P a referenčným rozdelením Q. Pre diskrétne rozdelenia je D_KL(P||Q) súčtom P(x) log P(x)/Q(x). Hodnota je nezáporná a nulová iba pri zhodných rozdeleniach takmer všade, no nie je symetrická a nespĺňa trojuholníkovú nerovnosť. Ak Q priradí nulu udalosti s kladnou pravdepodobnosťou v P, divergencia je nekonečná. Pri spojitých rozdeleniach sa súčet nahrádza integrálom a obe hustoty musia byť definované na kompatibilnej podpore.

Zrozumiteľné vysvetlenie

Skutočné správanie používateľov opisuje rozdelenie P a model predpovedá Q. KL divergencia vyjadruje, koľko informačnej nevýhody vzniká, keď svet podľa P kódujeme alebo vysvetľujeme pomocou Q. Chyba pri častej udalosti má väčšiu váhu než rovnaký pomer pri zriedkavej udalosti. Poradie rozdelení je zásadné. D_KL(P||Q) trestá najmä miesta, kde P má hmotu a Q ju podceňuje, zatiaľ čo opačný smer zvýrazní iné správanie. Dve malé čísla preto nemožno porovnávať bez znalosti smeru, logaritmického základu a podpory rozdelení.

Časté otázky

Prečo KL divergencia nie je vzdialenosť?

Vo všeobecnosti D_KL(P||Q) nie je rovné D_KL(Q||P) a neplatí trojuholníková nerovnosť. Preto sa označuje ako divergencia. Na symetrické porovnanie sa používa napríklad Jensenova-Shannonova divergencia.

Čo znamená smer P voči Q?

P určuje rozdelenie, podľa ktorého sa počíta očakávanie, a Q referenčný model. Zmena poradia mení, ktoré oblasti priestoru sú silno penalizované, preto treba smer vždy uviesť aj v implementácii.

Kde sa KL používa v strojovom učení?

V maximálnej vierohodnosti, variational inference, variational autoencoders, policy optimization, knowledge distillation, regularizácii a porovnávaní predikčných rozdelení. Význam závisí od toho, ktoré distribúcie zastupujú dáta a model.

Ako sa riešia nulové pravdepodobnosti?

Používa sa vyhladenie, numerické epsilon, vhodná parametrizácia alebo obmedzenie spoločnej podpory. Slepé pridanie epsilon mení rozdelenie, preto sa má zdokumentovať a otestovať citlivosť výsledku.

V akých jednotkách sa divergencia udáva?

Pri prirodzenom logaritme v natoch, pri logaritme so základom dva v bitoch. Základ nemení poradie výsledkov, iba násobnú mierku, no pri reportovaní má byť uvedený.

Súvisiace pojmy

Zdroje a redakčná stopa

SciPy, entropy and KL divergence Kullback a Leibler, On Information and Sufficiency

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.