Kullback-Leibler divergence | AI slovník

Odborná definice

Kullback-Leibler divergence, KL divergence, měří očekávaný logaritmický poměr mezi pravdepodobnostným rozdělením P a referenčním rozdělením Q. Pro diskrétní rozdělení je D_KL(P||Q) součtem P(x) log P(x)/Q(x). Hodnota je nezáporná a nulová pouze při zhodných rozdeleniach téměř všade, ale není symetrická a nesplňa trojuholníkovou nerovnost. Pokud Q přiřadí nulu události s kladnou pravděpodobností v P, divergence je nekonečná. Při spojitých rozdeleniach se součet nahrazuje integrálom a obě hustoty musí být definované na kompatibilnej podpoře.

Srozumitelné vysvětlení

Skutečné chování uživatelů popisuje rozdělení P a model predpovedá Q. KL divergence vyjadřuje, kolik informační nevýhody vzniká, když svet podle P kódujeme nebo vysvetlujeme pomocí Q. Chyba při častej události má větší váhu než stejný poměr při vzácné události. Pořadí rozdělení je zásadné. D_KL(P||Q) trestá zejména místa, kde P má hmotu a Q ji podceňuje, zatímco opačný směr zvýrazní jiné chování. Dvě malé čísla proto nelze porovnávat bez znalosti smeru, logaritmického základu a podpory rozdělení.

Časté otázky

Proč KL divergence není vzdálenost?

Ve všeobecnosti D_KL(P||Q) není rovné D_KL(Q||P) a neplatí trojuholníková nerovnost. Proto se označuje jako divergence. Na symetrické porovnání se používá například Jensenova-Shannonova divergence.

Co znamená směr P vůči Q?

P určuje rozdělení, podle kterého se počítá očakávání, a Q referenční model. Změna pořadí mění, které oblasti prostoru jsou silně penalizované, proto je třeba směr vždy uvést i v implementaci.

Kde se KL používá v strojovém učení?

V maximálnej vierohodnosti, variational inference, variational autoencoders, policy optimization, knowledge distillation, regularizaci a porovnávání predikčných rozdělení. Význam závisí na toho, které distribuce zastupují data a model.

Jak se řeší nulové pravděpodobnosti?

Používá se vyhladení, numerické epsilon, vhodná parametrizace nebo omezení společné podpory. Slepé pridání epsilon mění rozdělení, proto se má zdokumentovat a otestovat citlivost výsledku.

V akých jednotkách se divergence udáva?

Při přirozeném logaritme v natoch, při logaritme se základom dva v bitoch. Základ nemění pořadí výsledků, pouze násobnou měřítko, ale při reportování má být uvedený.

Související pojmy

Zdroje a redakční stopa

SciPy, entropy and KL divergence Kullback a Leibler, On Information and Sufficiency

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.