Variační inference | AI slovník

Odborná definice

Variational inference je metoda aproximace složitého posteriorného rozdělení pomocí jednoduchšej parametrickej rodiny rozdělení. Inference se převede na optimalizaci, při které se hledá rozdělení q nejbližší k skutočnému posterioru podle zvolené divergence. Běžně se maximalizuje evidence lower bound, zkráceně ELBO, který spojuje očakávanou logaritmickou vierohodnost a penalizaci odchylky od prioru. Výsledná aproximace může být rychlá, ale omezená rodina q může podhodnotit nejistotu nebo vynechat více módy.

Srozumitelné vysvětlení

Bayesovský model může vytvořit posterior s tvarem, který se nedá přímo spočítat. Variační inference naň priloží jednodušší tvar, například jednu elipsu, a posouvá ho tak, aby co nejlépe pokryl pravdepodobnou oblast. Výpočet je potom ovela rychlejší než dlouhé vzorkování. Pokud má však skutečné rozdělení dvě oddělené oblasti, jedna elipsa jejich může zliať nebo jednu zcela ignorovat. Rychlost proto prichádza spolu s modelovým predpokladom o tvaru aproximace.

Časté otázky

Jak se variational inference liší od MCMC?

MCMC přibližuje posterior vzorkami z řetězce. Variační přístup optimalizuje parametry zvolené rodiny rozdělení a bývá rychlejší, ale více skreslený.

Co je ELBO?

Dolná hranice logaritmu důkazu. Její maximalizace zlepšuje přizpůsobení datům a zároveň řídí odchylku aproximace od prioru.

Co znamená mean-field aproximace?

Předpokládá nezávislost mezi skupinami latentných proměnných. Zjednodušuje výpočet, ale může stratit důležité korelace.

Co je amortized inference?

Jedna neuronová síť predikuje variačné parametry pro nové vstupy, místo samostatné optimalizace každého případu. Používá se ve VAE.

Jak se kontroluje kvalita aproximace?

Porovnáním s presnejším vzorkováním na menším probléme, posterior predictive kontrolami, citlivostí na rodinu q a stabilitou ELBO.

Související pojmy

Zdroje a redakční stopa

Blei, Kucukelbir a McAuliffe, Variational Inference, 2017

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.