Odborná definícia
Odborná definícia
Variational inference je metóda aproximácie zložitého posteriorného rozdelenia pomocou jednoduchšej parametrickej rodiny rozdelení. Inferencia sa prevedie na optimalizáciu, pri ktorej sa hľadá rozdelenie q najbližšie k skutočnému posterioru podľa zvolenej divergencie. Bežne sa maximalizuje evidence lower bound, skrátene ELBO, ktorý spája očakávanú logaritmickú vierohodnosť a penalizáciu odchýlky od prioru. Výsledná aproximácia môže byť rýchla, no obmedzená rodina q môže podhodnotiť neistotu alebo vynechať viaceré módy.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Bayesovský model môže vytvoriť posterior s tvarom, ktorý sa nedá priamo spočítať. Variačná inferencia naň priloží jednoduchší tvar, napríklad jednu elipsu, a posúva ho tak, aby čo najlepšie pokryl pravdepodobnú oblasť. Výpočet je potom oveľa rýchlejší než dlhé vzorkovanie. Ak má však skutočné rozdelenie dve oddelené oblasti, jedna elipsa ich môže zliať alebo jednu úplne ignorovať. Rýchlosť preto prichádza spolu s modelovým predpokladom o tvare aproximácie.
Časté otázky
Časté otázky
Ako sa variational inference líši od MCMC?
MCMC približuje posterior vzorkami z reťazca. Variačný prístup optimalizuje parametre zvolenej rodiny rozdelení a býva rýchlejší, ale viac skreslený.
Čo je ELBO?
Dolná hranica logaritmu dôkazu. Jej maximalizácia zlepšuje prispôsobenie dátam a zároveň riadi odchýlku aproximácie od prioru.
Čo znamená mean-field aproximácia?
Predpokladá nezávislosť medzi skupinami latentných premenných. Zjednodušuje výpočet, ale môže stratiť dôležité korelácie.
Čo je amortized inference?
Jedna neurónová sieť predikuje variačné parametre pre nové vstupy, namiesto samostatnej optimalizácie každého prípadu. Používa sa vo VAE.
Ako sa kontroluje kvalita aproximácie?
Porovnaním s presnejším vzorkovaním na menšom probléme, posterior predictive kontrolami, citlivosťou na rodinu q a stabilitou ELBO.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Blei, Kucukelbir a McAuliffe, Variational Inference, 2017
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.