Odborná definice
Odborná definice
Jensenova nerovnost tvrdí, že pro konvexnou funkci phi a náhodnou proměnnou X platí phi(E[X]) <= E[phi(X)], pokud jsou očakávání definované. Pro konkávnu funkci se směr obráti. Nerovnost propojuje zakrivení funkce s priemerováním a stojí za mnohými hranicami v štatistike a strojovém učení. Používá se při odvození evidence lower bound ve variačnej inferenci, při analýze log-loss, entropie a rizika. Rovnost nastáva při afínnej funkcii nebo při degenerovanej distribuci, případně za špecifických podmínek na podpoře X.
Srozumitelné vysvětlení
Srozumitelné vysvětlení
Máme kolísajúci vstup a konvexnou nákladovou funkci, která prudšie roste při extrémnych hodnotách. Náklad vypočítaný z průměrné hodnoty bude nejvíce rovný priemernému nákladu jednotlivých realizací, obvykle bude nižší. Proto nestačí nahradit neisté data jejich průměrem, pokud následná funkce není lineární. Ve variačnom učení se podobná vlastnost logaritmu využije na vytvoření dolnej hranice logaritmu pravděpodobnosti dat, kterou lze optimalizovat místo těžko dostupného presného výrazu.
Časté otázky
Časté otázky
Jako zistím směr nerovnosti?
Při konvexnej funkcii leží graf pod tetivami, proto funkce průměru nepresiahne průměr funkčných hodnot. Při konkávnej funkcii, například logaritme, je to opačne. Ověřit lze druhou derivaci nebo definici konvexnosti.
Proč je důležitá ve variačnej inferenci?
Logaritmus integrálu nebo očakávání bývá těžké vypočítat. Zavedením pomocnej distribuce a použitím konkávnosti logaritmu se odvodí ELBO, kterou lze optimalizovat a která zůstává dolnou hranicou log evidence.
Kdy platí rovnost?
Pokud X nadobúda téměř isto jednu hodnotu, průměrování nic nemění. Rovnost nastáva i tehdy, když je funkce afínna na konvexnom obale hodnot X. Při striktne konvexnej funkcii a nedegenerovanom X je nerovnost ostrá.
Lze použít na vektory?
Ano. Pro konvexnou funkci definovanou na konvexnej množině ve viacrozmernom prostoru platí stejný princip s vektorovým očakáváním. Potřebné jsou podmínky integrability a podpora v definičnom obore.
Jakou chybu spůsobí zámenné použití?
Otočení smeru může vést k nesprávné dolnej nebo hornej hranici, a tím k neplatnému optimalizačnému cielu. Při odvozování je třeba explicitně uvést, zda je funkce konvexná nebo konkávna a na akom intervale.
Související pojmy
Související pojmy
Zdroje a redakční stopa
Zdroje a redakční stopa
- Boyd a Vandenberghe, Convex Optimization
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.