Odborná definícia
Odborná definícia
Jensenova nerovnosť tvrdí, že pre konvexnú funkciu phi a náhodnú premennú X platí phi(E[X]) <= E[phi(X)], ak sú očakávania definované. Pre konkávnu funkciu sa smer obráti. Nerovnosť prepája zakrivenie funkcie s priemerovaním a stojí za mnohými hranicami v štatistike a strojovom učení. Používa sa pri odvodení evidence lower bound vo variačnej inferencii, pri analýze log-loss, entropie a rizika. Rovnosť nastáva pri afínnej funkcii alebo pri degenerovanej distribúcii, prípadne za špecifických podmienok na podpore X.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Máme kolísajúci vstup a konvexnú nákladovú funkciu, ktorá prudšie rastie pri extrémnych hodnotách. Náklad vypočítaný z priemernej hodnoty bude najviac rovný priemernému nákladu jednotlivých realizácií, zvyčajne bude nižší. Preto nestačí nahradiť neisté dáta ich priemerom, ak následná funkcia nie je lineárna. Vo variačnom učení sa podobná vlastnosť logaritmu využije na vytvorenie dolnej hranice logaritmu pravdepodobnosti dát, ktorú možno optimalizovať namiesto ťažko dostupného presného výrazu.
Časté otázky
Časté otázky
Ako zistím smer nerovnosti?
Pri konvexnej funkcii leží graf pod tetivami, preto funkcia priemeru nepresiahne priemer funkčných hodnôt. Pri konkávnej funkcii, napríklad logaritme, je to opačne. Overiť možno druhú deriváciu alebo definíciu konvexnosti.
Prečo je dôležitá vo variačnej inferencii?
Logaritmus integrálu alebo očakávania býva ťažké vypočítať. Zavedením pomocnej distribúcie a použitím konkávnosti logaritmu sa odvodí ELBO, ktorú možno optimalizovať a ktorá zostáva dolnou hranicou log evidence.
Kedy platí rovnosť?
Ak X nadobúda takmer isto jednu hodnotu, priemerovanie nič nemení. Rovnosť nastáva aj vtedy, keď je funkcia afínna na konvexnom obale hodnôt X. Pri striktne konvexnej funkcii a nedegenerovanom X je nerovnosť ostrá.
Dá sa použiť na vektory?
Áno. Pre konvexnú funkciu definovanú na konvexnej množine vo viacrozmernom priestore platí rovnaký princíp s vektorovým očakávaním. Potrebné sú podmienky integrability a podpora v definičnom obore.
Akú chybu spôsobí zámenné použitie?
Otočenie smeru môže viesť k nesprávnej dolnej alebo hornej hranici, a tým k neplatnému optimalizačnému cieľu. Pri odvodzovaní treba explicitne uviesť, či je funkcia konvexná alebo konkávna a na akom intervale.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Boyd a Vandenberghe, Convex Optimization
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.