Odborná definice
Význam a odborné vymezení pojmu
Utility function mapuje výsledek, stav nebo trajektóriu na číselnou hodnotu vyjadrujúcu preferenci rozhodovatela. Agent potom volí akci maximalizujúcu očakávanou užitečnost vzhledem na nejistotu a možné následky. Užitečnost nemusí být totožná s okamžitou odměnou, může zahrnovat čas, riziko, náklady, férovost, bezpečnost nebo dlhodobé cíle. Její návrh je normatívne rozhodnutí. Nesprávně špecifikovaná funkce vede k reward hackingu, nežiaducim kompromisom a optimalizaci meratelnej náhrady místo skutečného cíle. Váhy a omezení mají být schválené vlastníkmi rizika, ne ponechané pouze na implementátora optimalizačného algoritmu.
Srozumitelné vysvětlení
Jak se pojem používá v praxi
Navigace nemusí hladat pouze najkratšiu trasu. Může zohladnit čas, mýto, pravděpodobnost zápchy, bezpečnost a preferenci dialnic. Utility function převede tyto důsledky na společné skóre, podle kterého systém porovná možnosti. Pokud firma ocení počet kliknutí a nezahrnie spokojnost nebo reklamace, agent může zobrazovat senzace, které krátkodobo vyhrávají a dlhodobo škodia. Najťažšia část tedy není matematická maximalizace, ale správně vyjadrení hodnot, omezení a rizika. Systém se testuje i na neobvyklých kombinacích, kde maximalizace jedné metriky obchádza lidský záměr nebo právně pravidlo.
Časté otázky
Otázky, které upřesňují význam
Jaký je rozdíl mezi utility a reward?
Reward je signál prijatý v konkrétním kroku. Utility může hodnotit celý výsledek nebo součet budoucích důsledků a zahrnovat rizikovou preferenci rozhodovatela.
Musí být utility function lineární?
Ne. Může mít prahy, saturaci, penalizovat riziko nebo kombinovat více cílů nelineárně. Tvar určuje, jako agent obchoduje mezi výsledky.
Co je expected utility?
Při neistých výsledkoch se užitečnost každého následku váží jeho pravděpodobností. Agent vybírá akci s nejvyšší očakávanou hodnotou podle modelu sveta.
Proč vzniká reward hacking?
Agent najde způsob, jako zvýšit merané skóre bez splnění zamýšleného cíle. Stává se to při neúplnej metrice, medzere v simulaci nebo chybějících obmedzeniach.
Jak se utility function audituje?
Testují se extrémně scénáře, konflikty cílů, citlivost váh, distribuční dopady, možnosti zneužitia a shoda s rozhodnutím lidí při reprezentatívnych případech.
Související pojmy
Významové a tematické souvislosti
Zdroje a redakční stopa
Použitá východiska a odborná revize
- Artificial Intelligence: A Modern Approach, Intelligent Agents Reinforcement Learning: An Introduction, reward and return
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.