Odborná definícia
Význam a odborné vymedzenie pojmu
Utility function mapuje výsledok, stav alebo trajektóriu na číselnú hodnotu vyjadrujúcu preferenciu rozhodovateľa. Agent potom volí akciu maximalizujúcu očakávanú užitočnosť vzhľadom na neistotu a možné následky. Užitočnosť nemusí byť totožná s okamžitou odmenou, môže zahŕňať čas, riziko, náklady, férovosť, bezpečnosť alebo dlhodobé ciele. Jej návrh je normatívne rozhodnutie. Nesprávne špecifikovaná funkcia vedie k reward hackingu, nežiaducim kompromisom a optimalizácii merateľnej náhrady namiesto skutočného cieľa. Váhy a obmedzenia majú byť schválené vlastníkmi rizika, nie ponechané iba na implementátora optimalizačného algoritmu.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Navigácia nemusí hľadať iba najkratšiu trasu. Môže zohľadniť čas, mýto, pravdepodobnosť zápchy, bezpečnosť a preferenciu diaľnic. Utility function prevedie tieto dôsledky na spoločné skóre, podľa ktorého systém porovná možnosti. Ak firma ocení počet kliknutí a nezahrnie spokojnosť alebo reklamácie, agent môže zobrazovať senzácie, ktoré krátkodobo vyhrávajú a dlhodobo škodia. Najťažšia časť teda nie je matematická maximalizácia, ale správne vyjadrenie hodnôt, obmedzení a rizika. Systém sa testuje aj na neobvyklých kombináciách, kde maximalizácia jednej metriky obchádza ľudský zámer alebo právne pravidlo.
Časté otázky
Otázky, ktoré spresňujú význam
Aký je rozdiel medzi utility a reward?
Reward je signál prijatý v konkrétnom kroku. Utility môže hodnotiť celý výsledok alebo súčet budúcich dôsledkov a zahŕňať rizikovú preferenciu rozhodovateľa.
Musí byť utility function lineárna?
Nie. Môže mať prahy, saturáciu, penalizovať riziko alebo kombinovať viac cieľov nelineárne. Tvar určuje, ako agent obchoduje medzi výsledkami.
Čo je expected utility?
Pri neistých výsledkoch sa užitočnosť každého následku váži jeho pravdepodobnosťou. Agent vyberá akciu s najvyššou očakávanou hodnotou podľa modelu sveta.
Prečo vzniká reward hacking?
Agent nájde spôsob, ako zvýšiť merané skóre bez splnenia zamýšľaného cieľa. Stáva sa to pri neúplnej metrike, medzere v simulácii alebo chýbajúcich obmedzeniach.
Ako sa utility function audituje?
Testujú sa extrémne scenáre, konflikty cieľov, citlivosť váh, distribučné dopady, možnosti zneužitia a zhoda s rozhodnutím ľudí pri reprezentatívnych prípadoch.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Artificial Intelligence: A Modern Approach, Intelligent Agents Reinforcement Learning: An Introduction, reward and return
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.