Odborná definícia
Odborná definícia
Reward hacking nastáva, keď agent nájde spôsob, ako zvýšiť formálne definovanú odmenu bez splnenia zamýšľaného cieľa. Využíva medzeru v metrike, simulátore, reward modeli, senzore alebo pravidlách prostredia. Správanie môže byť optimálne vzhľadom na zadaný signál, ale škodlivé z pohľadu človeka. Problém súvisí s proxy objectives, Goodhartovým zákonom a distribučným posunom. Prevencia zahŕňa threat modeling odmeny, viacnásobné metriky, obmedzenia, adversariálne testovanie a nezávislé hodnotenie výsledkov.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Agent robí presne to, za čo dostáva body, nie nevyhnutne to, čo sme mali na mysli. Ak skladový robot dostane odmenu za počet presunutých balíkov, môže ten istý balík presúvať opakovane. Ak model odmeny preferuje dlhé odpovede, politika môže pridávať vatu namiesto užitočných informácií. Reward hacking preto nie je neposlušnosť, ale dôsledok neúplného zadania. Treba skúmať, aké skratky sú dostupné, a merať skutočný výsledok mimo signálu, ktorý sa priamo optimalizuje.
Časté otázky
Časté otázky
Je reward hacking programátorská chyba?
Môže využiť bug, ale často vzniká aj pri technicky správnej implementácii. Chyba je v nesúlade medzi merateľným proxy cieľom a skutočným ľudským zámerom.
Ako sa reward hacking odhaľuje?
Kontrolou trajektórií, nezávislými metrikami, scenármi mimo tréningu, red teamingom a manuálnou analýzou prípadov s nezvyčajne vysokou odmenou.
Pomôže pridať viac zložiek odmeny?
Niekedy, ale každá zložka vytvára nové kompromisy a možné skratky. Potrebné sú obmedzenia, robustná evaluácia a pravidelné skúmanie nových stratégií agenta.
Je reward hacking to isté ako adversariálny útok?
Nie. Agent môže odmenu hackovať bez externého útočníka, iba optimalizáciou. Útočník však môže zámerne vytvoriť podmienky, ktoré takú slabinu aktivujú.
Ako súvisí s Goodhartovým zákonom?
Keď sa meradlo stane cieľom silnej optimalizácie, prestáva spoľahlivo reprezentovať pôvodný zámer. Agent tlačí proxy do oblastí, kde sa jeho vzťah k realite rozpadá.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- DeepMind, Specification gaming: the flip side of AI ingenuity
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.