Reward hacking | AI slovník

Odborná definice

Reward hacking nastáva, když agent najde způsob, jako zvýšit formálně definovanou odměnu bez splnění zamýšleného cíle. Využívá medzeru v metrice, simulátore, reward modeli, senzore nebo pravidlách prostředí. Chování může být optimálne vzhledem na zadaný signál, ale škodlivé z pohledu člověka. Problém souvisí s proxy objectives, Goodhartovým zákonom a distribučným posunom. Prevence zahrnuje threat modeling odměny, viacnásobné metriky, omezení, adversariální testování a nezávislé hodnocení výsledků.

Srozumitelné vysvětlení

Agent dělá přesně to, za co dostává body, ne nevyhnutelně to, co jsme měli na mysli. Pokud skladový robot dostane odměnu za počet presunutých balíků, může ten jistý balík presúvat opakovaně. Pokud model odměny preferuje dlouhé odpovědi, politika může pridávat vatu místo užitočných informací. Reward hacking proto není neposlušnost, ale důsledok neúplného zadání. Je třeba skúmat, jaké zkratky jsou dostupné, a měřit skutečný výsledek mimo signálu, který se přímo optimalizuje.

Časté otázky

Je reward hacking programátorská chyba?

Může využit bug, ale často vzniká i při technicky správné implementaci. Chyba je v nesúlade mezi meratelným proxy cílem a skutočným ludským zámerom.

Jak se reward hacking odhaluje?

Kontrolou trajektorií, nezávislými metrikami, scenármi mimo tréninku, red teamingom a manuálnou analýzou případů s nezvyčajne vysokou odměnou.

Pomůže přidat více složek odměny?

Někdy, ale každá složka vytváří nové kompromisy a možné zkratky. Potřebné jsou omezení, robustní evaluace a pravidelné skúmání nových stratégií agenta.

Je reward hacking to jisté jako adversariální útok?

Ne. Agent může odměnu hackovat bez externího útočníka, pouze optimalizací. Útočník však může záměrně vytvořit podmínky, které takú slabinu aktivují.

Jako souvisí s Goodhartovým zákonom?

Když se meradlo stane cílem silné optimalizace, prestáva spolehlivě reprezentovat původní záměr. Agent tlačí proxy do oblastí, kde se jeho vztah k realite rozpadá.

Související pojmy

Zdroje a redakční stopa

DeepMind, Specification gaming: the flip side of AI ingenuity

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.