Odborná definice
Odborná definice
Q-value je číselná hodnota priradená konkrétní dvojici stavu a akce. Vyjadřuje očekávaný diskontovaný součet budoucích odmien, pokud agent v stave s provede akci a a potom pokračuje podle určenej politiky. Zápis Qπ(s,a) se vzťahuje na politiku π, zatímco Q*(s,a) označuje optimální akčnou hodnotu. Q-value není pravděpodobnost úspěchu ani okamžitá odměna. Její měřítko závisí na definice odměny, diskontného faktora a délky horizontu.
Srozumitelné vysvětlení
Srozumitelné vysvětlení
V navigaci může mít odbočení doprava okamžitou cenu jedné minúty, ale zároveň otvorit rychlejší zbytek cesty. Q-value se nepozerá pouze na prvú minútu. Shrne i očakávané následky dalších rozhodnutí. Dvě akce mohou mít stejnou okamžitou odměnu a zcela jinou Q-hodnotu. Číslo proto dává smysl pouze spolu s politikou, pravidly prostředí a jednotkou odměny.
Časté otázky
Časté otázky
Jak se Q-value liší od state value?
State value priemeruje nebo vybírá budúcnost podle politiky ze stavu. Q-value podmieňuje první krok konkrétnou akciou.
Může být Q-value záporná?
Ano. Záporná odměna, náklady nebo penalizace mohou vytvořit záporný očekávaný návrat.
Jako vplýva discount factor?
Nižší hodnota uprednostní blízké odměny. Hodnota blízka jedné dává větší váhu vzdialenejším následkom.
Je vysoká Q-value kalibrovaná istota?
Ne. Jde o očekávaný návrat podle modelu nebo odhadu. Nejistota se musí měřit samostatně.
Jak se Q-value ověřuje?
Porovnává se s návratmi z nezávislých epizód, Bellmanovým rezíduom a výkonem politiky, která z hodnot vychází.
Související pojmy
Související pojmy
Zdroje a redakční stopa
Zdroje a redakční stopa
- Sutton a Barto, Reinforcement Learning, 2nd edition
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.