Odborná definícia
Význam a odborné vymedzenie pojmu
Q-value je číselná hodnota priradená konkrétnej dvojici stavu a akcie. Vyjadruje očakávaný diskontovaný súčet budúcich odmien, ak agent v stave s vykoná akciu a a potom pokračuje podľa určenej politiky. Zápis Qπ(s,a) sa vzťahuje na politiku π, kým Q*(s,a) označuje optimálnu akčnú hodnotu. Q-value nie je pravdepodobnosť úspechu ani okamžitá odmena. Jej mierka závisí od definície odmeny, diskontného faktora a dĺžky horizontu.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
V navigácii môže mať odbočenie doprava okamžitú cenu jednej minúty, ale zároveň otvoriť rýchlejší zvyšok cesty. Q-value sa nepozerá iba na prvú minútu. Zhrnie aj očakávané následky ďalších rozhodnutí. Dve akcie môžu mať rovnakú okamžitú odmenu a úplne inú Q-hodnotu. Číslo preto dáva zmysel iba spolu s politikou, pravidlami prostredia a jednotkou odmeny.
Časté otázky
Otázky, ktoré spresňujú význam
Ako sa Q-value líši od state value?
State value priemeruje alebo vyberá budúcnosť podľa politiky zo stavu. Q-value podmieňuje prvý krok konkrétnou akciou.
Môže byť Q-value záporná?
Áno. Záporná odmena, náklady alebo penalizácie môžu vytvoriť záporný očakávaný návrat.
Ako vplýva discount factor?
Nižšia hodnota uprednostní blízke odmeny. Hodnota blízka jednej dáva väčšiu váhu vzdialenejším následkom.
Je vysoká Q-value kalibrovaná istota?
Nie. Ide o očakávaný návrat podľa modelu alebo odhadu. Neistota sa musí merať samostatne.
Ako sa Q-value overuje?
Porovnáva sa s návratmi z nezávislých epizód, Bellmanovým rezíduom a výkonom politiky, ktorá z hodnôt vychádza.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Sutton a Barto, Reinforcement Learning, 2nd edition
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.