Odborná definice
Odborná definice
Q-table je explicitní tabulková reprezentace akčnej hodnotovej funkce pro konečný nebo diskretizovaný prostor stavů a akcií. Řádek obvykle odpovídá stavu, sloupec akcii a bunka obsahuje odhad očekávaného návratu. Hodnoty se aktualizují při učení, například pravidlem Q-learningu. Tabulka umožňuje přímou kontrolu a reprodukci, ale její velikost roste součinem počtu stavů a akcií. Neposkytuje prirodzenou generalizaci mezi podobnými stavmi.
Srozumitelné vysvětlení
Srozumitelné vysvětlení
V malé hře lze nakreslit mriežku, kde má každé políčko seznam štyroch smerů a jejich skóre. Agent po zkušenosti upraví pouze konkrétní bunku. Člověk ví tabulku otvorit a skontrolovat. Pokud však stav obsahuje polohu, rychlost, čas a stav batérie, počet riadků exploduje. Dva téměř stejné stavy ostanou v samostatných bunkách a zkušenost se mezi nimi neprenese.
Časté otázky
Časté otázky
Jak se Q-table inicializuje?
Často nulami nebo optimistickými hodnotami. Volba ovlivňuje skorý prieskum, ne pouze technický formát.
Co se stane při nenavštívenej bunke?
Zůstane na inicializačnej hodnote. Politika musí zabezpečit, aby důležité dvojice dostali zkušenost.
Lze použít při spojitom stave?
Pouze po diskretizaci, která může stratit jemné rozdíly a vytvořit velmi mnoho buniek.
Jak se tabulka verzuje?
Spolu s mapováním stavů, pořadím akcií, odměnou, diskontom a pravidlem aktualizace. Samotný soubor čísel nestačí.
Kdy je Q-table lepší než síť?
Při malém prostoru, potrebe transparentnosti a možnosti systematicky navštívit stavy. Je jednodušší na audit i ladění.
Související pojmy
Související pojmy
Zdroje a redakční stopa
Zdroje a redakční stopa
- Watkins a Dayan, Q-learning, 1992
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.