Odborná definice
Význam a odborné vymezení pojmu
Q-table je explicitní tabulková reprezentace akčnej hodnotovej funkce pro konečný nebo diskretizovaný prostor stavů a akcií. Řádek obvykle odpovídá stavu, sloupec akcii a bunka obsahuje odhad očekávaného návratu. Hodnoty se aktualizují při učení, například pravidlem Q-learningu. Tabulka umožňuje přímou kontrolu a reprodukci, ale její velikost roste součinem počtu stavů a akcií. Neposkytuje prirodzenou generalizaci mezi podobnými stavmi.
Srozumitelné vysvětlení
Jak se pojem používá v praxi
V malé hře lze nakreslit mriežku, kde má každé políčko seznam štyroch smerů a jejich skóre. Agent po zkušenosti upraví pouze konkrétní bunku. Člověk ví tabulku otvorit a skontrolovat. Pokud však stav obsahuje polohu, rychlost, čas a stav batérie, počet riadků exploduje. Dva téměř stejné stavy ostanou v samostatných bunkách a zkušenost se mezi nimi neprenese.
Časté otázky
Otázky, které upřesňují význam
Jak se Q-table inicializuje?
Často nulami nebo optimistickými hodnotami. Volba ovlivňuje skorý prieskum, ne pouze technický formát.
Co se stane při nenavštívenej bunke?
Zůstane na inicializačnej hodnote. Politika musí zabezpečit, aby důležité dvojice dostali zkušenost.
Lze použít při spojitom stave?
Pouze po diskretizaci, která může stratit jemné rozdíly a vytvořit velmi mnoho buniek.
Jak se tabulka verzuje?
Spolu s mapováním stavů, pořadím akcií, odměnou, diskontom a pravidlem aktualizace. Samotný soubor čísel nestačí.
Kdy je Q-table lepší než síť?
Při malém prostoru, potrebe transparentnosti a možnosti systematicky navštívit stavy. Je jednodušší na audit i ladění.
Související pojmy
Významové a tematické souvislosti
Zdroje a redakční stopa
Použitá východiska a odborná revize
- Watkins a Dayan, Q-learning, 1992
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.