Odborná definícia
Význam a odborné vymedzenie pojmu
Q-table je explicitná tabuľková reprezentácia akčnej hodnotovej funkcie pre konečný alebo diskretizovaný priestor stavov a akcií. Riadok zvyčajne zodpovedá stavu, stĺpec akcii a bunka obsahuje odhad očakávaného návratu. Hodnoty sa aktualizujú pri učení, napríklad pravidlom Q-learningu. Tabuľka umožňuje priamu kontrolu a reprodukciu, no jej veľkosť rastie súčinom počtu stavov a akcií. Neposkytuje prirodzenú generalizáciu medzi podobnými stavmi.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
V malej hre možno nakresliť mriežku, kde má každé políčko zoznam štyroch smerov a ich skóre. Agent po skúsenosti upraví iba konkrétnu bunku. Človek vie tabuľku otvoriť a skontrolovať. Ak však stav obsahuje polohu, rýchlosť, čas a stav batérie, počet riadkov exploduje. Dva takmer rovnaké stavy ostanú v samostatných bunkách a skúsenosť sa medzi nimi neprenesie.
Časté otázky
Otázky, ktoré spresňujú význam
Ako sa Q-table inicializuje?
Často nulami alebo optimistickými hodnotami. Voľba ovplyvňuje skorý prieskum, nie iba technický formát.
Čo sa stane pri nenavštívenej bunke?
Zostane na inicializačnej hodnote. Politika musí zabezpečiť, aby dôležité dvojice dostali skúsenosť.
Dá sa použiť pri spojitom stave?
Iba po diskretizácii, ktorá môže stratiť jemné rozdiely a vytvoriť veľmi veľa buniek.
Ako sa tabuľka verzuje?
Spolu s mapovaním stavov, poradím akcií, odmenou, diskontom a pravidlom aktualizácie. Samotný súbor čísel nestačí.
Kedy je Q-table lepšia než sieť?
Pri malom priestore, potrebe transparentnosti a možnosti systematicky navštíviť stavy. Je jednoduchšia na audit aj ladenie.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Watkins a Dayan, Q-learning, 1992
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.