Odborná definícia
Význam a odborné vymedzenie pojmu
Bandit algorithm rieši sekvenčné rozhodovanie, pri ktorom systém opakovane vyberá jednu z dostupných akcií a pozoruje iba odmenu za zvolenú akciu. Cieľom je maximalizovať kumulatívnu odmenu pri súčasnom vyvažovaní prieskumu neznámych možností a využívania možností, ktoré sa doteraz javili ako najlepšie. Kvalita sa často vyjadruje regretom, teda rozdielom medzi získanou odmenou a odmenou ideálnej stratégie. Kontextové bandity navyše zohľadňujú vlastnosti používateľa alebo situácie pred výberom akcie.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Predstavte si web, ktorý vyberá z piatich titulkov článku. Ak stále zobrazuje doteraz najúspešnejší titulok, môže prehliadnuť lepší. Ak neustále skúša všetky možnosti, zbytočne prichádza o kliknutia. Banditový algoritmus priebežne rozhoduje, koľko návštevnosti venovať overenému variantu a koľko experimentom. Každé nové pozorovanie aktualizuje odhad odmeny. Na rozdiel od klasického A/B testu môže alokáciu meniť počas experimentu, čo však komplikuje inferenciu a vyžaduje vhodné pravidlá hodnotenia.
Časté otázky
Otázky, ktoré spresňujú význam
Čo je exploration a exploitation?
Exploration znamená skúšať menej preskúmané akcie, aby systém získal informácie. Exploitation znamená voliť akciu s najvyššou odhadovanou odmenou. Dobrá politika minimalizuje dlhodobú stratu spôsobenú prílišnou opatrnosťou aj prílišným experimentovaním.
Čo meria regret?
Regret porovnáva odmenu algoritmu s referenčnou stratégiou, ktorá by poznala najlepšiu akciu alebo optimálnu politiku. Nízky regret znamená, že cena učenia a nesprávnych volieb zostala malá v porovnaní s ideálom.
Kedy je vhodný kontextový bandit?
Keď sa najlepšia akcia mení podľa kontextu, napríklad segmentu, zariadenia, času alebo obsahu. Model odhaduje odmenu akcie podmienenú vlastnosťami situácie, takže nemusí hľadať jednu univerzálnu voľbu pre všetkých.
Je bandit vhodný pre medicínske rozhodovanie?
Môže byť výskumným nástrojom, ale vysoké riziko vyžaduje etické a regulačné obmedzenia, bezpečné akcie, informovaný súhlas a nezávislý dohľad. Optimalizácia odmeny nesmie vystaviť pacienta neprijateľnému experimentálnemu riziku.
Ako sa rieši zmena správania používateľov v čase?
Pri nestacionárnom prostredí sa používajú kĺzavé okná, diskontovanie starých pozorovaní, detekcia zmien alebo modely s časovo premenlivými parametrami. Algoritmus musí zabudnúť časť minulosti, inak môže zotrvať pri variante, ktorý už nefunguje.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Auer, Cesa-Bianchi a Fischer, Finite-time Analysis of the Multiarmed Bandit Problem
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.