Policy, definícia a použitie | AI slovník

Odborná definícia

Policy v reinforcement learningu je pravidlo, ktoré mapuje stav alebo pozorovanie na akciu, prípadne na pravdepodobnostné rozdelenie nad akciami. Deterministická politika vyberá jednu akciu, stochastická umožňuje sampling a tým aj riadenú exploráciu. Politika môže byť tabuľka, strom, neurónová sieť alebo kombinácia plánovania a naučených komponentov. Jej kvalita sa posudzuje očakávaným kumulatívnym výnosom v definovanom prostredí. Bezpečné nasadenie vyžaduje kontrolu obmedzení, distribučného posunu, čiastočnej pozorovateľnosti a rozdielu medzi simulátorom a realitou.

Zrozumiteľné vysvetlenie

Robot vidí polohu, rýchlosť a stav batérie. Politika z týchto informácií vyberie, či má pokračovať, spomaliť alebo sa vrátiť k nabíjačke. Ak vracia pravdepodobnosti, môže občas vyskúšať inú bezpečnú možnosť a zbierať skúsenosti. Politika nie je totožná s cieľom, cieľ určuje reward a politika je naučený spôsob konania. Keď je reward navrhnutý zle, agent môže nájsť skratku, ktorá maximalizuje číslo, ale poškodí reálny proces. Preto sa testujú aj zakázané stavy a núdzové pravidlá mimo modelu.

Časté otázky

Aký je rozdiel medzi policy a value function?

Policy určuje, čo agent urobí. Value function odhaduje budúci výnos zo stavu alebo dvojice stav a akcia. Mnohé algoritmy používajú obe časti súčasne.

Prečo môže byť policy stochastická?

Náhodnosť podporuje exploráciu, reprezentuje neistotu a môže zabrániť predvídateľnému správaniu. V bezpečnostne citlivom režime sa jej rozsah obmedzuje povoleným priestorom akcií.

Je systémový prompt politikou LLM agenta?

Nie v presnom RL význame. Prompt ovplyvňuje správanie modelu, ale policy je matematické mapovanie pozorovania na akcie. V agentnej aplikácii sa tieto vrstvy môžu kombinovať.

Ako sa politika hodnotí offline?

Pomocou simulácie, historických trajektórií a off-policy evaluácie. Výsledok je citlivý na pokrytie dát, pretože správanie v nepozorovaných stavoch nemožno spoľahlivo odhadnúť bez ďalších predpokladov.

Čo je policy constraint?

Je to podmienka obmedzujúca možné akcie alebo riziko, napríklad limit spotreby, zákaz vstupu do zóny alebo pravdepodobnosť porušenia bezpečnosti. Môže byť súčasťou optimalizácie alebo externého safety layera.

Súvisiace pojmy

Zdroje a redakčná stopa

Sutton and Barto, Reinforcement Learning
Google ML Glossary, Policy

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.