Reward model

Reward model je model odhadujúci preferenciu alebo kvalitu výstupu a poskytujúci odmeňovací signál pre optimalizáciu generatívneho systému.

Použitie závisí od konkrétnej úlohy a očakávaného výsledku. V praxi sa hodnotí podľa vhodnosti pre úlohu, kvality dát, generalizácie, nákladov a prevádzkových obmedzení.

Overenie sa robí na reprezentatívnych dátach alebo scenároch, voči jasnej porovnávacej základni a pomocou metrík zodpovedajúcich reálnemu cieľu. Kontrola má zahŕňať aj hraničné prípady, neistotu a prevádzkové náklady.

Rizikom je slabá generalizácia, zmena dát, halucinovaný alebo nepresný výstup a neprimerané náklady. Model treba priebežne merať, verziovať a používať iba v overenom rozsahu.

Reward model sa od pojmov Random forest, Stable Diffusion, Support vector machine odlišuje funkciou, vstupmi, spôsobom výpočtu a účelom výsledku. Súvisiace pojmy môžu spolupracovať, nie sú však automaticky zameniteľné.