Judge model, definícia a použitie | AI slovník

Odborná definícia

Judge model je jazykový alebo multimodálny model používaný na skórovanie, porovnávanie, klasifikáciu alebo zdôvodnenie kvality výstupov iných systémov podľa zadanej rubriky. Môže hodnotiť jeden výstup, párovo vybrať lepší, alebo priradiť viacrozmerné skóre s referenčnou odpoveďou či bez nej. Spoľahlivosť ovplyvňuje pozíciové a štýlové skreslenie, seba-preferencia, citlivosť na prompt, kontaminácia a schopnosť overiť fakty. Judge model nie je automatický ground truth, preto sa meta-evaluuje voči ľudským anotáciám, kontrolným prípadom a stabilite medzi opakovaniami.

Zrozumiteľné vysvetlenie

Tím vygeneruje tisíce odpovedí a človek nemôže každú podrobne prečítať. Judge model dostane otázku, odpoveď a rubriku, napríklad faktická správnosť, úplnosť a štýl, a vráti skóre alebo poradie. Také hodnotenie je rýchle, ale sudca môže preferovať dlhší text, vlastný štýl alebo odpoveď uvedenú na prvom mieste. Preto sa jeho verdikt neberie ako objektívna pravda. Najprv sa overí na ľudsky označenom súbore, používajú sa otočené poradia, slepé referencie a pravidelné kontrolné vzorky.

Časté otázky

Aký je rozdiel medzi pointwise a pairwise judging?

Pointwise režim hodnotí jednu odpoveď podľa stupnice. Pairwise režim porovná dve odpovede a vyberie lepšiu alebo remízu. Párové rozhodnutie môže byť jednoduchšie, ale je citlivé na poradie a nevracia absolútnu úroveň kvality.

Čo je position bias?

Sudca môže systematicky preferovať prvú alebo druhú odpoveď bez ohľadu na obsah. Testuje sa výmenou poradia a meraním konzistencie. Výsledok možno agregovať z oboch poradí alebo označiť ako nerozhodný pri rozpore.

Potrebuje judge model referenčnú odpoveď?

Nie vždy. Referencia pomáha pri úlohách s overiteľným cieľom, ale môže byť neúplná alebo obsahovať chybu. Pri otvorených úlohách sa používa rubrika a kontext. Obe nastavenia treba validovať na ľudskom hodnotení.

Ako sa judge model meta-evaluuje?

Meria sa zhoda s odbornými anotátormi, korelácia skóre, Cohenovo kappa, konzistencia pri parafráze, citlivosť na poradie a výkon na adversariálnych kontrolách. Dôležité je oddeliť dáta použité na návrh promptu od finálneho testu.

Môže judge model hodnotiť faktickosť RAG odpovede?

Môže porovnať odpoveď s poskytnutými zdrojmi a označiť nepodporované tvrdenia. Ak však zdroj neobsahuje potrebnú informáciu, sudca môže doplniť vlastné znalosti alebo prehliadnuť jemný rozpor. Kritické prípady vyžadujú ľudskú alebo deterministickú kontrolu.

Súvisiace pojmy

Zdroje a redakčná stopa

Zheng a kol., Judging LLM-as-a-Judge with MT-Bench Gu a kol., A Survey on LLM-as-a-Judge Huang a kol., Fine-tuned Judge Model Is Not a General Substitute

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.