Language model

Language model je model pravdepodobnosti jazykových sekvencií, ktorý odhaduje ďalšie alebo chýbajúce tokeny a vytvára reprezentácie či text podľa kontextu.

Použitie závisí od konkrétnej úlohy a očakávaného výsledku. V praxi sa hodnotí podľa vhodnosti pre úlohu, kvality dát, generalizácie, nákladov a prevádzkových obmedzení.

Overenie sa robí na reprezentatívnych dátach alebo scenároch, voči jasnej porovnávacej základni a pomocou metrík zodpovedajúcich reálnemu cieľu. Kontrola má zahŕňať aj hraničné prípady, neistotu a prevádzkové náklady.

Rizikom je slabá generalizácia, zmena dát, halucinovaný alebo nepresný výstup a neprimerané náklady. Model treba priebežne merať, verziovať a používať iba v overenom rozsahu.

Language model sa od pojmov Large language model, Latent diffusion model, Linear regression odlišuje funkciou, vstupmi, spôsobom výpočtu a účelom výsledku. Súvisiace pojmy môžu spolupracovať, nie sú však automaticky zameniteľné.