Unigram model

Unigram model je jazykový alebo tokenizačný model predpokladajúci nezávislé pravdepodobnosti jednotlivých jednotiek bez priameho zohľadnenia ich poradia.

Použitie závisí od konkrétnej úlohy a očakávaného výsledku. V praxi sa hodnotí podľa vhodnosti pre úlohu, kvality dát, generalizácie, nákladov a prevádzkových obmedzení.

Overenie sa robí na reprezentatívnych dátach alebo scenároch, voči jasnej porovnávacej základni a pomocou metrík zodpovedajúcich reálnemu cieľu. Kontrola má zahŕňať aj hraničné prípady, neistotu a prevádzkové náklady.

Rizikom je slabá generalizácia, zmena dát, halucinovaný alebo nepresný výstup a neprimerané náklady. Model treba priebežne merať, verziovať a používať iba v overenom rozsahu.

Unigram model sa od pojmov Tree-based model, Variational autoencoder, Vision-language model odlišuje funkciou, vstupmi, spôsobom výpočtu a účelom výsledku. Súvisiace pojmy môžu spolupracovať, nie sú však automaticky zameniteľné.