Token

Token je základná jednotka textu spracúvaná jazykovým modelom, ktorá môže predstavovať znak, časť slova, celé slovo alebo špeciálny symbol.

Použitie závisí od konkrétnej úlohy a očakávaného výsledku. V praxi ovplyvňuje, ktoré vlastnosti dát vie systém zachytiť a ktoré informácie sa môžu stratiť.

Overenie sa robí na reprezentatívnych dátach alebo scenároch, voči jasnej porovnávacej základni a pomocou metrík zodpovedajúcich reálnemu cieľu. Kontrola má zahŕňať aj hraničné prípady, neistotu a prevádzkové náklady.

Rizikom je strata podstatnej informácie, zakódovanie skreslenia alebo podobnosť, ktorá nezodpovedá reálnemu významu. Reprezentáciu treba overiť na cieľovej úlohe aj relevantných skupinách.

Token sa od pojmov Text embedding, Tensor, User embedding odlišuje funkciou, vstupmi, spôsobom výpočtu a účelom výsledku. Súvisiace pojmy môžu spolupracovať, nie sú však automaticky zameniteľné.