Vocabulary

Vocabulary je konečný súbor tokenov alebo symbolov, ktoré model a jeho tokenizer dokážu priamo reprezentovať identifikátormi.

Použitie závisí od konkrétnej úlohy a očakávaného výsledku. V praxi treba kontrolovať pôvod, kvalitu, aktuálnosť, oprávnenie na použitie a reprezentatívnosť dát.

Overenie sa robí na reprezentatívnych dátach alebo scenároch, voči jasnej porovnávacej základni a pomocou metrík zodpovedajúcich reálnemu cieľu. Kontrola má zahŕňať aj hraničné prípady, neistotu a prevádzkové náklady.

Rizikom je slabá kvalita, neaktuálnosť, skreslenie, únik informácií alebo nejasné oprávnenie na použitie. Potrebná je dátová stopa, kontrola pôvodu, reprezentatívnosti a pravidlá uchovávania.

Vocabulary sa od pojmov Validation set, Unstructured data, XML odlišuje funkciou, vstupmi, spôsobom výpočtu a účelom výsledku. Súvisiace pojmy môžu spolupracovať, nie sú však automaticky zameniteľné.