N-gram

N-gram je súvislá sekvencia n tokenov alebo znakov používaná na modelovanie lokálnych jazykových vzorov, frekvencií a pravdepodobností.

Použitie závisí od konkrétnej úlohy a očakávaného výsledku. V praxi ovplyvňuje, ktoré vlastnosti dát vie systém zachytiť a ktoré informácie sa môžu stratiť.

Overenie sa robí na reprezentatívnych dátach alebo scenároch, voči jasnej porovnávacej základni a pomocou metrík zodpovedajúcich reálnemu cieľu. Kontrola má zahŕňať aj hraničné prípady, neistotu a prevádzkové náklady.

Rizikom je strata podstatnej informácie, zakódovanie skreslenia alebo podobnosť, ktorá nezodpovedá reálnemu významu. Reprezentáciu treba overiť na cieľovej úlohe aj relevantných skupinách.

N-gram sa od pojmov Node embedding, One-hot encoding, Ontology odlišuje funkciou, vstupmi, spôsobom výpočtu a účelom výsledku. Súvisiace pojmy môžu spolupracovať, nie sú však automaticky zameniteľné.