Text embedding

Text embedding je vektorová reprezentácia textu zachytávajúca význam, kontext alebo použitie a umožňujúca porovnávanie, vyhľadávanie a zhlukovanie.

Použitie závisí od konkrétnej úlohy a očakávaného výsledku. V praxi ovplyvňuje, ktoré vlastnosti dát vie systém zachytiť a ktoré informácie sa môžu stratiť.

Overenie sa robí na reprezentatívnych dátach alebo scenároch, voči jasnej porovnávacej základni a pomocou metrík zodpovedajúcich reálnemu cieľu. Kontrola má zahŕňať aj hraničné prípady, neistotu a prevádzkové náklady.

Rizikom je strata podstatnej informácie, zakódovanie skreslenia alebo podobnosť, ktorá nezodpovedá reálnemu významu. Reprezentáciu treba overiť na cieľovej úlohe aj relevantných skupinách.

Text embedding sa od pojmov Token, Tensor, User embedding odlišuje funkciou, vstupmi, spôsobom výpočtu a účelom výsledku. Súvisiace pojmy môžu spolupracovať, nie sú však automaticky zameniteľné.