Semantic embedding, definícia a použitie | AI slovník

Odborná definícia

Semantic embedding je hustý číselný vektor vytvorený tak, aby vzdialenosť alebo podobnosť vektorov približne zodpovedala významovej príbuznosti reprezentovaných objektov. Objektom môže byť slovo, veta, dokument, obraz, produkt alebo používateľ. Vektor vzniká embeddingovým modelom a jeho geometria závisí od tréningového cieľa, dát a metriky podobnosti. Embedding neukladá význam ako slovníkovú definíciu a jeho súradnice nemajú samostatne stabilnú ľudskú interpretáciu. V produkcii sa sleduje aj drift geometrie po výmene modelu alebo indexovaných dát.

Zrozumiteľné vysvetlenie

Sémantický embedding premieňa obsah na bod vo viacrozmernom priestore. Texty s podobným významom sa model snaží umiestniť blízko, aj keď nepoužívajú rovnaké slová. Preto môže veta o zrušení rezervácie nájsť dokument o stornovaní objednávky. Poloha však nie je univerzálna. Iný model, jazyk alebo tréningová doména vytvoria inú mapu. Pred nasadením treba otestovať, či blízkosť naozaj zodpovedá tomu, čo je podobné pre daný produkt a jeho používateľov. Pri migrácii embeddingového modelu sa celý index spravidla prepočíta, pretože staré a nové súradnice nie sú kompatibilné.

Časté otázky

Ako sa podobnosť embeddingov počíta?

Najčastejšie sa porovnáva uhol normalizovaných vektorov, ich dot product alebo priama geometrická vzdialenosť. Metrika musí zodpovedať tréningovému cieľu modelu.

Je semantic embedding rovnaký ako sentence embedding?

Sentence embedding je konkrétny sémantický embedding pre vetu alebo krátky text. Sémantické embeddingy môžu reprezentovať aj dokumenty, obrázky, položky katalógu či multimodálne objekty.

Prečo sa významovo podobné texty môžu ocitnúť ďaleko?

Model nemusel vidieť danú doménu, jazyk alebo významové rozlíšenie. Problém môže spôsobiť aj príliš dlhý vstup, nevhodné pooling pravidlo alebo iná metrika, než používal tréning.

Dá sa z embeddingu obnoviť pôvodný text?

Nie spoľahlivo ako z bežného kódovania. Vektor je stratová reprezentácia. Napriek tomu môže unikať citlivá informácia, preto embeddingy nemožno automaticky považovať za anonymné.

Ako sa embeddingový model validuje?

Okrem verejných benchmarkov sa meria recall vo vyhľadávaní, kvalita párov, stabilita medzi jazykmi, citlivosť na negácie a výkon na reálnych dotazoch danej domény.

Súvisiace pojmy

Zdroje a redakčná stopa

Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks Efficient Estimation of Word Representations in Vector Space

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.