Globálně vektory slov | AI slovník

Odborná definice

Glove je metoda učení statických slovních embeddingů z globálnych statistik spoluvýskytu slov v korpuse. Optimalizuje váženou regresnou úlohu tak, aby skalárne součiny vektorů reprodukovali logaritmy počtů spoluvýskytu, přičemž pomery těchto počtů zachycují významové vztahy. Výsledkem je jeden vektor pro každý prvek slovníka, nezávislý od konkrétní věty. Vektory mohou nést syntaktické a sémantické analógie, ale nerozlišují významy polysemických slov podle kontextu a nevědí reprezentovat token mimo naučeného slovníka bez dodatočnej strategie.

Srozumitelné vysvětlení

Glove vytvoří mapu slov podle toho, v jaké společnosti se obvykle objavují. Slova banka, úver a úrok skončia blízko, protože zdielají podobné okolí v korpuse. Vzdálenosti a směry mohou zachytit i vztahy typu krajina a hlavní mesto. Každé slovo však dostane pouze jednu pevnou adresu. Slovo zámok má stejný vektor ve vete o dverách i ve vete o kaštieli, ačkoli význam je jiný. Moderní kontextové modely tuto slabinu zmierňují, ale Glove zůstává lahký, rychlý a užitečný jako základní reprezentace nebo baseline.

Časté otázky

Jak se Glove liší od word2věc?

Glove přímo využívá agregovanou matici globálnych spoluvýskytů a regresný cíl. Word2věc se učí predikčnou úlohou nad lokálnymi oknami, ačkoli obě metody mohou vytvořit podobnou geometrii vektorů.

Proč se Glove označuje za statický embedding?

Vektor slova je po natrénování stejný ve všech vetách. Kontextové modely naopak vytvářejí reprezentaci tokenu podle okolitého textu, takže mohou odlíšit více významů jednoho zápisu.

Jako vznikají slovné analógie ve vektoroch?

Rozdíly mezi vektory mohou opakovaně kódovat podobný vztah, například rod nebo geografiu. Analógia však není logické pravidlo a její kvalita závisí na korpusu, frekvence a evaluačnej množiny.

Co se stane se slovem mimo slovníka Glove?

Nemá naučený vektor. Aplikace může použít neznámý token, průměr podslů, morfologickou metódu nebo jiný model, ale tím už prekračuje původní reprezentaci Glove.

Kdy má Glove stále praktický smysl?

Při menších klasifikačních úlohách, rýchlych prototypoch, obmedzenom hardwaru nebo jako interpretovatelná baseline. Na jemné významy závislé od věty jsou vhodnější kontextové embeddingy.

Související pojmy

Zdroje a redakční stopa

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.