GloVe, definícia a použitie | AI slovník

Odborná definícia

GloVe je metóda učenia statických slovných embeddingov z globálnych štatistík spoluvýskytu slov v korpuse. Optimalizuje váženú regresnú úlohu tak, aby skalárne súčiny vektorov reprodukovali logaritmy počtov spoluvýskytu, pričom pomery týchto počtov zachytávajú významové vzťahy. Výsledkom je jeden vektor pre každý prvok slovníka, nezávislý od konkrétnej vety. Vektory môžu niesť syntaktické a sémantické analógie, ale nerozlišujú významy polysemických slov podľa kontextu a nevedia reprezentovať token mimo naučeného slovníka bez dodatočnej stratégie.

Zrozumiteľné vysvetlenie

GloVe vytvorí mapu slov podľa toho, v akej spoločnosti sa zvyčajne objavujú. Slová banka, úver a úrok skončia blízko, pretože zdieľajú podobné okolie v korpuse. Vzdialenosti a smery môžu zachytiť aj vzťahy typu krajina a hlavné mesto. Každé slovo však dostane iba jednu pevnú adresu. Slovo zámok má rovnaký vektor vo vete o dverách aj vo vete o kaštieli, hoci význam je iný. Moderné kontextové modely túto slabinu zmierňujú, no GloVe zostáva ľahký, rýchly a užitočný ako základná reprezentácia alebo baseline.

Časté otázky

Ako sa GloVe líši od word2vec?

GloVe priamo využíva agregovanú maticu globálnych spoluvýskytov a regresný cieľ. Word2vec sa učí predikčnou úlohou nad lokálnymi oknami, hoci obe metódy môžu vytvoriť podobnú geometriu vektorov.

Prečo sa GloVe označuje za statický embedding?

Vektor slova je po natrénovaní rovnaký vo všetkých vetách. Kontextové modely naopak vytvárajú reprezentáciu tokenu podľa okolitého textu, takže môžu odlíšiť viac významov jedného zápisu.

Ako vznikajú slovné analógie vo vektoroch?

Rozdiely medzi vektormi môžu opakovane kódovať podobný vzťah, napríklad rod alebo geografiu. Analógia však nie je logické pravidlo a jej kvalita závisí od korpusu, frekvencie a evaluačnej množiny.

Čo sa stane so slovom mimo slovníka GloVe?

Nemá naučený vektor. Aplikácia môže použiť neznámy token, priemer podslov, morfologickú metódu alebo iný model, ale tým už prekračuje pôvodnú reprezentáciu GloVe.

Kedy má GloVe stále praktický zmysel?

Pri menších klasifikačných úlohách, rýchlych prototypoch, obmedzenom hardvéri alebo ako interpretovateľná baseline. Na jemné významy závislé od vety sú vhodnejšie kontextové embeddingy.

Súvisiace pojmy

Zdroje a redakčná stopa

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.