Positional encoding, definícia a použitie | AI slovník

Odborná definícia

Positional encoding je reprezentácia poradia alebo polohy prvkov, ktorá sa pridáva k tokenovým embeddingom alebo sa zapája priamo do attention skóre. Self-attention bez pozičnej informácie spracúva vstupy ako množinu a nerozlíši zámenu poradia. Pôvodný Transformer používal pevné sínusové a kosínusové vektory, neskoršie modely používajú naučené embeddingy, relatívne biasy, rotačné kódovanie alebo iné schémy. Výber ovplyvňuje extrapoláciu na dlhšie sekvencie, zachytenie relatívnej vzdialenosti, numerickú stabilitu a kompatibilitu s predĺžením kontextového okna.

Zrozumiteľné vysvetlenie

Vety pes naháňa mačku a mačka naháňa psa obsahujú rovnaké slová, ale rozdielne poradie. Tokenové embeddingy samy túto zmenu nevysvetlia, preto model potrebuje informáciu o pozícii. Pozičné kódovanie vloží ku každému tokenu signál, podľa ktorého attention rozpozná susedstvo aj vzdialenosť. Pri veľmi dlhom dokumente môže schéma, ktorá fungovala do 4 000 tokenov, stratiť presnosť za týmto rozsahom. Predĺženie kontextu preto nie je iba zmena jedného limitu, ale vyžaduje testovanie retrievalu, poradia a citlivosti na polohu.

Časté otázky

Prečo Transformer potrebuje pozičné kódovanie?

Self-attention je bez ďalšieho signálu permutačne ekvivalentná. Model by vedel porovnať tokeny, ale nerozlíšil by ich pôvodné poradie v sekvencii.

Aký je rozdiel medzi absolútnou a relatívnou pozíciou?

Absolútna schéma označuje index tokenu. Relatívna vyjadruje vzdialenosť alebo smer medzi dvojicou tokenov, čo môže lepšie zachytiť vzťahy pri rôznych dĺžkach.

Čo je RoPE?

Rotary positional embedding otáča páry zložiek query a key podľa pozície. V ich skalárnom súčine sa potom prirodzene prejaví relatívna vzdialenosť tokenov.

Môže pozičná schéma obmedziť context window?

Áno. Naučené pozície alebo frekvencie trénované na krátkom rozsahu nemusia spoľahlivo extrapolovať. Používajú sa škálovacie techniky, ďalší tréning a dlhokontextové testy.

Ako sa testuje citlivosť na polohu?

Rovnaký dôkaz alebo inštrukcia sa vkladá na začiatok, do stredu a na koniec kontextu. Sleduje sa, či model informáciu nájde a použije bez zmeny významu.

Súvisiace pojmy

Zdroje a redakčná stopa

Vaswani et al., Attention Is All You Need RoFormer, Rotary Position Embedding

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.