Odborná definícia
Význam a odborné vymedzenie pojmu
Positional encoding je reprezentácia poradia alebo polohy prvkov, ktorá sa pridáva k tokenovým embeddingom alebo sa zapája priamo do attention skóre. Self-attention bez pozičnej informácie spracúva vstupy ako množinu a nerozlíši zámenu poradia. Pôvodný Transformer používal pevné sínusové a kosínusové vektory, neskoršie modely používajú naučené embeddingy, relatívne biasy, rotačné kódovanie alebo iné schémy. Výber ovplyvňuje extrapoláciu na dlhšie sekvencie, zachytenie relatívnej vzdialenosti, numerickú stabilitu a kompatibilitu s predĺžením kontextového okna.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Vety pes naháňa mačku a mačka naháňa psa obsahujú rovnaké slová, ale rozdielne poradie. Tokenové embeddingy samy túto zmenu nevysvetlia, preto model potrebuje informáciu o pozícii. Pozičné kódovanie vloží ku každému tokenu signál, podľa ktorého attention rozpozná susedstvo aj vzdialenosť. Pri veľmi dlhom dokumente môže schéma, ktorá fungovala do 4 000 tokenov, stratiť presnosť za týmto rozsahom. Predĺženie kontextu preto nie je iba zmena jedného limitu, ale vyžaduje testovanie retrievalu, poradia a citlivosti na polohu.
Časté otázky
Otázky, ktoré spresňujú význam
Prečo Transformer potrebuje pozičné kódovanie?
Self-attention je bez ďalšieho signálu permutačne ekvivalentná. Model by vedel porovnať tokeny, ale nerozlíšil by ich pôvodné poradie v sekvencii.
Aký je rozdiel medzi absolútnou a relatívnou pozíciou?
Absolútna schéma označuje index tokenu. Relatívna vyjadruje vzdialenosť alebo smer medzi dvojicou tokenov, čo môže lepšie zachytiť vzťahy pri rôznych dĺžkach.
Čo je RoPE?
Rotary positional embedding otáča páry zložiek query a key podľa pozície. V ich skalárnom súčine sa potom prirodzene prejaví relatívna vzdialenosť tokenov.
Môže pozičná schéma obmedziť context window?
Áno. Naučené pozície alebo frekvencie trénované na krátkom rozsahu nemusia spoľahlivo extrapolovať. Používajú sa škálovacie techniky, ďalší tréning a dlhokontextové testy.
Ako sa testuje citlivosť na polohu?
Rovnaký dôkaz alebo inštrukcia sa vkladá na začiatok, do stredu a na koniec kontextu. Sleduje sa, či model informáciu nájde a použije bez zmeny významu.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Vaswani et al., Attention Is All You Need RoFormer, Rotary Position Embedding
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.