Pozičné kódování | AI slovník

Odborná definice

Positional encoding je reprezentace pořadí nebo polohy prvků, která se přidává k tokenovým embeddingom nebo se zapája přímo do attention skóre. Self-attention bez pozičnej informace zpracovává vstupy jako množinu a nerozlíši zámenu pořadí. Původní Transformer používal pevné sínusové a kosínusové vektory, pozdější modely používají naučené embeddingy, relativně zkreslení, rotačné kódování nebo jiné schémata. Výběr ovlivňuje extrapolaci na déle sekvence, zachytení relatívnej vzdálenosti, numerickou stabilitu a kompatibilitu s predlžením kontextového okna.

Srozumitelné vysvětlení

Věty pes naháňa mačku a mačka naháňa psa obsahují stejné slova, ale rozdílně pořadí. Tokenové embeddingy samy tuto změnu nevysvetlia, proto model potřebuje informaci o pozici. Pozičné kódování vloží ku každému tokenu signál, podle kterého attention rozpozná susedstvo i vzdálenost. Při velmi dlouhém dokumente může schéma, která fungovala do 4 000 tokenů, stratit přesnost za týmto rozsahem. Predlžení kontextu proto není pouze změna jednoho limitu, ale vyžaduje testování retrievalu, pořadí a citlivosti na polohu.

Časté otázky

Proč Transformer potřebuje pozičné kódování?

Self-attention je bez dalšího signálu permutačne ekvivalentná. Model by vedel porovnat tokeny, ale nerozlíšil by jejich původní pořadí v sekvenci.

Jaký je rozdíl mezi absolútnou a relatívnou pozící?

Absolutní schéma označuje index tokenu. Relativní vyjadřuje vzdálenost nebo směr mezi dvojicí tokenů, co může lépe zachytit vztahy při různých dlžkach.

Co je Rope?

Rotary positional embedding otáča páry složek query a key podle pozice. V jejich skalárnom súčine se potom přirozeně prejaví relativní vzdálenost tokenů.

Může pozičná schéma omezit context window?

Ano. Naučené pozice nebo frekvence trénované na krátkom rozsahu nemusí spolehlivě extrapolovat. Používají se škálovace techniky, další trénink a dlhokontextové testy.

Jak se testuje citlivost na polohu?

Stejný důkaz nebo instrukce se vkladá na začiatok, do středu a na koniec kontextu. Sleduje se, či model informaci najde a použije bez změny významu.

Související pojmy

Zdroje a redakční stopa

Vaswani et al., Attention Is All You Need RoFormer, Rotary Position Embedding

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.