Odborná definícia
Význam a odborné vymedzenie pojmu
Query-key-value attention vytvára pre každý prvok vektory query, key a value. Podobnosť query s keys určuje váhy, po normalizácii sa nimi skombinujú values. Pri scaled dot-product attention sa skalárne súčiny delia odmocninou z rozmeru kľúča, aby logits pri veľkej dimenzii neboli príliš extrémne. V self-attention pochádzajú Q, K a V z rovnakej sekvencie, pri cross-attention z rôznych zdrojov. Query v tomto mechanizme nie je používateľský dopyt do vyhľadávača.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Každý token si vytvorí otázku, čo potrebuje nájsť. Keys ostatných tokenov opisujú, na aké otázky vedia odpovedať, a values nesú informáciu, ktorá sa má preniesť. Token „ona“ môže dať vysokú váhu menu osoby v predchádzajúcej vete. Výsledkom je zmes value vektorov. Ak maska dovolí vidieť budúce tokeny pri autoregresívnom tréningu, model získa zakázanú informáciu a evaluácia bude klamlivá.
Časté otázky
Otázky, ktoré spresňujú význam
Prečo sa súčin delí odmocninou dimenzie?
Bez škálovania rastie rozptyl logits a softmax môže saturovať, čo znižuje použiteľné gradienty.
Čím sa self-attention odlišuje od cross-attention?
Self-attention používa rovnaký zdroj pre Q, K a V. Cross-attention berie queries z jednej reprezentácie a keys s values z druhej.
Akú funkciu má maska v attention?
Zakazuje alebo oslabuje vybrané spojenia, napríklad budúce pozície, padding alebo neprípustné modality.
Na čo slúži KV cache?
Pri autoregresívnom generovaní uchováva už vypočítané keys a values, aby sa pri každom novom tokene nepočítali znova.
Je vysoká attention weight vysvetlením rozhodnutia?
Nie automaticky. Váha opisuje vnútorný prenos informácie, no nemusí zodpovedať kauzálnemu príspevku k finálnemu výstupu.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Vaswani et al., Attention Is All You Need, 2017
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.