Sparse attention, definícia a použitie | AI slovník

Odborná definícia

Sparse attention je mechanizmus pozornosti, ktorý nepočíta interakciu medzi každou dvojicou tokenov, ale používa obmedzený vzor povolených spojení. Vzor môže byť lokálny, blokový, dilatovaný, globálny alebo dynamicky vybraný podľa obsahu. Cieľom je znížiť časovú a pamäťovú náročnosť plnej pozornosti pri dlhých sekvenciách. Úspora nie je automatická, pretože nepravidelná riedkosť môže byť pre hardvér neefektívna a nesprávny vzor môže odstrániť dôležitú závislosť. Maska riedkosti môže byť pevná pre architektúru alebo vypočítaná osobitne pre každý vstup.

Zrozumiteľné vysvetlenie

Plná attention nechá každý token kontrolovať všetky ostatné tokeny, čo pri dlhom dokumente vytvorí obrovskú maticu. Sparse attention dovolí napríklad pozerať sa najmä na blízke okolie a na niekoľko globálnych kotiev, ako sú nadpisy alebo špeciálne tokeny. Počet porovnaní sa výrazne zníži. Systém však musí vedieť, ktoré spojenia môže bezpečne vynechať. Ak rozhodujúca informácia leží mimo povoleného vzoru, model ju nemusí preniesť tam, kde je potrebná. Dynamický výber šetrí prácu len vtedy, keď jeho vlastný výpočet a presuny pamäte nie sú príliš drahé.

Časté otázky

Ako sparse attention znižuje zložitosť?

Namiesto matice so všetkými pármi počíta iba vybrané pozície. Podľa vzoru môže pamäť a počet operácií rásť približne lineárne alebo subkvadraticky s dĺžkou sekvencie.

Čo je lokálne attention okno?

Každý token sa pripája iba k susedným pozíciám v určenom rozsahu. Je účinné pre lokálne väzby, no na vzdialené informácie potrebuje vrstvenie alebo globálne spojenia.

Je sparse attention vždy rýchlejšia na GPU?

Nie. Teoreticky menej operácií nemusí znamenať nižšiu latenciu. Nepravidelné indexovanie, presuny pamäte a slabá podpora jadier môžu úsporu znížiť.

Ako sa zachovávajú globálne závislosti?

Používajú sa globálne tokeny, hierarchické bloky, náhodné spojenia, retrieval alebo dynamický výber kľúčov. Každý mechanizmus má iný kompromis medzi pokrytím a nákladmi.

Môže riedka pozornosť zmeniť kvalitu výstupu?

Áno. Ak vzor odstráni relevantný kontext, rastie chyba. Preto sa porovnáva s plnou attention na úlohách, ktoré vyžadujú vzdialené odkazy, presné citácie a dlhé závislosti.

Súvisiace pojmy

Zdroje a redakčná stopa

Generating Long Sequences with Sparse Transformers Longformer: The Long-Document Transformer

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.