Odborná definícia
Odborná definícia
Windowed attention je mechanizmus self-attention, pri ktorom každý token alebo priestorová pozícia komunikuje iba s prvkami v definovanom lokálnom okne namiesto celej sekvencie. Znižuje kvadratické náklady globálnej pozornosti a umožňuje spracovať dlhšie texty alebo obrazy s vysokým rozlíšením. Okná môžu byť pevné, posúvané, prekrývajúce sa alebo doplnené globálnymi tokenmi. Lokálne obmedzenie vytvára informačnú hranicu, preto musí architektúra zabezpečiť prenos medzi oknami cez ďalšie vrstvy, posun, hierarchiu alebo riedke globálne väzby. Veľkosť okna určuje kompromis medzi kontextom a nákladmi.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Pri plnej pozornosti sa každý token pozerá na všetky ostatné, čo pri dlhej sekvencii vytvorí obrovské množstvo párov. Windowed attention rozdelí vstup na menšie susedstvá. Slovo vidí napríklad 256 okolitých tokenov a pixelová oblasť iba prvky vo svojom štvorci. Výpočet výrazne klesne, ale informácia z jedného konca dokumentu sa k druhému nedostane v jednej vrstve. Posúvané okná alebo vybrané globálne tokeny preto vytvárajú mosty. Nevhodne malý rozsah môže prehliadnuť závislosť medzi vzdialenými časťami zmluvy, obrazu alebo časového radu.
Časté otázky
Časté otázky
Ako sa mení výpočtová zložitosť?
Pri pevnom okne rastie počet attention párov približne lineárne s dĺžkou sekvencie, násobený veľkosťou okna, namiesto kvadratického rastu globálnej attention.
Čo sú shifted windows?
Rozdelenie okien sa v nasledujúcej vrstve posunie. Tokeny, ktoré boli predtým oddelené hranicou, sa dostanú do spoločného okna a môžu si vymeniť informáciu.
Je sliding window rovnaké ako neprekrývajúce sa okná?
Nie. Sliding window vytvára pre každý token lokálne susedstvo, ktoré sa prekrýva s okolím. Blokové okná spracujú disjunktné skupiny a potrebujú explicitný mechanizmus prepojenia.
Kedy treba globálne tokeny?
Pri úlohách, kde niektoré pozície sumarizujú celý dokument alebo musia komunikovať so všetkými časťami, napríklad otázka, CLS token alebo kľúčová entita.
Ako sa volí window size?
Podľa typickej dĺžky lokálnej závislosti, pamäte, počtu vrstiev a úlohy. Hodnota sa testuje na prípadoch, ktoré vyžadujú vzdialený kontext, nie iba na priemernej presnosti.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Swin Transformer: Hierarchical Vision Transformer using Shifted Windows Longformer: The Long-Document Transformer
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.