pozornost omezená na lokálně okna | AI slovník

Odborná definice

Windowed attention je mechanismus self-attention, při kterém každý token nebo priestorová pozíce komunikuje pouze s prvkami v definovaném lokálnom okne místo celé sekvence. Snižuje kvadratické náklady globální pozornosti a umožňuje zpracovat déle texty nebo obrazy s vysokým rozlíšením. Okna mohou být pevné, posúvané, prekrývajúce se nebo doplnené globálnymi tokenmi. Lokálně omezení vytváří informační hranici, proto musí architektura zabezpečit přenos mezi oknami přes další vrstvy, posun, hierarchiu nebo řídké globálně vezby. Velikost okna určuje kompromis mezi kontextem a nákladmi.

Srozumitelné vysvětlení

Při plnej pozornosti se každý token pozerá na všechny ostatní, co při dlhej sekvenci vytvoří obrovské množství párů. Windowed attention rozdělí vstup na menší susedstvá. Slovo vidí například 256 okolitých tokenů a pixelová oblast pouze prvky ve svojom štvorci. Výpočet výrazně klesne, ale informace z jednoho konca dokumentu se k druhému nedostane v jedné vrstvě. Posúvané okna nebo vybrané globálně tokeny proto vytvářejí mosty. Nevhodne malý rozsah může přehlédnout závislost mezi vzdialenými časťami smlouvy, obrazu nebo časového radu.

Časté otázky

Jak se mění výpočetní složitost?

Při pevnom okne roste počet attention párů přibližně lineární s délkou sekvence, násobený velikostí okna, místo kvadratického rastu globální attention.

Co jsou shifted windows?

Rozdělení okien se v nasledujúcej vrstvě posune. Tokeny, které byly predtým oddělené hranicou, se dostanou do společného okna a mohou si vymenit informaci.

Je sliding window stejné jako neprekrývajúce se okna?

Ne. Sliding window vytváří pro každý token lokálně susedstvo, které se prekrýva s okolím. Blokové okna spracují disjunktné skupiny a potřebují explicitní mechanismus propojení.

Kdy je třeba globálně tokeny?

Při úlohách, kde některé pozice sumarizují celý dokument nebo musí komunikovat se všemi časťami, například otázka, CLS token nebo klúčová entita.

Jak se volí window size?

Podle typickej délky lokální závislosti, paměti, počtu vrstev a úlohy. Hodnota se testuje na případech, které vyžadují vzdálený kontext, ne pouze na průměrné přesnosti.

Související pojmy

Zdroje a redakční stopa

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows Longformer: The Long-Document Transformer

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.