Odborná definícia
Význam a odborné vymedzenie pojmu
Graph attention network je architektúra GNN, ktorá pri agregácii susedov počíta naučené attention koeficienty pre jednotlivé hrany alebo dvojice uzlov. Koeficienty sa v susedstve normalizujú a určujú váhu transformovaných vlastností pri aktualizácii reprezentácie uzla. Viacero attention heads môže stabilizovať učenie alebo zachytiť odlišné vzťahy. GAT umožňuje rozdielne váženie susedov bez pevnej spektrálnej bázy a podporuje induktívne úlohy. Pozornostné váhy však nie sú automaticky kauzálnym vysvetlením a pôvodná formulácia má obmedzenia statickej pozornosti.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
V bežnej grafovej agregácii môže uzol počúvať všetkých susedov podobne. GAT sa učí, komu venovať väčšiu pozornosť. Pri odhaľovaní podvodu môže byť transakcia s novým zahraničným účtom dôležitejšia než pravidelná platba za elektrinu, hoci obe sú susedné hrany. Model vypočíta váhy z reprezentácií uzlov a vytvorí ich vážený súhrn. Viac hláv môže sledovať rôzne typy vzťahov. Vysoká attention váha však neznamená, že daný sused bol jedinou príčinou rozhodnutia, pretože reprezentácie vznikli v predchádzajúcich vrstvách a ovplyvňuje ich celý graf.
Časté otázky
Otázky, ktoré spresňujú význam
Ako sa GAT líši od graph convolutional network?
GCN často používa váhy odvodené zo stupňov a štruktúry grafu, kým GAT sa učí relatívnu dôležitosť susedov z ich reprezentácií. Obe metódy zostávajú formami lokálneho message passingu.
Načo slúži viac attention heads?
Hlavy môžu zachytiť rozdielne vzory susedstva a znížiť varianciu učenia. Ich výstupy sa konkatenizujú alebo priemerujú, čo mení rozmer reprezentácie a výpočtovú cenu.
Dokáže GAT používať vlastnosti hrán?
Pôvodná verzia sa sústreďuje najmä na vlastnosti uzlov. Rozšírenia pridávajú typ, smer, čas alebo atribúty hrán do výpočtu attention skóre a správy.
Prečo je GAT náročný na veľkých grafoch?
Attention koeficient sa počíta pre mnoho hrán a vrstvy potrebujú susedné reprezentácie. Sampling, mini batch subgrafy a riedke operácie znižujú pamäť, ale môžu meniť dostupný kontext.
Sú attention váhy spoľahlivým vysvetlením?
Nie samy osebe. Váha vyjadruje interný mechanizmus agregácie, nie nevyhnutnosť alebo kauzalitu. Overuje sa perturbáciou, stabilitou a porovnaním s inými atribučnými metódami.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.