Odborná definícia
Odborná definícia
Encoder-decoder architecture je modelové usporiadanie, v ktorom encoder vytvorí reprezentácie vstupu a decoder z nich vytvára cieľový výstup. Používa sa pri úlohách, kde sa vstupná a výstupná sekvencia líšia, napríklad pri preklade, sumarizácii, prepise alebo generovaní odpovede z dokumentu. V Transformeri decoder kombinuje maskovanú self-attention nad už vytvorenými tokenmi s cross-attention nad výstupmi encodera. Tréning, dekódovanie a spôsob podmieňovania určujú presnosť aj typické chyby.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Pri sumarizácii najprv encoder prečíta celý článok a vytvorí kontextové reprezentácie jeho častí. Decoder potom píše súhrn token po tokene a pri každom kroku sa môže pozrieť na relevantné miesta vstupu. Architektúra teda oddeľuje porozumenie zdroja od tvorby cieľa, no oba moduly sa trénujú spoločne. Nie je to to isté ako autoenkóder, ktorého cieľom býva rekonštruovať pôvodný vstup. Tu môže byť výstup v inom jazyku, formáte aj dĺžke. Pri dlhom vstupe treba preveriť, či decoder využíva správne časti zdroja.
Časté otázky
Časté otázky
Na čo slúži cross-attention?
Umožňuje decoderu pri generovaní vyberať informácie z reprezentácií encodera. Query pochádza z decoderu, kľúče a hodnoty zo spracovaného vstupu.
Prečo decoder používa kauzálnu masku?
Počas generovania nesmie token využívať budúce tokeny cieľovej sekvencie. Maska zachová rovnakú informačnú podmienku pri tréningu a inferencii.
Ako sa táto architektúra líši od decoder-only modelu?
Decoder-only model dostane vstup aj výstup v jednom autoregresívnom kontexte. Encoder-decoder má samostatné spracovanie zdroja a explicitné cross-attention prepojenie.
Čo je teacher forcing?
Pri tréningu decoder dostáva predchádzajúci správny token namiesto vlastnej predikcie. Zrýchľuje učenie, ale vytvára rozdiel oproti reálnemu generovaniu.
Kedy je encoder-decoder vhodnejší než klasifikátor?
Keď výsledkom nie je pevná trieda, ale variabilná sekvencia, štruktúrovaný text alebo transformácia vstupu, ktorej dĺžku nemožno vopred určiť.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.