Architektura enkóder-dekóder | AI slovník

Odborná definice

Encoder-decoder architecture je modelové usporiadání, ve kterém encoder vytvoří reprezentace vstupu a decoder z nich vytváří cílový výstup. Používá se při úlohách, kde se vstupní a výstupná sekvence liší, například při preklade, sumarizaci, prepise nebo generování odpovědi z dokumentu. V Transformeri decoder kombinuje maskovanou self-attention nad už vytvorenými tokenmi s cross-attention nad výstupy encodera. Trénink, dekódování a způsob podmieňování určují přesnost i typické chyby.

Srozumitelné vysvětlení

Při sumarizaci nejprve encoder prečíta celý článek a vytvoří kontextové reprezentace jeho částí. Decoder potom píše souhrn token po tokene a při každém kroku se může podívat na relevantní místa vstupu. Architektura tedy oddeluje porozumění zdroje od tvorby cíle, ale oba moduly se trénují společně. Není to to jisté jako autoenkóder, kterého cílem bývá rekonštruovat původní vstup. Tu může být výstup v jiném jazyku, formáte i dlžke. Při dlouhém vstupe je třeba preverit, či decoder využívá správně části zdroje.

Časté otázky

Na co slouží cross-attention?

Umožňuje decoderu při generování vyberat informace z reprezentací encodera. Query pochází z decoderu, klúče a hodnoty ze spracovaného vstupu.

Proč decoder používá kauzálnu masku?

Během generování nesmí token využívat budoucí tokeny cílové sekvence. Maska zachová stejnou informační podmínku při tréninku a inferenci.

Jak se tato architektura liší od decoder-only modelu?

Decoder-only model dostane vstup i výstup v jednom autoregresivním kontextu. Encoder-decoder má samostatné zpracování zdroje a explicitní cross-attention propojení.

Co je teacher forcing?

Při tréninku decoder dostává předchozí správný token místo vlastnej predikce. Zrýchluje učení, ale vytváří rozdíl oproti reálnemu generování.

Kdy je encoder-decoder vhodnější než klasifikátor?

Když výsledkem není pevná třída, ale variabilná sekvence, strukturovaný text nebo transformace vstupu, které délku nelze předem určit.

Související pojmy

Zdroje a redakční stopa

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.