Neautoregresívne generování | AI slovník

Odborná definice

Non-autoregressive generation je způsob tvorby sekvence, při kterém se všechny nebo více výstupní pozice predikují paralelně místo podmieňování každého tokenu všemi predchádzajúcimi vygenerovanými tokenmi. Snižuje počet sekvenčních kroků a může výrazně zrychlit inferenci. Musí však řešit závislosti mezi výstupnými pozicemi, neznámou délku a multimodalitu správných výstupů. Používají se latentní proměnné, iterativně spresňování, CTC nebo distilace z autoregresívneho učitela.

Srozumitelné vysvětlení

Autoregresivní model píše větu zlava doprava a každý nový token čaká na předchozí. Neautoregresívny model se pokúsi navrhnout mnoho tokenů najednou, podobně jako když se nejprve vyplní hrubá kostra celé věty a potom se opravuje. Výsledek může prísť rychleji, ale paralelní pozice se mohou nezhodnúť v rode, poradí nebo výběru synonym. Iterativně modely proto výstup niekolkokrát prehodnotia. Reálna výhoda se musí měřit na cílovém hardwaru spolu s kvalitou.

Časté otázky

Proč paralelní generování snižuje latenci?

Počet sekvenčne závislých forward passů může být konštantný nebo výrazně menší než počet tokenů. Hardware tak zpracuje více pozic najednou, ačkoli celkový počet operací nemusí klesnout stejně.

Co je multimodality problem?

Pro jeden vstup existuje více stejně správných výstupů. Když se pozice predikují nezávisle, model může zmiešat části různých variant a vytvořit nekonzistentnou sekvenci.

Proč se používá knowledge distillation?

Autoregresivní učitel vytvoří jednotnejší cílový překlad nebo text, čím sníží rozmanitost možných výstupů. Študentovi se potom snazší učí paralelná predikce.

Je mask-predict neautoregresívny přístup?

Ano, jde o iterativně spresňování. Model nejprve navrhne sekvenci, potom zamaskuje neisté pozice a v dalších krocích jejich znovu predikuje, přičemž počet iterací je menší než délka textu.

Kde se kromě překladu používá?

V rozpoznávání řeči, syntéze řeči, sumarizaci, generování obrazu, korekcii textu a dalších úlohách, kde je důležitá nízká latence a lze tolerovat nebo opravovat paralelní chyby.

Související pojmy

Zdroje a redakční stopa

Non-Autoregressive Neural Machine Translation Survey on Non-Autoregressive Generation

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.