Odborná definícia
Odborná definícia
Non-autoregressive generation je spôsob tvorby sekvencie, pri ktorom sa všetky alebo viaceré výstupné pozície predikujú paralelne namiesto podmieňovania každého tokenu všetkými predchádzajúcimi vygenerovanými tokenmi. Znižuje počet sekvenčných krokov a môže výrazne zrýchliť inferenciu. Musí však riešiť závislosti medzi výstupnými pozíciami, neznámu dĺžku a multimodalitu správnych výstupov. Používajú sa latentné premenné, iteratívne spresňovanie, CTC alebo distilácia z autoregresívneho učiteľa.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Autoregresívny model píše vetu zľava doprava a každý nový token čaká na predchádzajúci. Neautoregresívny model sa pokúsi navrhnúť mnoho tokenov naraz, podobne ako keď sa najprv vyplní hrubá kostra celej vety a potom sa opravuje. Výsledok môže prísť rýchlejšie, ale paralelné pozície sa môžu nezhodnúť v rode, poradí alebo výbere synonym. Iteratívne modely preto výstup niekoľkokrát prehodnotia. Reálna výhoda sa musí merať na cieľovom hardvéri spolu s kvalitou.
Časté otázky
Časté otázky
Prečo paralelné generovanie znižuje latenciu?
Počet sekvenčne závislých forward passov môže byť konštantný alebo výrazne menší než počet tokenov. Hardvér tak spracuje viac pozícií naraz, hoci celkový počet operácií nemusí klesnúť rovnako.
Čo je multimodality problem?
Pre jeden vstup existuje viac rovnako správnych výstupov. Keď sa pozície predikujú nezávisle, model môže zmiešať časti rôznych variantov a vytvoriť nekonzistentnú sekvenciu.
Prečo sa používa knowledge distillation?
Autoregresívny učiteľ vytvorí jednotnejší cieľový preklad alebo text, čím zníži rozmanitosť možných výstupov. Študentovi sa potom ľahšie učí paralelná predikcia.
Je mask-predict neautoregresívny prístup?
Áno, ide o iteratívne spresňovanie. Model najprv navrhne sekvenciu, potom zamaskuje neisté pozície a v ďalších krokoch ich znovu predikuje, pričom počet iterácií je menší než dĺžka textu.
Kde sa okrem prekladu používa?
V rozpoznávaní reči, syntéze reči, sumarizácii, generovaní obrazu, korekcii textu a ďalších úlohách, kde je dôležitá nízka latencia a možno tolerovať alebo opravovať paralelné chyby.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Non-Autoregressive Neural Machine Translation Survey on Non-Autoregressive Generation
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.