Sequence-to-sequence model, definícia a použitie | AI slovník

Odborná definícia

Sequence-to-sequence model mapuje vstupnú sekvenciu premenlivej dĺžky na výstupnú sekvenciu, ktorá môže mať inú dĺžku. Klasická architektúra používa enkóder na reprezentáciu vstupu a dekóder na postupné generovanie výstupu, často s attention mechanizmom. Používa sa pri preklade, sumarizácii, transkripcii alebo konverzii formátov. Tréning zvyčajne minimalizuje chybu ďalšieho tokenu, čo samo osebe nezaručuje globálnu správnosť celej sekvencie. Pri hodnotení sa kombinuje sekvenčná metrika s kontrolou významu a kritických entít.

Zrozumiteľné vysvetlenie

Prekladateľský systém dostane vetu v slovenčine a vytvára vetu v inom jazyku, ktorá nemusí mať rovnaký počet slov ani rovnaké poradie. Enkóder najprv spracuje vstup a dekóder skladá výstup krok po kroku. Attention mu umožní pri každom kroku pozrieť sa na relevantnú časť zdrojovej vety. Rovnaký princíp možno použiť na zhrnutie dokumentu alebo prevod reči na text. Chyba na začiatku generovania však môže ovplyvniť všetky ďalšie tokeny. Preklad môže znieť prirodzene a pritom vynechať negáciu, číslo alebo podmienku, ktorá rozhoduje o správnosti.

Časté otázky

Čo robí enkóder a čo dekóder?

Enkóder vytvorí kontextovú reprezentáciu vstupu. Dekóder z nej a z už vytvorených tokenov odhaduje ďalší token výstupnej sekvencie.

Prečo bol attention dôležitý pre seq2seq modely?

Odstránil potrebu stlačiť celý vstup do jediného pevného vektora. Dekóder môže pri každom kroku využívať inú váženú kombináciu stavov enkódera.

Čo je teacher forcing?

Počas tréningu dostáva dekóder ako predchádzajúci token správny referenčný token, nie vlastnú predikciu. Tréning je vďaka tomu stabilnejší, no dekóder sa neučí opravovať vlastné skoršie chyby tak ako pri nasadení.

Ako sa seq2seq výstup dekóduje?

Možno použiť greedy výber, beam search alebo sampling. Voľba mení rýchlosť, rozmanitosť aj pravdepodobnosť, že sa nájde lepšia celá sekvencia.

Je transformer sequence-to-sequence model?

Enkóderovo-dekóderový transformer áno. Dekóderové jazykové modely tiež generujú sekvencie, ale nemusia mať samostatný enkóder pre zdrojový vstup.

Súvisiace pojmy

Zdroje a redakčná stopa

Sequence to Sequence Learning with Neural Networks Neural Machine Translation by Jointly Learning to Align and Translate

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.