Encoder, definícia a použitie | AI slovník

Odborná definícia

Encoder je časť modelu, ktorá premieňa vstup na vnútornú reprezentáciu vhodnú pre ďalšie spracovanie. V sekvenčných architektúrach vytvára kontextualizované reprezentácie tokenov alebo súhrnný stav, v autoenkóderi mapuje dáta do latentného kódu a v multimodálnom systéme môže kódovať obraz či zvuk. Transformerový encoder používa self-attention nad vstupom a feed-forward vrstvy, pričom zvyčajne vidí celý vstup naraz. Výstup môže slúžiť klasifikátoru, decoderu, retrieveru alebo inému modulu.

Zrozumiteľné vysvetlenie

Enkóder možno chápať ako analytickú časť systému. Zoberie vetu, obrázok alebo signál a prevedie ho na reprezentáciu, s ktorou ďalší modul vie pracovať. Pri preklade nemusí vytvoriť jediný komprimovaný súhrn, ale sériu kontextových vektorov pre jednotlivé slová. Slovo banka tak dostane inú reprezentáciu vo vete o peniazoch a inú pri brehu rieky. Enkóder sám nemusí generovať výsledný text. Môže iba pripraviť informáciu pre klasifikáciu, vyhľadávanie alebo následný decoder. Jeho kvalita sa preto meria podľa následnej úlohy.

Časté otázky

Je encoder vždy kompresný modul?

Nie. Môže zachovať rovnaký počet pozícií a vytvoriť bohatšie kontextové reprezentácie. Kompresia je typická iba pre niektoré architektúry a ciele.

Ako sa líši encoder od decoderu?

Encoder spracúva dostupný vstup do reprezentácie. Decoder vytvára výstup, často postupne a s maskovaním budúcich tokenov, prípadne využíva encoder cez cross-attention.

Čo znamená bidirectional encoder?

Každá pozícia môže pri tvorbe reprezentácie využívať kontext zľava aj sprava. Je vhodný na porozumenie celého vstupu, nie na čisté autoregresívne generovanie.

Môže encoder vytvárať embeddingy dokumentov?

Áno. Tokenové reprezentácie sa agregujú poolingom alebo špeciálnym tokenom. Výsledok sa trénuje tak, aby podporoval podobnosť, klasifikáciu alebo retrieval.

Kedy sa encoder zmrazí počas tréningu?

Pri transfer learningu možno jeho parametre ponechať bez zmeny, ak je dataset malý alebo sa šetrí výpočet. Vhodnosť sa overuje oproti čiastočnému a úplnému fine tuningu.

Súvisiace pojmy

Zdroje a redakčná stopa

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.