Enkóder | AI slovník | DNA marketing®

Odborná definice

Encoder je část modelu, která mění vstup na vnitřní reprezentaci vhodnou pro další zpracování. V sekvenčních architektúrach vytváří kontextualizované reprezentace tokenů nebo súhrnný stav, v autoenkóderi mapuje data do latentního kódu a v multimodálnom systéme může kódovat obraz či zvuk. Transformerový encoder používá self-attention nad vstupem a feed-forward vrstvy, přičemž obvykle vidí celý vstup najednou. Výstup může slúžit klasifikátoru, decoderu, retrieveru nebo jinému modulu.

Srozumitelné vysvětlení

Enkóder lze chápat jako analytickou část systému. Zoberie větu, obrázek nebo signál a převede ho na reprezentaci, s kterou další modul ví pracovat. Při preklade nemusí vytvořit jediný komprimovaný souhrn, ale sériu kontextových vektorů pro jednotlivé slova. Slovo banka tak dostane jinou reprezentaci ve vete o peniazoch a jinou při brehu rieky. Enkóder sám nemusí generovat výsledný text. Může pouze pripravit informaci pro klasifikaci, vyhledávání nebo následný decoder. Jeho kvalita se proto měří podle následnej úlohy.

Časté otázky

Je encoder vždy kompresný modul?

Ne. Může zachovat stejný počet pozic a vytvořit bohatšie kontextové reprezentace. Komprese je typická pouze pro některé architektury a cíle.

Jak se liší encoder od decoderu?

Encoder zpracovává dostupný vstup do reprezentace. Decoder vytváří výstup, často postupně a s maskováním budoucích tokenů, případně využívá encoder přes cross-attention.

Co znamená bidirectional encoder?

Každá pozíce může při tvorbě reprezentace využívat kontext zlava i sprava. Je vhodný na porozumění celého vstupu, ne na čisté autoregresívne generování.

Může encoder vytvářet embeddingy dokumentů?

Ano. Tokenové reprezentace se agregují poolingom nebo špeciálnym tokenom. Výsledek se trénuje tak, aby podporoval podobnost, klasifikaci nebo retrieval.

Kdy se encoder zmrazí během tréninku?

Při transfer learningu lze jeho parametry ponechat bez změny, pokud je dataset malý nebo se šetří výpočet. Vhodnost se ověřuje oproti čiastočnému a úplnému fine tuningu.

Související pojmy

Zdroje a redakční stopa

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.