vázání dvou množin váh | AI slovník

Odborná definice

Weight tying je omezení, při kterém dvě logicky odlišné operace používají tu jistou matici parametrů nebo její přesně definovanou transformaci. V jazykových modelech se často váže vstupní embeddingová tabulka s výstupnou projekcí z hidden state na logits slovníka. Tím se snižuje počet parametrů a zavádí společná geometrie pro čtení a predikci tokenů. Vázání vyžaduje kompatibilní rozměry a mění tok gradientů, protože jedna matice dostává signál z obou rolí. Může zlepšit perplexitu a velikost modelu, ale také vytvořit konflikt mezi potrebami vstupní reprezentace a výstupní klasifikace.

Srozumitelné vysvětlení

Jazykový model má na vstupe tabulku, která premení token na vektor, a na výstupu matici, která porovná vnitřní stav se všemi tokenmi slovníka. Weight tying řekne, že obě tabulky mají používat ty jisté čísla. Model tak nemusí uchovávat dvě velké matice a význam tokenu se učí z čítání i predikce. Úspora je výrazná při velkém slovníku. Zároveň však jedna sada parametrů plní dvě odlišné úlohy, takže silnější gradient z výstupu může formovat embedding způsobem, který není ideálny pro časné vrstvy.

Časté otázky

Které matice se v LLM nejčastěji viažu?

Vstupní token embedding a výstupná unembedding nebo softmax projekce. Při stejném slovníku a hidden rozmere může jedna matice slúžit v obou smeroch.

Je weight tying pouze druh weight sharing?

Ano, v širšom smyslu jde o sdílení parametrů. Termín tying se však používá pro explicitní rovnost mezi konkrétnymi maticami s odlišnými funkčnými rolami.

Kolik parametrů se tím ušetrí?

Přibližně velikost jedné vocab krát hidden matice, pokud by jinak existovali dvě samostatné tabulky. Přesná úspora závisí na biasu a projekčných medzivrstiev.

Může tying zhoršit kvalitu?

Ano. Vstupní a výstupní reprezentace mohou potrebovat jinou geometrii. Větší modely nebo specializované úlohy mohou profitovat z čiastočného nebo žiadneho vázání.

Jak se implementuje v checkpointoch?

Dva moduly odkazují na ten jistý parameter nebo se při načítaní explicitně zviažu. Export musí zachovat aliasování, jinak mohou vzniknout dvě nezávislé kopie.

Související pojmy

Zdroje a redakční stopa

Using the Output Embedding to Improve Language Models Beyond Weight Tying

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.