Weight tying, definícia a použitie | AI slovník

Odborná definícia

Weight tying je obmedzenie, pri ktorom dve logicky odlišné operácie používajú tú istú maticu parametrov alebo jej presne definovanú transformáciu. V jazykových modeloch sa často viaže vstupná embeddingová tabuľka s výstupnou projekciou z hidden state na logits slovníka. Tým sa znižuje počet parametrov a zavádza spoločná geometria pre čítanie a predikciu tokenov. Viazanie vyžaduje kompatibilné rozmery a mení tok gradientov, pretože jedna matica dostáva signál z oboch rolí. Môže zlepšiť perplexitu a veľkosť modelu, ale tiež vytvoriť konflikt medzi potrebami vstupnej reprezentácie a výstupnej klasifikácie.

Zrozumiteľné vysvetlenie

Jazykový model má na vstupe tabuľku, ktorá premení token na vektor, a na výstupe maticu, ktorá porovná vnútorný stav so všetkými tokenmi slovníka. Weight tying povie, že obe tabuľky majú používať tie isté čísla. Model tak nemusí uchovávať dve veľké matice a význam tokenu sa učí z čítania aj predikcie. Úspora je výrazná pri veľkom slovníku. Zároveň však jedna sada parametrov plní dve odlišné úlohy, takže silnejší gradient z výstupu môže formovať embedding spôsobom, ktorý nie je ideálny pre skoré vrstvy.

Časté otázky

Ktoré matice sa v LLM najčastejšie viažu?

Vstupný token embedding a výstupná unembedding alebo softmax projekcia. Pri rovnakom slovníku a hidden rozmere môže jedna matica slúžiť v oboch smeroch.

Je weight tying iba druh weight sharing?

Áno, v širšom zmysle ide o zdieľanie parametrov. Termín tying sa však používa pre explicitnú rovnosť medzi konkrétnymi maticami s odlišnými funkčnými rolami.

Koľko parametrov sa tým ušetrí?

Približne veľkosť jednej vocab krát hidden matice, ak by inak existovali dve samostatné tabuľky. Presná úspora závisí od biasu a projekčných medzivrstiev.

Môže tying zhoršiť kvalitu?

Áno. Vstupné a výstupné reprezentácie môžu potrebovať inú geometriu. Väčšie modely alebo špecializované úlohy môžu profitovať z čiastočného alebo žiadneho viazania.

Ako sa implementuje v checkpointoch?

Dva moduly odkazujú na ten istý parameter alebo sa pri načítaní explicitne zviažu. Export musí zachovať aliasovanie, inak môžu vzniknúť dve nezávislé kópie.

Súvisiace pojmy

Zdroje a redakčná stopa

Using the Output Embedding to Improve Language Models Beyond Weight Tying

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.