Odborná definícia
Význam a odborné vymedzenie pojmu
Weight je učený číselný parameter, ktorý určuje silu a smer vplyvu jednej zložky reprezentácie na ďalší výpočet modelu. V lineárnej vrstve váhy tvoria maticu násobenú vstupom, v konvolúcii jadro zdieľané naprieč pozíciami a v attention projekčné matice pre dotazy, kľúče, hodnoty a výstup. Tréning mení váhy podľa gradientov a optimalizátora tak, aby znižoval cieľovú stratu. Samotná hodnota nemá univerzálny význam, pretože jej účinok závisí od architektúry, škály aktivácií a ostatných parametrov.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Váha funguje ako nastaviteľný regulátor v obrovskom výpočtovom obvode. Keď má určitý vstup pomáhať predikcii, tréning môže jeho spojenie zosilniť, pri opačnom vplyve zmeniť znamienko a pri nepodstatnom signále ho priblížiť k nule. Moderný model obsahuje milióny až miliardy takýchto hodnôt, ktoré sa neučia izolovane. Rovnaké číslo môže v jednej vrstve zvýrazňovať okraj obrazu a v inej meniť význam tokenu. Preto sa jednotlivá váha zvyčajne nevysvetľuje bez kontextu celej reprezentácie.
Časté otázky
Otázky, ktoré spresňujú význam
Je weight to isté ako parameter?
Váha je typ parametra. Medzi parametre patria aj biasy, škálovacie koeficienty normalizácie, embeddingové tabuľky a ďalšie učené hodnoty.
Ako sa váhy aktualizujú?
Backpropagation vypočíta gradient straty podľa každého parametra a optimalizátor z gradientu, learning rate a vlastného stavu určí zmenu váhy.
Znamená veľká absolútna váha vysokú dôležitosť?
Nie vždy. Vplyv závisí od škály vstupu, normalizácie, následných vrstiev a interakcií. Pri rescaling symetriách možno funkciu zachovať s inými veľkosťami parametrov.
Prečo sa váhy ukladajú v rôznej presnosti?
FP32, BF16, FP16 alebo kvantizované formáty menia pamäť, rýchlosť a numerickú chybu. Vhodnosť závisí od tréningu, inferencie a hardvéru.
Môže sa váha počas inferencie meniť?
Bežný model používa fixný checkpoint. Adaptívne systémy, online learning alebo cache mechanizmy môžu meniť stav, no to musí byť oddelené od štandardnej inferencie.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- PyTorch, Module parameters Deep Learning, Chapter 6
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.