Odborná definice
Odborná definice
Weight je učený číselný parameter, který určuje silu a směr vlivu jedné složky reprezentace na další výpočet modelu. V lineární vrstvě váhy tvoří matici násobenou vstupem, v konvolúcii jádro zdielané napříč pozicemi a v attention projekčné matice pro dotazy, klúče, hodnoty a výstup. Trénink mění váhy podle gradientů a optimalizátora tak, aby znižoval cílovou ztrátu. Samotná hodnota nemá univerzální význam, protože její účinek závisí na architektury, škály aktivací a ostatních parametrů.
Srozumitelné vysvětlení
Srozumitelné vysvětlení
Váha funguje jako nastavitelný regulátor v obrovskom výpočtovém obvode. Když má určitý vstup pomáhat predikci, trénink může jeho spojení zosilnit, při opačnom vplyve změnit znaménko a při nepodstatnom signále ho priblížit k nule. Moderný model obsahuje milióny až miliardy takýchto hodnot, které se neučia izolovane. Stejné číslo může v jedné vrstvě zvýrazňovat okraj obrazu a v jiné měnit význam tokenu. Proto se jednotlivá váha obvykle nevysvetluje bez kontextu celé reprezentace.
Časté otázky
Časté otázky
Je weight to jisté jako parameter?
Váha je typ parametru. Mezi parametry patří i zkreslení, škálovace koeficienty normalizace, embeddingové tabulky a další učené hodnoty.
Jak se váhy aktualizují?
Backpropagation vypočítá gradient ztráty podle každého parametru a optimalizátor z gradientu, learning rate a vlastného stavu určí změnu váhy.
Znamená velká absolutní váha vysokou důležitost?
Ne vždy. Vliv závisí na škály vstupu, normalizace, následných vrstev a interakcí. Při rescaling symetriách lze funkci zachovat s inými velkosťami parametrů.
Proč se váhy ukladají v různé přesnosti?
FP32, BF16, FP16 nebo kvantizované formáty mění paměť, rychlost a numerickou chybu. Vhodnost závisí na tréninku, inference a hardwaru.
Může se váha během inference měnit?
Běžný model používá fixný checkpoint. Adaptivní systémy, online learning nebo cache mechanizmy mohou měnit stav, ale to musí být oddělené od štandardnej inference.
Související pojmy
Související pojmy
Zdroje a redakční stopa
Zdroje a redakční stopa
- PyTorch, Module parameters Deep Learning, Chapter 6
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.