Odborná definícia
Význam a odborné vymedzenie pojmu
Weight decay je mechanizmus, ktorý pri každom optimalizačnom kroku zmenšuje vybrané parametre smerom k nule. Pri klasickom SGD je často algebraicky ekvivalentný L2 penalizácii pridanej k strate, no pri adaptívnych optimalizátoroch sa tieto formulácie môžu správať rozdielne. AdamW oddeľuje útlm parametrov od gradientovej aktualizácie. Cieľom je obmedziť nekontrolovaný rast váh a podporiť jednoduchšie riešenie, nie automaticky vytvoriť riedky model. Koeficient treba voliť spolu s learning rate, plánom tréningu a výnimkami pre biasy alebo normalizačné parametre.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Tréning môže niektoré regulátory modelu postupne vytočiť na vysoké hodnoty, pretože tak rýchlo zníži chybu na dostupných dátach. Weight decay pri každom kroku jemne stiahne vybrané váhy späť. Model musí opakovane dokazovať, že veľká hodnota je užitočná, inak sa oslabí. Pri AdamW sa toto zmenšenie vykoná oddelene od adaptívne škálovaného gradientu, takže parameter dostane čitateľnejší útlm. Príliš silný decay vedie k podučeniu, príliš slabý nemusí obmedziť preučenie ani numerické problémy.
Časté otázky
Otázky, ktoré spresňujú význam
Je weight decay vždy rovnaký ako L2 regularization?
Pri jednoduchom SGD bez ďalších úprav môžu byť ekvivalentné. Pri Adam, RMSprop a podobných optimalizátoroch adaptívne škálovanie gradientu mení účinok L2 člena, preto sa používa decoupled weight decay.
Prečo sa často nepoužíva na bias a normalizáciu?
Biasy a škálovacie parametre majú inú úlohu a ich zmenšovanie môže zhoršiť optimalizáciu bez rovnakého regularizačného prínosu. Preto sa vytvárajú samostatné skupiny parametrov.
Zvyšuje weight decay riedkosť váh?
Nie systematicky. Zmenšuje veľkosti parametrov, ale väčšina hodnôt nezostane presne nulová. Na štrukturálnu alebo neštrukturálnu riedkosť sa používa pruning alebo L1 penalizácia.
Ako súvisí koeficient s learning rate?
Efektívny útlm závisí od implementácie aj veľkosti kroku. Pri zmene learning rate alebo počtu krokov treba decay znovu ladiť, nie slepo preniesť z iného tréningu.
Ako sa vyberie vhodná hodnota?
Pomocou validačného experimentu s rovnakým rozpočtom tréningu. Sleduje sa generalizácia, kalibrácia, stabilita a rozdiel medzi tréningovou a validačnou stratou.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Decoupled Weight Decay Regularization
- PyTorch, AdamW
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.