Odborná definícia
Odborná definícia
Optimization algorithm je postup na hľadanie parametrov, ktoré minimalizujú alebo maximalizujú cieľovú funkciu pri daných obmedzeniach. V strojovom učení typicky aktualizuje váhy podľa gradientu straty, odhadu momentov alebo geometrie parametrov. SGD, Adam a L-BFGS majú rozdielne pamäťové nároky, citlivosť na learning rate a konvergenčné vlastnosti. Algoritmus neurčuje iba rýchlosť tréningu, môže viesť k inému riešeniu a generalizácii. Stabilita závisí od škálovania príznakov, veľkosti batch, regularizácie a numerickej presnosti.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Tréning modelu je hľadanie nastavenia miliónov parametrov, pri ktorom sa zníži chyba na príkladoch. Optimalizátor rozhoduje, akým smerom a o koľko sa parametre po každom kroku zmenia. Príliš veľký krok môže preskočiť dobrú oblasť alebo vytvoriť NaN, príliš malý tréning spomalí. Adam často zrýchli začiatok učenia, no nemusí byť najlepší pri každom modeli ani regularizácii. Preto sa spolu s názvom optimalizátora archivuje learning rate schedule, batch size, gradient clipping, seed a presnosť výpočtu. Porovnávanie bez týchto údajov je neúplné.
Časté otázky
Časté otázky
Čím sa SGD líši od Adam?
SGD používa gradient mini-batch a často momentum, kým Adam adaptuje krok každého parametra pomocou odhadov prvého a druhého momentu. Rozdiel ovplyvňuje rýchlosť, pamäť aj implicitnú regularizáciu.
Prečo je learning rate často dôležitejší než voľba optimalizátora?
Určuje mierku aktualizácie. Nevhodná hodnota môže spôsobiť divergenciu alebo stagnáciu aj pri kvalitnom algoritme, preto sa ladí spolu so schedule a veľkosťou dávky.
Čo je gradient clipping?
Obmedzí normu alebo jednotlivé hodnoty gradientu pred aktualizáciou. Pomáha pri explodujúcich gradientoch, ale príliš nízky limit môže systematicky spomaľovať učenie.
Znamená nižšia tréningová strata lepší model?
Nie. Optimalizátor môže dokonale prispôsobiť tréningové dáta a zhoršiť generalizáciu. Rozhoduje validačný výkon, kalibrácia a stabilita, nie iba minimum cieľovej funkcie.
Prečo treba ukladať stav optimalizátora v checkpointe?
Momentum a adaptívne momenty obsahujú históriu predošlých gradientov. Bez nich obnovený tréning pokračuje s inou dynamikou a môže krátkodobo alebo trvalo zmeniť výsledok.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- PyTorch, Optimizers Adam: A Method for Stochastic Optimization
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.