průměrování váh modelu | AI slovník

Odborná definice

Weight averaging je postup, při kterém se parametry více checkpointů nebo po sebe nasledujúcich stavů tréninku skombinují do jednoho modelu aritmetickým, exponenciálnym nebo jinak váženým průměrem. Metoda pracuje přímo v prostoru parametrů, ne priemerováním výstupů samostatných modelů. Stochastic Weight Averaging zbiera body z tréninkové trajektorie a často směřuje k širšej oblasti nízké ztráty. Exponential Moving Average upřednostňuje novější stavy. Výsledek může zlepšit stabilitu, ale pouze při kompatibilnej architektúre a zmysluplne zarovnaných parametrech.

Srozumitelné vysvětlení

Představte si, že trénink neustále mírně posouvá nastavení modelu okolo dobrej oblasti. Místo výběru jediného okamihu uložíte více blízkych checkpointů a jejich váhy spriemerujete. Výsledný model může být méně citlivý na náhodný krok optimalizátora a lépe reprezentovat střed stabilní oblasti. Není to hlasování více modelů při každé požadavku, protože po průměrování vznikne jeden checkpoint. Pokud však modely pochádzají z odlišných běhů nebo mají permutované neuróny, obyčejný průměr může jejich funkci poškodit.

Časté otázky

Jak se liší SWA od EMA?

SWA zpravidla priemeruje vybrané checkpointy s podobnou váhou, často při cyklickom nebo konštantnom learning rate. EMA aktualizuje průměr průběžně a novším parametrem přiřazuje větší váhu podle decay koeficientu.

Je weight averaging to jisté jako ensemble?

Ne. Ensemble uchovává více modelů a kombinuje jejich predikce během inference. Průměrování váh vytvoří jeden parameterový stav, takže provozní náklady mohou zůstat podobné jako při jednom modeli.

Kdy může průměrování selhat?

Pokud checkpointy ležia v oddelených oblastiach ztráty, používají odlišnou architekturu nebo mají nezarovnané reprezentace. Aritmetický průměr potom může projít přes oblast s vysokou ztrátou.

Je třeba po SWA prepočítat batch normalization?

Ano, u modelů s batch normalization se často znovu odhadnou bežiace statistiky nad tréningovými daty. Průměr parametrů jejich automaticky nenastaví na správně hodnoty.

Jak se ověří přínos průměrování?

Porovnajte stejný protokol na validační a testovací množině, kalibraci, robustnost a latenci. Zlepšení tréninkové ztráty samo sám o sobě není důkazem lepšej generalizace.

Související pojmy

Zdroje a redakční stopa

Averaging Weights Leads to Wider Optima and Better Generalization
PyTorch, AveragedModel and SWA utilities

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.