Odborná definice
Odborná definice
Learning rate schedule je pravidlo, které mění learning rate podle kroku, epochy nebo validačního signálu. Může používat warmup, stupňovité snížení, exponenciálny pokles, cosine annealing, cyklický průběh nebo reakci na plateau. Cílem je spojit rychlý počiatočný pohyb s jemnejším dolaďováním v neskoršej fáze. Harmonogram nelze hodnotit odděleně od počtu kroků, batch size, optimalizátora a checkpointování, protože změna délky tréninku mění i význam časových bodů plánu.
Srozumitelné vysvětlení
Srozumitelné vysvětlení
Na začátku může model potrebovat opatrný rozbeh, aby se velké náhodné gradienty nestali deštruktívnymi. Později může používat větší kroky a ku koncu jejich zmenšovat, aby doladil řešení. Schedule je kalendár těchto změn. Pokud se trénink predlži z desaťtisíc na stotisíc kroků bez úpravy kalendára, cosine minimum nebo decay príde v nesprávném čase. Při obnovení checkpointu je třeba obnovit i stav scheduleru, jinak model pokračuje s inou rýchlosťou, než predpokladal experiment.
Časté otázky
Časté otázky
K čemu slouží warmup?
Postupně zvyšuje learning rate během úvodných kroků. Pomáhá stabilizovat trénink velkých sítí, zejména při velkých batchoch a transformerech.
Co dělá cosine annealing?
Snižuje learning rate podle části kosínusovej krivky. Poskytuje plynulý pokles, kterého koniec musí být zosúladený s plánovaným počtem kroků.
Kdy použít Reducelronplateau?
Když je vhodné reagovat na stagnaci validační metriky. Výsledek závisí na patience, prahu změny a šumu dané metriky.
Musí scheduler volať před nebo po optimizer step?
Závisí na implementace. V Pytorch má večšina schedulerů očakávané pořadí; nesprávně volání může posunout celý průběh o jeden krok.
Co se musí uložit do checkpointu?
Váhy modelu, stav optimalizátora, stav scheduleru, globální krok a při mixed precision i scaler. Jinak obnovený trénink není reprodukovatelný.
Související pojmy
Související pojmy
Zdroje a redakční stopa
Zdroje a redakční stopa
- PyTorch, learning rate schedulers
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.