Odborná definícia
Odborná definícia
Checkpoint je uložený stav tréningu alebo modelu v konkrétnom okamihu. Zvyčajne obsahuje parametre siete a podľa účelu aj stav optimalizátora, plánovača learning rate, počítadlo krokov, náhodné stavy, konfiguráciu a metadáta dát. Umožňuje obnoviť prerušený tréning, vybrať najlepší validačný bod alebo reprodukovať nasadenú verziu. Checkpoint nie je automaticky kompletný modelový artefakt. Bez tokenizéra, architektúry, kódu, preprocessing pravidiel a kompatibilných knižníc môže byť nepoužiteľný alebo viesť k odlišnému správaniu.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Pri trojdňovom tréningu nechcete po výpadku elektriny začať od nuly. Systém preto každých niekoľko tisíc krokov uloží váhy a ďalší stav potrebný na pokračovanie. Iný checkpoint môže zachytiť najnižšiu validačnú stratu a stať sa kandidátom na nasadenie. Samotný súbor s váhami však nestačí na dôveryhodnú obnovu. Ak chýba verzia tokenizéra, poradie tried alebo transformácia vstupu, rovnaké čísla parametrov môžu spracovať dáta inak. Checkpoint treba evidovať ako súčasť celej modelovej proveniencie.
Časté otázky
Časté otázky
Aký je rozdiel medzi checkpointom a finálnym modelom?
Checkpoint môže byť pracovný stav určený na pokračovanie tréningu a obsahovať optimalizačné dáta, ktoré inferencia nepotrebuje. Finálny balík býva očistený a optimalizovaný pre nasadenie. Organizácia má presne určiť, ktorý checkpoint bol exportovaný a akými krokmi.
Ako často sa majú checkpointy ukladať?
Interval závisí od ceny strateného výpočtu, rýchlosti úložiska a veľkosti modelu. Pri dlhom alebo nestabilnom tréningu sa ukladajú častejšie. Príliš časté zápisy môžu brzdiť pipeline a vytvoriť vysoké náklady na ukladanie.
Čo je best checkpoint?
Bod vybraný podľa vopred určenej validačnej metriky, nie nevyhnutne posledná epocha. Pri viacerých metrikách treba určiť prioritu a tolerancie. Výber po opakovanom pozeraní na testovaciu sadu by kontaminoval nezávislé hodnotenie.
Prečo ukladať stav optimalizátora?
Momentum, adaptívne momenty a ďalšie interné premenné ovplyvňujú nasledujúce aktualizácie váh. Ak sa načítajú iba parametre modelu, tréning síce pokračuje, ale jeho dynamika sa zmení. Presná obnova potrebuje aj scheduler a náhodné generátory.
Ako sa checkpoint bezpečne prenáša?
Používajú sa kontrolné súčty, podpis artefaktu, prístupové práva a registry s nemennou históriou. Formáty, ktoré môžu pri načítaní spustiť kód, sa otvárajú iba z dôveryhodného zdroja. Pred nasadením sa overí pôvod, licencia a kompatibilita.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Google Machine Learning Glossary
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.