Odborná definice
Význam a odborné vymezení pojmu
Zero, Zero Redundancy Optimizer, je rodina techník distribuovaného tréninku, která odstraňuje replikaci modelových stavů mezi data-parallel procesmi jejich rozdělením. Stage 1 partitionuje stavy optimalizátora, Stage 2 přidává gradienty a Stage 3 rozděluje i parametry modelu, přičemž potřebné části se dynamicky zhromažďují pro výpočet. Zero může kombinovat offload do CPU nebo Nvme. Snižuje paměť na GPU, ale přidává komunikaci, synchronizaci a zložitejšiu správu checkpointů.
Srozumitelné vysvětlení
Jak se pojem používá v praxi
Při běžném data parallel tréninku má každá GPU celou kopii váh, gradientů i pomocných stavů Adam optimalizátora. Velký model se proto nezmestí, ačkoli je v klastri dostatek súhrnnej paměti. Zero rozdělí tyto položky mezi zařízení a dočasne prinese jen to, co aktuálna vrstva potřebuje. Vyšší stage šetří více paměti, ale zvyšuje komunikaci a citlivost na síť. Konfigurace se musí ladiť spolu s batch size, checkpointingom, mixed precision a topológiou hardwaru.
Časté otázky
Otázky, které upřesňují význam
Co dělí Zero Stage 1?
Stavy optimalizátora, například Adam momenty, jsou rozdělené mezi data-parallel ranky místo plnej replikace na každém zařízení.
Co navíc dělá Stage 2?
Partitionuje i gradienty. Každý rank po redukcii drží pouze svoju část, čím dále klesá paměťová záťaž.
Proč je Stage 3 komunikačne náročnejší?
Parametry nejsou trvalo celé na každé GPU. Před výpočtom vrstvy se potřebné části zhromažďují a po použití mohou uvolnit.
Co znamená offload?
Vybrané parametry nebo stavy se presunou do CPU paměti či Nvme. Ušetrí se VRAM, ale výkon může omezit prenosová cesta.
Jak se ukladají checkpointy?
Mohou být rozdělené podle ranků nebo konsolidované. Obnova vyžaduje kompatibilnou konfiguraci, verzi nástroje a kontrolu úplnosti shardů.
Související pojmy
Významové a tematické souvislosti
Zdroje a redakční stopa
Použitá východiska a odborná revize
- DeepSpeed, ZeRO Rajbhandari et al., ZeRO
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.