Odborná definícia
Odborná definícia
ZeRO, Zero Redundancy Optimizer, je rodina techník distribuovaného tréningu, ktorá odstraňuje replikáciu modelových stavov medzi data-parallel procesmi ich rozdelením. Stage 1 partitionuje stavy optimalizátora, Stage 2 pridáva gradienty a Stage 3 rozdeľuje aj parametre modelu, pričom potrebné časti sa dynamicky zhromažďujú pre výpočet. ZeRO môže kombinovať offload do CPU alebo NVMe. Znižuje pamäť na GPU, ale pridáva komunikáciu, synchronizáciu a zložitejšiu správu checkpointov.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Pri bežnom data parallel tréningu má každá GPU celú kópiu váh, gradientov aj pomocných stavov Adam optimalizátora. Veľký model sa preto nezmestí, hoci je v klastri dostatok súhrnnej pamäte. ZeRO rozdelí tieto položky medzi zariadenia a dočasne prinesie len to, čo aktuálna vrstva potrebuje. Vyšší stage šetrí viac pamäte, ale zvyšuje komunikáciu a citlivosť na sieť. Konfigurácia sa musí ladiť spolu s batch size, checkpointingom, mixed precision a topológiou hardvéru.
Časté otázky
Časté otázky
Čo delí ZeRO Stage 1?
Stavy optimalizátora, napríklad Adam momenty, sú rozdelené medzi data-parallel ranky namiesto plnej replikácie na každom zariadení.
Čo navyše robí Stage 2?
Partitionuje aj gradienty. Každý rank po redukcii drží iba svoju časť, čím ďalej klesá pamäťová záťaž.
Prečo je Stage 3 komunikačne náročnejší?
Parametre nie sú trvalo celé na každej GPU. Pred výpočtom vrstvy sa potrebné časti zhromažďujú a po použití môžu uvoľniť.
Čo znamená offload?
Vybrané parametre alebo stavy sa presunú do CPU pamäte či NVMe. Ušetrí sa VRAM, ale výkon môže obmedziť prenosová cesta.
Ako sa ukladajú checkpointy?
Môžu byť rozdelené podľa rankov alebo konsolidované. Obnova vyžaduje kompatibilnú konfiguráciu, verziu nástroja a kontrolu úplnosti shardov.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- DeepSpeed, ZeRO Rajbhandari et al., ZeRO
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.