Optimalizace paměti Zero | AI slovník

Odborná definice

Zero, Zero Redundancy Optimizer, je rodina techník distribuovaného tréninku, která odstraňuje replikaci modelových stavů mezi data-parallel procesmi jejich rozdělením. Stage 1 partitionuje stavy optimalizátora, Stage 2 přidává gradienty a Stage 3 rozděluje i parametry modelu, přičemž potřebné části se dynamicky zhromažďují pro výpočet. Zero může kombinovat offload do CPU nebo Nvme. Snižuje paměť na GPU, ale přidává komunikaci, synchronizaci a zložitejšiu správu checkpointů.

Srozumitelné vysvětlení

Při běžném data parallel tréninku má každá GPU celou kopii váh, gradientů i pomocných stavů Adam optimalizátora. Velký model se proto nezmestí, ačkoli je v klastri dostatek súhrnnej paměti. Zero rozdělí tyto položky mezi zařízení a dočasne prinese jen to, co aktuálna vrstva potřebuje. Vyšší stage šetří více paměti, ale zvyšuje komunikaci a citlivost na síť. Konfigurace se musí ladiť spolu s batch size, checkpointingom, mixed precision a topológiou hardwaru.

Časté otázky

Co dělí Zero Stage 1?

Stavy optimalizátora, například Adam momenty, jsou rozdělené mezi data-parallel ranky místo plnej replikace na každém zařízení.

Co navíc dělá Stage 2?

Partitionuje i gradienty. Každý rank po redukcii drží pouze svoju část, čím dále klesá paměťová záťaž.

Proč je Stage 3 komunikačne náročnejší?

Parametry nejsou trvalo celé na každé GPU. Před výpočtom vrstvy se potřebné části zhromažďují a po použití mohou uvolnit.

Co znamená offload?

Vybrané parametry nebo stavy se presunou do CPU paměti či Nvme. Ušetrí se VRAM, ale výkon může omezit prenosová cesta.

Jak se ukladají checkpointy?

Mohou být rozdělené podle ranků nebo konsolidované. Obnova vyžaduje kompatibilnou konfiguraci, verzi nástroje a kontrolu úplnosti shardů.

Související pojmy

Zdroje a redakční stopa

DeepSpeed, ZeRO Rajbhandari et al., ZeRO

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.