Ořezávání gradientu | AI slovník

Odborná definice

Gradient clipping je zásah vykonaný po spetnom šírení a před krokom optimalizátora, který omezí gradienty prekračujúce zvolený práh. Při clippingu podle normy se celý gradientový vektor škáluje tak, aby jeho norma nepresiahla limit, čím se přibližně zachová směr. Při clippingu podle hodnoty se jednotlivé složky orežou do intervalu a směr se může změnit. Metoda omezuje extrémně aktualizace spůsobené explózí gradientu, ale neodstraňuje zlú inicializaci, chybnou ztrátu ani numerickou nestabilitu. Práh se proto volí podle monitorovaných noriem a dynamiky učení.

Srozumitelné vysvětlení

Gradient clipping je jako obmedzovač rychlosti mezi výpočtom chyby a změnou parametrů. Pokud zpětné šíření navrhne extrémně velký krok, aktualizace se zmenší dříve, než model preskočí do nestabilnej oblasti nebo vytvoří hodnotu Nan. Při normovom orezaní se všechny složky zmenšia stejným pomerom, takže doporučený směr zůstane podobný. Ořezávání však může pouze maskovat problém, například chybnou měřítko vstupů nebo příliš vysoký learning rate. Proto se spolu s ním sleduje, jako často se aktivuje a které vrstvy produkují extrémy.

Časté otázky

Kdy se gradient clipping používá nejčastěji?

Při rekurentních sítích, hlubokých modelech, velkých learning rates nebo tréninku, kde se objavují špičky noriem a numerické selhání. Nemá se zapínat pouze ze zvyku bez sledování jeho účinku.

Jaký je rozdíl mezi clippingom normy a hodnoty?

Normový clipping škáluje celý vektor, pokud jeho celková norma překročí limit. Hodnotový clipping samostatně oreže každou zložku, proto může výraznejšie změnit relativně proporce i směr aktualizace.

Jak se volí vhodný práh?

Z distribuce gradientových noriem během stabilní části tréninku, citlivostných běhů a výsledného výkonu. Příliš nízký práh tlmí večšinu kroků, příliš vysoký nezachytí nebezpečné špičky.

Mění clipping směr gradientného zostupu?

Normový variant při jedinom společném škálování směr zachovává, mění pouze velikost. Hodnotový variant a per parameter clipping mohou směr skreslit, proto mají odlišné optimalizačné důsledky.

Může clipping skrýt chybu v modeli?

Ano. Trénink přestane padať, ale koreňom může být nesprávná ztráta, dělení nulou, zlá normalizace nebo poškodené data. Frekvence orezání a diagnostika numerických hodnot musí zůstat součástí kontroly.

Související pojmy

Zdroje a redakční stopa

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.