Regularizace Jacobiho matice | AI slovník

Odborná definice

Jacobian regularization přidává k tréninkové strate člen, který penalizuje vybranou normu derivací modelového výstupu podle vstupu, reprezentace nebo parametrů. Cílem je omezit nadmernou lokální citlivost, zvečšit klasifikační okraje nebo stabilizovat naučenou dynamiku. Penalizace může pracovat s Frobeniovou normou celého Jacobianu, spektrálnou normou nebo stochastickým odhadom přes smerové součiny. Příliš silná váha vede k podučení a může potlačit legitimní ostré změny, proto se musí validovat na relevantních perturbacích.

Srozumitelné vysvětlení

Klasifikátor obrazu může měnit rozhodnutí po nepatrnej změně několika pixelů. Jacobian regularization během tréninku trestá příliš prudkou lokální reakci a povzbudzuje hladšie okolí rozhodovací funkce. Je to podobné jako požadavek, aby měl volant primeraný převod a malé chvení ruky nespůsobilo náhlu změnu smeru. Úplné utlmení citlivosti by však bylo zlé, protože model musí reagovat na skutečné hranice mezi třídami. Hmotnost regularizačného člena se proto nastavuje podle kompromisu mezi přesností a stabilitou.

Časté otázky

Který Jacobian se regularizuje?

Nejčastěji derivace logitů nebo skrytých reprezentací podle vstupu. V sekvenčních a dynamických modelech se může penalizovat Jacobian prechodu stavu. Výběr určuje, jaký druh citlivosti se má omezit.

Musí se ukladat celá Jacobiho matice?

Ne. Frobeniovu normu lze odhadovat náhodnými vektory a JVP nebo VJP operacemi. Takový odhad snižuje pameťové nároky, ale přidává šum, který závisí na počtu použitých projekcí.

Zaručuje tato regularizace adversariálnu robustnost?

Ne. Může zvýšit lokální stabilitu a klasifikační okraj, ale robustnost závisí na normy útoku, rozsahu perturbace, architektury a tréninkového protokolu. Ověřuje se samostatným útokům, ne pouze čistou přesností.

Jak se volí síla penalizace?

Koeficient se ladí na validační množině s metrikami pro běžné i narušené data. Příliš nízký nemá meratelný účinek, příliš vysoký snižuje schopnost modelu zachytit jemné, ale podstatné rozdíly.

Čím se liší od weight decay?

Weight decay omezuje velikost parametrů, ale neříká přímo, jako citlivý je výstup na vstup. Jacobian regularization zasahuje funkční chování sítě v konkrétních bodech datového prostoru, i když různé parametrizace vytvářejí podobné váhy.

Související pojmy

Zdroje a redakční stopa

Hoffman a kol., Robust Learning with Jacobian Regularization Jakubovitz a Giryes, Improving DNN Robustness

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.