Odborná definícia
Odborná definícia
Jacobian regularization pridáva k tréningovej strate člen, ktorý penalizuje vybranú normu derivácií modelového výstupu podľa vstupu, reprezentácie alebo parametrov. Cieľom je obmedziť nadmernú lokálnu citlivosť, zväčšiť klasifikačné okraje alebo stabilizovať naučenú dynamiku. Penalizácia môže pracovať s Frobeniovou normou celého Jacobianu, spektrálnou normou alebo stochastickým odhadom cez smerové súčiny. Príliš silná váha vedie k podučeniu a môže potlačiť legitímne ostré zmeny, preto sa musí validovať na relevantných perturbáciách.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Klasifikátor obrazu môže meniť rozhodnutie po nepatrnej zmene niekoľkých pixelov. Jacobian regularization počas tréningu trestá príliš prudkú lokálnu reakciu a povzbudzuje hladšie okolie rozhodovacej funkcie. Je to podobné ako požiadavka, aby mal volant primeraný prevod a malé chvenie ruky nespôsobilo náhlu zmenu smeru. Úplné utlmenie citlivosti by však bolo zlé, pretože model musí reagovať na skutočné hranice medzi triedami. Hmotnosť regularizačného člena sa preto nastavuje podľa kompromisu medzi presnosťou a stabilitou.
Časté otázky
Časté otázky
Ktorý Jacobian sa regularizuje?
Najčastejšie derivácia logitov alebo skrytých reprezentácií podľa vstupu. V sekvenčných a dynamických modeloch sa môže penalizovať Jacobian prechodu stavu. Výber určuje, aký druh citlivosti sa má obmedziť.
Musí sa ukladať celá Jacobiho matica?
Nie. Frobeniovu normu možno odhadovať náhodnými vektormi a JVP alebo VJP operáciami. Taký odhad znižuje pamäťové nároky, no pridáva šum, ktorý závisí od počtu použitých projekcií.
Zaručuje táto regularizácia adversariálnu robustnosť?
Nie. Môže zvýšiť lokálnu stabilitu a klasifikačný okraj, ale robustnosť závisí od normy útoku, rozsahu perturbácie, architektúry a tréningového protokolu. Overuje sa samostatným útokom, nie iba čistou presnosťou.
Ako sa volí sila penalizácie?
Koeficient sa ladí na validačnej množine s metrikami pre bežné aj narušené dáta. Príliš nízky nemá merateľný účinok, príliš vysoký znižuje schopnosť modelu zachytiť jemné, ale podstatné rozdiely.
Čím sa líši od weight decay?
Weight decay obmedzuje veľkosť parametrov, no nehovorí priamo, ako citlivý je výstup na vstup. Jacobian regularization zasahuje funkčné správanie siete v konkrétnych bodoch dátového priestoru, aj keď rôzne parametrizácie vytvárajú podobné váhy.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Hoffman a kol., Robust Learning with Jacobian Regularization Jakubovitz a Giryes, Improving DNN Robustness
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.