Jacobian matrix | AI slovník

Odborná definícia

Jacobiho matica funkcie f: R^n -> R^m obsahuje všetky prvé parciálne derivácie výstupných zložiek podľa vstupných premenných. Prvok J_ij vyjadruje lokálnu zmenu i-teho výstupu pri malej zmene j-teho vstupu. V neurónových sieťach sa Jacobian môže počítať voči vstupu, parametrom alebo latentnej reprezentácii. Umožňuje analyzovať citlivosť, lokálnu lineárnu aproximáciu, stabilitu a šírenie perturbácií. Úplná matica býva pri veľkých modeloch príliš rozsiahla, preto sa často počítajú iba jej súčiny s vektormi.

Zrozumiteľné vysvetlenie

Model prijíma tri merania senzora a vracia dve odhadované veličiny. Jacobiho matica je tabuľka so šiestimi číslami, ktorá pri konkrétnom vstupe ukáže, ako by sa každý odhad zmenil pri nepatrnom posune každého merania. Veľká absolútna hodnota znamená vysokú miestnu citlivosť, nulová hodnota slabý okamžitý vplyv. Matica nepopisuje správanie modelu všade, iba v okolí zvoleného bodu. Ak sa model presunie do inej oblasti vstupného priestoru, derivácie sa môžu podstatne zmeniť.

Časté otázky

Aký rozmer má Jacobiho matica?

Ak funkcia prijíma n vstupných premenných a vracia m výstupov, Jacobian má m riadkov a n stĺpcov. Poradie závisí od použitej konvencie a knižnice, preto treba pri implementácii overiť tvar tenzora.

Prečo sa nepočíta vždy celá matica?

Pri miliónoch vstupov alebo parametrov by plný Jacobian zabral veľa pamäte a výpočtov. Tréning často potrebuje iba vektorovo-Jacobiho alebo Jacobiho-vektorový súčin, ktorý automatická diferenciácia získa bez explicitného zostavenia všetkých prvkov.

Čo znamená veľká norma Jacobianu?

Naznačuje, že malé vstupné zmeny môžu lokálne vyvolať výraznú zmenu výstupu. Nemusí automaticky znamenať chybu, pretože citlivosť môže byť vecne správna, no pri šume alebo adversariálnych perturbáciách môže zvyšovať nestabilitu.

Je Jacobian to isté ako gradient?

Gradient je vektor derivácií skalárnej funkcie. Jacobian zovšeobecňuje tento pojem na vektorový výstup, takže obsahuje gradient každej výstupnej zložky. Pri jedinom skalárnom výstupe sa Jacobian redukuje na gradient podľa zvolenej orientácie.

Ako sa Jacobian využíva pri vysvetľovaní modelu?

Derivácie podľa vstupov môžu ukázať, ktoré lokálne zmeny najviac ovplyvňujú skóre. Ide však o lokálnu citlivosť, nie dôkaz kauzality. Pri saturovaných aktiváciách môže byť gradient malý aj vtedy, keď je daný vstup pre rozhodnutie dôležitý.

Súvisiace pojmy

Zdroje a redakčná stopa

PyTorch, functional.jacobian

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.