Jacobian matrix | AI slovník

Odborná definice

Jacobiho matice funkce f: R^n -> R^m obsahuje všechny první parciální derivace výstupných složek podle vstupních proměnných. Prvek J_ij vyjadřuje lokální změnu i-teho výstupu při malé změně j-teho vstupu. V neuronových sítích se Jacobian může počítat vůči vstupu, parametrem nebo latentní reprezentaci. Umožňuje analyzovat citlivost, lokální lineárnu aproximaci, stabilitu a šíření perturbací. Úplná matice bývá při velkých modelech příliš rozsiahla, proto se často počítají pouze její součiny s vektory.

Srozumitelné vysvětlení

Model přijímá tri měření senzora a vrací dvě odhadované veličiny. Jacobiho matice je tabulka se šiestimi číslami, která při konkrétním vstupe ukáže, jako by se každý odhad změnil při nepatrnom posune každého měření. Velká absolutní hodnota znamená vysokou miestnu citlivost, nulová hodnota slabý okamžitý vliv. Matice nepopisuje chování modelu všade, pouze v okolí zvoleného bodu. Pokud se model přesune do jiné oblasti vstupního prostoru, derivace se mohou podstatně změnit.

Časté otázky

Jaký rozměr má Jacobiho matice?

Pokud funkce přijímá n vstupních proměnných a vrací m výstupů, Jacobian má m riadků a n stlpců. Pořadí závisí na použitej konvence a knižnice, proto je třeba při implementaci ověřit tvar tenzora.

Proč se nepočíta vždy celá matice?

Při miliónoch vstupů nebo parametrů by plný Jacobian zabral mnoho paměti a výpočtů. Trénink často potřebuje pouze vektorovo-Jacobiho nebo Jacobiho-vektorový součin, který automatická diferenciace získá bez explicitného sestavení všech prvků.

Co znamená velká norma Jacobianu?

Naznačuje, že malé vstupní změny mohou lokálně vyvolat výraznou změnu výstupu. Nemusí automaticky znamenat chybu, protože citlivost může být vecne správná, ale při šume nebo adversariálnych perturbacích může zvyšovat nestabilitu.

Je Jacobian to jisté jako gradient?

Gradient je vektor derivací skalárnej funkce. Jacobian zovšeobecňuje tento pojem na vektorový výstup, takže obsahuje gradient každé výstupní složky. Při jedinom skalárnom výstupu se Jacobian redukuje na gradient podle zvolené orientace.

Jak se Jacobian využívá při vysvetlování modelu?

Derivace podle vstupů mohou ukázat, které lokálně změny nejvíce ovlivňují skóre. Jde však o lokální citlivost, ne důkaz kauzality. Při saturovaných aktivacích může být gradient malý i tehdy, když je daný vstup pro rozhodnutí důležitý.

Související pojmy

Zdroje a redakční stopa

PyTorch, functional.jacobian

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.