Součin Jacobiho matice s vektorem | AI slovník

Odborná definice

Jacobian-vector product, JVP, je součin J_f(x)v, který vyjadřuje smerovou derivaci vektorovej funkce f v bodě x podél vektora v. Výpočet poskytne změnu všech výstupů při infinitesimálnej změně vstupu v zadanom smere bez potřeby materializovat celý Jacobian. JVP je prirodzeným primitívom forward-mode automatickej diferenciace a je výhodný, když je počet vstupních smerů menší než počet výstupů. Používá se při diferenciálnych rovniciach, meta-učení, implicitných modelech, odhadoch stůp a analýze lokální dynamiky sítě.

Srozumitelné vysvětlení

Představte si navigačný model s tisíckami výstupných hodnot. Nechceme skúšat samostatně změnu každé vstupní souřadnice, ale zaujíma nás jeden konkrétní směr, například súčasné zvýšení rychlosti a natočení volantu. JVP přímo vypočítá, jak se přitomto společném malém posune změní celý výstupný vektor. Je to podobné, jako keby jsme se nepýtali na celý detailný sklon terénu, ale pouze na stúpání při kroku přesně zvoleným směrem. Výpočet proto šetří paměť i čas.

Časté otázky

Co je vstupem JVP kromě funkce a bodu?

Potřebný je tangentný vektor v s stejnou strukturou jako diferenciované vstupy. Určuje směr a relatívnu velikost infinitesimálnej změny. Výstup má tvar funkčného výstupu a představuje jeho smerovou derivaci.

Kdy je forward-mode výhodnejší než reverse-mode?

Forward-mode je efektivní při malém počtu vstupů nebo smerů a velkém počtu výstupů. Reverse-mode je typicky vhodnější pro skalárnu ztrátu s mnohými parametry, protože jedním spetným priechodom získá gradient podle všech vstupů.

Jak se JVP liší od VJP?

JVP násobí Jacobian sprava vektorem vstupního prostoru. VJP násobí vektorem z výstupného prostoru Jacobian zlava a odpovídá spetnému šírení citlivosti. Obě operace lze skladat při výpočtu vyšších derivací.

Potřebuje JVP numerické diference?

Ne, pokud knihovna podporuje forward-mode automatickou diferenciaci. Numerická aproximace f(x + epsilon v) může slúžit na kontrolu, ale její přesnost závisí na volby epsilon a trpí zaokrúhlovacími i aproximačnými chybami.

Na co se používá při implicitním učení?

Při implicitne definovaných vrstvách a optimalizačných problémoch se derivace často získavají řešením lineárních systémů. JVP umožňuje násobit príslušný Jacobian v iteratívnom riešiči bez uložení celé matice.

Související pojmy

Zdroje a redakční stopa

JAX, Jacobian-vector products
PyTorch, torch.func.jvp

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.