Jacobian-vector product, definícia a použitie | AI slovník

Odborná definícia

Jacobian-vector product, JVP, je súčin J_f(x)v, ktorý vyjadruje smerovú deriváciu vektorovej funkcie f v bode x pozdĺž vektora v. Výpočet poskytne zmenu všetkých výstupov pri infinitesimálnej zmene vstupu v zadanom smere bez potreby materializovať celý Jacobian. JVP je prirodzeným primitívom forward-mode automatickej diferenciácie a je výhodný, keď je počet vstupných smerov menší než počet výstupov. Používa sa pri diferenciálnych rovniciach, meta-učení, implicitných modeloch, odhadoch stôp a analýze lokálnej dynamiky siete.

Zrozumiteľné vysvetlenie

Predstavte si navigačný model s tisíckami výstupných hodnôt. Nechceme skúšať samostatne zmenu každej vstupnej súradnice, ale zaujíma nás jeden konkrétny smer, napríklad súčasné zvýšenie rýchlosti a natočenia volantu. JVP priamo vypočíta, ako sa pri tomto spoločnom malom posune zmení celý výstupný vektor. Je to podobné, ako keby sme sa nepýtali na celý detailný sklon terénu, ale iba na stúpanie pri kroku presne zvoleným smerom. Výpočet preto šetrí pamäť aj čas.

Časté otázky

Čo je vstupom JVP okrem funkcie a bodu?

Potrebný je tangentný vektor v s rovnakou štruktúrou ako diferenciované vstupy. Určuje smer a relatívnu veľkosť infinitesimálnej zmeny. Výstup má tvar funkčného výstupu a predstavuje jeho smerovú deriváciu.

Kedy je forward-mode výhodnejší než reverse-mode?

Forward-mode je efektívny pri malom počte vstupov alebo smerov a veľkom počte výstupov. Reverse-mode je typicky vhodnejší pre skalárnu stratu s mnohými parametrami, pretože jedným spätným priechodom získa gradient podľa všetkých vstupov.

Ako sa JVP líši od VJP?

JVP násobí Jacobian sprava vektorom vstupného priestoru. VJP násobí vektorom z výstupného priestoru Jacobian zľava a zodpovedá spätnému šíreniu citlivosti. Obe operácie možno skladať pri výpočte vyšších derivácií.

Potrebuje JVP numerické diferencie?

Nie, ak knižnica podporuje forward-mode automatickú diferenciáciu. Numerická aproximácia f(x + epsilon v) môže slúžiť na kontrolu, ale jej presnosť závisí od voľby epsilon a trpí zaokrúhľovacími aj aproximačnými chybami.

Na čo sa používa pri implicitnom učení?

Pri implicitne definovaných vrstvách a optimalizačných problémoch sa derivácie často získavajú riešením lineárnych systémov. JVP umožňuje násobiť príslušný Jacobian v iteratívnom riešiči bez uloženia celej matice.

Súvisiace pojmy

Zdroje a redakčná stopa

JAX, Jacobian-vector products
PyTorch, torch.func.jvp

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.