Integrované gradienty | AI slovník

Odborná definice

Integrated gradients je metoda atribuce, která přiřazuje vstupním prvkem příspěvek k vybranému výstupu diferencovatelného modelu. Vypočítá gradient predikce podél cesty od referenčního baseline vstupu k analyzovanému vstupu a tyto gradienty integruje. Součet atribucí přibližně odpovídá rozdílu mezi výstupem pro skutečný vstup a baseline, co je vlastnost completeness. Metoda splňuje axiomy sensitivity a implementation invariance, ale výsledek závisí na volby baseline, počtu aproximačních kroků a cílové třídy. Atribuce popisuje lokální citlivost modelu, ne kauzální důvod ani správnost rozhodnutí.

Srozumitelné vysvětlení

Model označí röntgenovou snímku jako pozitivní a analytik chce vědět, které pixely změnily skóre oproti prázdnému referenčnímu obrazu. Integrované gradienty si představí plynulou cestu od baseline k skutečné snímku. V mnoha bodech změří, jako by malá změna každého pixelu ovlivnila predikci, a příspěvky sečtou. Vznikne mapa důležitosti. Pokud se zvolí černý baseline, může být pro některé medicínské data nereálný a mapa se změní. Zvýrazněná oblast navíc neznamená, že model našel chorobu, pouze že přes tuto oblast dospěl k svému skóre.

Časté otázky

Co je baseline při integrated gradients?

Je referenční vstup predstavujúci neprítomnost nebo neutrálne východisko vlastností, například černý obraz či nulový embedding. Nevhodná volba může vytvořit zavádzajúce atribuce.

Proč se gradient integruje po cestě?

Gradient v jednom bodě může být nulový pro nasýtenou aktivaci, ačkoli znak ovplyvnil výstup. Sčítání citlivosti mezi baseline a vstupem zachytí změnu během celého prechodu.

Co znamená completeness?

Součet atribucí se rovná nebo numericky přibližuje rozdílu výstupu modelu mezi analyzovaným vstupem a baseline. Je to účtovná vlastnost, ne důkaz kauzality.

Jak se zvolí počet integračných kroků?

Více kroků snižuje numerickou chybu, ale zvyšuje výpočet. Konvergence se kontroluje odchýlkou completeness a stabilitou mapy při dalším zvýšení počtu bodů.

Mohou integrated gradients vysvetlit model s nediferencovatelnou částí?

Potřebují gradient od výstupu k vstupu přes analyzovanou cestu. Nediferencovatelné předzpracování, tvrdé pravidla nebo externí nástroj musí být vysvetlené samostatně nebo aproximované.

Související pojmy

Zdroje a redakční stopa

Sundararajan, Taly a Yan, Axiomatic Attribution for Deep Networks (arxiv.org)
TensorFlow, Integrated Gradients tutorial (tensorflow.org)

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.