Odborná definícia
Význam a odborné vymedzenie pojmu
Integrated gradients je metóda atribúcie, ktorá priraďuje vstupným prvkom príspevok k vybranému výstupu diferencovateľného modelu. Vypočíta gradient predikcie pozdĺž cesty od referenčného baseline vstupu k analyzovanému vstupu a tieto gradienty integruje. Súčet atribúcií približne zodpovedá rozdielu medzi výstupom pre skutočný vstup a baseline, čo je vlastnosť completeness. Metóda spĺňa axiomy sensitivity a implementation invariance, no výsledok závisí od voľby baseline, počtu aproximačných krokov a cieľovej triedy. Atribúcia opisuje lokálnu citlivosť modelu, nie kauzálny dôvod ani správnosť rozhodnutia.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Model označí röntgenovú snímku ako pozitívnu a analytik chce vedieť, ktoré pixely zmenili skóre oproti prázdnemu referenčnému obrazu. Integrované gradienty si predstavia plynulú cestu od baseline k skutočnej snímke. V mnohých bodoch zmerajú, ako by malá zmena každého pixelu ovplyvnila predikciu, a príspevky spočítajú. Vznikne mapa dôležitosti. Ak sa zvolí čierny baseline, môže byť pre niektoré medicínske dáta nereálny a mapa sa zmení. Zvýraznená oblasť navyše neznamená, že model našiel chorobu, iba že cez túto oblasť dospel k svojmu skóre.
Časté otázky
Otázky, ktoré spresňujú význam
Čo je baseline pri integrated gradients?
Je referenčný vstup predstavujúci neprítomnosť alebo neutrálne východisko vlastností, napríklad čierny obraz či nulový embedding. Nevhodná voľba môže vytvoriť zavádzajúce atribúcie.
Prečo sa gradient integruje po ceste?
Gradient v jednom bode môže byť nulový pre nasýtenú aktiváciu, hoci znak ovplyvnil výstup. Sčítanie citlivosti medzi baseline a vstupom zachytí zmenu počas celého prechodu.
Čo znamená completeness?
Súčet atribúcií sa rovná alebo numericky približuje rozdielu výstupu modelu medzi analyzovaným vstupom a baseline. Je to účtovná vlastnosť, nie dôkaz kauzality.
Ako sa zvolí počet integračných krokov?
Viac krokov znižuje numerickú chybu, ale zvyšuje výpočet. Konvergencia sa kontroluje odchýlkou completeness a stabilitou mapy pri ďalšom zvýšení počtu bodov.
Môžu integrated gradients vysvetliť model s nediferencovateľnou časťou?
Potrebujú gradient od výstupu k vstupu cez analyzovanú cestu. Nediferencovateľné predspracovanie, tvrdé pravidlá alebo externý nástroj musia byť vysvetlené samostatne alebo aproximované.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Sundararajan, Taly a Yan, Axiomatic Attribution for Deep Networks (arxiv.org)
- TensorFlow, Integrated Gradients tutorial (tensorflow.org)
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.