Odborná definícia
Odborná definícia
XAI visualization je vizuálna reprezentácia modelového správania alebo vysvetlenia, napríklad saliency mapa, atribučný graf, partial dependence krivka, rozhodovací strom, prototyp, attention mapa alebo kontrafaktuálna trajektória. Vizualizácia je komunikačná vrstva, nie dôkaz správnosti metódy. Farebná škála, normalizácia, prahovanie, agregácia a výber referencie môžu zásadne meniť interpretáciu. Kvalitný návrh uvádza cieľový výstup, jednotky, baseline, neistotu a obmedzenia. Pri obrazoch musí lokalizácia prejsť sanity checks, inak môže zvýrazňovať štruktúru nezávislú od naučených váh.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Červená oblasť na snímke vyzerá presvedčivo, pretože človek ju okamžite chápe ako dôležitú. Farba však môže vzniknúť po agresívnom vyhladení, normalizácii alebo nevhodnom prahu. Rovnaké čísla sa dajú vykresliť tak, že rozdiel pôsobí dramaticky alebo zanedbateľne. XAI vizualizácia musí preto ukázať, čo presne farba znamená a k akému výstupu sa viaže. Najlepšie rozhranie umožní porovnať viac prípadov, zobraziť neistotu a overiť reakciu modelu po zmene vstupu. Používateľ má mať možnosť prepnúť z agregovaného obrazu na pôvodné numerické hodnoty.
Časté otázky
Časté otázky
Je attention mapa automaticky vysvetlením?
Nie. Attention váhy opisujú interné rozdelenie pozornosti v konkrétnej operácii. Nemusia zodpovedať kauzálnej dôležitosti tokenov ani úplnému dôvodu výstupu.
Prečo sú farebné škály rizikové?
Nelineárna škála, automatické minimum a maximum alebo nevhodné farby môžu preháňať malé rozdiely. Legenda a fixný rozsah sú nevyhnutné na porovnanie.
Čo je sanity check pri saliency mape?
Parametre modelu alebo štítky sa randomizujú a sleduje sa, či mapa stratí pôvodnú štruktúru. Ak zostane takmer rovnaká, nemusí odrážať naučené správanie.
Ako sa vizualizuje neistota vysvetlenia?
Možno zobraziť intervaly, variabilitu medzi bootstrap vzorkami, viac behov alebo citlivosť na baseline. Jedna ostrá mapa neistotu skrýva.
Čo má obsahovať popis grafu pre audit?
Názov modelu a verzie, dátovú vzorku, cieľový výstup, metódu, parametre vizualizácie, referenciu, dátum výpočtu a upozornenie na známe obmedzenia.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Sanity Checks for Saliency Maps Grad-CAM, Visual Explanations from Deep Networks
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.