vizuálně zobrazení vysvětlení AI | AI slovník

Odborná definice

XAI visualization je vizuální reprezentace modelového chování nebo vysvětlení, například saliency mapa, atribučný graf, partial dependence krivka, rozhodovací strom, prototyp, attention mapa nebo kontrafaktuálna trajektorie. Vizualizace je komunikačná vrstva, ne důkaz správnosti metody. Farebná škála, normalizace, prahování, agregace a výběr reference mohou zásadne měnit interpretaci. Kvalitní návrh uvádí cílový výstup, jednotky, baseline, nejistotu a omezení. Při obrazech musí lokalizace projít sanity checks, jinak může zvýrazňovat strukturu nezávislou od naučených váh.

Srozumitelné vysvětlení

Červená oblast na snímku vypadá presvedčivo, protože člověk ji okamžitě chápe jako důležitou. Farba však může vzniknout po agresívnom vyhladení, normalizaci nebo nevhodném prahu. Stejné čísla se dají vykreslit tak, že rozdíl působí dramaticky nebo zanedbatelne. XAI vizualizace musí proto ukázat, co přesně farba znamená a k akému výstupu se váže. Nejlépe rozhraní umožní porovnat více případů, zobrazit nejistotu a ověřit reakci modelu po změně vstupu. Uživatel má mít možnost prepnúť z agregovaného obrazu na původní numerické hodnoty.

Časté otázky

Je attention mapa automaticky vysvětlením?

Ne. Attention váhy opisují interní rozdělení pozornosti v konkrétní operaci. Nemusí odpovídat kauzálnej důležitosti tokenů ani úplnému důvodu výstupu.

Proč jsou farebné škály rizikové?

Nelineárna škála, automatické minimum a maximum nebo nevhodné farby mohou preháňat malé rozdíly. Legenda a fixný rozsah jsou nevyhnutné na porovnání.

Co je sanity check při saliency mape?

Parametry modelu nebo štítky se randomizují a sleduje se, či mapa ztratí původní strukturu. Pokud zůstane téměř stejná, nemusí odrážat naučené chování.

Jak se vizualizuje nejistota vysvětlení?

Lze zobrazit intervaly, variabilitu mezi bootstrap vzorkami, více běhů nebo citlivost na baseline. Jedna ostrá mapa nejistotu skrýva.

Co má obsahovat popis grafu pro audit?

Název modelu a verze, dátovou vzorek, cílový výstup, metódu, parametry vizualizace, referenci, datum výpočtu a upozornení na známé omezení.

Související pojmy

Zdroje a redakční stopa

Sanity Checks for Saliency Maps Grad-CAM, Visual Explanations from Deep Networks

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.