věrnost vysvětlení chování modelu | AI slovník

Odborná definice

XAI fidelity vyjadřuje, do jaké míry vysvětlení zachycuje skutečné chování vysvetlovaného modelu v určenej oblasti vstupů. Při lokálnom surrogate modeli se může měřit shoda jeho predikcí s původným modelem v okolí konkrétního případu. Při atribúciách se zkoumá změna výstupu po odstranění nebo perturbaci označených prvků. Fidelity neříká, zda je původní model pravdivý, spravodlivý nebo kauzální. Vysoká věrnost znamená pouze to, že vysvětlení přesně popisuje zvolený model podle definovaného testu.

Srozumitelné vysvětlení

Představte si komplikovaný stroj a jednoduchou schéma, která má ukázat, jako stroj reaguje. Fidelity měří, či schéma opravdu kopíruje jeho reakce, ne zda je pekne nakreslená. Pokud surrogate tvrdí, že příjem zvýšil skóre, ale původní model na změny príjmu skoro nereaguje, vysvětlení má nízkou věrnost. Test musí určit i okolí, protože jednoduchá schéma může být přesná při jednom případě a zcela nesprávná o kúsok dále. I vysoké skóre může být lokálně klamlivé, pokud testovací body neodrážají realistické případy.

Časté otázky

Je vysoká fidelity zárukou srozumitelnosti?

Ne. Matematicky přesné vysvětlení může být příliš složité pro cílového člověka. Fidelity a interpretovatelnost se často dostávají do napetia.

Jak se měří fidelity lokálneho surrogate modelu?

V okolí vysvetlovaného vstupu se vytvoří perturbace, získají se predikce původního modelu a vypočítá se shoda surrogate výstupů, často s večšou váhou blízkych bodů.

Proč výsledek závisí na perturbací?

Nevhodné syntetická vstupy mohou ležet mimo realistickej distribuce. Vysvetlovací model se potom učí chování původního systému na případech, které v praxi nenastávají.

Mohou dvě vysvětlení mít stejnou fidelity?

Ano. Rozdílně jednoduché aproximace mohou dosáhnout podobnou shodu, ale zdůraznit jiné prvky. Proto se sleduje i stabilita a jednoznačnost.

Co fidelity nemeria?

Neoveruje kvalitu dat, medicínsku nebo právnu správnost, kauzální význam atributů ani spravedlnost systému. Tyto otázky potřebují samostatné důkazy.

Související pojmy

Zdroje a redakční stopa

Why Should I Trust You, LIME
NIST, Explainability Research

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.