Odborná definícia
Význam a odborné vymedzenie pojmu
XAI fidelity vyjadruje, do akej miery vysvetlenie zachytáva skutočné správanie vysvetľovaného modelu v určenej oblasti vstupov. Pri lokálnom surrogate modeli sa môže merať zhoda jeho predikcií s pôvodným modelom v okolí konkrétneho prípadu. Pri atribúciách sa skúma zmena výstupu po odstránení alebo perturbácii označených prvkov. Fidelity nehovorí, či je pôvodný model pravdivý, spravodlivý alebo kauzálny. Vysoká vernosť znamená iba to, že vysvetlenie presne opisuje zvolený model podľa definovaného testu.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Predstavte si komplikovaný stroj a jednoduchú schému, ktorá má ukázať, ako stroj reaguje. Fidelity meria, či schéma naozaj kopíruje jeho reakcie, nie či je pekne nakreslená. Ak surrogate tvrdí, že príjem zvýšil skóre, ale pôvodný model na zmeny príjmu skoro nereaguje, vysvetlenie má nízku vernosť. Test musí určiť aj okolie, pretože jednoduchá schéma môže byť presná pri jednom prípade a úplne nesprávna o kúsok ďalej. Aj vysoké skóre môže byť lokálne klamlivé, ak testovacie body neodrážajú realistické prípady.
Časté otázky
Otázky, ktoré spresňujú význam
Je vysoká fidelity zárukou zrozumiteľnosti?
Nie. Matematicky presné vysvetlenie môže byť príliš zložité pre cieľového človeka. Fidelity a interpretovateľnosť sa často dostávajú do napätia.
Ako sa meria fidelity lokálneho surrogate modelu?
V okolí vysvetľovaného vstupu sa vytvoria perturbácie, získajú sa predikcie pôvodného modelu a vypočíta sa zhoda surrogate výstupov, často s väčšou váhou blízkych bodov.
Prečo výsledok závisí od perturbácií?
Nevhodné syntetické vstupy môžu ležať mimo realistickej distribúcie. Vysvetľovací model sa potom učí správanie pôvodného systému na prípadoch, ktoré v praxi nenastávajú.
Môžu dve vysvetlenia mať rovnakú fidelity?
Áno. Rozdielne jednoduché aproximácie môžu dosiahnuť podobnú zhodu, no zdôrazniť iné prvky. Preto sa sleduje aj stabilita a jednoznačnosť.
Čo fidelity nemeria?
Neoveruje kvalitu dát, medicínsku alebo právnu správnosť, kauzálny význam atribútov ani spravodlivosť systému. Tieto otázky potrebujú samostatné dôkazy.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Why Should I Trust You, LIME
- NIST, Explainability Research
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.