vysvětlení jedné predikce nebo případu | AI slovník

Odborná definice

XAI local explanation popisuje faktory a modelové vztahy relevantní pro konkrétní vstup, predikci nebo malé okolí vstupního prostoru. Používá se například lokální surrogate model, atribuce, kontrastivně důvody, nejbližší prototypy nebo citlivostná analýza. Výsledek se nesmí automaticky zovšeobecnit na celý model. Lokálnost musí být definovaná metrikou, kernelem, množinou perturbací nebo porovnávacím prípadom. Pokud je rozhodovace hranice nepravidelná, dvě blízké pozorování mohou mít odlišné vysvětlení.

Srozumitelné vysvětlení

Při konkrétní zamietnutej žiadosti uživatele nezaujíma průměrné chování na milióne lidí, ale důvody jeho výsledku. Lokální metoda zkoumá okolí daného případu a hledá, které změny ovplyvnia predikci. Tento pohlad je užitečný, ale úzký. Vysvětlení jednoho klienta neříká, jako model pracuje při jiných skupinách. Pokud se hranice modelu v okolí prudko krúti, jednoduché lokálně pravidlo může platit pouze v nepatrnej oblasti. Při opakovaném výpočtu se má uvést seed, verze metody a způsob generování susedných bodů.

Časté otázky

Co určuje velikost lokálneho okolia?

Zvolená vzdálenost, váhovací kernel, generátor perturbací nebo množina podobných případů. Příliš široké okolí rozmaže lokálně chování, příliš úzké může být nestabilní.

Proč se lokálně vysvětlení susedných vstupů mohou lišit?

Model může mít nelineárnu hranici, diskrétní transformace nebo interakce. I malá změna může presunúť případ do oblasti riadenej inými vlastnostmi.

Je lokální atribuce důvodom v právním smyslu?

Ne nevyhnutelně. Technický příspěvek k skóre nemusí odpovídat právně relevantnému důvodu, procesnému odůvodnení ani pravidlu organizace.

Jak se kontroluje stabilita lokálneho vysvětlení?

Vstup se mírně mění v realistických medziach a sleduje se pořadí atributů, surrogate koeficienty nebo textový důvod. Velké skoky signalizují nízkou robustnost.

Kdy je vhodné použít kontrastívnu otázku?

Když uživatel potřebuje vědět, proč vznikl výsledek A místo B. Kontrast přesněji vymedzí cíl a může být zrozumitelnejší než obecný seznam atributů.

Související pojmy

Zdroje a redakční stopa

Why Should I Trust You, LIME
NISTIR 8367, Psychological Foundations of Explainability

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.