Stabilita vysvětlení AI | AI slovník

Odborná definice

XAI stability vyjadřuje, do jaké míry vysvetlovace metoda poskytuje konzistentní výsledky při opakovaném výpočtu, podobných vstupech nebo porovnatelných verziách modelu. Stabilita se hodnotí vůči přesně určenej změně, například náhodnému seedu explaineru, bootstrapovej vzorku nebo malému posunu vstupu. Nevyžaduje absolutní shodu, ale přiměřenou kontinuitu vzhledem na změnu predikce. Vysoká stabilita sama nepreukazuje správnost ani kauzálnost vysvětlení.

Srozumitelné vysvětlení

Dvaja žiadatelia se liší pouze zaokrúhlením jednoho údaja a dostanou stejné skóre. Pokud systém při jednom označí za hlavný důvod příjem a při druhom vek, vysvětlení působí náhodně. Stabilitný test zopakuje výpočet a měří, jak se mění pořadí nebo hodnoty atribucí. Při strome může být skok legitimní, pokud případ překročí deliaci práh. Proto se stabilita neposudzuje bez informace o lokální geometrii modelu a neistote vysvetlovača.

Časté otázky

Jak se stability liší od robustness?

Stabilita zdůrazňuje opakovatelnost a kontinuitu při definovaných malých zmenách. Robustnost zahrnuje i odolnost vůči cielenej manipulaci a širším perturbáciám.

Proč je seed důležitý?

Metody založené na vzorkování mohou při každém běhu zvolit jinou lokální množinu. Seed a počet vzorků ovlivňují výsledek.

Kdy je nestabilita oprávnená?

Blízko rozhodovací hranice, při silné interakcii vlastností nebo když malá změna skutečně mění predikčný mechanismus.

Jak se porovnávají dvě atribučné mapy?

Korelací, vzdáleností, prekryvom top-k prvků nebo stabilitou znamienka. Metrika musí odpovídat způsobu použití.

Má se stabilita měřit po každém retréningu?

Ano, pokud vysvětlení vstupují do rozhodování nebo auditu. Nová verze může zachovat metriky modelu a změnit zdůvodnení.

Související pojmy

Zdroje a redakční stopa

NISTIR 8312, Four Principles of Explainable AI Alvarez-Melis a Jaakkola, On the Robustness of Interpretability Methods, 2018

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.