Robustnost vysvětlení AI | AI slovník

Odborná definice

XAI robustness je odolnost vysvetlovacej metody vůči malým, významově nepodstatným nebo záměrně zvoleným změnám vstupu, modelu či implementace. Robustní vysvětlení nemá dramaticky měnit zdůvodnení, když se predikce a relevantní význam případu zachovají. Testuje se perturbacemi, opakovaným tréninkem, změnou seedu a útoky na vysvětlení. Robustnost není totožná s verností. Stabilne nesprávně vysvětlení může být robustní a verné vysvětlení může oprávnene reagovat na změnu blízko rozhodovací hranice.

Srozumitelné vysvětlení

Pokud systém při dvou téměř stejných faktúrach označí zcela jiné důvody podozrení, uživatel neví, zda se změnil model nebo pouze vysvetlovač. Robustnost zkoumá právě tuto citlivost. Do dokumentu se přidá neškodná medzera, změní se pořadí irelevantných polí nebo se model znovu natrénuje na stejné vzorku. Potom se porovná, či vysvětlení zostalo přiměřeně podobné. Úplná nemennost však není cílem, když malá změna skutečně prehodí rozhodnutí.

Časté otázky

Je robustnost vysvětlení stejná jako robustnost modelu?

Ne. Model může mít stabilnou predikci a vysvětlení se může měnit, nebo naopak.

Jak se robustnost měří?

Vzdáleností atribucí, prekryvom najdůležitejších prvků, změnou pořadí nebo konzistencí kontrafaktuálnych doporučení.

Které perturbace jsou platné?

Musí zachovat význam a zůstat v realistickom dátovom prostoru. Náhodný šum, který vytvoří nemožný případ, měří jinou vlastnost.

Lze vysvětlení cíleně zmanipulovat?

Ano. Útočník může měnit vstup nebo okolitý model tak, aby zachoval predikci a změnil zobrazovaný důvod.

Co se má reportovat?

Typ perturbace, rozsah, tolerance, počet běhů, modelová verze a případy, ve kterých je změna vysvětlení vecne opodstatnená.

Související pojmy

Zdroje a redakční stopa

Alvarez-Melis a Jaakkola, On the Robustness of Interpretability Methods, 2018
NISTIR 8312, Four Principles of Explainable AI

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.