Odborná definícia
Odborná definícia
XAI robustness je odolnosť vysvetľovacej metódy voči malým, významovo nepodstatným alebo zámerne zvoleným zmenám vstupu, modelu či implementácie. Robustné vysvetlenie nemá dramaticky meniť zdôvodnenie, keď sa predikcia a relevantný význam prípadu zachovajú. Testuje sa perturbáciami, opakovaným tréningom, zmenou seedu a útokmi na vysvetlenie. Robustnosť nie je totožná s vernosťou. Stabilne nesprávne vysvetlenie môže byť robustné a verné vysvetlenie môže oprávnene reagovať na zmenu blízko rozhodovacej hranice.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Ak systém pri dvoch takmer rovnakých faktúrach označí úplne iné dôvody podozrenia, používateľ nevie, či sa zmenil model alebo iba vysvetľovač. Robustnosť skúma práve túto citlivosť. Do dokumentu sa pridá neškodná medzera, zmení sa poradie irelevantných polí alebo sa model znovu natrénuje na rovnakej vzorke. Potom sa porovná, či vysvetlenie zostalo primerane podobné. Úplná nemennosť však nie je cieľom, keď malá zmena skutočne prehodí rozhodnutie.
Časté otázky
Časté otázky
Je robustnosť vysvetlenia rovnaká ako robustnosť modelu?
Nie. Model môže mať stabilnú predikciu a vysvetlenie sa môže meniť, alebo naopak.
Ako sa robustnosť meria?
Vzdialenosťou atribúcií, prekryvom najdôležitejších prvkov, zmenou poradia alebo konzistenciou kontrafaktuálnych odporúčaní.
Ktoré perturbácie sú platné?
Musia zachovať význam a zostať v realistickom dátovom priestore. Náhodný šum, ktorý vytvorí nemožný prípad, meria inú vlastnosť.
Dá sa vysvetlenie cielene zmanipulovať?
Áno. Útočník môže meniť vstup alebo okolitý model tak, aby zachoval predikciu a zmenil zobrazovaný dôvod.
Čo sa má reportovať?
Typ perturbácie, rozsah, tolerancia, počet behov, modelová verzia a prípady, v ktorých je zmena vysvetlenia vecne opodstatnená.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- Alvarez-Melis a Jaakkola, On the Robustness of Interpretability Methods, 2018
- NISTIR 8312, Four Principles of Explainable AI
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.