Odborná definícia
Odborná definícia
Explainable AI, XAI, označuje systémy a metódy, ktoré poskytujú ľuďom dôvody alebo informácie umožňujúce porozumieť výstupu, správaniu či obmedzeniam AI. Vysvetlenie môže byť globálne, lokálne, kontrafaktuálne, príkladové alebo procesné a musí byť prispôsobené používateľovi a účelu. NIST zdôrazňuje poskytnutie vysvetlenia, jeho zmysluplnosť, presnosť voči skutočnému procesu a rešpektovanie znalostných limitov. Pekne formulovaný príbeh nie je vysvetlením, ak nezodpovedá mechanizmu systému.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Úverový analytik nepotrebuje vizualizáciu všetkých váh siete. Potrebuje vedieť, ktoré overiteľné faktory ovplyvnili konkrétny výsledok, ako stabilné je rozhodnutie a čo by ho zmenilo. Vývojár zasa potrebuje diagnostiku komponentov a audítor dôkaznú stopu. XAI preto nemá jednu univerzálnu obrazovku. Dobré vysvetlenie je zrozumiteľné pre danú rolu, verne odráža systém a prizná, kde model nemá dostatok znalostí. Nemôže nahradiť testovanie presnosti, férovosti ani bezpečnosti. Účel vysvetlenia sa musí určiť ešte pred výberom metódy.
Časté otázky
Časté otázky
Aký je rozdiel medzi explainability a interpretability?
Terminológia nie je jednotná. Interpretability často označuje vnútornú zrozumiteľnosť modelu, explainability aj dodatočné metódy, ktoré objasňujú jeho výstupy.
Čo znamená faithful explanation?
Vysvetlenie musí korektne odrážať faktory a proces, ktoré skutočne ovplyvnili výsledok. Presvedčivá racionalizácia vytvorená po rozhodnutí túto podmienku nespĺňa.
Kedy je vhodné kontrafaktuálne vysvetlenie?
Keď používateľ potrebuje vedieť, aká realistická zmena vstupu by viedla k inému výsledku. Zmena musí rešpektovať uskutočniteľnosť a nemenné atribúty.
Môže XAI odhaliť bias?
Môže ukázať podozrivé závislosti alebo rozdielne faktory medzi skupinami, ale férovosť sa musí merať samostatne na reprezentatívnych dátach.
Prečo sa vysvetlenie testuje s používateľmi?
Technicky presná informácia môže byť pre konkrétnu rolu nezrozumiteľná alebo viesť k nesprávnej dôvere. Hodnotí sa pochopenie, rozhodovanie a riziko automatizačného skreslenia.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.