Vysvětlitelná umělá inteligence, XAI | AI slovník

Odborná definice

Explainable AI, XAI, označuje systémy a metody, které poskytují luďom důvody nebo informace umožňujúce porozumieť výstupu, chování či obmedzeniam AI. Vysvětlení může být globálně, lokálně, kontrafaktuální, príkladové nebo procesné a musí být prispůsobené uživateli a účelu. NIST zdůrazňuje poskytnutie vysvětlení, jeho zmysluplnost, přesnost vůči skutočnému procesu a rešpektování znalostných limitů. Pekne formulovaný príbeh není vysvětlením, pokud neodpovídá mechanizmu systému.

Srozumitelné vysvětlení

Úverový analytik nepotřebuje vizualizaci všech váh sítě. Potřebuje vědět, které overitelné faktory ovplyvnili konkrétní výsledek, jako stabilní je rozhodnutí a co by ho zmenilo. Vývojář zasa potřebuje diagnostiku komponentů a audítor důkaznou stopu. XAI proto nemá jednu univerzálnu obrazovku. Dobré vysvětlení je zrozumitelné pro danou rolu, verne odráží systém a prizná, kde model nemá dostatek znalostí. Nemůže nahradit testování přesnosti, férovosti ani bezpečnosti. Účel vysvětlení se musí určit ještě před výběrem metody.

Časté otázky

Jaký je rozdíl mezi explainability a interpretability?

Terminologie není jednotná. Interpretability často označuje vnitřní zrozumitelnost modelu, explainability i dodatečné metody, které objasňují jeho výstupy.

Co znamená faithful explanation?

Vysvětlení musí korektne odrážat faktory a proces, které skutečně ovplyvnili výsledek. Přesvědčivá racionalizace vytvořená po rozhodnutí tuto podmínku nesplňa.

Kdy je vhodné kontrafaktuální vysvětlení?

Když uživatel potřebuje vědět, jaká realistická změna vstupu by viedla k jinému výsledku. Změna musí respektovat uskutočnitelnost a nemenné atributy.

Může XAI odhalit bias?

Může ukázat podozrivé závislosti nebo rozdílně faktory mezi skupinami, ale férovost se musí měřit samostatně na reprezentatívnych datech.

Proč se vysvětlení testuje s uživateli?

Technicky přesná informace může být pro konkrétní rolu nezrozumitelná nebo vést k nesprávné důvere. Hodnotí se pochopení, rozhodování a riziko automatizačného zkreslení.

Související pojmy

Zdroje a redakční stopa

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.