zjednodušený model napodobující black box

Odborná definice

XAI surrogate model je interpretovatelnejší model natrénovaný tak, aby aproximoval predikce složitého modelu. Lokální surrogate popisuje chování v okolí jednoho vstupu, globální se snaží zachytit širšiu distribuci. Cílové hodnoty pro učení často neposkytuje realita, ale původní black box. Surrogate proto vysvětluje jeho reakce, včetně chyb. Výběr architektury, vzorkování, váhování a rozsahu určuje, co aproximace zachytí. Povinnou součástí je měření fidelity na relevantních případech a označení oblastí, kde zjednodušení selhává.

Srozumitelné vysvětlení

Složitý model může být jako rozsáhlý zákonník, ve kterém se těžko orientuje. Surrogate vytvoří kratšiu príručku, která má predpovedat, co původní systém udělá. Rozhodovací strom nebo lineární pravidlo může být čitatelné, ale stále je pouze kópiou chování. Pokud se trénuje na zlej vzorku, príručka bude přesná při běžných případech a zavádějící při výnimkách. Proto se vždy uvádí, kde byla shoda testovaná a jakou chybu aproximace dosahuje. Pokud se původní model aktualizuje, stará príručka už nemusí platit a musí se znovu natrénovat i otestovat.

Časté otázky

Na akých cieloch se surrogate učí?

Nejčastěji na predikciách nebo skóre původního modelu, ne na původných štítcích. Tak se učí napodobnit black box místo řešení úlohy od začátku.

Jaký model se používá jako surrogate?

Lineární model, krátký strom, sada pravidel nebo generalizovaný aditívny model. Volba závisí na typu dat, adresáta a požadované fidelity.

Proč může globální surrogate selhat při menšinové skupině?

Optimalizace celkovej shody zvýhodní početné případy. Malá skupina může mít vysokou chybu, i když průměrná fidelity vypadá dobře.

Je surrogate vhodný na audit zdrojového kódu?

Není náhradou za přímou kontrolu modelu. Je behaviorálnou sondou, která pomáhá formulovat hypotézy a hladat oblasti na hlbšiu analýzu.

Jak se prezentuje nejistota surrogate vysvětlení?

Uvedie se lokální chyba, interval nebo variabilita při opakovaném vzorkování. Uživatel má rozlíšit nejistotu původní predikce od nejistoty aproximace.

Související pojmy

Zdroje a redakční stopa

Why Should I Trust You, LIME Model-Agnostic Interpretability of Machine Learning

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.