Odborná definice
Odborná definice
SHAP je rodina metod vysvetlitelnosti, která přiřazuje vstupním vlastnostem příspěvky odvozené ze Shapleyho hodnot kooperatívnej teórie hier. Predikce se rozkladá na základnou hodnotu a součet príspevků vlastností pro konkrétní příklad. Výpočet presných hodnot je zpravidla drahý, proto implementace používají aproximace nebo algoritmy specializované pro typ modelu. Výsledek závisí i od volby referenčního rozdělení a způsobu práce se závislými vlastnostmi. Při publikování vysvětlení se uvádí verze modelu, pozadí a přesný SHAP explainer.
Srozumitelné vysvětlení
Srozumitelné vysvětlení
Představte si, že model určil cenu nehnutelnosti. SHAP se ptá, jak se o rozdíl oproti typickej ceně „podelili“ rozloha, lokalita, vek a další vlastnosti. Každá vlastnost dostane kladný nebo záporný příspěvek a jejich součet vede k predikci. Aby bylo rozdělení férové, teória zvažuje různé pořadí, ve kterých se vlastnosti pripájají. V praxi se tento náročný výpočet aproximuje a výsledek může skreslit nevhodné pozadí nebo silná korelace vstupů. Stejná predikce může dostat jiné rozdělení príspevků po změně referenční populace.
Časté otázky
Časté otázky
Co je base value v SHAP vysvětlení?
Je to očekávaný výstup modelu vzhledem na zvolené referenční data. SHAP příspěvky ukazují, jak se konkrétní predikce od této hodnoty odchýlila.
Jsou SHAP hodnoty kauzální účinky?
Ne. Vysvetlují chování predikčného modelu vůči zvolené distribuci, ne to, co by se v realite stalo po zásahu do vlastnosti.
Jako korelované vlastnosti ovlivňují SHAP?
Příspěvek se může rozdelit mezi zamenitelné vlastnosti nebo záviset od použitého podmieneného či intervečného přístupu. Interpretace musí uvést zvolený variant.
Jaký je rozdíl mezi lokálnym a globálnym SHAP?
Lokálně vysvětlení popisuje jednu predikci. Globální pohlad agreguje absolútne nebo smerové příspěvky přes více příkladů, čím ukazuje typické chování modelu.
Může SHAP potvrdit, že model je spravodlivý?
Ne. Ví odhalit používání citlivých nebo proxy vlastností, ale spravedlnost vyžaduje samostatné skupinové metriky, kauzální otázky a posouzení kontextu.
Související pojmy
Související pojmy
Zdroje a redakční stopa
Zdroje a redakční stopa
- A Unified Approach to Interpreting Model Predictions SHAP documentation
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.