explanations Lokálně interpretovatelné modelovo nezávislé vysvětlení, LIME

Odborná definice

Local interpretable model-agnostic explanations, LIME, vysvetlují jednu konkrétní predikci tak, že v okolí hodnoteného vstupu vytvoří perturbované vzorku, získají na nich výstupy původního modelu a s vyššou váhou blízkych bodů natrénují jednoduchý interpretovatelný surrogate model. Koeficienty surrogate modelu opisují lokálně chování, ne globálnu logiku klasifikátora. Výsledek závisí na definice okolia, způsobu perturbace, kernel width, náhodného seed a reprezentace vstupu.

Srozumitelné vysvětlení

Při zložitej predikci LIME neotvára vnútro modelu. Místo toho zkouší malé změny konkrétního případu a sleduje, jak se mění odpověď. Z těchto lokálních pokusů zostaví jednoduché přibližné pravidlo, například které slova podporili klasifikaci dokumentu. Toto pravidlo platí pouze v blízkosti vysvetlovaného vstupu. Pokud perturbace vytvářejí nereálne dokumenty nebo pokud se při jiném seede změní hlavní příznaky, vysvětlení může působit přesně, ačkoli je nestabilní nebo má nízkou fidelity.

Časté otázky

Co znamená model-agnostic?

LIME potřebuje pouze posielat vstupy do modelu a číst jeho výstupy. Nepotřebuje gradienty ani znalost vnitřní architektury.

Jak se měří fidelity vysvětlení?

Porovnává se, jako dobře lokální surrogate reprodukuje predikce původního modelu na vážených perturbacích v zvoleném okolí.

Proč se vysvětlení může měnit mezi behmi?

Perturbace se vzorkují náhodně a surrogate může být citlivý na výběr vzorků. Seed, počet vzorků a stabilita se mají reportovat.

Je LIME vhodné na kauzální závery?

Ne. Ukazuje lokální citlivost modelu na syntetická změny, ne účinek reálného zásahu ve svete ani absenci confoundingu.

Jaké riziko mají textové perturbace?

Náhodné vypínání slov může vytvořit věty mimo distribuce. Model potom reaguje na neprirodzené vstupy a surrogate vysvětluje takový artefakt.

Související pojmy

Zdroje a redakční stopa

Ribeiro, Singh, Guestrin, Why Should I Trust You?

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.