Local interpretable model-agnostic, definícia a použitie | AI slovník

Odborná definícia

Local interpretable model-agnostic explanations, LIME, vysvetľujú jednu konkrétnu predikciu tak, že v okolí hodnoteného vstupu vytvoria perturbované vzorky, získajú na nich výstupy pôvodného modelu a s vyššou váhou blízkych bodov natrénujú jednoduchý interpretovateľný surrogate model. Koeficienty surrogate modelu opisujú lokálne správanie, nie globálnu logiku klasifikátora. Výsledok závisí od definície okolia, spôsobu perturbácie, kernel width, náhodného seed a reprezentácie vstupu.

Zrozumiteľné vysvetlenie

Pri zložitej predikcii LIME neotvára vnútro modelu. Namiesto toho skúša malé zmeny konkrétneho prípadu a sleduje, ako sa mení odpoveď. Z týchto lokálnych pokusov zostaví jednoduché približné pravidlo, napríklad ktoré slová podporili klasifikáciu dokumentu. Toto pravidlo platí iba v blízkosti vysvetľovaného vstupu. Ak perturbácie vytvárajú nereálne dokumenty alebo ak sa pri inom seede zmenia hlavné príznaky, vysvetlenie môže pôsobiť presne, hoci je nestabilné alebo má nízku fidelity.

Časté otázky

Čo znamená model-agnostic?

LIME potrebuje iba posielať vstupy do modelu a čítať jeho výstupy. Nepotrebuje gradienty ani znalosť vnútornej architektúry.

Ako sa meria fidelity vysvetlenia?

Porovnáva sa, ako dobre lokálny surrogate reprodukuje predikcie pôvodného modelu na vážených perturbáciách v zvolenom okolí.

Prečo sa vysvetlenie môže meniť medzi behmi?

Perturbácie sa vzorkujú náhodne a surrogate môže byť citlivý na výber vzoriek. Seed, počet vzoriek a stabilita sa majú reportovať.

Je LIME vhodné na kauzálne závery?

Nie. Ukazuje lokálnu citlivosť modelu na syntetické zmeny, nie účinok reálneho zásahu vo svete ani absenciu confoundingu.

Aké riziko majú textové perturbácie?

Náhodné vypínanie slov môže vytvoriť vety mimo distribúcie. Model potom reaguje na neprirodzené vstupy a surrogate vysvetľuje takýto artefakt.

Súvisiace pojmy

Zdroje a redakčná stopa

Ribeiro, Singh, Guestrin, Why Should I Trust You?

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.