Odborná definícia
Význam a odborné vymedzenie pojmu
XAI local explanation opisuje faktory a modelové vzťahy relevantné pre konkrétny vstup, predikciu alebo malé okolie vstupného priestoru. Používa sa napríklad lokálny surrogate model, atribúcie, kontrastívne dôvody, najbližšie prototypy alebo citlivostná analýza. Výsledok sa nesmie automaticky zovšeobecniť na celý model. Lokálnosť musí byť definovaná metrikou, kernelom, množinou perturbácií alebo porovnávacím prípadom. Ak je rozhodovacia hranica nepravidelná, dve blízke pozorovania môžu mať odlišné vysvetlenia.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Pri konkrétnej zamietnutej žiadosti používateľa nezaujíma priemerné správanie na milióne ľudí, ale dôvody jeho výsledku. Lokálna metóda skúma okolie daného prípadu a hľadá, ktoré zmeny ovplyvnia predikciu. Tento pohľad je užitočný, ale úzky. Vysvetlenie jedného klienta nehovorí, ako model pracuje pri iných skupinách. Ak sa hranica modelu v okolí prudko krúti, jednoduché lokálne pravidlo môže platiť iba v nepatrnej oblasti. Pri opakovanom výpočte sa má uviesť seed, verzia metódy a spôsob generovania susedných bodov.
Časté otázky
Otázky, ktoré spresňujú význam
Čo určuje veľkosť lokálneho okolia?
Zvolená vzdialenosť, váhovací kernel, generátor perturbácií alebo množina podobných prípadov. Príliš široké okolie rozmaže lokálne správanie, príliš úzke môže byť nestabilné.
Prečo sa lokálne vysvetlenia susedných vstupov môžu líšiť?
Model môže mať nelineárnu hranicu, diskrétne transformácie alebo interakcie. Aj malá zmena môže presunúť prípad do oblasti riadenej inými vlastnosťami.
Je lokálna atribúcia dôvodom v právnom zmysle?
Nie nevyhnutne. Technický príspevok k skóre nemusí zodpovedať právne relevantnému dôvodu, procesnému odôvodneniu ani pravidlu organizácie.
Ako sa kontroluje stabilita lokálneho vysvetlenia?
Vstup sa mierne mení v realistických medziach a sleduje sa poradie atribútov, surrogate koeficienty alebo textový dôvod. Veľké skoky signalizujú nízku robustnosť.
Kedy je vhodné použiť kontrastívnu otázku?
Keď používateľ potrebuje vedieť, prečo vznikol výsledok A namiesto B. Kontrast presnejšie vymedzí cieľ a môže byť zrozumiteľnejší než všeobecný zoznam atribútov.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Why Should I Trust You, LIME
- NISTIR 8367, Psychological Foundations of Explainability
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.