XAI surrogate model, definícia a použitie | AI slovník

Odborná definícia

XAI surrogate model je interpretovateľnejší model natrénovaný tak, aby aproximoval predikcie zložitého modelu. Lokálny surrogate opisuje správanie v okolí jedného vstupu, globálny sa snaží zachytiť širšiu distribúciu. Cieľové hodnoty pre učenie často neposkytuje realita, ale pôvodný black box. Surrogate preto vysvetľuje jeho reakcie, vrátane chýb. Výber architektúry, vzorkovania, váhovania a rozsahu určuje, čo aproximácia zachytí. Povinnou súčasťou je meranie fidelity na relevantných prípadoch a označenie oblastí, kde zjednodušenie zlyháva.

Zrozumiteľné vysvetlenie

Zložitý model môže byť ako rozsiahly zákonník, v ktorom sa ťažko orientuje. Surrogate vytvorí kratšiu príručku, ktorá má predpovedať, čo pôvodný systém urobí. Rozhodovací strom alebo lineárne pravidlo môže byť čitateľné, ale stále je iba kópiou správania. Ak sa trénuje na zlej vzorke, príručka bude presná pri bežných prípadoch a zavádzajúca pri výnimkách. Preto sa vždy uvádza, kde bola zhoda testovaná a akú chybu aproximácia dosahuje. Ak sa pôvodný model aktualizuje, stará príručka už nemusí platiť a musí sa znovu natrénovať aj otestovať.

Časté otázky

Na akých cieľoch sa surrogate učí?

Najčastejšie na predikciách alebo skóre pôvodného modelu, nie na pôvodných štítkoch. Tak sa učí napodobniť black box namiesto riešenia úlohy od začiatku.

Aký model sa používa ako surrogate?

Lineárny model, krátky strom, sada pravidiel alebo generalizovaný aditívny model. Voľba závisí od typu dát, adresáta a požadovanej fidelity.

Prečo môže globálny surrogate zlyhať pri menšinovej skupine?

Optimalizácia celkovej zhody zvýhodní početné prípady. Malá skupina môže mať vysokú chybu, aj keď priemerná fidelity vyzerá dobre.

Je surrogate vhodný na audit zdrojového kódu?

Nie je náhradou za priamu kontrolu modelu. Je behaviorálnou sondou, ktorá pomáha formulovať hypotézy a hľadať oblasti na hlbšiu analýzu.

Ako sa prezentuje neistota surrogate vysvetlenia?

Uvedie sa lokálna chyba, interval alebo variabilita pri opakovanom vzorkovaní. Používateľ má rozlíšiť neistotu pôvodnej predikcie od neistoty aproximácie.

Súvisiace pojmy

Zdroje a redakčná stopa

Why Should I Trust You, LIME Model-Agnostic Interpretability of Machine Learning

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.