Interpretability

Interpretability je miera, do akej človek dokáže pochopiť vnútorné mechanizmy modelu alebo význam jeho parametrov, vlastností a rozhodovacích vzťahov.

Použitie závisí od konkrétnej úlohy a očakávaného výsledku. V praxi vyžaduje jasné vlastníctvo, dokumentované pravidlá, merateľné kontroly a dohľad primeraný riziku.

Overenie sa robí na reprezentatívnych dátach alebo scenároch, voči jasnej porovnávacej základni a pomocou metrík zodpovedajúcich reálnemu cieľu. Kontrola má zahŕňať aj hraničné prípady, neistotu a prevádzkové náklady.

Rizikom je formálna kontrola bez reálneho vlastníka, neúplná dokumentácia a dohľad neprimeraný dopadu. Opatrenia musia mať zodpovednú osobu, dôkaz vykonania a pravidelnú revíziu.

Interpretability sa od pojmov Human-on-the-loop, Human-in-the-loop, Human-centered AI odlišuje funkciou, vstupmi, spôsobom výpočtu a účelom výsledku. Súvisiace pojmy môžu spolupracovať, nie sú však automaticky zameniteľné.