Odborná definícia
Význam a odborné vymedzenie pojmu
Black-box model je model, ktorého vnútorný mechanizmus nie je pre relevantného používateľa priamo zrozumiteľný alebo dostupný v miere potrebnej na vysvetlenie konkrétneho výstupu. Nepriehľadnosť môže vyplývať zo zložitosti, utajenia, proprietárneho prístupu alebo absencie vhodného interpretačného rozhrania. Pojem je relatívny, rovnaký model môže byť transparentný pre vývojára a nepriehľadný pre dotknutú osobu. Post-hoc vysvetlenie približuje správanie, ale nemusí verne reprezentovať kauzálny proces modelu. Governance musí preto kombinovať vysvetlenia s testami, dokumentáciou a kontrolou dopadov.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Úverový model môže vrátiť skóre 0,83, no pracovník ani klient nevedia, ktoré vstupy rozhodnutie ovplyvnili a či by malá zmena údajov výsledok zmenila. Takýto systém pôsobí ako čierna skrinka. Nástroj SHAP môže ukázať príspevky vlastností, ale ide o matematickú aproximáciu okolo modelu, nie automaticky o úplný dôvod rozhodnutia. Pri vysokom riziku nestačí pekný graf. Treba overiť stabilitu vysvetlení, citlivosť na vstupy, chybovosť medzi skupinami, možnosť ľudskej kontroly a zrozumiteľnú komunikáciu limitov.
Časté otázky
Otázky, ktoré spresňujú význam
Je každý neurónový model black box?
Nie absolútne. Neurónové siete sú často zložité, ale výskumník môže analyzovať architektúru, aktivácie a správanie. Black-box charakter závisí od požadovanej úrovne porozumenia, prístupu k modelu a účelu vysvetlenia.
Aký je rozdiel medzi interpretability a explainability?
Interpretability sa často týka zrozumiteľnosti významu výstupu alebo vzťahu vstupov k predikcii. Explainability môže zahŕňať reprezentáciu mechanizmu a dôvodov správania. Terminológia nie je jednotná, preto treba vždy uviesť konkrétny cieľ.
Môže API model byť black box aj pre technický tím?
Áno. Tím môže vidieť iba vstupy a výstupy bez váh, tréningových dát alebo detailov aktualizácie. Vtedy sa spolieha na behaviorálne testy, model card, zmluvné informácie a monitoring dodávateľa.
Sú post-hoc vysvetlenia vždy verné?
Nie. Lokálna aproximácia môže byť nestabilná alebo zjednodušená. Vernosť sa má testovať, napríklad porovnaním s reálnou citlivosťou modelu, perturbáciami a konzistentnosťou v blízkych bodoch.
Kedy treba uprednostniť jednoduchší model?
Keď porovnateľne plní cieľ a zrozumiteľnosť je dôležitá pre bezpečnosť, audit, odvolanie alebo dôveru. Rozhodnutie sa nemá robiť iba podľa jednej metriky, ale podľa celkového prínosu, rizika a požiadaviek prostredia.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- NIST AI RMF, explainability and interpretability resources
- NIST, AI Research, Explainability
- NIST AI Risk Management Framework
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.