Model typu černá skříňka | AI slovník

Odborná definice

Black-box model je model, kterého vnitřní mechanismus není pro relevantného uživatele přímo zrozumitelný nebo dostupný v miere potrebnej na vysvětlení konkrétního výstupu. Nepriehladnost může vyplývat ze zložitosti, utajení, proprietárneho přístupu nebo absence vhodného interpretačného rozhraní. Pojem je relativní, stejný model může být transparentný pro vývojára a nepriehladný pro dotknutou osobu. Post-hoc vysvětlení přibližuje chování, ale nemusí verne reprezentovat kauzální proces modelu. Governance musí proto kombinovat vysvětlení s testy, dokumentací a kontrolou dopadů.

Srozumitelné vysvětlení

Úverový model může vrátit skóre 0,83, ale pracovník ani klient nevědí, které vstupy rozhodnutí ovplyvnili a či by malá změna údajů výsledek zmenila. Takový systém působí jako černá skříňka. Nástroj SHAP může ukázat příspěvky vlastností, ale jde o matematickou aproximaci okolo modelu, ne automaticky o úplný důvod rozhodnutí. Při vysokém riziku nestačí pekný graf. Je třeba ověřit stabilitu vysvětlení, citlivost na vstupy, chybovost mezi skupinami, možnost lidské kontroly a zrozumitelnou komunikaci limitů.

Časté otázky

Je každý neuronový model black box?

Ne absolútne. Neuronové sítě jsou často složité, ale výskumník může analyzovat architekturu, aktivace a chování. Black-box charakter závisí na požadované úrovně porozumění, přístupu k modelu a účelu vysvětlení.

Jaký je rozdíl mezi interpretability a explainability?

Interpretability se často týká srozumitelnosti významu výstupu nebo vztahu vstupů k predikci. Explainability může zahrnovat reprezentaci mechanizmu a důvodů chování. Terminologie není jednotná, proto je třeba vždy uvést konkrétní cíl.

Může API model být black box i pro technický tím?

Ano. Tím může vidět pouze vstupy a výstupy bez váh, tréninkových dat nebo detailů aktualizace. Tehdy se spolieha na behaviorálne testy, model card, zmluvné informace a monitoring dodávatela.

Jsou post-hoc vysvětlení vždy verné?

Ne. Lokální aproximace může být nestabilná nebo zjednodušená. Věrnost se má testovat, například porovnáním s reálnou citlivostí modelu, perturbacemi a konzistentností v blízkych bodech.

Kdy je třeba uprednostnit jednodušší model?

Když porovnatelne plní cíl a zrozumitelnost je důležitá pro bezpečnost, audit, odvolání nebo důveru. Rozhodnutí se nemá dělat pouze podle jedné metriky, ale podle celkového přínosu, rizika a požadavků prostředí.

Související pojmy

Zdroje a redakční stopa

NIST AI RMF, explainability and interpretability resources
NIST, AI Research, Explainability
NIST AI Risk Management Framework

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.