bezpečnostní argumentační spis | AI slovník

Odborná definice

Safety case je strukturovaný argument podopretý důkazmi, který vysvětluje, proč je AI systém při přesně určenom použití a podmínkách dostatečně bezpečný. Spojuje tvrzení o rizikách, technické a organizačné kontrolní opatření, výsledky testů, limity platnosti, zodpovednosti a zvyškové riziko. Není to obecné vyhlásení o bezpečnosti ani jednorazový audit. Při změně modelu, dat, integrace nebo provozního prostředí se musí aktualizovat. Důkaz má uvádět i nejistotu měření a situace, které testovací plán nepokrýva.

Srozumitelné vysvětlení

Bezpečnostní spis funguje jako obhajoba před náročnou odbornou komisí. Nestačí povedat, že systém byl otestovaný. Je třeba ukázat, jaké škody se zvažovali, jaké testy se vykonali, proč jsou relevantní, které ochrany fungují a kde zůstává nejistota. Při AI je důležité vymedzit konkrétní verzi modelu a konkrétní proces. Stejný model může být prijatelný jako pomocný nástroj, ale neprijatelný jako autonómny rozhodovatel. Každé tvrzení musí mít vlastníka, datum platnosti a jasnou vezbu na príslušný artefakt.

Časté otázky

Co tvoří jádro safety case?

Jádro tvoří bezpečnostní tvrzení, podporné argumenty a overitelné důkazy. Typicky se pripájají hazardná analýza, testovací protokoly, provozní limity, incidentné postupy a vlastníci rizík.

Je safety case povinný pro každý AI systém?

Ne vždy. Jeho rozsah závisí na závažnosti možných škůd, regulace a interného řízení. Při vysokorizikových nebo bezpečnostne kritických použitiach je však argumentační přístup mimoriadne vhodný.

Může bezpečnostní spis používat benchmarky?

Ano, ale benchmark je pouze jeden důkaz. Musí reprezentovat reálně podmínky, relevantní skupiny uživatelů a predvídatelné selhání. Výsledek bez opisu dat a protokolu má nízkou důkaznou hodnotu.

Kdy se safety case stává neplatným?

Platnost může narušit nová verze modelu, změna promptu, pripojení nástroje, přesun do jiné domény, odlišná populace nebo zjištěný incident. Změna musí spustit analýzu dopadu.

Kdo má safety case schvalovat?

Schválení nemá zůstat pouze vývojárom. Podle rizika se zapájají vlastník produktu, bezpečnostní a právní garant, doménový expert, provoz a nezávislá kontrolní funkce.

Související pojmy

Zdroje a redakční stopa

NIST, The Path to Consensus on Artificial Intelligence Assurance
NIST AI RMF Playbook

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.