Odborná definícia
Odborná definícia
Safety case je štruktúrovaný argument podopretý dôkazmi, ktorý vysvetľuje, prečo je AI systém pri presne určenom použití a podmienkach dostatočne bezpečný. Spája tvrdenia o rizikách, technické a organizačné kontrolné opatrenia, výsledky testov, limity platnosti, zodpovednosti a zvyškové riziko. Nie je to všeobecné vyhlásenie o bezpečnosti ani jednorazový audit. Pri zmene modelu, dát, integrácie alebo prevádzkového prostredia sa musí aktualizovať. Dôkaz má uvádzať aj neistotu merania a situácie, ktoré testovací plán nepokrýva.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Bezpečnostný spis funguje ako obhajoba pred náročnou odbornou komisiou. Nestačí povedať, že systém bol otestovaný. Treba ukázať, aké škody sa zvažovali, aké testy sa vykonali, prečo sú relevantné, ktoré ochrany fungujú a kde zostáva neistota. Pri AI je dôležité vymedziť konkrétnu verziu modelu a konkrétny proces. Rovnaký model môže byť prijateľný ako pomocný nástroj, no neprijateľný ako autonómny rozhodovateľ. Každé tvrdenie musí mať vlastníka, dátum platnosti a jasnú väzbu na príslušný artefakt.
Časté otázky
Časté otázky
Čo tvorí jadro safety case?
Jadro tvoria bezpečnostné tvrdenia, podporné argumenty a overiteľné dôkazy. Typicky sa pripájajú hazardná analýza, testovacie protokoly, prevádzkové limity, incidentné postupy a vlastníci rizík.
Je safety case povinný pre každý AI systém?
Nie vždy. Jeho rozsah závisí od závažnosti možných škôd, regulácie a interného riadenia. Pri vysokorizikových alebo bezpečnostne kritických použitiach je však argumentačný prístup mimoriadne vhodný.
Môže bezpečnostný spis používať benchmarky?
Áno, ale benchmark je iba jeden dôkaz. Musí reprezentovať reálne podmienky, relevantné skupiny používateľov a predvídateľné zlyhania. Výsledok bez opisu dát a protokolu má nízku dôkaznú hodnotu.
Kedy sa safety case stáva neplatným?
Platnosť môže narušiť nová verzia modelu, zmena promptu, pripojenie nástroja, presun do inej domény, odlišná populácia alebo zistený incident. Zmena musí spustiť analýzu dopadu.
Kto má safety case schvaľovať?
Schválenie nemá zostať iba vývojárom. Podľa rizika sa zapájajú vlastník produktu, bezpečnostný a právny garant, doménový expert, prevádzka a nezávislá kontrolná funkcia.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- NIST, The Path to Consensus on Artificial Intelligence Assurance
- NIST AI RMF Playbook
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.