Odborná definícia
Význam a odborné vymedzenie pojmu
AI risk management je systematický proces identifikácie, analýzy, prioritizácie, ošetrovania a priebežného sledovania rizík spojených s návrhom, vývojom, nákupom a používaním AI systémov. Posudzuje pravdepodobnosť a závažnosť škody pre ľudí, organizáciu, spoločnosť a životné prostredie. NIST AI RMF organizuje činnosti do funkcií Govern, Map, Measure a Manage. Riadenie sa vzťahuje na celý životný cyklus a zohľadňuje aj neistotu a zvyškové riziko.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Pred nasadením AI sa nestačí opýtať, či model funguje. Treba zistiť, komu môže uškodiť, ako sa chyba prejaví, či ju človek rozpozná a čo sa stane po aktualizácii. Tím zmapuje použitie, zmeria kvalitu a riziká, zavedie kontroly a určí vlastníka. Niektoré riziká odstráni, iné zníži a zvyšok musí niekto vedome prijať. Proces pokračuje aj po spustení, pretože dáta, používatelia, hrozby a modely sa menia. Výsledkom nie je len tabuľka rizík, ale rozhodnutie, ktoré použitia sú povolené, podmienené dodatočnou kontrolou alebo zakázané.
Časté otázky
Otázky, ktoré spresňujú význam
Čo znamenajú funkcie Govern, Map, Measure a Manage?
Govern vytvára kultúru, politiky a zodpovednosti. Map opisuje kontext, účel, dotknuté osoby a možné dopady. Measure používa testy a metriky na odhad dôveryhodnosti a rizika. Manage prioritizuje opatrenia, rozhoduje o nasadení a sleduje zvyškové riziko. Funkcie sa opakujú, nejde o jednorazovú lineárnu kontrolu pred spustením.
Čo má obsahovať register rizík AI systému?
Každá položka má opísať scenár škody, príčinu, dotknuté skupiny, pravdepodobnosť, závažnosť, existujúce kontroly, vlastníka a termín opatrenia. Užitočné je uviesť dôkaz, podľa ktorého sa riziko hodnotilo, a reziduálnu úroveň po kontrole. Register sa prepája s incidentmi, zmenami modelu a rozhodnutím, kto riziko akceptoval.
Ako sa posudzuje riziko pri generatívnej AI?
Okrem kvality odpovedí sa hodnotia konfabulácie, škodlivý obsah, súkromie, autorské práva, prompt injection, únik systémových informácií a nadmerná dôvera používateľov. Pri agentoch sa pridáva schopnosť konať a rozsah oprávnení. Testy majú zodpovedať konkrétnemu použitiu a obsahovať reálne dokumenty, používateľské roly a následky chyby.
Čo je zvyškové riziko?
Zvyškové riziko zostáva po zavedení všetkých plánovaných kontrol. Napríklad ľudská kontrola môže znížiť pravdepodobnosť, že halucinácia ovplyvní zákazníka, ale neodstráni ju úplne. Organizácia musí rozhodnúť, či je zostávajúca úroveň prijateľná vzhľadom na prínos a alternatívy. Toto rozhodnutie má mať menovaného vlastníka a zdokumentované odôvodnenie.
Kedy sa má hodnotenie rizika zopakovať?
Opakuje sa pri zmene účelu, modelu, dát, používateľov, nástrojov alebo právneho prostredia, po incidente a v pravidelnom intervale podľa rizikovosti. Aj nezmenený systém môže začať zlyhávať v dôsledku driftu alebo nových útokov. Zmena dodávateľského modelu cez API je relevantná aj vtedy, keď sa interný kód aplikácie nezmenil.
Súvisiace pojmy
Významové a tematické súvislosti
Marketingový slovník
Súvisiace marketingové pojmy
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- NIST AI Risk Management Framework
- NIST AI 600-1, Generative AI Profile Nariadenie Európskeho parlamentu a Rady (EÚ) 2024/1689
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.