řízení rizik AI | AI slovník

Odborná definice

AI risk management je systematický proces identifikace, analýzy, prioritizace, ošetrování a průběžného sledování rizík spojených s návrhom, vývojom, nákupom a používáním AI systémů. Posuzuje pravděpodobnost a závažnost škody pro lidí, organizaci, spoločnost a životné prostředí. NIST AI RMF organizuje činnosti do funkcí Govern, Map, Measure a Manage. Řízení se vzťahuje na celý životní cyklus a zohladňuje i nejistotu a zvyškové riziko.

Srozumitelné vysvětlení

Před nasazením AI se nestačí opýtat, či model funguje. Je třeba zjistit, komu může uškodit, jak se chyba prejaví, či ji člověk rozpozná a co se stane po aktualizaci. Tím zmapuje použití, změří kvalitu a rizika, zavedie kontroly a určí vlastníka. Některé rizika odstraní, jiné sníží a zbytek musí někdo vedome prijat. Proces pokračuje i po spustení, protože data, uživatelé, hrozby a modely se mění. Výsledkem není jen tabulka rizík, ale rozhodnutí, které použití jsou povolené, podmíněné dodatočnou kontrolou nebo zakázané.

Časté otázky

Co znamenají funkce Govern, Map, Measure a Manage?

Govern vytváří kultúru, politiky a zodpovednosti. Map popisuje kontext, účel, dotknuté osoby a možné dopady. Measure používá testy a metriky na odhad důveryhodnosti a rizika. Manage prioritizuje opatření, rozhoduje o nasazení a sleduje zvyškové riziko. Funkce se opakují, nejde o jednorazovou lineárnu kontrolu před spuštěním.

Co má obsahovat register rizík AI systému?

Každá položka má popsat scenár škody, príčinu, dotknuté skupiny, pravděpodobnost, závažnost, existujúce kontroly, vlastníka a termín opatření. Užitečné je uvést důkaz, podle kterého se riziko hodnotilo, a reziduálnu úroveň po kontrole. Register se propojuje s incidentmi, zmenami modelu a rozhodnutím, kdo riziko akceptoval.

Jak se posuzuje riziko při generativní AI?

Kromě kvality odpovědí se hodnotí konfabulace, škodlivý obsah, soukromí, autorské práva, prompt injection, únik systémových informací a nadmerná důvěra uživatelů. Při agentoch se přidává schopnost konať a rozsah oprávnění. Testy mají odpovídat konkrétnímu použití a obsahovat reálně dokumenty, uživatelské roly a následky chyby.

Co je zvyškové riziko?

Zvyškové riziko zůstává po zavedení všech plánovaných kontrol. Například lidská kontrola může snížit pravděpodobnost, že halucinace ovlivní zákazníka, ale neodstráni ji zcela. Organizace musí rozhodnout, zda je zostávajúca úroveň prijatelná vzhledem na přínos a alternativy. Toto rozhodnutí má mít menovaného vlastníka a zdokumentované odůvodnení.

Kdy se má hodnocení rizika zopakovat?

Opakuje se při změně účelu, modelu, dat, uživatelů, nástrojů nebo právneho prostředí, po incidente a v pravidelnom intervale podle rizikovosti. I nezmenený systém může začít zlyhávat v důsledku driftu nebo nových útoků. Změna dodávatelského modelu přes API je relevantná i tehdy, když se interný kód aplikace nezmenil.

Související pojmy

Zdroje a redakční stopa

NIST AI Risk Management Framework
NIST AI 600-1, Generative AI Profile Nariadenie Európskeho parlamentu a Rady (EÚ) 2024/1689

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.