Adversariální testování červeným týmem | AI slovník

Odborná definice

Red teaming je autorizované adversariální testování, při kterém nezávislá nebo funkčne oddelená skupina cíleně hledá způsoby selhání, zneužitia a obejití ochranných opatření AI systému. Vychází z threat modelu, scenárů použití a realistických schopností útočníka. Zahrnuje bezpečnost, soukromí, škodlivý obsah, prompt injection, diskriminačné chování i provozní slabiny. Výsledkem mají být reprodukovatelné důkazy, závažnost, návrh mitigace a retest, ne pouze seznam provokatívnych promptů.

Srozumitelné vysvětlení

Red team se na systém pozerá očami člověka, který ho chce pomýlit, zneužit nebo dostat do situace, kterou běžný test nepokrýva. Zkouší hraniční vstupy, reťazí slabiny a preveruje i napojení na nástroje či data. Cílem není veřejně zosmiešnit model, ale najít rizikové cesty dříve, než jejich objeví uživatel nebo útočník. Dobrý test přesně zaznamená podmínky, dopad a opakovatelnost, aby tím vedel problém opravit a následně ověřit. Nález bez reprodukčného postupu se opravuje i prioritizuje velmi těžko.

Časté otázky

Je red teaming stejný jako bezpečnostní audit?

Ne. Audit systematicky ověřuje kritéria a důkazy, red team aktivně hledá neočakávané cesty selhání. Obě činnosti se doplňají, ale mají odlišnou metodiku.

Kdo má být v red teame?

Podle rizika může zahrnovat bezpečnostných odborníků, doménových expertů, právníků, sociálnych vedců, prompt testerů a lidí se skúseností cílových skupin.

Má se testovat pouze model?

Ne. Riziko může vzniknout v retrieval vrstvě, oprávneniach nástrojů, UI, logování, datech, moderaci nebo lidské eskalaci. Testuje se celý aplikačný systém.

Jak se chrání citlivý nález?

Používá se dohodnutý režim sdílení, řízení přístupu, bezpečné uchování artefaktů a responsible disclosure. Testovací data se nemají nekontrolovane miešat s produkcí.

Kdy je red teaming ukončený?

Ne po prvním náleze. Uzatvára se po triáži, oprave, reteste a zdokumentování reziduálneho rizika. Při významnej změně modelu nebo nástrojů se opakuje.

Související pojmy

Zdroje a redakční stopa

NIST AI 600-1, Generative AI Profile

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.