Odborná definícia
Odborná definícia
Red teaming je autorizované adversariálne testovanie, pri ktorom nezávislá alebo funkčne oddelená skupina cielene hľadá spôsoby zlyhania, zneužitia a obídenia ochranných opatrení AI systému. Vychádza z threat modelu, scenárov použitia a realistických schopností útočníka. Zahŕňa bezpečnosť, súkromie, škodlivý obsah, prompt injection, diskriminačné správanie aj prevádzkové slabiny. Výsledkom majú byť reprodukovateľné dôkazy, závažnosť, návrh mitigácie a retest, nie iba zoznam provokatívnych promptov.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Red team sa na systém pozerá očami človeka, ktorý ho chce pomýliť, zneužiť alebo dostať do situácie, ktorú bežný test nepokrýva. Skúša hraničné vstupy, reťazí slabiny a preveruje aj napojenia na nástroje či dáta. Cieľom nie je verejne zosmiešniť model, ale nájsť rizikové cesty skôr, než ich objaví používateľ alebo útočník. Dobrý test presne zaznamená podmienky, dopad a opakovateľnosť, aby tím vedel problém opraviť a následne overiť. Nález bez reprodukčného postupu sa opravuje aj prioritizuje veľmi ťažko.
Časté otázky
Časté otázky
Je red teaming rovnaký ako bezpečnostný audit?
Nie. Audit systematicky overuje kritériá a dôkazy, red team aktívne hľadá neočakávané cesty zlyhania. Obe činnosti sa dopĺňajú, ale majú odlišnú metodiku.
Kto má byť v red teame?
Podľa rizika môže zahŕňať bezpečnostných odborníkov, doménových expertov, právnikov, sociálnych vedcov, prompt testerov a ľudí so skúsenosťou cieľových skupín.
Má sa testovať iba model?
Nie. Riziko môže vzniknúť v retrieval vrstve, oprávneniach nástrojov, UI, logovaní, dátach, moderácii alebo ľudskej eskalácii. Testuje sa celý aplikačný systém.
Ako sa chráni citlivý nález?
Používa sa dohodnutý režim zdieľania, riadenie prístupu, bezpečné uchovanie artefaktov a responsible disclosure. Testovacie dáta sa nemajú nekontrolovane miešať s produkciou.
Kedy je red teaming ukončený?
Nie po prvom náleze. Uzatvára sa po triáži, oprave, reteste a zdokumentovaní reziduálneho rizika. Pri významnej zmene modelu alebo nástrojov sa opakuje.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
- NIST AI 600-1, Generative AI Profile
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.