Jailbreak resistance, definícia a použitie | AI slovník

Odborná definícia

Jailbreak resistance je miera, do akej model alebo celý AI systém zachová zamýšľané obmedzenia pri rôznych priamych promptingových útokoch. Nejde o jednu binárnu vlastnosť, ale o výkon naprieč cieľmi, jazykmi, stratégiami, počtom pokusov a úrovňami znalosti útočníka. Odolnosť môže pochádzať z tréningu, systémových inštrukcií, filtrov, izolácie nástrojov, autorizácie a limitov akcií. Report musí uvádzať threat model a verziu systému, pretože vysoké skóre na statickej sade nezaručuje ochranu pred adaptívnym útočníkom.

Zrozumiteľné vysvetlenie

Systém je odolný nie vtedy, keď odmietne desať známych promptov, ale keď si udrží pravidlá aj pri nových formuláciách, inom jazyku, viac-krokovom dialógu a opakovaných pokusoch. Pri agentovi navyše záleží, čo môže model urobiť po zlyhaní. Rovnaká textová odpoveď má iný dopad v chatbote bez nástrojov a v systéme s prístupom k e-mailu či databáze. Preto sa odolnosť hodnotí spolu s oprávneniami, sandboxom a možnosťou zastaviť akciu. Cieľom je znížiť úspešnosť aj následky, nie deklarovať absolútnu bezpečnosť.

Časté otázky

Ako sa odolnosť kvantifikuje?

Najčastejšie podielom útokov, ktoré nedosiahli definované porušenie, prípadne úspešnosťou útoku po danom počte dotazov. Výsledok sa rozdeľuje podľa kategórie škody, jazyka, typu útoku a závažnosti, pretože jeden priemer môže zakryť kritickú slabinu.

Prečo treba testovať adaptívneho útočníka?

Statická sada nevyužíva spätnú väzbu z odpovedí. Reálny útočník mení stratégiu podľa odmietnutí a čiastočných únikov, takže môže postupne objaviť hranicu systému. Adaptívny protokol lepšie odhaduje odolnosť pri opakovanom prístupe.

Zvyšuje odmietanie všetkého odolnosť?

Formálne môže znížiť počet úspešných útokov, ale systém prestane plniť legitímne úlohy. Bezpečnostná kvalita preto zahŕňa aj helpfulness a mieru falošných odmietnutí. Obrana musí rozlišovať rizikový zámer od povolenej analýzy.

Ako pomáha obmedzenie nástrojov?

Ak model nemá oprávnenie vykonať nevratnú alebo citlivú akciu, úspešný textový jailbreak má menší dopad. Least privilege, potvrdenie človekom, oddelenie dátových domén a transakčné limity vytvárajú ochranu mimo samotného modelu.

Kedy treba test zopakovať?

Po zmene modelu, systémového promptu, bezpečnostného filtra, nástrojov, politiky alebo spôsobu dekódovania. Opakovať sa má aj pri objavení novej rodiny útokov, pretože odolnosť je vlastnosť konkrétnej verzie celého systému.

Súvisiace pojmy

Zdroje a redakčná stopa

NIST, Strengthening AI Agent Hijacking Evaluations
NIST SP 800-218A

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.