Guardrail

Guardrail je technické alebo procesné obmedzenie, ktoré kontroluje vstupy, výstupy a akcie AI systému a znižuje riziko neželaného, nebezpečného alebo nekompatibilného správania.

Použitie závisí od konkrétnej úlohy a očakávaného výsledku. V praxi vyžaduje jasné vlastníctvo, dokumentované pravidlá, merateľné kontroly a dohľad primeraný riziku.

Overenie sa robí na reprezentatívnych dátach alebo scenároch, voči jasnej porovnávacej základni a pomocou metrík zodpovedajúcich reálnemu cieľu. Kontrola má zahŕňať aj hraničné prípady, neistotu a prevádzkové náklady.

Rizikom je formálna kontrola bez reálneho vlastníka, neúplná dokumentácia a dohľad neprimeraný dopadu. Opatrenia musia mať zodpovednú osobu, dôkaz vykonania a pravidelnú revíziu.

Guardrail sa od pojmov Human-centered AI, Human-in-the-loop, Human-on-the-loop odlišuje funkciou, vstupmi, spôsobom výpočtu a účelom výsledku. Súvisiace pojmy môžu spolupracovať, nie sú však automaticky zameniteľné.