Algorithmic bias, definícia a použitie | AI slovník

Odborná definícia

Algorithmic bias je systematický vzorec v dátach, modeli, pravidlách alebo procese nasadenia, ktorý vedie k neprimerane odlišným chybám, výsledkom alebo dopadom pre určité osoby či skupiny. Môže vzniknúť nereprezentatívnym výberom dát, historickou nerovnosťou, chybným označovaním, proxy premennými, nevhodnou cieľovou metrikou alebo rozdielnym spôsobom používania systému. Posúdenie vyžaduje rozlíšiť štatistickú odchýlku, kvalitu služby a reálny spoločenský dopad.

Zrozumiteľné vysvetlenie

Ak náborový model trénujeme na minulých rozhodnutiach firmy, môže zopakovať staré preferencie, aj keď v kóde nie je pravidlo proti určitej skupine. Skreslenie môže vzniknúť aj tým, že pre jednu skupinu máme horšie merania alebo menej príkladov. Nestačí preto odstrániť citlivý údaj. Iné premenné ho môžu nepriamo nahradiť. Tím musí porovnať chybovosť a dopady medzi relevantnými skupinami, preveriť príčiny a rozhodnúť, ktorý kompromis je právne a vecne prijateľný.

Časté otázky

Je algorithmic bias vždy úmyselná diskriminácia?

Nie. Môže vzniknúť bez zámeru v historických dátach, procese zberu alebo voľbe cieľa. Neúmyselnosť však neodstraňuje dôsledky ani potrebu nápravy. Pri právnom posúdení sa skúma konkrétny režim a dopad. Technický tím má popísať mechanizmus skreslenia, nie iba deklarovať, že model nepoužíva chránenú vlastnosť.

Prečo nestačí odstrániť pohlavie alebo vek zo vstupov?

Iné premenné môžu fungovať ako proxy, napríklad pracovná história, lokalita alebo typ školy. Navyše bez citlivej vlastnosti nemusí byť možné zmerať rozdiely medzi skupinami. Prístup musí rešpektovať ochranu údajov a právny účel merania. Odstránenie jednej premennej nezmení historické štítky ani spôsob, akým je definovaný úspech.

Ktoré metriky sa používajú pri hodnotení spravodlivosti?

Používa sa porovnanie selection rate, false positive rate, false negative rate, calibration a ďalších ukazovateľov medzi skupinami. Metriky sa môžu navzájom vylučovať, najmä pri rozdielnej základnej miere výsledku. Preto nemožno zvoliť jednu metriku bez kontextu. Rozhodnutie má vychádzať z účelu, typu škody, právnych požiadaviek a procesu nápravy.

Môže mať rovnaká accuracy pre skupiny stále nespravodlivý dopad?

Áno. Dve skupiny môžu mať rovnakú celkovú accuracy, ale v jednej môže model častejšie vytvárať falošne negatívne chyby a v druhej falošne pozitívne. Rovnaké skóre tiež nehovorí, či systém ovplyvňuje prístup k práci, úveru alebo službe. Potrebná je dekompozícia chýb a posúdenie následkov, nie iba jeden agregovaný ukazovateľ.

Ako sa algorithmic bias zmierňuje?

Opatrenia môžu upraviť zber a označovanie dát, váženie príkladov, cieľ tréningu, prahovanie, ľudský proces alebo samotný prípad použitia. Niekedy je správnym riešením model nepoužiť. Každá úprava sa testuje na celej populácii aj segmentoch, pretože zlepšenie jednej metriky môže zhoršiť inú. Dôležitý je aj mechanizmus odvolania a nápravy pre dotknuté osoby.

Súvisiace pojmy

Zdroje a redakčná stopa

Google Machine Learning Glossary
NIST AI Risk Management Framework
OECD Glossary of Terms on AI

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.