algoritmické zkreslení | AI slovník

Odborná definice

Algorithmic bias je systematický vzorec v datech, modeli, pravidlách nebo procese nasazení, který vede k nepřiměřeně odlišným chybám, výsledkem nebo dopadom pro určité osoby či skupiny. Může vzniknout nereprezentatívnym výběrem dat, historickou nerovností, chybným označováním, proxy premennými, nevhodnou cílovou metrikou nebo rozdílným způsobem používání systému. Posouzení vyžaduje rozlíšit statistickou odchylku, kvalitu služby a reálný společenský dopad.

Srozumitelné vysvětlení

Pokud náborový model trénujeme na minulých rozhodnutích firmy, může zopakovat staré preference, i když v kóde není pravidlo proti určité skupině. Zkreslení může vzniknout i tím, že pro jednu skupinu máme hůře měření nebo méně příkladů. Nestačí proto odstranit citlivý údaj. Jiné proměnné ho mohou nepřímo nahradit. Tím musí porovnat chybovost a dopady mezi relevantnými skupinami, preverit příčiny a rozhodnout, který kompromis je právně a vecne prijatelný.

Časté otázky

Je algorithmic bias vždy úmyselná diskriminace?

Ne. Může vzniknout bez záměru v historických datech, procese sběru nebo volbe cíle. Neúmyselnost však neodstraňuje důsledky ani potřebu nápravy. Při právním posouzení se zkoumá konkrétní režim a dopad. Technický tím má popísat mechanismus zkreslení, ne pouze deklarovat, že model nepoužívá chránenou vlastnost.

Proč nestačí odstranit pohlavie nebo vek ze vstupů?

Jiné proměnné mohou fungovat jako proxy, například pracovná historie, lokalita nebo typ školy. Navíc bez citlivej vlastnosti nemusí být možné zmerat rozdíly mezi skupinami. Přístup musí respektovat ochranu údajů a právní účel měření. Odstranění jedné proměnné nezmění historické štítky ani způsob, jakým je definovaný úspěch.

Které metriky se používají při hodnocení spravodlivosti?

Používá se porovnání selection rate, false positive rate, false negative rate, calibration a dalších ukazovatelů mezi skupinami. Metriky se mohou navzájem vylučovat, zejména při rozdílné základní miere výsledku. Proto nelze zvolit jednu metriku bez kontextu. Rozhodnutí má vycházet z účelu, typu škody, právnych požadavků a procesu nápravy.

Může mít stejná accuracy pro skupiny stále nespravodlivý dopad?

Ano. Dvě skupiny mohou mít stejnou celkovou accuracy, ale v jedné může model častěji vytvářet falešně negativně chyby a v druhé falešně pozitivně. Stejné skóre také neříká, či systém ovlivňuje přístup k práci, úveru nebo službe. Potřebná je dekompozíce chyb a posouzení následků, ne pouze jeden agregovaný ukazovatel.

Jak se algorithmic bias zmierňuje?

Opatření mohou upravit sběr a označování dat, vážení příkladů, cíl tréninku, prahování, lidský proces nebo samotný případ použití. Někdy je správným řešením model nepoužit. Každá úprava se testuje na celé populaci i segmentech, protože zlepšení jedné metriky může zhoršit jinou. Důležitý je i mechanismus odvolání a nápravy pro dotknuté osoby.

Související pojmy

Zdroje a redakční stopa

Google Machine Learning Glossary
NIST AI Risk Management Framework
OECD Glossary of Terms on AI

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.