Fairness metric | AI slovník

Odborná definice

Fairness metric je kvantitatívne pravidlo, které porovnává výsledky, chybovost, skóre nebo zaobchádzání mezi definovanými skupinami nebo kontrafaktuálnymi situacemi. Příklady jsou demographic parity difference, equal opportunity difference, equalized odds, disparate impact ratio nebo rozdíl kalibrace. Metrika operacionalizuje konkrétní predstavu spravodlivosti, ne spravedlnost jako celok. Její interpretace závisí na volby skupin, referenční populace, prahu, nejistoty a účelu rozhodování.

Srozumitelné vysvětlení

Při náborovom modeli lze měřit, či porovnatelne kvalifikování uchádzači z různých skupin dostávají podobnou šancu na postup. Jiná metrika může sledovat pouze stejný podíl pozvánok, co odpovídá na jinou otázku. Výsledek 0,92 proto není sám sám o sobě známka férovosti. Je třeba vědět, co je v čitateli a menovateli, jaký interval nejistoty má odhad a či zvolená podmínka odpovídá reálnemu riziku procesu. Více metrik může ukázat navzájem odlišný obraz. Rozhodnutí o prijatelnom rozdiele musí mít zdokumentovaný vecný důvod.

Časté otázky

Co měří demographic parity?

Porovnává míru pozitívneho výsledku mezi skupinami bez podmínky na skutečný stav. Neříká, či byl výsledek správný pro konkrétního jednotlivca.

Co požaduje equal opportunity?

Vyžaduje srovnatelný true positive rate mezi skupinami. Zameriava se tedy na to, či systém podobně zachytí osoby, které skutečně patří do pozitivní třídy.

Proč je třeba uvádět intervaly nejistoty?

Při malých skupinách může rozdíl vzniknout náhodným kolísáním. Bodový odhad bez intervalu může vyvolat falešný pocit přesnosti nebo skrýt nestabilitu.

Má se fairness měřit před nebo po nastavení prahu?

Oboje může být užitečné. Analýza skóre ukáže vlastnosti modelu, zatímco prahové metriky zachytia konkrétně rozhodnutí, které systém skutečně provádí.

Může dobrá fairness metrika zakrýt škodu?

Ano. Průměr v rámci širokej skupiny může přehlédnout prieniky charakteristik, procesnou nespravodlivosť, nedostupné odvolání nebo nevhodné použití systému.

Související pojmy

Zdroje a redakční stopa

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.