Fairness metric, definícia a použitie | AI slovník

Odborná definícia

Fairness metric je kvantitatívne pravidlo, ktoré porovnáva výsledky, chybovosť, skóre alebo zaobchádzanie medzi definovanými skupinami alebo kontrafaktuálnymi situáciami. Príkladmi sú demographic parity difference, equal opportunity difference, equalized odds, disparate impact ratio alebo rozdiel kalibrácie. Metrika operacionalizuje konkrétnu predstavu spravodlivosti, nie spravodlivosť ako celok. Jej interpretácia závisí od voľby skupín, referenčnej populácie, prahu, neistoty a účelu rozhodovania.

Zrozumiteľné vysvetlenie

Pri náborovom modeli možno merať, či porovnateľne kvalifikovaní uchádzači z rôznych skupín dostávajú podobnú šancu na postup. Iná metrika môže sledovať iba rovnaký podiel pozvánok, čo odpovedá na inú otázku. Výsledok 0,92 preto nie je sám osebe známka férovosti. Treba vedieť, čo je v čitateli a menovateli, aký interval neistoty má odhad a či zvolená podmienka zodpovedá reálnemu riziku procesu. Viac metrík môže ukázať navzájom odlišný obraz. Rozhodnutie o prijateľnom rozdiele musí mať zdokumentovaný vecný dôvod.

Časté otázky

Čo meria demographic parity?

Porovnáva mieru pozitívneho výsledku medzi skupinami bez podmienky na skutočný stav. Nehovorí, či bol výsledok správny pre konkrétneho jednotlivca.

Čo požaduje equal opportunity?

Vyžaduje porovnateľný true positive rate medzi skupinami. Zameriava sa teda na to, či systém podobne zachytí osoby, ktoré skutočne patria do pozitívnej triedy.

Prečo treba uvádzať intervaly neistoty?

Pri malých skupinách môže rozdiel vzniknúť náhodným kolísaním. Bodový odhad bez intervalu môže vyvolať falošný pocit presnosti alebo skryť nestabilitu.

Má sa fairness merať pred alebo po nastavení prahu?

Oboje môže byť užitočné. Analýza skóre ukáže vlastnosti modelu, kým prahové metriky zachytia konkrétne rozhodnutia, ktoré systém skutočne vykonáva.

Môže dobrá fairness metrika zakryť škodu?

Áno. Priemer v rámci širokej skupiny môže prehliadnuť prieniky charakteristík, procesnú nespravodlivosť, nedostupné odvolanie alebo nevhodné použitie systému.

Súvisiace pojmy

Zdroje a redakčná stopa

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.