Detekce odlehlých pozorování | AI slovník

Odborná definice

Outlier detection hledá pozorování, které se podle zvolené reprezentace a modelu výrazně odlišují od večšiny dat. Metody využívají hustotu, vzdálenost, izolaci, robustnou kovarianci nebo rekonštrukčnou chybu. Při outlier detection se často předpokládá, že tréninkový soubor už obsahuje určitý podíl odlehlých bodů, na rozdíl od novelty detection trénovanej na převážně čistých normálnych datech. Odlahlosť není automaticky chyba ani podvod. Může jít o vzácny platný jev, proto se práh a následná akce odvodzují od domény.

Srozumitelné vysvětlení

V účtovníctve může být faktúra desaťnásobne vyšší než obvykle. Algoritmus ji označí jako odlahlou, ale neví, či jde o chybu, nový velký projekt nebo podvod. Jeho úlohou je zoradit případy na kontrolu, ne vyniesť verdikt. Výsledek se zásadne změní podle toho, zda se porovnává celková suma, suma vůči dodávatelovi, sezóne nebo velikosti firmy. Pokud se data škálují nevhodne, jedna proměnná může ovládnuť vzdálenost. Při hodnocení se proto používá doménový review set a sleduje se, kolik užitočných případů se najde v omezené kapacite audítorů.

Časté otázky

Jaký je rozdíl mezi globálnym a lokálnym outlierom?

Globální outlier je nezvyčajný vůči celému datasetu. Lokální může být běžný globálně, ale neobvyklý ve svojom susedstve, například vysoká suma při konkrétním malém dodávatelovi.

Co znamená contamination parameter?

Je to očekávaný nebo predpokladaný podíl odlehlých bodů, který ovlivní práh. Nesprávná hodnota může nútene označit privela nebo primálo případů.

Proč škálování příznaků mění výsledek?

Vzdialenostné metody prisúdia větší váhu premenným s velkým číselným rozsahem. Robustní škálování a doménové transformace musí být součástí validační pipeline.

Jak se hodnotí detektor bez úplných labelů?

Používá se manuálna kontrola top-k případů, syntetická injekce, historické incidenty a agreement odborníků. Náhodné umelé anomálie nemusí reprezentovat skutečné provozní riziko.

Má se každý outlier odstranit před tréninkem?

Ne. Odstranění může vymazat vzácně, ale legitimní případy a zúžiť rozsah modelu. Každý mechanismus čištění potřebuje zdůvodnení, audit a porovnání výkonu na okrajových segmentech.

Související pojmy

Zdroje a redakční stopa

scikit-learn, Novelty and Outlier Detection
Isolation Forest

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.