Label leakage, definícia a použitie | AI slovník

Odborná definícia

Label leakage vzniká, keď sa informácia o cieľovom výsledku dostane do vstupných príznakov, procesu predspracovania alebo delenia dát spôsobom, ktorý nebude dostupný v okamihu reálnej predikcie. Môže ísť o priamy identifikátor výsledku, údaj vytvorený po udalosti, agregáciu vypočítanú aj z validačnej množiny alebo proxy premennú tak tesne previazanú s labelom, že obchádza zamýšľanú úlohu. Leakage vedie k nadhodnoteným metrikám a často sa prejaví až prudkým poklesom výkonu po nasadení.

Zrozumiteľné vysvetlenie

Predstavte si model, ktorý má predpovedať, či zákazník zruší zmluvu, no medzi vstupmi dostane aj dátum uzavretia výpovede. Na teste bude pôsobiť výnimočne, pretože odpoveď už nepriamo vidí. V prevádzke však tento údaj pred rozhodnutím neexistuje. Únik môže byť menej nápadný, napríklad pri normalizácii vypočítanej z celého datasetu alebo pri náhodnom rozdelení záznamov rovnakého pacienta do tréningu aj testu. Rozhodujúca je simulácia skutočného času, entity a informačnej hranice.

Časté otázky

Ako sa label leakage odlišuje od všeobecného data leakage?

Label leakage je konkrétny prípad, pri ktorom vstupy obsahujú cieľ alebo jeho následok. Data leakage zahŕňa aj iné prenosy informácie medzi tréningom a hodnotením.

Prečo ho náhodný train-test split nemusí odhaliť?

Ak sú závislé záznamy alebo budúce údaje rozdelené do oboch množín, rovnaký chybný signál funguje na tréningu aj teste a metrika zostane vysoká.

Pomôže odstrániť príznaky s extrémnou koreláciou?

Je to varovný test, nie úplné riešenie. Leakage môže byť nelineárny, rozptýlený medzi viac stĺpcov alebo ukrytý v texte a identifikátoroch.

Ako sa kontroluje časový únik?

Pre každý príznak sa eviduje event time a availability time. Hodnota je prípustná iba vtedy, ak bola skutočne dostupná pred časom predikcie.

Aký audit je vhodný pred nasadením?

Skontrolovať pôvod každého príznaku, pipeline fitovať iba na tréningu, deliť dáta podľa entít a času a porovnať offline schému s produkčným tokom udalostí.

Súvisiace pojmy

Zdroje a redakčná stopa

Google ML, monitoring production pipelines

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.