Odborná definícia
Odborná definícia
Dátový drift označuje zmenu štatistických vlastností vstupných dát po nasadení modelu v porovnaní s dátami, na ktorých bol model trénovaný alebo validovaný. Môže sa meniť rozdelenie hodnôt, frekvencia kategórií, kvalita merania, sezónnosť alebo zastúpenie používateľských skupín. Drift ešte automaticky neznamená pokles presnosti, ale je varovným signálom, že pôvodné predpoklady modelu prestávajú zodpovedať prevádzke a je potrebné preveriť výkon, príčinu zmeny a potrebu zásahu.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Model na odhad dopytu sa mohol naučiť správanie zákazníkov z obdobia, keď väčšina nákupov prebiehala cez počítač. O rok neskôr rastie mobilná návštevnosť, menia sa kampane aj skladba produktov. Vstupy už vyzerajú inak, hoci úloha zostáva rovnaká. Dátový drift je ako zmena terénu pod mapou, podľa ktorej sa systém orientuje. Monitoring preto nesleduje iba priemernú presnosť, ale aj to, či sa menia premenné, skupiny používateľov a podmienky zberu dát.
Časté otázky
Časté otázky
Aký je rozdiel medzi dátovým driftom a concept driftom?
Pri dátovom drifte sa mení rozdelenie vstupov. Pri concept drifte sa mení vzťah medzi vstupmi a správnym výsledkom, napríklad rovnaké správanie začne znamenať iné riziko.
Dá sa drift sledovať bez okamžitých správnych odpovedí?
Áno. Porovnávajú sa distribúcie vstupov, podiely kategórií, chýbajúce hodnoty alebo reprezentácie. Bez ground truth však nemožno spoľahlivo určiť dopad na kvalitu predikcie.
Ktoré metriky sa používajú pri monitoringu driftu?
Často sa používajú PSI, Kolmogorovov-Smirnovov test, Jensenova-Shannonova divergencia, vzdialenosť reprezentácií a doménovo špecifické limity.
Znamená každý drift potrebu pretrénovania?
Nie. Zmena môže byť očakávaná, sezónna alebo bez vplyvu na rozhodnutie. Najprv sa overí výkon a príčina, až potom sa volí úprava dát, prahu alebo modelu.
Ako sa nastavuje prah pre alarm?
Prah sa kalibruje na historických zmenách, prevádzkovom riziku a citlivosti metriky. Jediný univerzálny limit by vytváral buď falošné alarmy, alebo prehliadnuté zlyhania.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.