Odborná definice
Odborná definice
Datový drift označuje změnu štatistických vlastností vstupních dat po nasazení modelu ve srovnání s daty, na kterých byl model trénovaný nebo validovaný. Může se měnit rozdělení hodnot, frekvence kategorií, kvalita měření, sezónnost nebo zastoupení používatelských skupin. Drift ještě automaticky neznamená pokles přesnosti, ale je varovným signálom, že původní předpoklady modelu prestávají odpovídat provozu a je potřeba preverit výkon, príčinu změny a potřebu zásahu.
Srozumitelné vysvětlení
Srozumitelné vysvětlení
Model na odhad dotazu se mohl naučit chování zákazníků z období, když večšina nákupů prebiehala přes počítač. O rok později roste mobilná návštevnost, mění se kampane i skladba produktů. Vstupy už vyzerají jinak, ačkoli úloha zůstává stejná. Datový drift je jako změna terénu pod mapou, podle které se systém orientuje. Monitoring proto nesleduje pouze průměrnou přesnost, ale i to, zda se mění proměnné, skupiny uživatelů a podmínky sběru dat.
Časté otázky
Časté otázky
Jaký je rozdíl mezi dátovým driftom a concept driftom?
Při dátovom drifte se mění rozdělení vstupů. Při concept drifte se mění vztah mezi vstupmi a správným výsledkem, například stejné chování začne znamenat jiné riziko.
Lze drift sledovat bez okamžitých správných odpovědí?
Ano. Porovnávají se distribuce vstupů, podiely kategorií, chybějící hodnoty nebo reprezentace. Bez ground truth však nelze spolehlivě určit dopad na kvalitu predikce.
Které metriky se používají při monitoringu driftu?
Často se používají PSI, Kolmogorovů-Smirnovů test, Jensenova-Shannonova divergence, vzdálenost reprezentací a doménovo specifické limity.
Znamená každý drift potřebu pretrénování?
Ne. Změna může být očekávaná, sezónna nebo bez vlivu na rozhodnutí. Nejprve se ověří výkon a príčina, až potom se volí úprava dat, prahu nebo modelu.
Jak se nastavuje práh pro alarm?
Práh se kalibruje na historických zmenách, provozním riziku a citlivosti metriky. Jediný univerzální limit by vytváral buď falešné alarmy, nebo prehliadnuté selhání.
Související pojmy
Související pojmy
Zdroje a redakční stopa
Zdroje a redakční stopa
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.
