Odborná definícia
Odborná definícia
Dátový posun je zastrešujúci pojem pre rozdiel medzi pravdepodobnostným rozdelením dát, z ktorých sa model učil, a rozdelením dát, na ktorých sa hodnotí alebo používa. Môže ísť o zmenu vstupov, zmenu podielu tried, zmenu vzťahu medzi vstupom a cieľom alebo kombináciu týchto javov. Posun vzniká časom, výberovým mechanizmom, odlišným regiónom, zariadením či politikou. Jeho analýza určuje, či stačí prekalibrovať prah, upraviť vzorkovanie alebo je potrebné zmeniť model a zber dát.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Model vyškolený na zákazníkoch internetového obchodu nemusí fungovať rovnako v kamennej predajni, hoci predpovedá rovnaký typ nákupu. Ľudia sa líšia, údaje vznikajú iným procesom a niektoré signály vôbec nie sú dostupné. Dátový posun pomenúva tento nesúlad medzi svetom tréningu a svetom použitia. Dôležité je rozlíšiť, čo sa zmenilo, pretože iné riešenie potrebuje nový mix zákazníkov, iné zmena správania a iné len odlišná frekvencia cieľových tried.
Časté otázky
Časté otázky
Aké hlavné typy dataset shiftu sa rozlišujú?
Najčastejšie covariate shift, label shift a concept shift. Líšia sa tým, ktorá časť spoločného rozdelenia vstupov a cieľa sa zmenila.
Je dátový drift podtypom dátového posunu?
V praxi sa termíny často prekrývajú. Drift sa používa najmä pre zmenu v čase, dataset shift aj pre rozdiel medzi doménami alebo výberovými procesmi.
Ako sa posun testuje?
Používajú sa porovnania distribúcií, klasifikátor rozlišujúci zdrojovú a cieľovú doménu, analýza chýb a výkon na reprezentatívnych nových dátach.
Môže model fungovať dobre aj pri výraznom posune?
Áno, ak sa zmenili nepodstatné atribúty alebo je model robustný. Preto sa štatistický signál vždy spája s meraním dopadu na rozhodnutie.
Ako posun súvisí s doménovou adaptáciou?
Doménová adaptácia sa snaží preniesť model zo zdrojovej domény do cieľovej, kde je distribúcia odlišná, pričom využíva označené alebo neoznačené cieľové dáta.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.