Datový posun | AI slovník

Odborná definice

Datový posun je zastrešujúci pojem pro rozdíl mezi pravdepodobnostným rozdělením dat, z kterých se model učil, a rozdělením dat, na kterých se hodnotí nebo používá. Může jít o změnu vstupů, změnu podielu tříd, změnu vztahu mezi vstupem a cílem nebo kombinaci těchto javů. Posun vzniká časem, výberovým mechanizmom, odlišným regiónom, zariadením či politikou. Jeho analýza určuje, či stačí prekalibrovat práh, upravit vzorkování nebo je potřeba změnit model a sběr dat.

Srozumitelné vysvětlení

Model vyškolený na zákazníkoch internetového obchodu nemusí fungovat stejně v kamennej predajni, ačkoli predpovedá stejný typ nákupu. Lidé se liší, údaje vznikají jiným procesům a některé signály vůbec nejsou dostupné. Datový posun pomenúva tento nesúlad mezi svetom tréninku a svetom použití. Důležité je rozlíšit, co se zmenilo, protože jiné řešení potřebuje nový mix zákazníků, jiné změna chování a jiné jen odlišná frekvence cílových tříd.

Časté otázky

Jaké hlavní typy dataset shiftu se rozlišují?

Nejčastěji covariate shift, label shift a concept shift. Liší se tím, která část společného rozdělení vstupů a cíle se zmenila.

Je datový drift podtypom datového posunu?

V praxi se termíny často prekrývají. Drift se používá zejména pro změnu v čase, dataset shift i pro rozdíl mezi doménami nebo výberovými procesmi.

Jak se posun testuje?

Používají se porovnání distribúcií, klasifikátor rozlišujúci zdrojovou a cílovou doménu, analýza chyb a výkon na reprezentatívnych nových datech.

Může model fungovat dobře i při výraznom posune?

Ano, pokud se změnily nepodstatné atributy nebo je model robustní. Proto se statistický signál vždy spojuje s meráním dopadu na rozhodnutí.

Jako posun souvisí s doménovou adaptací?

Doménová adaptace se snaží přenést model ze zdrojové domény do cílové, kde je distribuce odlišná, přičemž využívá označené nebo neoznačené cílové data.

Související pojmy

Zdroje a redakční stopa

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.