Odborná definice
Odborná definice
Training data jsou příklady použité na odhad parametrů modelu nebo na přizpůsobení jeho chování. Mohou obsahovat vstupy, štítky, preference, páry otázka a odpověď, simulace nebo neoznačený obsah pro self-supervised učení. Jejich význam určuje nejen objem, ale i původ, licence, reprezentatívnost, kvalita anotace, časové období a způsob vzorkování. Tréninková data musí zůstat oddělené od validačních a testovacích dat, jinak se výkon nadhodnotí. Verze datasetu se váže na konkrétní tréninkový běh a obsahuje seznam vylúčení, oprav a známých medzier.
Srozumitelné vysvětlení
Srozumitelné vysvětlení
Model se učí z konkrétního výrezu sveta, ne ze sveta jako takého. Pokud tréninková zbierka obsahuje zejména velké firmy, model nemusí správně fungovat pro živnostníků. Pokud se stejné dokumenty objeví i v teste, výsledek měří paměť, ne schopnost zovšeobecnit. Důležité je vědět, odkial každý zdroj pochází, na co se smie použít a jaké skupiny v ňom chýbají. Při priebežnom učení je třeba evidovat i čas, protože pozdější data mohou prezradit budúcnost starším příkladem. Bez této vezby nelze spetne vysvetlit, proč dvě verze modelu reagují na stejný případ rozdílně.
Časté otázky
Časté otázky
Jak se training data liší od validation data?
Tréninková data upravují parametry modelu. Validační data slouží na výběr konfigurace, prahů a časné zastavení bez přímého učení parametrů.
Co je data provenance?
Evidence původu, způsobu získání, licencií, transformací, vlastníka a verze dat. Umožňuje audit, odstranění problematického zdroje a reprodukci modelu.
Proč více dat nemusí zlepšit model?
Dodatečné data mohou být nekvalitné, duplicitné, mimo cílové domény nebo systematicky zaujaté. Změní tréninková rozdělení a mohou zhoršit kritické skupiny.
Jak se hladají duplicity mezi tréninkem a testem?
Používá se přesné hashování, fuzzy porovnávání, embeddingová podobnost a doménové pravidla. Kontrolují se i odvozené verze toho istého dokumentu nebo subjektu.
Co je dataset shift?
Rozdíl mezi rozdělením tréninkových dat a dat při nasazení. Může se měnit vstup, vztah mezi vstupem a cílem nebo zastoupení jednotlivých skupin.
Související pojmy
Související pojmy
Zdroje a redakční stopa
Zdroje a redakční stopa
- NIST AI Risk Management Framework 1.0 Datasheets for Datasets
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.
