validační množina | AI slovník

Odborná definice

Validation set je oddelená část dostupných dat používaná během vývoja na výběr hyperparametrů, prahů, architektury nebo okamihu ukončení tréninku. Model se na její příkladech přímo neučí aktualizací váh, ale opakované rozhodování podle validačních výsledků přenáší informaci z této množiny do vývojového procesu. Proto nesmí nahrádzat nezávislý testovací soubor. Rozdělení musí respektovat čas, skupiny, entity a zdroj dat, jinak může vzniknout leakage a nerealistický odhad generalizace.

Srozumitelné vysvětlení

Představte si kuchára, který recept zkouší v kuchyni, průběžně ho ochutnáva a až potom ho pošle anonymnej porote. Tréninková data jsou suroviny, na kterých se model učí. Validační množina je ochutnávka během ladění, podle které se mění teplota, délka prípravy nebo poměr ingrediencií. Testovací množina je až finálna porota. Pokud kuchár zkouší recept stále na tých istých hosťoch, může se přizpůsobit jejich chuti a výsledek nebude reprezentovat nových zákazníků.

Časté otázky

Proč validační množina nesmí být totožná s testovacou?

Test má odhadnout výkon po ukončení vývoja. Pokud se podle jeho výsledků mění model, prahy nebo pipeline, stává se fakticky ďalšou validační množinou a finálny odhad je optimistický.

Jako velká má být validační množina?

Velikost závisí na počtu příkladů, variability populace a přesnosti požadovaného odhadu. Při malých datech je vhodnější křížová validace nebo opakované rozdělení.

Co znamená stratifikované rozdělení?

Rozdělení zachovává približný poměr tříd v tréninkové a validační části. Při skupinách, pacientoch nebo firmách však je třeba navíc zabránit tomu, aby tá jistá entita byla v obou častiach.

Kdy použít časové rozdělení?

Při predikci budúcnosti musí validace napodobnit nasazení. Trénink proto používá starší období a validace novější období, ne náhodně premiešané řádky.

Může se validační množina časem opotrebovat?

Ano. Při mnoha experimentoch se tím nepřímo prispůsobí její špecifikám. Pomáhá skrytý holdout, omezení počtu rozhodnutí a periodicky obnovený benchmark.

Související pojmy

Zdroje a redakční stopa

scikit-learn, Cross-validation: evaluating estimator performance
NIST AI RMF Playbook, Measure

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.