Odborná definícia
Význam a odborné vymedzenie pojmu
Validation set je oddelená časť dostupných dát používaná počas vývoja na výber hyperparametrov, prahov, architektúry alebo okamihu ukončenia tréningu. Model sa na jej príkladoch priamo neučí aktualizáciou váh, no opakované rozhodovanie podľa validačných výsledkov prenáša informáciu z tejto množiny do vývojového procesu. Preto nesmie nahrádzať nezávislý testovací súbor. Rozdelenie musí rešpektovať čas, skupiny, entity a zdroj dát, inak môže vzniknúť leakage a nerealistický odhad generalizácie.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Predstavte si kuchára, ktorý recept skúša v kuchyni, priebežne ho ochutnáva a až potom ho pošle anonymnej porote. Tréningové dáta sú suroviny, na ktorých sa model učí. Validačná množina je ochutnávka počas ladenia, podľa ktorej sa mení teplota, dĺžka prípravy alebo pomer ingrediencií. Testovacia množina je až finálna porota. Ak kuchár skúša recept stále na tých istých hosťoch, môže sa prispôsobiť ich chuti a výsledok nebude reprezentovať nových zákazníkov.
Časté otázky
Otázky, ktoré spresňujú význam
Prečo validačná množina nesmie byť totožná s testovacou?
Test má odhadnúť výkon po ukončení vývoja. Ak sa podľa jeho výsledkov mení model, prahy alebo pipeline, stáva sa fakticky ďalšou validačnou množinou a finálny odhad je optimistický.
Ako veľká má byť validačná množina?
Veľkosť závisí od počtu príkladov, variability populácie a presnosti požadovaného odhadu. Pri malých dátach je vhodnejšia krížová validácia alebo opakované rozdelenia.
Čo znamená stratifikované rozdelenie?
Rozdelenie zachováva približný pomer tried v tréningovej a validačnej časti. Pri skupinách, pacientoch alebo firmách však treba navyše zabrániť tomu, aby tá istá entita bola v oboch častiach.
Kedy použiť časové rozdelenie?
Pri predikcii budúcnosti musí validácia napodobniť nasadenie. Tréning preto používa staršie obdobie a validácia novšie obdobie, nie náhodne premiešané riadky.
Môže sa validačná množina časom opotrebovať?
Áno. Pri mnohých experimentoch sa tím nepriamo prispôsobí jej špecifikám. Pomáha skrytý holdout, obmedzenie počtu rozhodnutí a periodicky obnovený benchmark.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- scikit-learn, Cross-validation: evaluating estimator performance
- NIST AI RMF Playbook, Measure
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.