Odborná definícia
Význam a odborné vymedzenie pojmu
Holdout set je časť dát zámerne oddelená od tréningu a používaná na nezávislejšie posúdenie výkonu modelu na nevidených príkladoch. V jednoduchom rozdelení môže označovať validačnú alebo testovaciu množinu, preto treba presne uviesť jej účel. Ak sa výsledky holdoutu opakovane používajú na výber architektúry, promptu alebo hyperparametrov, množina sa fakticky stáva validačnou a prestáva byť nestranným finálnym testom. Rozdelenie musí rešpektovať čas, osoby, skupiny, zariadenia a duplicity, aby sa súvisiace pozorovania nedostali na obe strany a nevytvorili data leakage.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Ak študent cvičí na dvadsiatich testoch a pri každej úprave postupu kontroluje aj tajný záverečný test, po čase sa prispôsobí aj jemu. Holdout má zostať mimo tréningového rozhodovania, aby ukázal, ako riešenie funguje na skutočne nových prípadoch. Pri zdravotných dátach nestačí náhodne rozdeliť snímky, ak má jeden pacient viac vyšetrení. Snímky toho istého človeka by sa mohli ocitnúť v tréningu aj teste a model by využil identitu namiesto choroby. Správna jednotka rozdelenia preto vychádza z budúceho nasadenia, nie iba z počtu riadkov v tabuľke.
Časté otázky
Otázky, ktoré spresňujú význam
Aký je rozdiel medzi validation a test setom?
Validačná množina riadi výber modelu, hyperparametrov alebo prahu. Testovacia množina sa použije až po uzavretí rozhodnutí na finálny odhad. Obe môžu byť holdout, ale plnia odlišnú metodickú úlohu.
Koľko dát sa má odložiť?
Závisí od veľkosti datasetu, variability a požadovanej presnosti odhadu. Malý holdout má široké intervaly neistoty, príliš veľký oberá tréning o dáta. Rozhodnutie sa má podložiť analýzou výkonu a intervalov.
Prečo náhodné rozdelenie niekedy nestačí?
Pri časových radoch, používateľoch, domácnostiach alebo lokalitách existujú závislosti medzi riadkami. Náhodný split môže preniesť takmer rovnaký príklad do oboch množín a nadhodnotiť generalizáciu.
Čo robiť pri malom datasete?
Používa sa krížová validácia na výber modelu a podľa možností malý nedotknutý test. Pri veľmi obmedzených dátach treba zverejniť neistotu, opakovať resampling a vyhnúť sa silným záverom z jedného rozdelenia.
Môže sa testovací holdout použiť viackrát?
Technicky áno, ale každé rozhodnutie podľa jeho výsledku prenáša informáciu do vývoja. Organizácia má evidovať počet použití a pri dlhom vývoji vytvoriť nový externý alebo časovo neskorší test.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- Google Machine Learning Glossary, holdout set (developers.google.com)
- scikit-learn, Cross-validation and model selection (scikit-learn.org)
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.