Odložená hodnoticí množina | AI slovník

Odborná definice

Holdout set je část dat záměrně oddelená od tréninku a používaná na nezávislejšie posouzení výkonu modelu na neviděných příkladech. V jednoduchom rozdělení může označovat validační nebo testovaci množinu, proto je třeba přesně uvést její účel. Pokud se výsledky holdoutu opakovaně používají na výběr architektury, promptu nebo hyperparametrů, množina se fakticky stává validační a prestáva být nestranným finálnym testem. Rozdělení musí respektovat čas, osoby, skupiny, zařízení a duplicity, aby se související pozorování nedostali na obě strany a nevytvorili data leakage.

Srozumitelné vysvětlení

Pokud študent cvičí na dvadsiatich testech a při každé úprave postupu kontroluje i tajný záverečný test, po čase se prispůsobí i jemu. Holdout má zůstat mimo tréninkového rozhodování, aby ukázal, jako řešení funguje na skutečně nových případech. Při zdravotných datech nestačí náhodně rozdelit snímky, pokud má jeden pacient více vyšetrení. Snímky toho istého člověka by se mohli ocitnúť v tréninku i teste a model by využil identitu místo choroby. Správná jednotka rozdělení proto vychází z budúceho nasazení, ne pouze z počtu riadků v tabulke.

Časté otázky

Jaký je rozdíl mezi validation a test setom?

Validační množina řídí výběr modelu, hyperparametrů nebo prahu. Testovací množina se použije až po uzavretí rozhodnutí na finálny odhad. Obě mohou být holdout, ale plnia odlišnou metodickou úlohu.

Kolik dat se má odložit?

Závisí na velikosti datasetu, variability a požadované přesnosti odhadu. Malý holdout má široké intervaly nejistoty, příliš velký oberá trénink o data. Rozhodnutí se má podložit analýzou výkonu a intervalů.

Proč náhodné rozdělení někdy nestačí?

Při časových radoch, uživatelích, domácnostiach nebo lokalitách existují závislosti mezi riadkami. Náhodný split může přenést téměř stejný příklad do obou množin a nadhodnotit generalizaci.

Co dělat při malém datasete?

Používá se křížová validace na výběr modelu a podle možností malý nedotknutý test. Při velmi obmedzených datech je třeba zverejnit nejistotu, opakovat resampling a vyhnúť se silným záverom z jednoho rozdělení.

Může se testovací holdout použít viackrát?

Technicky ano, ale každé rozhodnutí podle jeho výsledku přenáší informaci do vývoja. Organizace má evidovat počet použití a při dlouhém vývoji vytvořit nový externí nebo časovo neskorší test.

Související pojmy

Zdroje a redakční stopa

Google Machine Learning Glossary, holdout set (developers.google.com)
scikit-learn, Cross-validation and model selection (scikit-learn.org)

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.