Odborná definícia
Odborná definícia
Dátové rozdelenie je rozčlenenie dostupných príkladov na oddelené množiny s rôznou úlohou, typicky tréningovú, validačnú a testovaciu. Tréningová množina určuje parametre modelu, validačná podporuje výber architektúry a hyperparametrov a testovacia poskytuje čo najnezávislejší odhad výsledného výkonu. Spôsob delenia musí rešpektovať čas, skupiny, entity a spôsob nasadenia, aby sa rovnaký používateľ, dokument, zariadenie alebo budúca informácia nedostali do viacerých častí a nevytvorili únik.
Zrozumiteľné vysvetlenie
Zrozumiteľné vysvetlenie
Ak sa fotografie toho istého výrobku náhodne rozdelia medzi tréning a test, model môže spoznať konkrétny kus podľa pozadia, nie všeobecnú chybu. Test potom vyzerá lepšie, než bude realita. Dátové rozdelenie je návrh skúšky, nie administratívne delenie percent. Pri časových predikciách má test ležať v budúcnosti, pri medicínskych dátach sa pacient nesmie objaviť v dvoch množinách a pri dokumentoch treba odstrániť obsahové duplicity aj parafrázované kópie.
Časté otázky
Časté otázky
Aký pomer tréningových, validačných a testovacích dát je správny?
Neexistuje univerzálny pomer. Závisí od veľkosti datasetu, variability, počtu ladených rozhodnutí a požadovanej presnosti odhadu na teste.
Kedy sa používa group split?
Keď viac záznamov patrí jednej entite, napríklad pacientovi, zákazníkovi alebo zariadeniu. Celá skupina musí zostať v jednej časti.
Prečo sa testovacia množina nemá používať opakovane?
Každé rozhodnutie podľa testu prenáša informáciu do vývoja. Po mnohých pokusoch sa tím nepriamo prispôsobí testu a odhad prestane byť nezávislý.
Čo je stratifikované rozdelenie?
Zachováva približné podiely tried alebo vybraných skupín v jednotlivých množinách. Pomáha najmä pri nevyvážených klasifikačných úlohách.
Ako sa delia časové rady?
Chronologicky. Model sa učí na staršom období a hodnotí na neskoršom, prípadne sa použije rolling alebo expanding window validácia.
Súvisiace pojmy
Súvisiace pojmy
Zdroje a redakčná stopa
Zdroje a redakčná stopa
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.