Datové rozdělení | AI slovník

Odborná definice

Datové rozdělení je rozčlenení dostupných příkladů na oddělené množiny s různou úlohou, typicky tréninkovou, validační a testovaci. Tréninková množina určuje parametry modelu, validační podporuje výběr architektury a hyperparametrů a testovací poskytuje co najnezávislejší odhad výsledného výkonu. Způsob dělení musí respektovat čas, skupiny, entity a způsob nasazení, aby se stejný uživatel, dokument, zařízení nebo budúca informace nedostali do více částí a nevytvorili únik.

Srozumitelné vysvětlení

Pokud se fotografie toho istého výrobku náhodně rozdělí mezi trénink a test, model může spoznat konkrétní kus podle pozadí, ne obecnou chybu. Test potom vypadá lépe, než bude realita. Datové rozdělení je návrh skúšky, ne administratívne dělení procent. Při časových predikciách má test ležet v budúcnosti, při medicínskych datech se pacient nesmí objavit v dvou množinách a při dokumentech je třeba odstranit obsahové duplicity i parafrázované kopie.

Časté otázky

Jaký poměr tréninkových, validačních a testovacích dat je správný?

Neexistuje univerzální poměr. Závisí na velikosti datasetu, variability, počtu ladených rozhodnutí a požadované přesnosti odhadu na teste.

Kdy se používá group split?

Když více záznamů patří jedné entite, například pacientovi, zákazníkovi nebo zařízení. Celá skupina musí zůstat v jedné části.

Proč se testovací množina nemá používat opakovaně?

Každé rozhodnutí podle testu přenáší informaci do vývoja. Po mnoha pokusoch se tím nepřímo prispůsobí testu a odhad přestane být nezávislý.

Co je stratifikované rozdělení?

Zachovává přibližné podiely tříd nebo vybraných skupin v jednotlivých množinách. Pomáhá zejména při nevyvážených klasifikačních úlohách.

Jak se dělí časové rady?

Chronologicky. Model se učí na staršom období a hodnotí na neskoršom, případně se použije rolling nebo expanding window validace.

Související pojmy

Zdroje a redakční stopa

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.