Křížová validace | AI slovník

Odborná definice

Cross-validation je resamplingový postup, který opakovaně rozděluje dostupné data na tréninková a validační části, aby odhadol generalizaci a variabilitu modelu. Při k-fold variantě se data rozdělí na k foldů, každý se raz použije na validaci a zbytek na trénink. Schéma musí respektovat skupiny, čas, uživatelů a závislosti mezi záznamami. Cross-validation se používá na výběr hyperparametrů a porovnání modelů, ale nenahrádza finálnu nedotknutou testovaci sadu, pokud se výsledky opakovaně používají při vývoji.

Srozumitelné vysvětlení

Při malém datasete je škoda odložit velkou část na jedinou validaci. V peťnásobnej krížovej validaci se model natrénuje peťkrát a zakaždým se hodnotí na jiné petine. Získate průměr i rozptyl výsledků. Pokud však záznamy jednoho pacienta rozdelíte mezi trénink a validaci, model ho může nepřímo spoznat a skóre bude nereálne vysoké. Při časovej predikci zase nelze trénovat na budúcnosti a testovat minulost. Správně dělení kopíruje způsob, jakým systém uvidí nové data po nasazení.

Časté otázky

Co je stratified k-fold?

Každý fold zachová přibližně stejný podíl cílových tříd jako celý dataset. Pomáhá při klasifikaci, zejména když je pozitívna třída zriedkavá. Nezohladňuje automaticky skupiny nebo čas, proto se může kombinovat s jiným pravidlem dělení.

Kdy použít group cross-validation?

Když více záznamů patří tomu istému pacientovi, zákazníkovi, zařízení nebo dokumentu. Celá skupina musí zůstat v jednom folde, aby se její charakteristiky nepreniesli do tréninku i validace. Takový split lépe odhaduje výkon na nové skupině.

Proč běžný k-fold není vhodný pro časové rady?

Náhodné miešání může poskytnout modelu informace z budúcnosti. Používá se postupné rozširování tréninkového okna nebo rolling split, kde validační období vždy nasleduje po tréninkovém. Je třeba zohladnit i zpoždění labelů a sezónnost.

Má se preprocessing fitovat v každém folde?

Ano. Imputace, škálování, výběr příznaků i oversampling se naučia pouze na tréninkové části daného foldu a potom aplikují na validaci. Fitování před rozdělením by prenieslo statistiky validačních dat a vytvorilo leakage.

Jako interpretovat velký rozptyl mezi foldmi?

Výkon je citlivý na konkrétně příklady, skupiny nebo období. Může jít o malý dataset, drift nebo heterogénne segmenty. Místo spoliehání se na průměr je třeba preskúmat, které foldy zlyhali, a uvést interval nejistoty.

Související pojmy

Zdroje a redakční stopa

scikit-learn User Guide, Cross-validation

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.