Křížová validace s k bloky | AI slovník

Odborná definice

K-fold cross-validation je validační postup, který rozdělí dostupné data na k navzájem se neprekrývajúcich bloků. Model se natrénuje k-krát, vždy na k mínus jednom bloku, přičemž zostávajúci blok slouží na validaci. Výsledná metrika se agreguje přes všechny běhy a často se uvádí i rozptyl. Metoda odhaduje citlivost výkonu na rozdělení dat, ale musí respektovat skupiny, časové pořadí a závislosti mezi záznamami. Pokud se stejné data používají na výběr modelu i finálny odhad, potřebná je vnorená validace.

Srozumitelné vysvětlení

Máte 1 000 příkladů a zvolíte k rovné 5. Data rozdelíte na peť částí po přibližně 200 záznamů. V prvním běhu testujete na prvej části, v druhom na druhé a tak dále, přičemž trénink zakaždým využije zvyšných 800 příkladů. Dostanete peť výsledků místo jednoho náhodného skóre. Pokud jsou však záznamy jednoho zákazníka v tréninku i validaci nebo budoucí mesiace pomáhají predpovedat minulost, výsledek bude uměle optimistický. Peť běhů také ukáže, či úspěch stojí na jedné šťastnej podmnožine nebo je rozložený stabilne.

Časté otázky

Jak se volí počet bloků k?

Bežnou volbou je 5 nebo 10. Vyšší k dává tréninku více dat, ale zvyšuje výpočty a korelaci mezi behmi. Při malých souborech se někdy používá leave-one-out, při velkých datech může stačit menší k.

Kdy použít stratifikovanou verzi?

Při klasifikaci s nevyváženými třídami, když má každý blok zachovat približný podíl tříd. Stratifikace stabilizuje metriky, ale nerieši závislosti mezi záznamami ani časové úniky.

Proč se preprocessing musí dělat v každém fold-e?

Škálování, imputace, výběr příznaků nebo učení slovníka z celého souboru přenese informaci z validace do tréninku. Správně se tyto kroky fitují pouze na tréninkové části konkrétního běhu, ideálne v pipeline.

Je k-fold vhodný pro časové rady?

Klasické náhodné bloky ne. Při časových datech se používají postupné okna nebo walk-forward validace, kde trénink vždy predchádza testovanému obdobiu. Zachová se tak směr času a realistický produkční scenár.

Co uvádět kromě priemerného skóre?

Aspoň smerodajnou odchylku nebo interval výsledků mezi foldmi, přesnou schéma dělení, seed, metriku a postup ladění hyperparametrů. Při vnorenom ladění je třeba odlíšit vnitřní a vonkajšiu validaci.

Související pojmy

Zdroje a redakční stopa

scikit-learn, KFold
scikit-learn, Cross-validation

Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.