Odborná definícia
Význam a odborné vymedzenie pojmu
K-fold cross-validation je validačný postup, ktorý rozdelí dostupné dáta na k navzájom sa neprekrývajúcich blokov. Model sa natrénuje k-krát, vždy na k mínus jednom bloku, pričom zostávajúci blok slúži na validáciu. Výsledná metrika sa agreguje cez všetky behy a často sa uvádza aj rozptyl. Metóda odhaduje citlivosť výkonu na rozdelenie dát, no musí rešpektovať skupiny, časové poradie a závislosti medzi záznamami. Ak sa rovnaké dáta používajú na výber modelu aj finálny odhad, potrebná je vnorená validácia.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Máte 1 000 príkladov a zvolíte k rovné 5. Dáta rozdelíte na päť častí po približne 200 záznamov. V prvom behu testujete na prvej časti, v druhom na druhej a tak ďalej, pričom tréning zakaždým využije zvyšných 800 príkladov. Dostanete päť výsledkov namiesto jedného náhodného skóre. Ak sú však záznamy jedného zákazníka v tréningu aj validácii alebo budúce mesiace pomáhajú predpovedať minulosť, výsledok bude umelo optimistický. Päť behov tiež ukáže, či úspech stojí na jednej šťastnej podmnožine alebo je rozložený stabilne.
Časté otázky
Otázky, ktoré spresňujú význam
Ako sa volí počet blokov k?
Bežnou voľbou je 5 alebo 10. Vyššie k dáva tréningu viac dát, ale zvyšuje výpočty a koreláciu medzi behmi. Pri malých súboroch sa niekedy používa leave-one-out, pri veľkých dátach môže stačiť menšie k.
Kedy použiť stratifikovanú verziu?
Pri klasifikácii s nevyváženými triedami, keď má každý blok zachovať približný podiel tried. Stratifikácia stabilizuje metriky, ale nerieši závislosti medzi záznamami ani časové úniky.
Prečo sa preprocessing musí robiť v každom fold-e?
Škálovanie, imputácia, výber príznakov alebo učenie slovníka z celého súboru prenesie informáciu z validácie do tréningu. Správne sa tieto kroky fitujú iba na tréningovej časti konkrétneho behu, ideálne v pipeline.
Je k-fold vhodný pre časové rady?
Klasické náhodné bloky nie. Pri časových dátach sa používajú postupné okná alebo walk-forward validácia, kde tréning vždy predchádza testovanému obdobiu. Zachová sa tak smer času a realistický produkčný scenár.
Čo uvádzať okrem priemerného skóre?
Aspoň smerodajnú odchýlku alebo interval výsledkov medzi foldmi, presnú schému delenia, seed, metriku a postup ladenia hyperparametrov. Pri vnorenom ladení treba odlíšiť vnútornú a vonkajšiu validáciu.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- scikit-learn, KFold
- scikit-learn, Cross-validation
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.