Odborná definícia
Význam a odborné vymedzenie pojmu
Cross-validation je resamplingový postup, ktorý opakovane rozdeľuje dostupné dáta na tréningové a validačné časti, aby odhadol generalizáciu a variabilitu modelu. Pri k-fold variante sa dáta rozdelia na k foldov, každý sa raz použije na validáciu a zvyšok na tréning. Schéma musí rešpektovať skupiny, čas, používateľov a závislosti medzi záznamami. Cross-validation sa používa na výber hyperparametrov a porovnanie modelov, ale nenahrádza finálnu nedotknutú testovaciu sadu, ak sa výsledky opakovane používajú pri vývoji.
Zrozumiteľné vysvetlenie
Ako sa pojem používa v praxi
Pri malom datasete je škoda odložiť veľkú časť na jedinú validáciu. V päťnásobnej krížovej validácii sa model natrénuje päťkrát a zakaždým sa hodnotí na inej pätine. Získate priemer aj rozptyl výsledkov. Ak však záznamy jedného pacienta rozdelíte medzi tréning a validáciu, model ho môže nepriamo spoznať a skóre bude nereálne vysoké. Pri časovej predikcii zase nemožno trénovať na budúcnosti a testovať minulosť. Správne delenie kopíruje spôsob, akým systém uvidí nové dáta po nasadení.
Časté otázky
Otázky, ktoré spresňujú význam
Čo je stratified k-fold?
Každý fold zachová približne rovnaký podiel cieľových tried ako celý dataset. Pomáha pri klasifikácii, najmä keď je pozitívna trieda zriedkavá. Nezohľadňuje automaticky skupiny alebo čas, preto sa môže kombinovať s iným pravidlom delenia.
Kedy použiť group cross-validation?
Keď viac záznamov patrí tomu istému pacientovi, zákazníkovi, zariadeniu alebo dokumentu. Celá skupina musí zostať v jednom folde, aby sa jej charakteristiky nepreniesli do tréningu aj validácie. Taký split lepšie odhaduje výkon na novej skupine.
Prečo bežný k-fold nie je vhodný pre časové rady?
Náhodné miešanie môže poskytnúť modelu informácie z budúcnosti. Používa sa postupné rozširovanie tréningového okna alebo rolling split, kde validačné obdobie vždy nasleduje po tréningovom. Treba zohľadniť aj oneskorenie labelov a sezónnosť.
Má sa preprocessing fitovať v každom folde?
Áno. Imputácia, škálovanie, výber príznakov aj oversampling sa naučia iba na tréningovej časti daného foldu a potom aplikujú na validáciu. Fitovanie pred rozdelením by prenieslo štatistiky validačných dát a vytvorilo leakage.
Ako interpretovať veľký rozptyl medzi foldmi?
Výkon je citlivý na konkrétne príklady, skupiny alebo obdobia. Môže ísť o malý dataset, drift alebo heterogénne segmenty. Namiesto spoliehania sa na priemer treba preskúmať, ktoré foldy zlyhali, a uviesť interval neistoty.
Súvisiace pojmy
Významové a tematické súvislosti
Pojem v rozhodovaní
Odborné články, ktoré tento pojem používajú v praxi
Zdroje a redakčná stopa
Použité východiská a odborná revízia
- scikit-learn User Guide, Cross-validation
Definícia je autorská odborná syntéza. Pri právnych a regulačných rozhodnutiach má prednosť aktuálne oficiálne znenie predpisu a posúdenie konkrétneho prípadu.